/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to repository.py

  • Committer: wang
  • Date: 2006-10-29 13:41:32 UTC
  • mto: (2104.4.1 wang_65714)
  • mto: This revision was merged to the branch mainline in revision 2109.
  • Revision ID: wang@ubuntu-20061029134132-3d7f4216f20c4aef
Replace python's difflib by patiencediff because the worst case 
performance is cubic for difflib and people commiting large data 
files are often hurt by this. The worst case performance of patience is 
quadratic. Fix bug 65714.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2007 Canonical Ltd
2
 
#
3
 
# This program is free software; you can redistribute it and/or modify
4
 
# it under the terms of the GNU General Public License as published by
5
 
# the Free Software Foundation; either version 2 of the License, or
6
 
# (at your option) any later version.
7
 
#
8
 
# This program is distributed in the hope that it will be useful,
9
 
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
 
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
 
# GNU General Public License for more details.
12
 
#
13
 
# You should have received a copy of the GNU General Public License
14
 
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
 
 
17
 
"""An adapter between a Git Repository and a Bazaar Branch"""
18
 
 
19
 
import os
20
 
import time
21
 
 
22
 
import bzrlib
23
 
from bzrlib import (
24
 
    errors,
25
 
    graph,
26
 
    inventory,
27
 
    osutils,
28
 
    repository,
29
 
    revision,
30
 
    revisiontree,
31
 
    ui,
32
 
    urlutils,
33
 
    )
34
 
from bzrlib.foreign import (
35
 
        ForeignRepository,
36
 
        )
37
 
from bzrlib.trace import mutter
38
 
from bzrlib.transport import get_transport
39
 
 
40
 
from bzrlib.plugins.git.foreign import (
41
 
    versionedfiles,
42
 
    )
43
 
from bzrlib.plugins.git.mapping import default_mapping, mapping_registry, inventory_to_tree_and_blobs, revision_to_commit
44
 
from bzrlib.plugins.git.versionedfiles import GitTexts
45
 
 
46
 
import dulwich as git
47
 
 
48
 
 
49
 
class GitTags(object):
50
 
 
51
 
    def __init__(self, tags):
52
 
        self._tags = tags
53
 
 
54
 
    def __iter__(self):
55
 
        return iter(self._tags)
56
 
 
57
 
 
58
 
class GitRepository(ForeignRepository):
59
 
    """An adapter to git repositories for bzr."""
60
 
 
61
 
    _serializer = None
62
 
 
63
 
    def __init__(self, gitdir, lockfiles):
64
 
        ForeignRepository.__init__(self, GitFormat(), gitdir, lockfiles)
65
 
        from bzrlib.plugins.git import fetch
66
 
        repository.InterRepository.register_optimiser(fetch.InterGitRepository)
67
 
        repository.InterRepository.register_optimiser(fetch.InterGitNonGitRepository)
68
 
 
69
 
    def is_shared(self):
70
 
        return True
71
 
 
72
 
    def supports_rich_root(self):
73
 
        return True
74
 
 
75
 
    def _warn_if_deprecated(self):
76
 
        # This class isn't deprecated
77
 
        pass
78
 
 
79
 
    def get_mapping(self):
80
 
        return default_mapping
81
 
 
82
 
    def make_working_trees(self):
83
 
        return True
84
 
 
85
 
 
86
 
class LocalGitRepository(GitRepository):
87
 
 
88
 
    def __init__(self, gitdir, lockfiles):
89
 
        # FIXME: This also caches negatives. Need to be more careful 
90
 
        # about this once we start writing to git
91
 
        self._parents_provider = graph.CachingParentsProvider(self)
92
 
        GitRepository.__init__(self, gitdir, lockfiles)
93
 
        self.base = gitdir.root_transport.base
94
 
        self._git = gitdir._git
95
 
        self.texts = None
96
 
        self.signatures = versionedfiles.VirtualSignatureTexts(self)
97
 
        self.revisions = versionedfiles.VirtualRevisionTexts(self)
98
 
        self.inventories = versionedfiles.VirtualInventoryTexts(self)
99
 
        self.texts = GitTexts(self)
100
 
        self.tags = GitTags(self._git.get_tags())
101
 
 
102
 
    def all_revision_ids(self):
103
 
        ret = set([revision.NULL_REVISION])
104
 
        if self._git.heads() == []:
105
 
            return ret
106
 
        bzr_heads = [self.get_mapping().revision_id_foreign_to_bzr(h) for h in self._git.heads()]
107
 
        ret = set(bzr_heads)
108
 
        graph = self.get_graph()
109
 
        for rev, parents in graph.iter_ancestry(bzr_heads):
110
 
            ret.add(rev)
111
 
        return ret
112
 
 
113
 
    #def get_revision_delta(self, revision_id):
114
 
    #    parent_revid = self.get_revision(revision_id).parent_ids[0]
115
 
    #    diff = self._git.diff(ids.convert_revision_id_bzr_to_git(parent_revid),
116
 
    #                   ids.convert_revision_id_bzr_to_git(revision_id))
117
 
 
118
 
    def _make_parents_provider(self):
119
 
        """See Repository._make_parents_provider()."""
120
 
        return self._parents_provider
121
 
 
122
 
    def get_parent_map(self, revids):
123
 
        parent_map = {}
124
 
        mutter("get_parent_map(%r)", revids)
125
 
        for revision_id in revids:
126
 
            assert isinstance(revision_id, str)
127
 
            if revision_id == revision.NULL_REVISION:
128
 
                parent_map[revision_id] = ()
129
 
                continue
130
 
            hexsha, mapping = self.lookup_git_revid(revision_id)
131
 
            commit  = self._git.commit(hexsha)
132
 
            if commit is None:
133
 
                continue
134
 
            else:
135
 
                parent_map[revision_id] = [mapping.revision_id_foreign_to_bzr(p) for p in commit.parents]
136
 
        return parent_map
137
 
 
138
 
    def get_ancestry(self, revision_id, topo_sorted=True):
139
 
        """See Repository.get_ancestry().
140
 
        """
141
 
        if revision_id is None:
142
 
            return self._all_revision_ids()
143
 
        assert isinstance(revision_id, str)
144
 
        ancestry = []
145
 
        graph = self.get_graph()
146
 
        for rev, parents in graph.iter_ancestry([revision_id]):
147
 
            if rev == revision.NULL_REVISION:
148
 
                rev = None
149
 
            ancestry.append(rev)
150
 
        ancestry.reverse()
151
 
        return ancestry
152
 
 
153
 
    def import_revision_gist(self, source, revid, parent_lookup):
154
 
        """Impor the gist of another revision into this Git repository.
155
 
 
156
 
        """
157
 
        objects = []
158
 
        rev = source.get_revision(revid)
159
 
        for sha, object, path in inventory_to_tree_and_blobs(source, None, revid):
160
 
            if path == "":
161
 
                tree_sha = sha
162
 
            objects.append((object, path))
163
 
        commit = revision_to_commit(rev, tree_sha, parent_lookup)
164
 
        objects.append((commit, None))
165
 
        self._git.object_store.add_objects(objects)
166
 
        return commit.sha().hexdigest()
167
 
 
168
 
    def dfetch(self, source, stop_revision):
169
 
        if stop_revision is None:
170
 
            raise NotImplementedError
171
 
        revidmap = {}
172
 
        gitidmap = {}
173
 
        todo = []
174
 
        source.lock_write()
175
 
        try:
176
 
            graph = source.get_graph()
177
 
            ancestry = [x for x in source.get_ancestry(stop_revision) if x is not None]
178
 
            for revid in graph.iter_topo_order(ancestry):
179
 
                if not self.has_revision(revid):
180
 
                    todo.append(revid)
181
 
            pb = ui.ui_factory.nested_progress_bar()
182
 
            try:
183
 
                for i, revid in enumerate(todo):
184
 
                    pb.update("pushing revisions", i, len(todo))
185
 
                    git_commit = self.import_revision_gist(source, revid, gitidmap.__getitem__)
186
 
                    gitidmap[revid] = git_commit
187
 
                    git_revid = self.get_mapping().revision_id_foreign_to_bzr(git_commit)
188
 
                    revidmap[revid] = git_revid
189
 
            finally:
190
 
                pb.finished()
191
 
            source.fetch(self, revision_id=revidmap[stop_revision])
192
 
        finally:
193
 
            source.unlock()
194
 
        return revidmap
195
 
 
196
 
    def get_signature_text(self, revision_id):
197
 
        raise errors.NoSuchRevision(self, revision_id)
198
 
 
199
 
    def lookup_revision_id(self, revid):
200
 
        """Lookup a revision id.
201
 
        
202
 
        :param revid: Bazaar revision id.
203
 
        :return: Tuple with git revisionid and mapping.
204
 
        """
205
 
        # Yes, this doesn't really work, but good enough as a stub
206
 
        return osutils.sha(rev_id).hexdigest(), self.get_mapping()
207
 
 
208
 
    def has_signature_for_revision_id(self, revision_id):
209
 
        return False
210
 
 
211
 
    def lookup_git_revid(self, bzr_revid):
212
 
        try:
213
 
            return mapping_registry.revision_id_bzr_to_foreign(bzr_revid)
214
 
        except errors.InvalidRevisionId:
215
 
            raise errors.NoSuchRevision(self, bzr_revid)
216
 
 
217
 
    def get_revision(self, revision_id):
218
 
        git_commit_id, mapping = self.lookup_git_revid(revision_id)
219
 
        try:
220
 
            commit = self._git.commit(git_commit_id)
221
 
        except KeyError:
222
 
            raise errors.NoSuchRevision(self, revision_id)
223
 
        # print "fetched revision:", git_commit_id
224
 
        revision = mapping.import_commit(commit)
225
 
        assert revision is not None
226
 
        return revision
227
 
 
228
 
    def has_revision(self, revision_id):
229
 
        try:
230
 
            self.get_revision(revision_id)
231
 
        except errors.NoSuchRevision:
232
 
            return False
233
 
        else:
234
 
            return True
235
 
 
236
 
    def get_revisions(self, revids):
237
 
        return [self.get_revision(r) for r in revids]
238
 
 
239
 
    def revision_trees(self, revids):
240
 
        for revid in revids:
241
 
            yield self.revision_tree(revid)
242
 
 
243
 
    def revision_tree(self, revision_id):
244
 
        revision_id = revision.ensure_null(revision_id)
245
 
 
246
 
        if revision_id == revision.NULL_REVISION:
247
 
            inv = inventory.Inventory(root_id=None)
248
 
            inv.revision_id = revision_id
249
 
            return revisiontree.RevisionTree(self, inv, revision_id)
250
 
 
251
 
        return GitRevisionTree(self, revision_id)
252
 
 
253
 
    def get_inventory(self, revision_id):
254
 
        assert revision_id != None
255
 
        return self.revision_tree(revision_id).inventory
256
 
 
257
 
    def set_make_working_trees(self, trees):
258
 
        pass
259
 
 
260
 
    def fetch_objects(self, determine_wants, graph_walker, resolve_ext_ref, progress=None):
261
 
        return self._git.fetch_objects(determine_wants, graph_walker, progress)
262
 
 
263
 
 
264
 
class GitRevisionTree(revisiontree.RevisionTree):
265
 
 
266
 
    def __init__(self, repository, revision_id):
267
 
        self._repository = repository
268
 
        self.revision_id = revision_id
269
 
        assert isinstance(revision_id, str)
270
 
        git_id, self.mapping = repository.lookup_git_revid(revision_id)
271
 
        try:
272
 
            commit = repository._git.commit(git_id)
273
 
        except KeyError, r:
274
 
            raise errors.NoSuchRevision(repository, revision_id)
275
 
        self.tree = commit.tree
276
 
        self._inventory = inventory.Inventory(revision_id=revision_id)
277
 
        self._inventory.root.revision = revision_id
278
 
        self._build_inventory(self.tree, self._inventory.root, "")
279
 
 
280
 
    def get_revision_id(self):
281
 
        return self.revision_id
282
 
 
283
 
    def get_file_text(self, file_id):
284
 
        entry = self._inventory[file_id]
285
 
        if entry.kind == 'directory': return ""
286
 
        return self._repository._git.get_blob(entry.text_id).data
287
 
 
288
 
    def _build_inventory(self, tree_id, ie, path):
289
 
        assert isinstance(path, str)
290
 
        tree = self._repository._git.tree(tree_id)
291
 
        for mode, name, hexsha in tree.entries():
292
 
            basename = name.decode("utf-8")
293
 
            if path == "":
294
 
                child_path = name
295
 
            else:
296
 
                child_path = urlutils.join(path, name)
297
 
            file_id = self.mapping.generate_file_id(child_path)
298
 
            entry_kind = (mode & 0700000) / 0100000
299
 
            if entry_kind == 0:
300
 
                child_ie = inventory.InventoryDirectory(file_id, basename, ie.file_id)
301
 
            elif entry_kind == 1:
302
 
                file_kind = (mode & 070000) / 010000
303
 
                b = self._repository._git.get_blob(hexsha)
304
 
                if file_kind == 0:
305
 
                    child_ie = inventory.InventoryFile(file_id, basename, ie.file_id)
306
 
                    child_ie.text_sha1 = osutils.sha_string(b.data)
307
 
                elif file_kind == 2:
308
 
                    child_ie = inventory.InventoryLink(file_id, basename, ie.file_id)
309
 
                    child_ie.text_sha1 = osutils.sha_string("")
310
 
                else:
311
 
                    raise AssertionError(
312
 
                        "Unknown file kind, perms=%o." % (mode,))
313
 
                child_ie.text_id = b.id
314
 
                child_ie.text_size = len(b.data)
315
 
            else:
316
 
                raise AssertionError(
317
 
                    "Unknown blob kind, perms=%r." % (mode,))
318
 
            fs_mode = mode & 0777
319
 
            child_ie.executable = bool(fs_mode & 0111)
320
 
            child_ie.revision = self.revision_id
321
 
            self._inventory.add(child_ie)
322
 
            if entry_kind == 0:
323
 
                self._build_inventory(hexsha, child_ie, child_path)
324
 
 
325
 
 
326
 
class GitFormat(object):
327
 
 
328
 
    supports_tree_reference = False
329
 
    rich_root_data = True
330
 
 
331
 
    def get_format_description(self):
332
 
        return "Git Repository"
333
 
 
334
 
    def initialize(self, url, shared=False, _internal=False):
335
 
        raise bzr_errors.UninitializableFormat(self)
336
 
 
337
 
    def check_conversion_target(self, target_repo_format):
338
 
        return target_repo_format.rich_root_data