/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to fetch.py

Clarify history, copyright.

Show diffs side-by-side

added added

removed removed

Lines of Context:
fetch.py
1
 
# Copyright (C) 2008 Canonical Ltd
 
1
# Copyright (C) 2008 Jelmer Vernooij <jelmer@samba.org>
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
 
from bzrlib import osutils
18
 
from bzrlib.errors import InvalidRevisionId
 
17
from cStringIO import StringIO
 
18
import dulwich as git
 
19
from dulwich.client import SimpleFetchGraphWalker
 
20
from dulwich.objects import Commit
 
21
 
 
22
from bzrlib import (
 
23
    osutils,
 
24
    ui,
 
25
    urlutils,
 
26
    )
 
27
from bzrlib.errors import (
 
28
    InvalidRevisionId,
 
29
    NoSuchRevision,
 
30
    )
19
31
from bzrlib.inventory import Inventory
20
32
from bzrlib.repository import InterRepository
21
33
from bzrlib.trace import info
 
34
from bzrlib.tsort import topo_sort
22
35
 
23
 
from bzrlib.plugins.git import git
24
 
from bzrlib.plugins.git.repository import LocalGitRepository, GitRepository, GitFormat
 
36
from bzrlib.plugins.git.repository import (
 
37
        LocalGitRepository, 
 
38
        GitRepository, 
 
39
        GitFormat,
 
40
        )
 
41
from bzrlib.plugins.git.converter import GitObjectConverter
25
42
from bzrlib.plugins.git.remote import RemoteGitRepository
26
43
 
27
 
from dulwich.objects import Commit
28
 
 
29
 
from cStringIO import StringIO
30
44
 
31
45
 
32
46
class BzrFetchGraphWalker(object):
 
47
    """GraphWalker implementation that uses a Bazaar repository."""
33
48
 
34
49
    def __init__(self, repository, mapping):
35
50
        self.repository = repository
38
53
        self.heads = set(repository.all_revision_ids())
39
54
        self.parents = {}
40
55
 
 
56
    def __iter__(self):
 
57
        return iter(self.next, None)
 
58
 
41
59
    def ack(self, sha):
42
60
        revid = self.mapping.revision_id_foreign_to_bzr(sha)
43
61
        self.remove(revid)
44
62
 
45
63
    def remove(self, revid):
46
64
        self.done.add(revid)
47
 
        if ref in self.heads:
 
65
        if revid in self.heads:
48
66
            self.heads.remove(revid)
49
67
        if revid in self.parents:
50
68
            for p in self.parents[revid]:
58
76
            self.heads.update([p for p in ps if not p in self.done])
59
77
            try:
60
78
                self.done.add(ret)
61
 
                return self.mapping.revision_id_bzr_to_foreign(ret)
 
79
                return self.mapping.revision_id_bzr_to_foreign(ret)[0]
62
80
            except InvalidRevisionId:
63
81
                pass
64
82
        return None
65
83
 
66
84
 
67
 
def import_git_blob(repo, mapping, path, blob):
 
85
def import_git_blob(repo, mapping, path, blob, inv, parent_invs, gitmap, executable):
68
86
    """Import a git blob object into a bzr repository.
69
87
 
70
88
    :param repo: bzr repository
72
90
    :param blob: A git blob
73
91
    """
74
92
    file_id = mapping.generate_file_id(path)
75
 
    repo.texts.add_lines((file_id, blob.id),
76
 
        [], #FIXME 
 
93
    text_revision = inv.revision_id
 
94
    repo.texts.add_lines((file_id, text_revision),
 
95
        [(file_id, p[file_id].revision) for p in parent_invs if file_id in p],
77
96
        osutils.split_lines(blob.data))
78
 
    inv.add_path(path, "file", file_id)
79
 
 
80
 
 
81
 
def import_git_tree(repo, mapping, path, tree, inv, lookup_object):
 
97
    ie = inv.add_path(path, "file", file_id)
 
98
    ie.revision = text_revision
 
99
    ie.text_size = len(blob.data)
 
100
    ie.text_sha1 = osutils.sha_string(blob.data)
 
101
    ie.executable = executable
 
102
    gitmap._idmap.add_entry(blob.sha().hexdigest(), "blob", (ie.file_id, ie.revision))
 
103
 
 
104
 
 
105
def import_git_tree(repo, mapping, path, tree, inv, parent_invs, 
 
106
                    gitmap, lookup_object):
82
107
    """Import a git tree object into a bzr repository.
83
108
 
84
109
    :param repo: A Bzr repository object
87
112
    :param inv: Inventory object
88
113
    """
89
114
    file_id = mapping.generate_file_id(path)
90
 
    repo.texts.add_lines((file_id, tree.id),
91
 
        [], #FIXME 
 
115
    text_revision = inv.revision_id
 
116
    repo.texts.add_lines((file_id, text_revision),
 
117
        [(file_id, p[file_id].revision) for p in parent_invs if file_id in p],
92
118
        [])
93
 
    inv.add_path(path, "directory", file_id)
 
119
    ie = inv.add_path(path, "directory", file_id)
 
120
    ie.revision = text_revision
 
121
    gitmap._idmap.add_entry(tree.sha().hexdigest(), "tree", (file_id, text_revision))
94
122
    for mode, name, hexsha in tree.entries():
95
123
        entry_kind = (mode & 0700000) / 0100000
96
124
        basename = name.decode("utf-8")
99
127
        else:
100
128
            child_path = urlutils.join(path, name)
101
129
        if entry_kind == 0:
102
 
            import_git_tree(repo, mapping, child_path, lookup_object, inv)
 
130
            tree = lookup_object(hexsha)
 
131
            import_git_tree(repo, mapping, child_path, tree, inv, parent_invs, gitmap, lookup_object)
103
132
        elif entry_kind == 1:
104
 
            import_git_blob(repo, mapping, child_path, lookup_object, inv)
 
133
            blob = lookup_object(hexsha)
 
134
            fs_mode = mode & 0777
 
135
            import_git_blob(repo, mapping, child_path, blob, inv, parent_invs, gitmap, bool(fs_mode & 0111))
105
136
        else:
106
137
            raise AssertionError("Unknown blob kind, perms=%r." % (mode,))
107
138
 
108
139
 
109
 
def import_git_objects(repo, mapping, object_iter):
 
140
def import_git_objects(repo, mapping, object_iter, target_git_object_retriever, 
 
141
        pb=None):
110
142
    """Import a set of git objects into a bzr repository.
111
143
 
112
144
    :param repo: Bazaar repository
114
146
    :param object_iter: Iterator over Git objects.
115
147
    """
116
148
    # TODO: a more (memory-)efficient implementation of this
117
 
    objects = {}
118
 
    for o in object_iter:
119
 
        objects[o.id] = o
 
149
    graph = []
120
150
    root_trees = {}
 
151
    revisions = {}
121
152
    # Find and convert commit objects
122
 
    for o in objects.iterkeys():
 
153
    for o in object_iter.iterobjects():
123
154
        if isinstance(o, Commit):
124
155
            rev = mapping.import_commit(o)
125
 
            root_trees[rev] = objects[o.tree_sha]
 
156
            root_trees[rev.revision_id] = object_iter[o.tree]
 
157
            revisions[rev.revision_id] = rev
 
158
            graph.append((rev.revision_id, rev.parent_ids))
 
159
            target_git_object_retriever._idmap.add_entry(o.sha().hexdigest(), "commit", (rev.revision_id, o._tree))
 
160
    # Order the revisions
126
161
    # Create the inventory objects
127
 
    for rev, root_tree in root_trees.iteritems():
 
162
    for i, revid in enumerate(topo_sort(graph)):
 
163
        if pb is not None:
 
164
            pb.update("fetching revisions", i, len(graph))
 
165
        root_tree = root_trees[revid]
 
166
        rev = revisions[revid]
128
167
        # We have to do this here, since we have to walk the tree and 
129
168
        # we need to make sure to import the blobs / trees with the riht 
130
169
        # path; this may involve adding them more than once.
131
170
        inv = Inventory()
 
171
        inv.revision_id = rev.revision_id
132
172
        def lookup_object(sha):
133
 
            if sha in objects:
134
 
                return objects[sha]
135
 
            return reconstruct_git_object(repo, mapping, sha)
136
 
        import_git_tree(repo, mapping, "", tree, inv, lookup_object)
 
173
            if sha in object_iter:
 
174
                return object_iter[sha]
 
175
            return target_git_object_retriever[sha]
 
176
        parent_invs = [repo.get_inventory(r) for r in rev.parent_ids]
 
177
        import_git_tree(repo, mapping, "", root_tree, inv, parent_invs, 
 
178
            target_git_object_retriever, lookup_object)
137
179
        repo.add_revision(rev.revision_id, rev, inv)
138
180
 
139
181
 
140
 
def reconstruct_git_commit(repo, rev):
141
 
    raise NotImplementedError(self.reconstruct_git_commit)
142
 
 
143
 
 
144
 
def reconstruct_git_object(repo, mapping, sha):
145
 
    # Commit
146
 
    revid = mapping.revision_id_foreign_to_bzr(sha)
147
 
    try:
148
 
        rev = repo.get_revision(revid)
149
 
    except NoSuchRevision:
150
 
        pass
151
 
    else:
152
 
        return reconstruct_git_commit(rev)
153
 
 
154
 
    # TODO: Tree
155
 
    # TODO: Blob
156
 
    raise KeyError("No such object %s" % sha)
157
 
 
158
 
 
159
 
class InterGitRepository(InterRepository):
 
182
class InterGitNonGitRepository(InterRepository):
160
183
 
161
184
    _matching_repo_format = GitFormat()
162
185
 
168
191
        """See InterRepository.copy_content."""
169
192
        self.fetch(revision_id, pb, find_ghosts=False)
170
193
 
171
 
    def fetch(self, revision_id=None, pb=None, find_ghosts=False, 
172
 
              mapping=None):
173
 
        if mapping is None:
174
 
            mapping = self.source.get_mapping()
 
194
    def fetch_objects(self, determine_wants, mapping, pb=None):
175
195
        def progress(text):
176
 
            if pb is not None:
177
 
                pb.note("git: %s" % text)
178
 
            else:
179
 
                info("git: %s" % text)
180
 
        def determine_wants(heads):
181
 
            if revision_id is None:
182
 
                ret = heads.values()
183
 
            else:
184
 
                ret = [mapping.revision_id_bzr_to_foreign(revision_id)]
185
 
            return [rev for rev in ret if not self.target.has_revision(mapping.revision_id_foreign_to_bzr(rev))]
 
196
            pb.update("git: %s" % text.rstrip("\r\n"), 0, 0)
186
197
        graph_walker = BzrFetchGraphWalker(self.target, mapping)
187
 
        self.target.lock_write()
 
198
        create_pb = None
 
199
        if pb is None:
 
200
            create_pb = pb = ui.ui_factory.nested_progress_bar()
 
201
        target_git_object_retriever = GitObjectConverter(self.target, mapping)
 
202
        
188
203
        try:
189
 
            import_git_objects(self.target, mapping,
190
 
                self.source.fetch_objects(determine_wants, graph_walker, 
191
 
                    progress))
 
204
            self.target.lock_write()
 
205
            try:
 
206
                self.target.start_write_group()
 
207
                try:
 
208
                    objects_iter = self.source.fetch_objects(determine_wants, 
 
209
                                graph_walker, 
 
210
                                target_git_object_retriever.__getitem__, 
 
211
                                progress)
 
212
                    import_git_objects(self.target, mapping, objects_iter, 
 
213
                            target_git_object_retriever, pb)
 
214
                finally:
 
215
                    self.target.commit_write_group()
 
216
            finally:
 
217
                self.target.unlock()
192
218
        finally:
193
 
            self.target.unlock()
 
219
            if create_pb:
 
220
                create_pb.finished()
 
221
 
 
222
    def fetch(self, revision_id=None, pb=None, find_ghosts=False, 
 
223
              mapping=None, fetch_spec=None):
 
224
        self.fetch_refs(revision_id=revision_id, pb=pb, find_ghosts=find_ghosts,
 
225
                mapping=mapping, fetch_spec=fetch_spec)
 
226
 
 
227
    def fetch_refs(self, revision_id=None, pb=None, find_ghosts=False, 
 
228
              mapping=None, fetch_spec=None):
 
229
        if mapping is None:
 
230
            mapping = self.source.get_mapping()
 
231
        if revision_id is not None:
 
232
            interesting_heads = [revision_id]
 
233
        elif fetch_spec is not None:
 
234
            interesting_heads = fetch_spec.heads
 
235
        else:
 
236
            interesting_heads = None
 
237
        self._refs = {}
 
238
        def determine_wants(refs):
 
239
            self._refs = refs
 
240
            if interesting_heads is None:
 
241
                ret = [sha for (ref, sha) in refs.iteritems() if not ref.endswith("^{}")]
 
242
            else:
 
243
                ret = [mapping.revision_id_bzr_to_foreign(revid)[0] for revid in interesting_heads]
 
244
            return [rev for rev in ret if not self.target.has_revision(mapping.revision_id_foreign_to_bzr(rev))]
 
245
        self.fetch_objects(determine_wants, mapping, pb)
 
246
        return self._refs
194
247
 
195
248
    @staticmethod
196
249
    def is_compatible(source, target):
197
250
        """Be compatible with GitRepository."""
198
251
        # FIXME: Also check target uses VersionedFile
199
 
        return (isinstance(source, LocalGitRepository) and 
200
 
                target.supports_rich_root())
 
252
        return (isinstance(source, GitRepository) and 
 
253
                target.supports_rich_root() and
 
254
                not isinstance(target, GitRepository))
 
255
 
 
256
 
 
257
class InterGitRepository(InterRepository):
 
258
 
 
259
    _matching_repo_format = GitFormat()
 
260
 
 
261
    @staticmethod
 
262
    def _get_repo_format_to_test():
 
263
        return None
 
264
 
 
265
    def copy_content(self, revision_id=None, pb=None):
 
266
        """See InterRepository.copy_content."""
 
267
        self.fetch(revision_id, pb, find_ghosts=False)
 
268
 
 
269
    def fetch(self, revision_id=None, pb=None, find_ghosts=False, 
 
270
              mapping=None, fetch_spec=None):
 
271
        if mapping is None:
 
272
            mapping = self.source.get_mapping()
 
273
        def progress(text):
 
274
            info("git: %s", text)
 
275
        r = self.target._git
 
276
        if revision_id is not None:
 
277
            args = [mapping.revision_id_bzr_to_foreign(revision_id)[0]]
 
278
        elif fetch_spec is not None:
 
279
            args = [mapping.revision_id_bzr_to_foreign(revid)[0] for revid in fetch_spec.heads]
 
280
        if fetch_spec is None and revision_id is None:
 
281
            determine_wants = r.object_store.determine_wants_all
 
282
        else:
 
283
            determine_wants = lambda x: [y for y in args if not y in r.object_store]
 
284
 
 
285
        graphwalker = SimpleFetchGraphWalker(r.heads().values(), r.get_parents)
 
286
        f, commit = r.object_store.add_pack()
 
287
        try:
 
288
            self.source._git.fetch_pack(path, determine_wants, graphwalker, f.write, progress)
 
289
            f.close()
 
290
            commit()
 
291
        except:
 
292
            f.close()
 
293
            raise
 
294
 
 
295
    @staticmethod
 
296
    def is_compatible(source, target):
 
297
        """Be compatible with GitRepository."""
 
298
        return (isinstance(source, GitRepository) and 
 
299
                isinstance(target, GitRepository))