/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to fetch.py

Specify inventory and texts to inventory_to_tree_and_blobs rather than full repository.

Show diffs side-by-side

added added

removed removed

Lines of Context:
fetch.py
1
 
# Copyright (C) 2008 Canonical Ltd
 
1
# Copyright (C) 2008 Jelmer Vernooij <jelmer@samba.org>
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
 
from bzrlib import osutils, ui, urlutils
18
 
from bzrlib.errors import InvalidRevisionId
19
 
from bzrlib.inventory import Inventory
20
 
from bzrlib.repository import InterRepository
21
 
from bzrlib.trace import info
22
 
from bzrlib.tsort import topo_sort
23
 
 
24
 
from bzrlib.plugins.git import git
 
17
from cStringIO import (
 
18
    StringIO,
 
19
    )
 
20
import dulwich as git
 
21
from dulwich.client import (
 
22
    SimpleFetchGraphWalker,
 
23
    )
 
24
from dulwich.objects import (
 
25
    Commit,
 
26
    Tag,
 
27
    )
 
28
 
 
29
from bzrlib import (
 
30
    debug,
 
31
    osutils,
 
32
    trace,
 
33
    ui,
 
34
    urlutils,
 
35
    )
 
36
from bzrlib.errors import (
 
37
    InvalidRevisionId,
 
38
    NoSuchRevision,
 
39
    )
 
40
from bzrlib.inventory import (
 
41
    Inventory,
 
42
    InventoryDirectory,
 
43
    InventoryFile,
 
44
    InventoryLink,
 
45
    )
 
46
from bzrlib.lru_cache import (
 
47
    LRUCache,
 
48
    )
 
49
from bzrlib.repository import (
 
50
    InterRepository,
 
51
    )
 
52
from bzrlib.revision import (
 
53
    NULL_REVISION,
 
54
    )
 
55
from bzrlib.tsort import (
 
56
    topo_sort,
 
57
    )
 
58
 
 
59
from bzrlib.plugins.git.converter import (
 
60
    BazaarObjectStore,
 
61
    )
 
62
from bzrlib.plugins.git.mapping import (
 
63
    DEFAULT_FILE_MODE,
 
64
    DEFAULT_TREE_MODE,
 
65
    DEFAULT_SYMLINK_MODE,
 
66
    text_to_blob,
 
67
    )
25
68
from bzrlib.plugins.git.repository import (
26
 
        LocalGitRepository, 
27
 
        GitRepository, 
28
 
        GitFormat,
29
 
        )
30
 
from bzrlib.plugins.git.remote import RemoteGitRepository
31
 
 
32
 
from dulwich.objects import Commit
33
 
 
34
 
from cStringIO import StringIO
 
69
    LocalGitRepository, 
 
70
    GitRepository, 
 
71
    GitRepositoryFormat,
 
72
    )
 
73
from bzrlib.plugins.git.remote import (
 
74
    RemoteGitRepository,
 
75
    )
35
76
 
36
77
 
37
78
class BzrFetchGraphWalker(object):
 
79
    """GraphWalker implementation that uses a Bazaar repository."""
38
80
 
39
81
    def __init__(self, repository, mapping):
40
82
        self.repository = repository
43
85
        self.heads = set(repository.all_revision_ids())
44
86
        self.parents = {}
45
87
 
 
88
    def __iter__(self):
 
89
        return iter(self.next, None)
 
90
 
46
91
    def ack(self, sha):
47
92
        revid = self.mapping.revision_id_foreign_to_bzr(sha)
48
93
        self.remove(revid)
49
94
 
50
95
    def remove(self, revid):
51
96
        self.done.add(revid)
52
 
        if ref in self.heads:
 
97
        if revid in self.heads:
53
98
            self.heads.remove(revid)
54
99
        if revid in self.parents:
55
100
            for p in self.parents[revid]:
63
108
            self.heads.update([p for p in ps if not p in self.done])
64
109
            try:
65
110
                self.done.add(ret)
66
 
                return self.mapping.revision_id_bzr_to_foreign(ret)
 
111
                return self.mapping.revision_id_bzr_to_foreign(ret)[0]
67
112
            except InvalidRevisionId:
68
113
                pass
69
114
        return None
70
115
 
71
116
 
72
 
def import_git_blob(repo, mapping, path, blob, inv, parent_invs, executable):
 
117
def import_git_blob(texts, mapping, path, hexsha, base_inv, parent_id, 
 
118
    revision_id, parent_invs, shagitmap, lookup_object, executable, symlink):
73
119
    """Import a git blob object into a bzr repository.
74
120
 
75
 
    :param repo: bzr repository
 
121
    :param texts: VersionedFiles to add to
76
122
    :param path: Path in the tree
77
123
    :param blob: A git blob
 
124
    :return: Inventory delta for this file
78
125
    """
79
126
    file_id = mapping.generate_file_id(path)
80
 
    text_revision = inv.revision_id
81
 
    repo.texts.add_lines((file_id, text_revision),
82
 
        [(file_id, p[file_id].revision) for p in parent_invs if file_id in p],
83
 
        osutils.split_lines(blob.data))
84
 
    ie = inv.add_path(path, "file", file_id)
85
 
    ie.revision = text_revision
86
 
    ie.text_size = len(blob.data)
87
 
    ie.text_sha1 = osutils.sha_string(blob.data)
 
127
    if symlink:
 
128
        cls = InventoryLink
 
129
    else:
 
130
        cls = InventoryFile
 
131
    # We just have to hope this is indeed utf-8:
 
132
    ie = cls(file_id, urlutils.basename(path).decode("utf-8"), 
 
133
                parent_id)
88
134
    ie.executable = executable
89
 
 
90
 
 
91
 
def import_git_tree(repo, mapping, path, tree, inv, parent_invs, lookup_object):
 
135
    # See if this has changed at all
 
136
    try:
 
137
        base_sha = shagitmap.lookup_blob(file_id, base_inv.revision_id)
 
138
    except KeyError:
 
139
        base_sha = None
 
140
    else:
 
141
        if (base_sha == hexsha and base_inv[file_id].executable == ie.executable
 
142
            and base_inv[file_id].kind == ie.kind):
 
143
            # If nothing has changed since the base revision, we're done
 
144
            return []
 
145
    if base_sha == hexsha:
 
146
        ie.text_size = base_inv[file_id].text_size
 
147
        ie.text_sha1 = base_inv[file_id].text_sha1
 
148
        ie.symlink_target = base_inv[file_id].symlink_target
 
149
        ie.revision = base_inv[file_id].revision
 
150
    else:
 
151
        blob = lookup_object(hexsha)
 
152
        if ie.kind == "symlink":
 
153
            ie.symlink_target = blob.data
 
154
            ie.text_size = None
 
155
            ie.text_sha1 = None
 
156
        else:
 
157
            ie.text_size = len(blob.data)
 
158
            ie.text_sha1 = osutils.sha_string(blob.data)
 
159
    # Check what revision we should store
 
160
    parent_keys = []
 
161
    for pinv in parent_invs:
 
162
        if not file_id in pinv:
 
163
            continue
 
164
        if pinv[file_id].text_sha1 == ie.text_sha1:
 
165
            # found a revision in one of the parents to use
 
166
            ie.revision = pinv[file_id].revision
 
167
            break
 
168
        parent_keys.append((file_id, pinv[file_id].revision))
 
169
    if ie.revision is None:
 
170
        # Need to store a new revision
 
171
        ie.revision = revision_id
 
172
        assert file_id is not None
 
173
        assert ie.revision is not None
 
174
        texts.add_lines((file_id, ie.revision), parent_keys,
 
175
            osutils.split_lines(blob.data))
 
176
        if "verify" in debug.debug_flags:
 
177
            assert text_to_blob(blob.data).id == hexsha
 
178
        shagitmap.add_entry(hexsha, "blob", (ie.file_id, ie.revision))
 
179
    if file_id in base_inv:
 
180
        old_path = base_inv.id2path(file_id)
 
181
    else:
 
182
        old_path = None
 
183
    return [(old_path, path, file_id, ie)]
 
184
 
 
185
 
 
186
def import_git_tree(texts, mapping, path, hexsha, base_inv, parent_id, 
 
187
    revision_id, parent_invs, shagitmap, lookup_object):
92
188
    """Import a git tree object into a bzr repository.
93
189
 
94
 
    :param repo: A Bzr repository object
 
190
    :param texts: VersionedFiles object to add to
95
191
    :param path: Path in the tree
96
192
    :param tree: A git tree object
97
 
    :param inv: Inventory object
 
193
    :param base_inv: Base inventory against which to return inventory delta
 
194
    :return: Inventory delta for this subtree
98
195
    """
 
196
    invdelta = []
99
197
    file_id = mapping.generate_file_id(path)
100
 
    text_revision = inv.revision_id
101
 
    repo.texts.add_lines((file_id, text_revision),
102
 
        [(file_id, p[file_id].revision) for p in parent_invs if file_id in p],
103
 
        [])
104
 
    ie = inv.add_path(path, "directory", file_id)
105
 
    ie.revision = text_revision
 
198
    # We just have to hope this is indeed utf-8:
 
199
    ie = InventoryDirectory(file_id, urlutils.basename(path.decode("utf-8")), 
 
200
        parent_id)
 
201
    if not file_id in base_inv:
 
202
        # Newly appeared here
 
203
        ie.revision = revision_id
 
204
        texts.add_lines((file_id, ie.revision), [], [])
 
205
        invdelta.append((None, path, file_id, ie))
 
206
    else:
 
207
        # See if this has changed at all
 
208
        try:
 
209
            base_sha = shagitmap.lookup_tree(file_id, base_inv.revision_id)
 
210
        except KeyError:
 
211
            pass
 
212
        else:
 
213
            if base_sha == hexsha:
 
214
                # If nothing has changed since the base revision, we're done
 
215
                return [], {}
 
216
    # Remember for next time
 
217
    existing_children = set()
 
218
    if "verify" in debug.debug_flags:
 
219
        # FIXME:
 
220
        assert False
 
221
    shagitmap.add_entry(hexsha, "tree", (file_id, revision_id))
 
222
    child_modes = {}
 
223
    tree = lookup_object(hexsha)
106
224
    for mode, name, hexsha in tree.entries():
107
225
        entry_kind = (mode & 0700000) / 0100000
108
226
        basename = name.decode("utf-8")
109
 
        if path == "":
110
 
            child_path = name
111
 
        else:
112
 
            child_path = urlutils.join(path, name)
 
227
        existing_children.add(basename)
 
228
        child_path = osutils.pathjoin(path, name)
113
229
        if entry_kind == 0:
114
 
            tree = lookup_object(hexsha)
115
 
            import_git_tree(repo, mapping, child_path, tree, inv, parent_invs, lookup_object)
 
230
            if mode != DEFAULT_TREE_MODE:
 
231
                child_modes[child_path] = mode
 
232
            subinvdelta, grandchildmodes = import_git_tree(texts, mapping, child_path, hexsha, 
 
233
                base_inv, file_id, revision_id, parent_invs, shagitmap, 
 
234
                lookup_object)
 
235
            invdelta.extend(subinvdelta)
 
236
            child_modes.update(grandchildmodes)
116
237
        elif entry_kind == 1:
117
 
            blob = lookup_object(hexsha)
118
238
            fs_mode = mode & 0777
119
 
            import_git_blob(repo, mapping, child_path, blob, inv, parent_invs, bool(fs_mode & 0111))
 
239
            file_kind = (mode & 070000) / 010000
 
240
            if file_kind == 0: # regular file
 
241
                symlink = False
 
242
                if mode not in (DEFAULT_FILE_MODE, DEFAULT_FILE_MODE|0111):
 
243
                    child_modes[child_path] = mode
 
244
            elif file_kind == 2:
 
245
                symlink = True
 
246
                if mode != DEFAULT_SYMLINK_MODE:
 
247
                    child_modes[child_path] = mode
 
248
            else:
 
249
                raise AssertionError("Unknown file kind, mode=%r" % (mode,))
 
250
            subinvdelta = import_git_blob(texts, mapping, child_path, hexsha,
 
251
                    base_inv, file_id, revision_id, parent_invs, shagitmap, 
 
252
                    lookup_object, bool(fs_mode & 0111), symlink)
 
253
            invdelta.extend(subinvdelta)
120
254
        else:
121
 
            raise AssertionError("Unknown blob kind, perms=%r." % (mode,))
122
 
 
123
 
 
124
 
def import_git_objects(repo, mapping, object_iter, pb=None):
 
255
            raise AssertionError("Unknown object kind, perms=%r." % (mode,))
 
256
    # Remove any children that have disappeared
 
257
    if file_id in base_inv:
 
258
        deletable = [v for k,v in base_inv[file_id].children.iteritems() if k not in existing_children]
 
259
        while deletable:
 
260
            ie = deletable.pop()
 
261
            invdelta.append((base_inv.id2path(ie.file_id), None, ie.file_id, None))
 
262
            if ie.kind == "directory":
 
263
                deletable.extend(ie.children.values())
 
264
    return invdelta, child_modes
 
265
 
 
266
 
 
267
def import_git_objects(repo, mapping, object_iter, target_git_object_retriever, 
 
268
        heads, pb=None):
125
269
    """Import a set of git objects into a bzr repository.
126
270
 
127
271
    :param repo: Bazaar repository
129
273
    :param object_iter: Iterator over Git objects.
130
274
    """
131
275
    # TODO: a more (memory-)efficient implementation of this
132
 
    objects = {}
133
 
    for i, o in enumerate(object_iter):
134
 
        if pb is not None:
135
 
            pb.update("fetching objects", i) 
136
 
        objects[o.id] = o
137
276
    graph = []
138
277
    root_trees = {}
139
278
    revisions = {}
 
279
    checked = set()
 
280
    heads = list(heads)
 
281
    parent_invs_cache = LRUCache(50)
140
282
    # Find and convert commit objects
141
 
    for o in objects.itervalues():
 
283
    while heads:
 
284
        if pb is not None:
 
285
            pb.update("finding revisions to fetch", len(graph), None)
 
286
        head = heads.pop()
 
287
        assert isinstance(head, str)
 
288
        try:
 
289
            o = object_iter[head]
 
290
        except KeyError:
 
291
            continue
142
292
        if isinstance(o, Commit):
143
293
            rev = mapping.import_commit(o)
144
 
            root_trees[rev.revision_id] = objects[o.tree]
 
294
            if repo.has_revision(rev.revision_id):
 
295
                continue
 
296
            root_trees[rev.revision_id] = o.tree
145
297
            revisions[rev.revision_id] = rev
146
298
            graph.append((rev.revision_id, rev.parent_ids))
 
299
            target_git_object_retriever._idmap.add_entry(o.sha().hexdigest(),
 
300
                "commit", (rev.revision_id, o._tree))
 
301
            heads.extend([p for p in o.parents if p not in checked])
 
302
        elif isinstance(o, Tag):
 
303
            heads.append(o.object[1])
 
304
        else:
 
305
            trace.warning("Unable to import head object %r" % o)
 
306
        checked.add(head)
147
307
    # Order the revisions
148
308
    # Create the inventory objects
149
309
    for i, revid in enumerate(topo_sort(graph)):
150
310
        if pb is not None:
151
311
            pb.update("fetching revisions", i, len(graph))
152
 
        root_tree = root_trees[revid]
153
312
        rev = revisions[revid]
154
313
        # We have to do this here, since we have to walk the tree and 
155
 
        # we need to make sure to import the blobs / trees with the riht 
 
314
        # we need to make sure to import the blobs / trees with the right 
156
315
        # path; this may involve adding them more than once.
157
 
        inv = Inventory()
158
 
        inv.revision_id = rev.revision_id
159
316
        def lookup_object(sha):
160
 
            if sha in objects:
161
 
                return objects[sha]
162
 
            return reconstruct_git_object(repo, mapping, sha)
163
 
        parent_invs = [repo.get_inventory(r) for r in rev.parent_ids]
164
 
        import_git_tree(repo, mapping, "", root_tree, inv, parent_invs, lookup_object)
165
 
        repo.add_revision(rev.revision_id, rev, inv)
166
 
 
167
 
 
168
 
def reconstruct_git_commit(repo, rev):
169
 
    raise NotImplementedError(self.reconstruct_git_commit)
170
 
 
171
 
 
172
 
def reconstruct_git_object(repo, mapping, sha):
173
 
    # Commit
174
 
    revid = mapping.revision_id_foreign_to_bzr(sha)
175
 
    try:
176
 
        rev = repo.get_revision(revid)
177
 
    except NoSuchRevision:
178
 
        pass
179
 
    else:
180
 
        return reconstruct_git_commit(rev)
181
 
 
182
 
    # TODO: Tree
183
 
    # TODO: Blob
184
 
    raise KeyError("No such object %s" % sha)
 
317
            try:
 
318
                return object_iter[sha]
 
319
            except KeyError:
 
320
                return target_git_object_retriever[sha]
 
321
        parent_invs = []
 
322
        for parent_id in rev.parent_ids:
 
323
            try:
 
324
                parent_invs.append(parent_invs_cache[parent_id])
 
325
            except KeyError:
 
326
                parent_inv = repo.get_inventory(parent_id)
 
327
                parent_invs.append(parent_inv)
 
328
                parent_invs_cache[parent_id] = parent_inv
 
329
        if parent_invs == []:
 
330
            base_inv = Inventory(root_id=None)
 
331
        else:
 
332
            base_inv = parent_invs[0]
 
333
        inv_delta, unusual_modes = import_git_tree(repo.texts, mapping, "", 
 
334
            root_trees[revid], base_inv, None, revid, parent_invs, 
 
335
            target_git_object_retriever._idmap, lookup_object)
 
336
        if unusual_modes != {}:
 
337
            ret = "unusual modes: \n"
 
338
            for item in unusual_modes.iteritems():
 
339
                ret += "\t%s: %o\n" % item
 
340
            raise AssertionError(ret)
 
341
        try:
 
342
            basis_id = rev.parent_ids[0]
 
343
        except IndexError:
 
344
            basis_id = NULL_REVISION
 
345
        rev.inventory_sha1, inv = repo.add_inventory_by_delta(basis_id,
 
346
                  inv_delta, rev.revision_id, rev.parent_ids)
 
347
        parent_invs_cache[rev.revision_id] = inv
 
348
        repo.add_revision(rev.revision_id, rev)
 
349
    target_git_object_retriever._idmap.commit()
 
350
 
 
351
 
 
352
class InterGitNonGitRepository(InterRepository):
 
353
    """Base InterRepository that copies revisions from a Git into a non-Git 
 
354
    repository."""
 
355
 
 
356
    _matching_repo_format = GitRepositoryFormat()
 
357
 
 
358
    @staticmethod
 
359
    def _get_repo_format_to_test():
 
360
        return None
 
361
 
 
362
    def copy_content(self, revision_id=None, pb=None):
 
363
        """See InterRepository.copy_content."""
 
364
        self.fetch(revision_id, pb, find_ghosts=False)
 
365
 
 
366
    def fetch(self, revision_id=None, pb=None, find_ghosts=False, mapping=None,
 
367
            fetch_spec=None):
 
368
        self.fetch_refs(revision_id=revision_id, pb=pb, find_ghosts=find_ghosts,
 
369
                mapping=mapping, fetch_spec=fetch_spec)
 
370
 
 
371
    def fetch_refs(self, revision_id=None, pb=None, find_ghosts=False, 
 
372
              mapping=None, fetch_spec=None):
 
373
        if mapping is None:
 
374
            mapping = self.source.get_mapping()
 
375
        if revision_id is not None:
 
376
            interesting_heads = [revision_id]
 
377
        elif fetch_spec is not None:
 
378
            interesting_heads = fetch_spec.heads
 
379
        else:
 
380
            interesting_heads = None
 
381
        self._refs = {}
 
382
        def determine_wants(refs):
 
383
            self._refs = refs
 
384
            if interesting_heads is None:
 
385
                ret = [sha for (ref, sha) in refs.iteritems() if not ref.endswith("^{}")]
 
386
            else:
 
387
                ret = [mapping.revision_id_bzr_to_foreign(revid)[0] for revid in interesting_heads if revid != NULL_REVISION]
 
388
            return [rev for rev in ret if not self.target.has_revision(mapping.revision_id_foreign_to_bzr(rev))]
 
389
        self.fetch_objects(determine_wants, mapping, pb)
 
390
        return self._refs
 
391
 
 
392
 
 
393
 
 
394
class InterRemoteGitNonGitRepository(InterGitNonGitRepository):
 
395
    """InterRepository that copies revisions from a remote Git into a non-Git 
 
396
    repository."""
 
397
 
 
398
    def fetch_objects(self, determine_wants, mapping, pb=None):
 
399
        def progress(text):
 
400
            pb.update("git: %s" % text.rstrip("\r\n"), 0, 0)
 
401
        graph_walker = BzrFetchGraphWalker(self.target, mapping)
 
402
        create_pb = None
 
403
        if pb is None:
 
404
            create_pb = pb = ui.ui_factory.nested_progress_bar()
 
405
        target_git_object_retriever = BazaarObjectStore(self.target, mapping)
 
406
        recorded_wants = []
 
407
 
 
408
        def record_determine_wants(heads):
 
409
            wants = determine_wants(heads)
 
410
            recorded_wants.extend(wants)
 
411
            return wants
 
412
        
 
413
        try:
 
414
            self.target.lock_write()
 
415
            try:
 
416
                self.target.start_write_group()
 
417
                try:
 
418
                    objects_iter = self.source.fetch_objects(
 
419
                                record_determine_wants, 
 
420
                                graph_walker, 
 
421
                                target_git_object_retriever.get_raw, 
 
422
                                progress)
 
423
                    import_git_objects(self.target, mapping, objects_iter, 
 
424
                            target_git_object_retriever, recorded_wants, pb)
 
425
                finally:
 
426
                    self.target.commit_write_group()
 
427
            finally:
 
428
                self.target.unlock()
 
429
        finally:
 
430
            if create_pb:
 
431
                create_pb.finished()
 
432
 
 
433
    @staticmethod
 
434
    def is_compatible(source, target):
 
435
        """Be compatible with GitRepository."""
 
436
        # FIXME: Also check target uses VersionedFile
 
437
        return (isinstance(source, RemoteGitRepository) and 
 
438
                target.supports_rich_root() and
 
439
                not isinstance(target, GitRepository))
 
440
 
 
441
 
 
442
class InterLocalGitNonGitRepository(InterGitNonGitRepository):
 
443
    """InterRepository that copies revisions from a remote Git into a non-Git 
 
444
    repository."""
 
445
 
 
446
    def fetch_objects(self, determine_wants, mapping, pb=None):
 
447
        wants = determine_wants(self.source._git.get_refs())
 
448
        create_pb = None
 
449
        if pb is None:
 
450
            create_pb = pb = ui.ui_factory.nested_progress_bar()
 
451
        target_git_object_retriever = BazaarObjectStore(self.target, mapping)
 
452
        try:
 
453
            self.target.lock_write()
 
454
            try:
 
455
                self.target.start_write_group()
 
456
                try:
 
457
                    import_git_objects(self.target, mapping, 
 
458
                            self.source._git.object_store, 
 
459
                            target_git_object_retriever, wants, pb)
 
460
                finally:
 
461
                    self.target.commit_write_group()
 
462
            finally:
 
463
                self.target.unlock()
 
464
        finally:
 
465
            if create_pb:
 
466
                create_pb.finished()
 
467
 
 
468
    @staticmethod
 
469
    def is_compatible(source, target):
 
470
        """Be compatible with GitRepository."""
 
471
        # FIXME: Also check target uses VersionedFile
 
472
        return (isinstance(source, LocalGitRepository) and 
 
473
                target.supports_rich_root() and
 
474
                not isinstance(target, GitRepository))
185
475
 
186
476
 
187
477
class InterGitRepository(InterRepository):
 
478
    """InterRepository that copies between Git repositories."""
188
479
 
189
 
    _matching_repo_format = GitFormat()
 
480
    _matching_repo_format = GitRepositoryFormat()
190
481
 
191
482
    @staticmethod
192
483
    def _get_repo_format_to_test():
197
488
        self.fetch(revision_id, pb, find_ghosts=False)
198
489
 
199
490
    def fetch(self, revision_id=None, pb=None, find_ghosts=False, 
200
 
              mapping=None):
 
491
              mapping=None, fetch_spec=None):
201
492
        if mapping is None:
202
493
            mapping = self.source.get_mapping()
203
494
        def progress(text):
204
 
            pb.note("git: %s", text)
205
 
        def determine_wants(heads):
206
 
            if revision_id is None:
207
 
                ret = heads.values()
208
 
            else:
209
 
                ret = [mapping.revision_id_bzr_to_foreign(revision_id)]
210
 
            return [rev for rev in ret if not self.target.has_revision(mapping.revision_id_foreign_to_bzr(rev))]
211
 
        graph_walker = BzrFetchGraphWalker(self.target, mapping)
212
 
        create_pb = None
213
 
        if pb is None:
214
 
            create_pb = pb = ui.ui_factory.nested_progress_bar()
 
495
            trace.info("git: %s", text)
 
496
        r = self.target._git
 
497
        if revision_id is not None:
 
498
            args = [mapping.revision_id_bzr_to_foreign(revision_id)[0]]
 
499
        elif fetch_spec is not None:
 
500
            args = [mapping.revision_id_bzr_to_foreign(revid)[0] for revid in fetch_spec.heads]
 
501
        if fetch_spec is None and revision_id is None:
 
502
            determine_wants = r.object_store.determine_wants_all
 
503
        else:
 
504
            determine_wants = lambda x: [y for y in args if not y in r.object_store]
 
505
 
 
506
        graphwalker = SimpleFetchGraphWalker(r.heads().values(), r.get_parents)
 
507
        f, commit = r.object_store.add_thin_pack()
215
508
        try:
216
 
            self.target.lock_write()
217
 
            try:
218
 
                self.target.start_write_group()
219
 
                try:
220
 
                    import_git_objects(self.target, mapping,
221
 
                        iter(self.source.fetch_objects(determine_wants, graph_walker, 
222
 
                            progress)), pb)
223
 
                finally:
224
 
                    self.target.commit_write_group()
225
 
            finally:
226
 
                self.target.unlock()
227
 
        finally:
228
 
            if create_pb:
229
 
                create_pb.finished()
 
509
            self.source.fetch_pack(determine_wants, graphwalker, f.write, progress)
 
510
            commit()
 
511
        except:
 
512
            f.close()
 
513
            raise
230
514
 
231
515
    @staticmethod
232
516
    def is_compatible(source, target):
233
517
        """Be compatible with GitRepository."""
234
 
        # FIXME: Also check target uses VersionedFile
235
518
        return (isinstance(source, GitRepository) and 
236
 
                target.supports_rich_root())
 
519
                isinstance(target, GitRepository))