/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to fetch.py

Fix teardown of object store tests.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2008 Canonical Ltd
 
1
# Copyright (C) 2008-2010 Jelmer Vernooij <jelmer@samba.org>
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
 
from bzrlib import osutils
18
 
from bzrlib.errors import InvalidRevisionId
19
 
from bzrlib.inventory import Inventory
20
 
from bzrlib.repository import InterRepository
21
 
from bzrlib.trace import info
22
 
 
23
 
from bzrlib.plugins.git import git
24
 
from bzrlib.plugins.git.repository import LocalGitRepository, GitRepository, GitFormat
25
 
from bzrlib.plugins.git.remote import RemoteGitRepository
26
 
 
27
 
from dulwich.objects import Commit
28
 
 
29
 
from cStringIO import StringIO
30
 
 
31
 
 
32
 
class BzrFetchGraphWalker(object):
33
 
 
34
 
    def __init__(self, repository, mapping):
35
 
        self.repository = repository
36
 
        self.mapping = mapping
37
 
        self.done = set()
38
 
        self.heads = set(repository.all_revision_ids())
39
 
        self.parents = {}
40
 
 
41
 
    def ack(self, sha):
42
 
        revid = self.mapping.revision_id_foreign_to_bzr(sha)
43
 
        self.remove(revid)
44
 
 
45
 
    def remove(self, revid):
46
 
        self.done.add(revid)
47
 
        if ref in self.heads:
48
 
            self.heads.remove(revid)
49
 
        if revid in self.parents:
50
 
            for p in self.parents[revid]:
51
 
                self.remove(p)
52
 
 
53
 
    def next(self):
54
 
        while self.heads:
55
 
            ret = self.heads.pop()
56
 
            ps = self.repository.get_parent_map([ret])[ret]
57
 
            self.parents[ret] = ps
58
 
            self.heads.update([p for p in ps if not p in self.done])
59
 
            try:
60
 
                self.done.add(ret)
61
 
                return self.mapping.revision_id_bzr_to_foreign(ret)
62
 
            except InvalidRevisionId:
63
 
                pass
64
 
        return None
65
 
 
66
 
 
67
 
def import_git_blob(repo, mapping, path, blob):
 
17
from dulwich.objects import (
 
18
    Commit,
 
19
    Tag,
 
20
    Tree,
 
21
    S_ISGITLINK,
 
22
    )
 
23
from dulwich.object_store import (
 
24
    tree_lookup_path,
 
25
    )
 
26
from itertools import (
 
27
    imap,
 
28
    )
 
29
import posixpath
 
30
import re
 
31
import stat
 
32
 
 
33
from bzrlib import (
 
34
    debug,
 
35
    osutils,
 
36
    trace,
 
37
    ui,
 
38
    )
 
39
from bzrlib.errors import (
 
40
    BzrError,
 
41
    NoSuchId,
 
42
    )
 
43
from bzrlib.inventory import (
 
44
    Inventory,
 
45
    InventoryDirectory,
 
46
    InventoryFile,
 
47
    InventoryLink,
 
48
    TreeReference,
 
49
    )
 
50
from bzrlib.repository import (
 
51
    InterRepository,
 
52
    )
 
53
from bzrlib.revision import (
 
54
    NULL_REVISION,
 
55
    )
 
56
from bzrlib.revisiontree import (
 
57
    RevisionTree,
 
58
    )
 
59
from bzrlib.testament import (
 
60
    StrictTestament3,
 
61
    )
 
62
from bzrlib.tsort import (
 
63
    topo_sort,
 
64
    )
 
65
from bzrlib.versionedfile import (
 
66
    ChunkedContentFactory,
 
67
    )
 
68
 
 
69
from bzrlib.plugins.git.mapping import (
 
70
    DEFAULT_FILE_MODE,
 
71
    mode_is_executable,
 
72
    mode_kind,
 
73
    warn_unusual_mode,
 
74
    )
 
75
from bzrlib.plugins.git.object_store import (
 
76
    BazaarObjectStore,
 
77
    LRUTreeCache,
 
78
    _tree_to_objects,
 
79
    )
 
80
from bzrlib.plugins.git.remote import (
 
81
    RemoteGitRepository,
 
82
    )
 
83
from bzrlib.plugins.git.repository import (
 
84
    GitRepository,
 
85
    GitRepositoryFormat,
 
86
    LocalGitRepository,
 
87
    )
 
88
 
 
89
 
 
90
def import_git_blob(texts, mapping, path, name, (base_hexsha, hexsha), 
 
91
        base_inv, parent_id, revision_id,
 
92
        parent_invs, lookup_object, (base_mode, mode), store_updater,
 
93
        lookup_file_id):
68
94
    """Import a git blob object into a bzr repository.
69
95
 
70
 
    :param repo: bzr repository
 
96
    :param texts: VersionedFiles to add to
71
97
    :param path: Path in the tree
72
98
    :param blob: A git blob
73
 
    """
74
 
    file_id = mapping.generate_file_id(path)
75
 
    repo.texts.add_lines((file_id, blob.id),
76
 
        [], #FIXME 
77
 
        osutils.split_lines(blob.data))
78
 
    inv.add_path(path, "file", file_id)
79
 
 
80
 
 
81
 
def import_git_tree(repo, mapping, path, tree, inv, lookup_object):
 
99
    :return: Inventory delta for this file
 
100
    """
 
101
    if mapping.is_control_file(path):
 
102
        return []
 
103
    if base_hexsha == hexsha and base_mode == mode:
 
104
        # If nothing has changed since the base revision, we're done
 
105
        return []
 
106
    file_id = lookup_file_id(path)
 
107
    if stat.S_ISLNK(mode):
 
108
        cls = InventoryLink
 
109
    else:
 
110
        cls = InventoryFile
 
111
    ie = cls(file_id, name.decode("utf-8"), parent_id)
 
112
    if ie.kind == "file":
 
113
        ie.executable = mode_is_executable(mode)
 
114
    if base_hexsha == hexsha and mode_kind(base_mode) == mode_kind(mode):
 
115
        base_ie = base_inv[base_inv.path2id(path)]
 
116
        ie.text_size = base_ie.text_size
 
117
        ie.text_sha1 = base_ie.text_sha1
 
118
        if ie.kind == "symlink":
 
119
            ie.symlink_target = base_ie.symlink_target
 
120
        if ie.executable == base_ie.executable:
 
121
            ie.revision = base_ie.revision
 
122
        else:
 
123
            blob = lookup_object(hexsha)
 
124
    else:
 
125
        blob = lookup_object(hexsha)
 
126
        if ie.kind == "symlink":
 
127
            ie.revision = None
 
128
            ie.symlink_target = blob.data
 
129
        else:
 
130
            ie.text_size = sum(imap(len, blob.chunked))
 
131
            ie.text_sha1 = osutils.sha_strings(blob.chunked)
 
132
    # Check what revision we should store
 
133
    parent_keys = []
 
134
    for pinv in parent_invs:
 
135
        try:
 
136
            pie = pinv[file_id]
 
137
        except NoSuchId:
 
138
            continue
 
139
        if (pie.text_sha1 == ie.text_sha1 and
 
140
            pie.executable == ie.executable and
 
141
            pie.symlink_target == ie.symlink_target):
 
142
            # found a revision in one of the parents to use
 
143
            ie.revision = pie.revision
 
144
            break
 
145
        parent_key = (file_id, pie.revision)
 
146
        if not parent_key in parent_keys:
 
147
            parent_keys.append(parent_key)
 
148
    if ie.revision is None:
 
149
        # Need to store a new revision
 
150
        ie.revision = revision_id
 
151
        assert ie.revision is not None
 
152
        if ie.kind == 'symlink':
 
153
            chunks = []
 
154
        else: 
 
155
            chunks = blob.chunked
 
156
        texts.insert_record_stream([
 
157
            ChunkedContentFactory((file_id, ie.revision),
 
158
                tuple(parent_keys), ie.text_sha1, chunks)])
 
159
    invdelta = []
 
160
    if base_hexsha is not None:
 
161
        old_path = path.decode("utf-8") # Renames are not supported yet
 
162
        if stat.S_ISDIR(base_mode):
 
163
            invdelta.extend(remove_disappeared_children(base_inv, old_path,
 
164
                lookup_object(base_hexsha), [], lookup_object))
 
165
    else:
 
166
        old_path = None
 
167
    new_path = path.decode("utf-8")
 
168
    invdelta.append((old_path, new_path, file_id, ie))
 
169
    if base_hexsha != hexsha:
 
170
        store_updater.add_object(blob, ie, path)
 
171
    return invdelta
 
172
 
 
173
 
 
174
class SubmodulesRequireSubtrees(BzrError):
 
175
    _fmt = """The repository you are fetching from contains submodules. To continue, upgrade your Bazaar repository to a format that supports nested trees, such as 'development-subtree'."""
 
176
    internal = False
 
177
 
 
178
 
 
179
def import_git_submodule(texts, mapping, path, name, (base_hexsha, hexsha),
 
180
    base_inv, parent_id, revision_id, parent_invs, lookup_object,
 
181
    (base_mode, mode), store_updater, lookup_file_id):
 
182
    if base_hexsha == hexsha and base_mode == mode:
 
183
        return [], {}
 
184
    file_id = lookup_file_id(path)
 
185
    ie = TreeReference(file_id, name.decode("utf-8"), parent_id)
 
186
    ie.revision = revision_id
 
187
    if base_hexsha is None:
 
188
        oldpath = None
 
189
    else:
 
190
        oldpath = path
 
191
    ie.reference_revision = mapping.revision_id_foreign_to_bzr(hexsha)
 
192
    texts.insert_record_stream([
 
193
        ChunkedContentFactory((file_id, ie.revision), (), None, [])])
 
194
    invdelta = [(oldpath, path, file_id, ie)]
 
195
    return invdelta, {}
 
196
 
 
197
 
 
198
def remove_disappeared_children(base_inv, path, base_tree, existing_children,
 
199
        lookup_object):
 
200
    """Generate an inventory delta for removed children.
 
201
 
 
202
    :param base_inv: Base inventory against which to generate the 
 
203
        inventory delta.
 
204
    :param path: Path to process (unicode)
 
205
    :param base_tree: Git Tree base object
 
206
    :param existing_children: Children that still exist
 
207
    :param lookup_object: Lookup a git object by its SHA1
 
208
    :return: Inventory delta, as list
 
209
    """
 
210
    assert type(path) is unicode
 
211
    ret = []
 
212
    for name, mode, hexsha in base_tree.iteritems():
 
213
        if name in existing_children:
 
214
            continue
 
215
        c_path = posixpath.join(path, name.decode("utf-8"))
 
216
        file_id = base_inv.path2id(c_path)
 
217
        assert file_id is not None
 
218
        ret.append((c_path, None, file_id, None))
 
219
        if stat.S_ISDIR(mode):
 
220
            ret.extend(remove_disappeared_children(
 
221
                base_inv, c_path, lookup_object(hexsha), [], lookup_object))
 
222
    return ret
 
223
 
 
224
 
 
225
def import_git_tree(texts, mapping, path, name, (base_hexsha, hexsha),
 
226
        base_inv, parent_id, revision_id, parent_invs,
 
227
        lookup_object, (base_mode, mode), store_updater,
 
228
        lookup_file_id, allow_submodules=False):
82
229
    """Import a git tree object into a bzr repository.
83
230
 
84
 
    :param repo: A Bzr repository object
85
 
    :param path: Path in the tree
 
231
    :param texts: VersionedFiles object to add to
 
232
    :param path: Path in the tree (str)
 
233
    :param name: Name of the tree (str)
86
234
    :param tree: A git tree object
87
 
    :param inv: Inventory object
 
235
    :param base_inv: Base inventory against which to return inventory delta
 
236
    :return: Inventory delta for this subtree
88
237
    """
89
 
    file_id = mapping.generate_file_id(path)
90
 
    repo.texts.add_lines((file_id, tree.id),
91
 
        [], #FIXME 
92
 
        [])
93
 
    inv.add_path(path, "directory", file_id)
94
 
    for mode, name, hexsha in tree.entries():
95
 
        entry_kind = (mode & 0700000) / 0100000
96
 
        basename = name.decode("utf-8")
97
 
        if path == "":
98
 
            child_path = name
99
 
        else:
100
 
            child_path = urlutils.join(path, name)
101
 
        if entry_kind == 0:
102
 
            import_git_tree(repo, mapping, child_path, lookup_object, inv)
103
 
        elif entry_kind == 1:
104
 
            import_git_blob(repo, mapping, child_path, lookup_object, inv)
105
 
        else:
106
 
            raise AssertionError("Unknown blob kind, perms=%r." % (mode,))
107
 
 
108
 
 
109
 
def import_git_objects(repo, mapping, object_iter):
 
238
    assert type(path) is str
 
239
    assert type(name) is str
 
240
    if base_hexsha == hexsha and base_mode == mode:
 
241
        # If nothing has changed since the base revision, we're done
 
242
        return [], {}
 
243
    invdelta = []
 
244
    file_id = lookup_file_id(path)
 
245
    # We just have to hope this is indeed utf-8:
 
246
    ie = InventoryDirectory(file_id, name.decode("utf-8"), parent_id)
 
247
    tree = lookup_object(hexsha)
 
248
    if base_hexsha is None:
 
249
        base_tree = None
 
250
        old_path = None # Newly appeared here
 
251
    else:
 
252
        base_tree = lookup_object(base_hexsha)
 
253
        old_path = path.decode("utf-8") # Renames aren't supported yet
 
254
    new_path = path.decode("utf-8")
 
255
    if base_tree is None or type(base_tree) is not Tree:
 
256
        ie.revision = revision_id
 
257
        invdelta.append((old_path, new_path, ie.file_id, ie))
 
258
        texts.insert_record_stream([
 
259
            ChunkedContentFactory((ie.file_id, ie.revision), (), None, [])])
 
260
    # Remember for next time
 
261
    existing_children = set()
 
262
    child_modes = {}
 
263
    for child_mode, name, child_hexsha in tree.entries():
 
264
        existing_children.add(name)
 
265
        child_path = posixpath.join(path, name)
 
266
        if type(base_tree) is Tree:
 
267
            try:
 
268
                child_base_mode, child_base_hexsha = base_tree[name]
 
269
            except KeyError:
 
270
                child_base_hexsha = None
 
271
                child_base_mode = 0
 
272
        else:
 
273
            child_base_hexsha = None
 
274
            child_base_mode = 0
 
275
        if stat.S_ISDIR(child_mode):
 
276
            subinvdelta, grandchildmodes = import_git_tree(texts, mapping,
 
277
                child_path, name, (child_base_hexsha, child_hexsha), base_inv,
 
278
                file_id, revision_id, parent_invs, lookup_object,
 
279
                (child_base_mode, child_mode), store_updater, lookup_file_id,
 
280
                allow_submodules=allow_submodules)
 
281
        elif S_ISGITLINK(child_mode): # submodule
 
282
            if not allow_submodules:
 
283
                raise SubmodulesRequireSubtrees()
 
284
            subinvdelta, grandchildmodes = import_git_submodule(texts, mapping,
 
285
                child_path, name, (child_base_hexsha, child_hexsha), base_inv,
 
286
                file_id, revision_id, parent_invs, lookup_object,
 
287
                (child_base_mode, child_mode), store_updater, lookup_file_id)
 
288
        else:
 
289
            subinvdelta = import_git_blob(texts, mapping, child_path, name,
 
290
                (child_base_hexsha, child_hexsha), base_inv, file_id,
 
291
                revision_id, parent_invs, lookup_object,
 
292
                (child_base_mode, child_mode), store_updater, lookup_file_id)
 
293
            grandchildmodes = {}
 
294
        child_modes.update(grandchildmodes)
 
295
        invdelta.extend(subinvdelta)
 
296
        if child_mode not in (stat.S_IFDIR, DEFAULT_FILE_MODE,
 
297
                        stat.S_IFLNK, DEFAULT_FILE_MODE|0111):
 
298
            child_modes[child_path] = child_mode
 
299
    # Remove any children that have disappeared
 
300
    if base_tree is not None and type(base_tree) is Tree:
 
301
        invdelta.extend(remove_disappeared_children(base_inv, old_path,
 
302
            base_tree, existing_children, lookup_object))
 
303
    store_updater.add_object(tree, ie, path)
 
304
    return invdelta, child_modes
 
305
 
 
306
 
 
307
def verify_commit_reconstruction(target_git_object_retriever, lookup_object,
 
308
    o, rev, ret_tree, parent_trees, mapping, unusual_modes, verifiers):
 
309
    new_unusual_modes = mapping.export_unusual_file_modes(rev)
 
310
    if new_unusual_modes != unusual_modes:
 
311
        raise AssertionError("unusual modes don't match: %r != %r" % (
 
312
            unusual_modes, new_unusual_modes))
 
313
    # Verify that we can reconstruct the commit properly
 
314
    rec_o = target_git_object_retriever._reconstruct_commit(rev, o.tree, True,
 
315
        verifiers)
 
316
    if rec_o != o:
 
317
        raise AssertionError("Reconstructed commit differs: %r != %r" % (
 
318
            rec_o, o))
 
319
    diff = []
 
320
    new_objs = {}
 
321
    for path, obj, ie in _tree_to_objects(ret_tree, parent_trees,
 
322
        target_git_object_retriever._cache.idmap, unusual_modes, mapping.BZR_DUMMY_FILE):
 
323
        old_obj_id = tree_lookup_path(lookup_object, o.tree, path)[1]
 
324
        new_objs[path] = obj
 
325
        if obj.id != old_obj_id:
 
326
            diff.append((path, lookup_object(old_obj_id), obj))
 
327
    for (path, old_obj, new_obj) in diff:
 
328
        while (old_obj.type_name == "tree" and
 
329
               new_obj.type_name == "tree" and
 
330
               sorted(old_obj) == sorted(new_obj)):
 
331
            for name in old_obj:
 
332
                if old_obj[name][0] != new_obj[name][0]:
 
333
                    raise AssertionError("Modes for %s differ: %o != %o" %
 
334
                        (path, old_obj[name][0], new_obj[name][0]))
 
335
                if old_obj[name][1] != new_obj[name][1]:
 
336
                    # Found a differing child, delve deeper
 
337
                    path = posixpath.join(path, name)
 
338
                    old_obj = lookup_object(old_obj[name][1])
 
339
                    new_obj = new_objs[path]
 
340
                    break
 
341
        raise AssertionError("objects differ for %s: %r != %r" % (path,
 
342
            old_obj, new_obj))
 
343
 
 
344
 
 
345
def import_git_commit(repo, mapping, head, lookup_object,
 
346
                      target_git_object_retriever, trees_cache):
 
347
    o = lookup_object(head)
 
348
    rev, roundtrip_revid, verifiers = mapping.import_commit(o,
 
349
            lambda x: target_git_object_retriever.lookup_git_sha(x)[1][0])
 
350
    # We have to do this here, since we have to walk the tree and
 
351
    # we need to make sure to import the blobs / trees with the right
 
352
    # path; this may involve adding them more than once.
 
353
    parent_trees = trees_cache.revision_trees(rev.parent_ids)
 
354
    if parent_trees == []:
 
355
        base_inv = Inventory(root_id=None)
 
356
        base_tree = None
 
357
        base_mode = None
 
358
    else:
 
359
        base_inv = parent_trees[0].inventory
 
360
        base_tree = lookup_object(o.parents[0]).tree
 
361
        base_mode = stat.S_IFDIR
 
362
    store_updater = target_git_object_retriever._get_updater(rev)
 
363
    fileid_map = mapping.get_fileid_map(lookup_object, o.tree)
 
364
    inv_delta, unusual_modes = import_git_tree(repo.texts,
 
365
            mapping, "", "", (base_tree, o.tree), base_inv,
 
366
            None, rev.revision_id, [p.inventory for p in parent_trees],
 
367
            lookup_object, (base_mode, stat.S_IFDIR), store_updater,
 
368
            fileid_map.lookup_file_id,
 
369
            allow_submodules=getattr(repo._format, "supports_tree_reference", False))
 
370
    if unusual_modes != {}:
 
371
        for path, mode in unusual_modes.iteritems():
 
372
            warn_unusual_mode(rev.foreign_revid, path, mode)
 
373
        mapping.import_unusual_file_modes(rev, unusual_modes)
 
374
    try:
 
375
        basis_id = rev.parent_ids[0]
 
376
    except IndexError:
 
377
        basis_id = NULL_REVISION
 
378
        base_inv = None
 
379
    rev.inventory_sha1, inv = repo.add_inventory_by_delta(basis_id,
 
380
              inv_delta, rev.revision_id, rev.parent_ids, base_inv)
 
381
    # Check verifiers
 
382
    testament = StrictTestament3(rev, inv)
 
383
    calculated_verifiers = { "testament3-sha1": testament.as_sha1() }
 
384
    if roundtrip_revid is not None:
 
385
        original_revid = rev.revision_id
 
386
        rev.revision_id = roundtrip_revid
 
387
        if calculated_verifiers != verifiers:
 
388
            trace.mutter("Testament SHA1 %r for %r did not match %r.",
 
389
                         calculated_verifiers["testament3-sha1"],
 
390
                         rev.revision_id, verifiers["testament3-sha1"])
 
391
            rev.revision_id = original_revid
 
392
    store_updater.add_object(o, calculated_verifiers, None)
 
393
    store_updater.finish()
 
394
    ret_tree = RevisionTree(repo, inv, rev.revision_id)
 
395
    trees_cache.add(ret_tree)
 
396
    repo.add_revision(rev.revision_id, rev)
 
397
    if "verify" in debug.debug_flags:
 
398
        verify_commit_reconstruction(target_git_object_retriever, 
 
399
            lookup_object, o, rev, ret_tree, parent_trees, mapping,
 
400
            unusual_modes, verifiers)
 
401
 
 
402
 
 
403
def import_git_objects(repo, mapping, object_iter,
 
404
    target_git_object_retriever, heads, pb=None, limit=None):
110
405
    """Import a set of git objects into a bzr repository.
111
406
 
112
 
    :param repo: Bazaar repository
 
407
    :param repo: Target Bazaar repository
113
408
    :param mapping: Mapping to use
114
409
    :param object_iter: Iterator over Git objects.
 
410
    :return: Tuple with pack hints and last imported revision id
115
411
    """
116
 
    # TODO: a more (memory-)efficient implementation of this
117
 
    objects = {}
118
 
    for o in object_iter:
119
 
        objects[o.id] = o
120
 
    root_trees = {}
 
412
    def lookup_object(sha):
 
413
        try:
 
414
            return object_iter[sha]
 
415
        except KeyError:
 
416
            return target_git_object_retriever[sha]
 
417
    graph = []
 
418
    checked = set()
 
419
    heads = list(set(heads))
 
420
    trees_cache = LRUTreeCache(repo)
121
421
    # Find and convert commit objects
122
 
    for o in objects.iterkeys():
 
422
    while heads:
 
423
        if pb is not None:
 
424
            pb.update("finding revisions to fetch", len(graph), None)
 
425
        head = heads.pop()
 
426
        assert isinstance(head, str)
 
427
        try:
 
428
            o = lookup_object(head)
 
429
        except KeyError:
 
430
            continue
123
431
        if isinstance(o, Commit):
124
 
            rev = mapping.import_commit(o)
125
 
            root_trees[rev] = objects[o.tree_sha]
 
432
            rev, roundtrip_revid, verifiers = mapping.import_commit(o,
 
433
                lambda x: None)
 
434
            if (repo.has_revision(rev.revision_id) or
 
435
                (roundtrip_revid and repo.has_revision(roundtrip_revid))):
 
436
                continue
 
437
            graph.append((o.id, o.parents))
 
438
            heads.extend([p for p in o.parents if p not in checked])
 
439
        elif isinstance(o, Tag):
 
440
            if o.object[1] not in checked:
 
441
                heads.append(o.object[1])
 
442
        else:
 
443
            trace.warning("Unable to import head object %r" % o)
 
444
        checked.add(o.id)
 
445
    del checked
 
446
    # Order the revisions
126
447
    # Create the inventory objects
127
 
    for rev, root_tree in root_trees.iteritems():
128
 
        # We have to do this here, since we have to walk the tree and 
129
 
        # we need to make sure to import the blobs / trees with the riht 
130
 
        # path; this may involve adding them more than once.
131
 
        inv = Inventory()
132
 
        def lookup_object(sha):
133
 
            if sha in objects:
134
 
                return objects[sha]
135
 
            return reconstruct_git_object(repo, mapping, sha)
136
 
        import_git_tree(repo, mapping, "", tree, inv, lookup_object)
137
 
        repo.add_revision(rev.revision_id, rev, inv)
138
 
 
139
 
 
140
 
def reconstruct_git_commit(repo, rev):
141
 
    raise NotImplementedError(self.reconstruct_git_commit)
142
 
 
143
 
 
144
 
def reconstruct_git_object(repo, mapping, sha):
145
 
    # Commit
146
 
    revid = mapping.revision_id_foreign_to_bzr(sha)
147
 
    try:
148
 
        rev = repo.get_revision(revid)
149
 
    except NoSuchRevision:
150
 
        pass
151
 
    else:
152
 
        return reconstruct_git_commit(rev)
153
 
 
154
 
    # TODO: Tree
155
 
    # TODO: Blob
156
 
    raise KeyError("No such object %s" % sha)
 
448
    batch_size = 1000
 
449
    revision_ids = topo_sort(graph)
 
450
    pack_hints = []
 
451
    if limit is not None:
 
452
        revision_ids = revision_ids[:limit]
 
453
    last_imported = None
 
454
    for offset in range(0, len(revision_ids), batch_size):
 
455
        target_git_object_retriever.start_write_group() 
 
456
        try:
 
457
            repo.start_write_group()
 
458
            try:
 
459
                for i, head in enumerate(
 
460
                    revision_ids[offset:offset+batch_size]):
 
461
                    if pb is not None:
 
462
                        pb.update("fetching revisions", offset+i,
 
463
                                  len(revision_ids))
 
464
                    import_git_commit(repo, mapping, head, lookup_object,
 
465
                        target_git_object_retriever, trees_cache)
 
466
                    last_imported = head
 
467
            except:
 
468
                repo.abort_write_group()
 
469
                raise
 
470
            else:
 
471
                hint = repo.commit_write_group()
 
472
                if hint is not None:
 
473
                    pack_hints.extend(hint)
 
474
        except:
 
475
            target_git_object_retriever.abort_write_group()
 
476
            raise
 
477
        else:
 
478
            target_git_object_retriever.commit_write_group()
 
479
    return pack_hints, last_imported
157
480
 
158
481
 
159
482
class InterGitRepository(InterRepository):
160
483
 
161
 
    _matching_repo_format = GitFormat()
 
484
    _matching_repo_format = GitRepositoryFormat()
162
485
 
163
486
    @staticmethod
164
487
    def _get_repo_format_to_test():
168
491
        """See InterRepository.copy_content."""
169
492
        self.fetch(revision_id, pb, find_ghosts=False)
170
493
 
171
 
    def fetch(self, revision_id=None, pb=None, find_ghosts=False, 
172
 
              mapping=None):
 
494
 
 
495
class InterGitNonGitRepository(InterGitRepository):
 
496
    """Base InterRepository that copies revisions from a Git into a non-Git
 
497
    repository."""
 
498
 
 
499
    def fetch_objects(self, determine_wants, mapping, pb=None, limit=None):
 
500
        """Fetch objects from a remote server.
 
501
 
 
502
        :param determine_wants: determine_wants callback
 
503
        :param mapping: BzrGitMapping to use
 
504
        :param pb: Optional progress bar
 
505
        :param limit: Maximum number of commits to import.
 
506
        :return: Tuple with pack hint, last imported revision id and remote refs
 
507
        """
 
508
        raise NotImplementedError(self.fetch_objects)
 
509
 
 
510
    def fetch(self, revision_id=None, pb=None, find_ghosts=False,
 
511
              mapping=None, fetch_spec=None):
173
512
        if mapping is None:
174
513
            mapping = self.source.get_mapping()
 
514
        if revision_id is not None:
 
515
            interesting_heads = [revision_id]
 
516
        elif fetch_spec is not None:
 
517
            interesting_heads = fetch_spec.heads
 
518
        else:
 
519
            interesting_heads = None
 
520
        def determine_wants(refs):
 
521
            if interesting_heads is None:
 
522
                ret = [sha for (ref, sha) in refs.iteritems() if not ref.endswith("^{}")]
 
523
            else:
 
524
                ret = [self.source.lookup_bzr_revision_id(revid)[0] for revid in interesting_heads if revid not in (None, NULL_REVISION)]
 
525
            return [rev for rev in ret if not self.target.has_revision(self.source.lookup_foreign_revision_id(rev))]
 
526
        (pack_hint, _, remote_refs) = self.fetch_objects(determine_wants, mapping, pb)
 
527
        if pack_hint is not None and self.target._format.pack_compresses:
 
528
            self.target.pack(hint=pack_hint)
 
529
        return remote_refs
 
530
 
 
531
 
 
532
_GIT_PROGRESS_RE = re.compile(r"(.*?): +(\d+)% \((\d+)/(\d+)\)")
 
533
def report_git_progress(pb, text):
 
534
    text = text.rstrip("\r\n")
 
535
    g = _GIT_PROGRESS_RE.match(text)
 
536
    if g is not None:
 
537
        (text, pct, current, total) = g.groups()
 
538
        pb.update(text, int(current), int(total))
 
539
    else:
 
540
        pb.update(text, 0, 0)
 
541
 
 
542
 
 
543
class DetermineWantsRecorder(object):
 
544
 
 
545
    def __init__(self, actual):
 
546
        self.actual = actual
 
547
        self.wants = []
 
548
        self.remote_refs = {}
 
549
 
 
550
    def __call__(self, refs):
 
551
        self.remote_refs = refs
 
552
        self.wants = self.actual(refs)
 
553
        return self.wants
 
554
 
 
555
 
 
556
class InterRemoteGitNonGitRepository(InterGitNonGitRepository):
 
557
    """InterRepository that copies revisions from a remote Git into a non-Git
 
558
    repository."""
 
559
 
 
560
    def get_target_heads(self):
 
561
        # FIXME: This should be more efficient
 
562
        all_revs = self.target.all_revision_ids()
 
563
        parent_map = self.target.get_parent_map(all_revs)
 
564
        all_parents = set()
 
565
        map(all_parents.update, parent_map.itervalues())
 
566
        return set(all_revs) - all_parents
 
567
 
 
568
    def fetch_objects(self, determine_wants, mapping, pb=None, limit=None):
 
569
        """See `InterGitNonGitRepository`."""
175
570
        def progress(text):
176
 
            if pb is not None:
177
 
                pb.note("git: %s" % text)
178
 
            else:
179
 
                info("git: %s" % text)
180
 
        def determine_wants(heads):
181
 
            if revision_id is None:
182
 
                ret = heads.values()
183
 
            else:
184
 
                ret = [mapping.revision_id_bzr_to_foreign(revision_id)]
185
 
            return [rev for rev in ret if not self.target.has_revision(mapping.revision_id_foreign_to_bzr(rev))]
186
 
        graph_walker = BzrFetchGraphWalker(self.target, mapping)
 
571
            report_git_progress(pb, text)
 
572
        store = BazaarObjectStore(self.target, mapping)
187
573
        self.target.lock_write()
188
574
        try:
189
 
            import_git_objects(self.target, mapping,
190
 
                self.source.fetch_objects(determine_wants, graph_walker, 
191
 
                    progress))
 
575
            heads = self.get_target_heads()
 
576
            graph_walker = store.get_graph_walker(
 
577
                    [store._lookup_revision_sha1(head) for head in heads])
 
578
            wants_recorder = DetermineWantsRecorder(determine_wants)
 
579
 
 
580
            create_pb = None
 
581
            if pb is None:
 
582
                create_pb = pb = ui.ui_factory.nested_progress_bar()
 
583
            try:
 
584
                objects_iter = self.source.fetch_objects(
 
585
                    wants_recorder, graph_walker, store.get_raw,
 
586
                    progress)
 
587
                (pack_hint, last_rev) = import_git_objects(self.target, mapping,
 
588
                    objects_iter, store, wants_recorder.wants, pb, limit)
 
589
                return (pack_hint, last_rev, wants_recorder.remote_refs)
 
590
            finally:
 
591
                if create_pb:
 
592
                    create_pb.finished()
192
593
        finally:
193
594
            self.target.unlock()
194
595
 
195
596
    @staticmethod
196
597
    def is_compatible(source, target):
197
598
        """Be compatible with GitRepository."""
198
 
        # FIXME: Also check target uses VersionedFile
199
 
        return (isinstance(source, LocalGitRepository) and 
200
 
                target.supports_rich_root())
 
599
        return (isinstance(source, RemoteGitRepository) and
 
600
                target.supports_rich_root() and
 
601
                not isinstance(target, GitRepository) and
 
602
                target.texts is not None)
 
603
 
 
604
 
 
605
class InterLocalGitNonGitRepository(InterGitNonGitRepository):
 
606
    """InterRepository that copies revisions from a local Git into a non-Git
 
607
    repository."""
 
608
 
 
609
    def fetch_objects(self, determine_wants, mapping, pb=None, limit=None):
 
610
        """See `InterGitNonGitRepository`."""
 
611
        remote_refs = self.source._git.get_refs()
 
612
        wants = determine_wants(remote_refs)
 
613
        create_pb = None
 
614
        if pb is None:
 
615
            create_pb = pb = ui.ui_factory.nested_progress_bar()
 
616
        target_git_object_retriever = BazaarObjectStore(self.target, mapping)
 
617
        try:
 
618
            self.target.lock_write()
 
619
            try:
 
620
                (pack_hint, last_rev) = import_git_objects(self.target, mapping,
 
621
                    self.source._git.object_store,
 
622
                    target_git_object_retriever, wants, pb, limit)
 
623
                return (pack_hint, last_rev, remote_refs)
 
624
            finally:
 
625
                self.target.unlock()
 
626
        finally:
 
627
            if create_pb:
 
628
                create_pb.finished()
 
629
 
 
630
    @staticmethod
 
631
    def is_compatible(source, target):
 
632
        """Be compatible with GitRepository."""
 
633
        return (isinstance(source, LocalGitRepository) and
 
634
                target.supports_rich_root() and
 
635
                not isinstance(target, GitRepository) and
 
636
                target.texts is not None)
 
637
 
 
638
 
 
639
class InterGitGitRepository(InterGitRepository):
 
640
    """InterRepository that copies between Git repositories."""
 
641
 
 
642
    def fetch_objects(self, determine_wants, mapping, pb=None):
 
643
        def progress(text):
 
644
            trace.note("git: %s", text)
 
645
        graphwalker = self.target._git.get_graph_walker()
 
646
        if (isinstance(self.source, LocalGitRepository) and
 
647
            isinstance(self.target, LocalGitRepository)):
 
648
            refs = self.source._git.fetch(self.target._git, determine_wants,
 
649
                progress)
 
650
            return (None, None, refs)
 
651
        elif (isinstance(self.source, LocalGitRepository) and
 
652
              isinstance(self.target, RemoteGitRepository)):
 
653
            raise NotImplementedError
 
654
        elif (isinstance(self.source, RemoteGitRepository) and
 
655
              isinstance(self.target, LocalGitRepository)):
 
656
            f, commit = self.target._git.object_store.add_thin_pack()
 
657
            try:
 
658
                refs = self.source.bzrdir.root_transport.fetch_pack(
 
659
                    determine_wants, graphwalker, f.write, progress)
 
660
                commit()
 
661
                return (None, None, refs)
 
662
            except:
 
663
                f.close()
 
664
                raise
 
665
        else:
 
666
            raise AssertionError
 
667
 
 
668
    def fetch(self, revision_id=None, pb=None, find_ghosts=False,
 
669
              mapping=None, fetch_spec=None, branches=None):
 
670
        if mapping is None:
 
671
            mapping = self.source.get_mapping()
 
672
        r = self.target._git
 
673
        if revision_id is not None:
 
674
            args = [mapping.revision_id_bzr_to_foreign(revision_id)[0]]
 
675
        elif fetch_spec is not None:
 
676
            args = [mapping.revision_id_bzr_to_foreign(revid)[0] for revid in fetch_spec.heads]
 
677
        if branches is not None:
 
678
            determine_wants = lambda x: [x[y] for y in branches if not x[y] in r.object_store]
 
679
        elif fetch_spec is None and revision_id is None:
 
680
            determine_wants = r.object_store.determine_wants_all
 
681
        else:
 
682
            determine_wants = lambda x: [y for y in args if not y in r.object_store]
 
683
        self.fetch_objects(determine_wants, mapping)
 
684
 
 
685
    @staticmethod
 
686
    def is_compatible(source, target):
 
687
        """Be compatible with GitRepository."""
 
688
        return (isinstance(source, GitRepository) and
 
689
                isinstance(target, GitRepository))