/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/repository.py

  • Committer: Martin Pool
  • Date: 2009-09-23 04:54:41 UTC
  • mto: This revision was merged to the branch mainline in revision 4745.
  • Revision ID: mbp@sourcefrog.net-20090923045441-80j9qcur76c9xjor
Start adding tests.per_uifactory

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005-2010 Canonical Ltd
 
1
# Copyright (C) 2005, 2006, 2007, 2008, 2009 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
24
24
    bzrdir,
25
25
    check,
26
26
    chk_map,
27
 
    config,
28
27
    debug,
29
 
    fetch as _mod_fetch,
 
28
    errors,
30
29
    fifo_cache,
31
30
    generate_ids,
32
31
    gpg,
39
38
    lru_cache,
40
39
    osutils,
41
40
    revision as _mod_revision,
42
 
    static_tuple,
43
41
    symbol_versioning,
44
 
    trace,
45
42
    tsort,
46
43
    ui,
47
44
    versionedfile,
52
49
from bzrlib.testament import Testament
53
50
""")
54
51
 
55
 
from bzrlib import (
56
 
    errors,
57
 
    registry,
58
 
    )
59
 
from bzrlib.decorators import needs_read_lock, needs_write_lock, only_raises
 
52
from bzrlib.decorators import needs_read_lock, needs_write_lock
60
53
from bzrlib.inter import InterObject
61
54
from bzrlib.inventory import (
62
55
    Inventory,
64
57
    ROOT_ID,
65
58
    entry_factory,
66
59
    )
67
 
from bzrlib.lock import _RelockDebugMixin, LogicalLockResult
 
60
from bzrlib import registry
68
61
from bzrlib.trace import (
69
62
    log_exception_quietly, note, mutter, mutter_callsite, warning)
70
63
 
73
66
_deprecation_warning_done = False
74
67
 
75
68
 
76
 
class IsInWriteGroupError(errors.InternalBzrError):
77
 
 
78
 
    _fmt = "May not refresh_data of repo %(repo)s while in a write group."
79
 
 
80
 
    def __init__(self, repo):
81
 
        errors.InternalBzrError.__init__(self, repo=repo)
82
 
 
83
 
 
84
69
class CommitBuilder(object):
85
70
    """Provides an interface to build up a commit.
86
71
 
220
205
            # an inventory delta was accumulated without creating a new
221
206
            # inventory.
222
207
            basis_id = self.basis_delta_revision
223
 
            # We ignore the 'inventory' returned by add_inventory_by_delta
224
 
            # because self.new_inventory is used to hint to the rest of the
225
 
            # system what code path was taken
226
 
            self.inv_sha1, _ = self.repository.add_inventory_by_delta(
 
208
            self.inv_sha1 = self.repository.add_inventory_by_delta(
227
209
                basis_id, self._basis_delta, self._new_revision_id,
228
210
                self.parents)
229
211
        else:
870
852
        # versioned roots do not change unless the tree found a change.
871
853
 
872
854
 
873
 
class RepositoryWriteLockResult(LogicalLockResult):
874
 
    """The result of write locking a repository.
875
 
 
876
 
    :ivar repository_token: The token obtained from the underlying lock, or
877
 
        None.
878
 
    :ivar unlock: A callable which will unlock the lock.
879
 
    """
880
 
 
881
 
    def __init__(self, unlock, repository_token):
882
 
        LogicalLockResult.__init__(self, unlock)
883
 
        self.repository_token = repository_token
884
 
 
885
 
    def __repr__(self):
886
 
        return "RepositoryWriteLockResult(%s, %s)" % (self.repository_token,
887
 
            self.unlock)
888
 
 
889
 
 
890
855
######################################################################
891
856
# Repositories
892
857
 
893
858
 
894
 
class Repository(_RelockDebugMixin, bzrdir.ControlComponent):
 
859
class Repository(object):
895
860
    """Repository holding history for one or more branches.
896
861
 
897
862
    The repository holds and retrieves historical information including
1055
1020
 
1056
1021
        :seealso: add_inventory, for the contract.
1057
1022
        """
1058
 
        inv_lines = self._serializer.write_inventory_to_lines(inv)
 
1023
        inv_lines = self._serialise_inventory_to_lines(inv)
1059
1024
        return self._inventory_add_lines(revision_id, parents,
1060
1025
            inv_lines, check_content=False)
1061
1026
 
1268
1233
        """Check a single text from this repository."""
1269
1234
        if kind == 'inventories':
1270
1235
            rev_id = record.key[0]
1271
 
            inv = self._deserialise_inventory(rev_id,
 
1236
            inv = self.deserialise_inventory(rev_id,
1272
1237
                record.get_bytes_as('fulltext'))
1273
1238
            if last_object is not None:
1274
1239
                delta = inv._make_delta(last_object)
1318
1283
 
1319
1284
        :param _format: The format of the repository on disk.
1320
1285
        :param a_bzrdir: The BzrDir of the repository.
 
1286
 
 
1287
        In the future we will have a single api for all stores for
 
1288
        getting file texts, inventories and revisions, then
 
1289
        this construct will accept instances of those things.
1321
1290
        """
1322
 
        # In the future we will have a single api for all stores for
1323
 
        # getting file texts, inventories and revisions, then
1324
 
        # this construct will accept instances of those things.
1325
1291
        super(Repository, self).__init__()
1326
1292
        self._format = _format
1327
1293
        # the following are part of the public API for Repository:
1333
1299
        self._reconcile_does_inventory_gc = True
1334
1300
        self._reconcile_fixes_text_parents = False
1335
1301
        self._reconcile_backsup_inventory = True
 
1302
        # not right yet - should be more semantically clear ?
 
1303
        #
 
1304
        # TODO: make sure to construct the right store classes, etc, depending
 
1305
        # on whether escaping is required.
 
1306
        self._warn_if_deprecated()
1336
1307
        self._write_group = None
1337
1308
        # Additional places to query for data.
1338
1309
        self._fallback_repositories = []
1339
1310
        # An InventoryEntry cache, used during deserialization
1340
1311
        self._inventory_entry_cache = fifo_cache.FIFOCache(10*1024)
1341
 
        # Is it safe to return inventory entries directly from the entry cache,
1342
 
        # rather copying them?
1343
 
        self._safe_to_return_from_cache = False
1344
 
 
1345
 
    @property
1346
 
    def user_transport(self):
1347
 
        return self.bzrdir.user_transport
1348
 
 
1349
 
    @property
1350
 
    def control_transport(self):
1351
 
        return self._transport
1352
1312
 
1353
1313
    def __repr__(self):
1354
1314
        if self._fallback_repositories:
1403
1363
        data during reads, and allows a 'write_group' to be obtained. Write
1404
1364
        groups must be used for actual data insertion.
1405
1365
 
1406
 
        A token should be passed in if you know that you have locked the object
1407
 
        some other way, and need to synchronise this object's state with that
1408
 
        fact.
1409
 
 
1410
 
        XXX: this docstring is duplicated in many places, e.g. lockable_files.py
1411
 
 
1412
1366
        :param token: if this is already locked, then lock_write will fail
1413
1367
            unless the token matches the existing lock.
1414
1368
        :returns: a token if this instance supports tokens, otherwise None.
1417
1371
        :raises MismatchedToken: if the specified token doesn't match the token
1418
1372
            of the existing lock.
1419
1373
        :seealso: start_write_group.
1420
 
        :return: A RepositoryWriteLockResult.
 
1374
 
 
1375
        A token should be passed in if you know that you have locked the object
 
1376
        some other way, and need to synchronise this object's state with that
 
1377
        fact.
 
1378
 
 
1379
        XXX: this docstring is duplicated in many places, e.g. lockable_files.py
1421
1380
        """
1422
1381
        locked = self.is_locked()
1423
 
        token = self.control_files.lock_write(token=token)
 
1382
        result = self.control_files.lock_write(token=token)
1424
1383
        if not locked:
1425
 
            self._warn_if_deprecated()
1426
 
            self._note_lock('w')
1427
1384
            for repo in self._fallback_repositories:
1428
1385
                # Writes don't affect fallback repos
1429
1386
                repo.lock_read()
1430
1387
            self._refresh_data()
1431
 
        return RepositoryWriteLockResult(self.unlock, token)
 
1388
        return result
1432
1389
 
1433
1390
    def lock_read(self):
1434
 
        """Lock the repository for read operations.
1435
 
 
1436
 
        :return: An object with an unlock method which will release the lock
1437
 
            obtained.
1438
 
        """
1439
1391
        locked = self.is_locked()
1440
1392
        self.control_files.lock_read()
1441
1393
        if not locked:
1442
 
            self._warn_if_deprecated()
1443
 
            self._note_lock('r')
1444
1394
            for repo in self._fallback_repositories:
1445
1395
                repo.lock_read()
1446
1396
            self._refresh_data()
1447
 
        return LogicalLockResult(self.unlock)
1448
1397
 
1449
1398
    def get_physical_lock_status(self):
1450
1399
        return self.control_files.get_physical_lock_status()
1510
1459
 
1511
1460
        # now gather global repository information
1512
1461
        # XXX: This is available for many repos regardless of listability.
1513
 
        if self.user_transport.listable():
 
1462
        if self.bzrdir.root_transport.listable():
1514
1463
            # XXX: do we want to __define len__() ?
1515
1464
            # Maybe the versionedfiles object should provide a different
1516
1465
            # method to get the number of keys.
1526
1475
        :param using: If True, list only branches using this repository.
1527
1476
        """
1528
1477
        if using and not self.is_shared():
1529
 
            return self.bzrdir.list_branches()
 
1478
            try:
 
1479
                return [self.bzrdir.open_branch()]
 
1480
            except errors.NotBranchError:
 
1481
                return []
1530
1482
        class Evaluator(object):
1531
1483
 
1532
1484
            def __init__(self):
1541
1493
                    except errors.NoRepositoryPresent:
1542
1494
                        pass
1543
1495
                    else:
1544
 
                        return False, ([], repository)
 
1496
                        return False, (None, repository)
1545
1497
                self.first_call = False
1546
 
                value = (bzrdir.list_branches(), None)
 
1498
                try:
 
1499
                    value = (bzrdir.open_branch(), None)
 
1500
                except errors.NotBranchError:
 
1501
                    value = (None, None)
1547
1502
                return True, value
1548
1503
 
1549
 
        ret = []
1550
 
        for branches, repository in bzrdir.BzrDir.find_bzrdirs(
1551
 
                self.user_transport, evaluate=Evaluator()):
1552
 
            if branches is not None:
1553
 
                ret.extend(branches)
 
1504
        branches = []
 
1505
        for branch, repository in bzrdir.BzrDir.find_bzrdirs(
 
1506
                self.bzrdir.root_transport, evaluate=Evaluator()):
 
1507
            if branch is not None:
 
1508
                branches.append(branch)
1554
1509
            if not using and repository is not None:
1555
 
                ret.extend(repository.find_branches())
1556
 
        return ret
 
1510
                branches.extend(repository.find_branches())
 
1511
        return branches
1557
1512
 
1558
1513
    @needs_read_lock
1559
1514
    def search_missing_revision_ids(self, other, revision_id=None, find_ghosts=True):
1668
1623
        return missing_keys
1669
1624
 
1670
1625
    def refresh_data(self):
1671
 
        """Re-read any data needed to synchronise with disk.
 
1626
        """Re-read any data needed to to synchronise with disk.
1672
1627
 
1673
1628
        This method is intended to be called after another repository instance
1674
1629
        (such as one used by a smart server) has inserted data into the
1675
 
        repository. On all repositories this will work outside of write groups.
1676
 
        Some repository formats (pack and newer for bzrlib native formats)
1677
 
        support refresh_data inside write groups. If called inside a write
1678
 
        group on a repository that does not support refreshing in a write group
1679
 
        IsInWriteGroupError will be raised.
 
1630
        repository. It may not be called during a write group, but may be
 
1631
        called at any other time.
1680
1632
        """
 
1633
        if self.is_in_write_group():
 
1634
            raise errors.InternalBzrError(
 
1635
                "May not refresh_data while in a write group.")
1681
1636
        self._refresh_data()
1682
1637
 
1683
1638
    def resume_write_group(self, tokens):
1765
1720
        self.start_write_group()
1766
1721
        return result
1767
1722
 
1768
 
    @only_raises(errors.LockNotHeld, errors.LockBroken)
1769
1723
    def unlock(self):
1770
1724
        if (self.control_files._lock_count == 1 and
1771
1725
            self.control_files._lock_mode == 'w'):
1937
1891
                rev = self._serializer.read_revision_from_string(text)
1938
1892
                yield (revid, rev)
1939
1893
 
 
1894
    @needs_read_lock
 
1895
    def get_revision_xml(self, revision_id):
 
1896
        # TODO: jam 20070210 This shouldn't be necessary since get_revision
 
1897
        #       would have already do it.
 
1898
        # TODO: jam 20070210 Just use _serializer.write_revision_to_string()
 
1899
        # TODO: this can't just be replaced by:
 
1900
        # return self._serializer.write_revision_to_string(
 
1901
        #     self.get_revision(revision_id))
 
1902
        # as cStringIO preservers the encoding unlike write_revision_to_string
 
1903
        # or some other call down the path.
 
1904
        rev = self.get_revision(revision_id)
 
1905
        rev_tmp = cStringIO.StringIO()
 
1906
        # the current serializer..
 
1907
        self._serializer.write_revision(rev, rev_tmp)
 
1908
        rev_tmp.seek(0)
 
1909
        return rev_tmp.getvalue()
 
1910
 
1940
1911
    def get_deltas_for_revisions(self, revisions, specific_fileids=None):
1941
1912
        """Produce a generator of revision deltas.
1942
1913
 
2184
2155
        """
2185
2156
        selected_keys = set((revid,) for revid in revision_ids)
2186
2157
        w = _inv_weave or self.inventories
2187
 
        return self._find_file_ids_from_xml_inventory_lines(
2188
 
            w.iter_lines_added_or_present_in_keys(
2189
 
                selected_keys, pb=None),
2190
 
            selected_keys)
 
2158
        pb = ui.ui_factory.nested_progress_bar()
 
2159
        try:
 
2160
            return self._find_file_ids_from_xml_inventory_lines(
 
2161
                w.iter_lines_added_or_present_in_keys(
 
2162
                    selected_keys, pb=pb),
 
2163
                selected_keys)
 
2164
        finally:
 
2165
            pb.finished()
2191
2166
 
2192
2167
    def iter_files_bytes(self, desired_files):
2193
2168
        """Iterate through file versions.
2403
2378
        """single-document based inventory iteration."""
2404
2379
        inv_xmls = self._iter_inventory_xmls(revision_ids, ordering)
2405
2380
        for text, revision_id in inv_xmls:
2406
 
            yield self._deserialise_inventory(revision_id, text)
 
2381
            yield self.deserialise_inventory(revision_id, text)
2407
2382
 
2408
2383
    def _iter_inventory_xmls(self, revision_ids, ordering):
2409
2384
        if ordering is None:
2441
2416
                        next_key = None
2442
2417
                        break
2443
2418
 
2444
 
    def _deserialise_inventory(self, revision_id, xml):
 
2419
    def deserialise_inventory(self, revision_id, xml):
2445
2420
        """Transform the xml into an inventory object.
2446
2421
 
2447
2422
        :param revision_id: The expected revision id of the inventory.
2448
2423
        :param xml: A serialised inventory.
2449
2424
        """
2450
2425
        result = self._serializer.read_inventory_from_string(xml, revision_id,
2451
 
                    entry_cache=self._inventory_entry_cache,
2452
 
                    return_from_cache=self._safe_to_return_from_cache)
 
2426
                    entry_cache=self._inventory_entry_cache)
2453
2427
        if result.revision_id != revision_id:
2454
2428
            raise AssertionError('revision id mismatch %s != %s' % (
2455
2429
                result.revision_id, revision_id))
2456
2430
        return result
2457
2431
 
 
2432
    def serialise_inventory(self, inv):
 
2433
        return self._serializer.write_inventory_to_string(inv)
 
2434
 
 
2435
    def _serialise_inventory_to_lines(self, inv):
 
2436
        return self._serializer.write_inventory_to_lines(inv)
 
2437
 
2458
2438
    def get_serializer_format(self):
2459
2439
        return self._serializer.format_num
2460
2440
 
2461
2441
    @needs_read_lock
2462
 
    def _get_inventory_xml(self, revision_id):
2463
 
        """Get serialized inventory as a string."""
 
2442
    def get_inventory_xml(self, revision_id):
 
2443
        """Get inventory XML as a file object."""
2464
2444
        texts = self._iter_inventory_xmls([revision_id], 'unordered')
2465
2445
        try:
2466
2446
            text, revision_id = texts.next()
2468
2448
            raise errors.HistoryMissing(self, 'inventory', revision_id)
2469
2449
        return text
2470
2450
 
 
2451
    @needs_read_lock
 
2452
    def get_inventory_sha1(self, revision_id):
 
2453
        """Return the sha1 hash of the inventory entry
 
2454
        """
 
2455
        return self.get_revision(revision_id).inventory_sha1
 
2456
 
2471
2457
    def get_rev_id_for_revno(self, revno, known_pair):
2472
2458
        """Return the revision id of a revno, given a later (revno, revid)
2473
2459
        pair in the same history.
2524
2510
            else:
2525
2511
                next_id = parents[0]
2526
2512
 
 
2513
    @needs_read_lock
 
2514
    def get_revision_inventory(self, revision_id):
 
2515
        """Return inventory of a past revision."""
 
2516
        # TODO: Unify this with get_inventory()
 
2517
        # bzr 0.0.6 and later imposes the constraint that the inventory_id
 
2518
        # must be the same as its revision, so this is trivial.
 
2519
        if revision_id is None:
 
2520
            # This does not make sense: if there is no revision,
 
2521
            # then it is the current tree inventory surely ?!
 
2522
            # and thus get_root_id() is something that looks at the last
 
2523
            # commit on the branch, and the get_root_id is an inventory check.
 
2524
            raise NotImplementedError
 
2525
            # return Inventory(self.get_root_id())
 
2526
        else:
 
2527
            return self.get_inventory(revision_id)
 
2528
 
2527
2529
    def is_shared(self):
2528
2530
        """Return True if this repository is flagged as a shared repository."""
2529
2531
        raise NotImplementedError(self.is_shared)
2563
2565
            return RevisionTree(self, Inventory(root_id=None),
2564
2566
                                _mod_revision.NULL_REVISION)
2565
2567
        else:
2566
 
            inv = self.get_inventory(revision_id)
 
2568
            inv = self.get_revision_inventory(revision_id)
2567
2569
            return RevisionTree(self, inv, revision_id)
2568
2570
 
2569
2571
    def revision_trees(self, revision_ids):
2622
2624
            keys = tsort.topo_sort(parent_map)
2623
2625
        return [None] + list(keys)
2624
2626
 
2625
 
    def pack(self, hint=None, clean_obsolete_packs=False):
 
2627
    def pack(self, hint=None):
2626
2628
        """Compress the data within the repository.
2627
2629
 
2628
2630
        This operation only makes sense for some repository types. For other
2638
2640
            obtained from the result of commit_write_group(). Out of
2639
2641
            date hints are simply ignored, because concurrent operations
2640
2642
            can obsolete them rapidly.
2641
 
 
2642
 
        :param clean_obsolete_packs: Clean obsolete packs immediately after
2643
 
            the pack operation.
2644
2643
        """
2645
2644
 
2646
2645
    def get_transaction(self):
2662
2661
        for ((revision_id,), parent_keys) in \
2663
2662
                self.revisions.get_parent_map(query_keys).iteritems():
2664
2663
            if parent_keys:
2665
 
                result[revision_id] = tuple([parent_revid
2666
 
                    for (parent_revid,) in parent_keys])
 
2664
                result[revision_id] = tuple(parent_revid
 
2665
                    for (parent_revid,) in parent_keys)
2667
2666
            else:
2668
2667
                result[revision_id] = (_mod_revision.NULL_REVISION,)
2669
2668
        return result
2671
2670
    def _make_parents_provider(self):
2672
2671
        return self
2673
2672
 
2674
 
    @needs_read_lock
2675
 
    def get_known_graph_ancestry(self, revision_ids):
2676
 
        """Return the known graph for a set of revision ids and their ancestors.
2677
 
        """
2678
 
        st = static_tuple.StaticTuple
2679
 
        revision_keys = [st(r_id).intern() for r_id in revision_ids]
2680
 
        known_graph = self.revisions.get_known_graph_ancestry(revision_keys)
2681
 
        return graph.GraphThunkIdsToKeys(known_graph)
2682
 
 
2683
2673
    def get_graph(self, other_repository=None):
2684
2674
        """Return the graph walker for this repository format"""
2685
2675
        parents_provider = self._make_parents_provider()
2780
2770
        result.check(callback_refs)
2781
2771
        return result
2782
2772
 
2783
 
    def _warn_if_deprecated(self, branch=None):
 
2773
    def _warn_if_deprecated(self):
2784
2774
        global _deprecation_warning_done
2785
2775
        if _deprecation_warning_done:
2786
2776
            return
2787
 
        try:
2788
 
            if branch is None:
2789
 
                conf = config.GlobalConfig()
2790
 
            else:
2791
 
                conf = branch.get_config()
2792
 
            if conf.suppress_warning('format_deprecation'):
2793
 
                return
2794
 
            warning("Format %s for %s is deprecated -"
2795
 
                    " please use 'bzr upgrade' to get better performance"
2796
 
                    % (self._format, self.bzrdir.transport.base))
2797
 
        finally:
2798
 
            _deprecation_warning_done = True
 
2777
        _deprecation_warning_done = True
 
2778
        warning("Format %s for %s is deprecated - please use 'bzr upgrade' to get better performance"
 
2779
                % (self._format, self.bzrdir.transport.base))
2799
2780
 
2800
2781
    def supports_rich_root(self):
2801
2782
        return self._format.rich_root_data
3084
3065
    pack_compresses = False
3085
3066
    # Does the repository inventory storage understand references to trees?
3086
3067
    supports_tree_reference = None
3087
 
    # Is the format experimental ?
3088
 
    experimental = False
3089
3068
 
3090
 
    def __repr__(self):
3091
 
        return "%s()" % self.__class__.__name__
 
3069
    def __str__(self):
 
3070
        return "<%s>" % self.__class__.__name__
3092
3071
 
3093
3072
    def __eq__(self, other):
3094
3073
        # format objects are generally stateless
3107
3086
        """
3108
3087
        try:
3109
3088
            transport = a_bzrdir.get_repository_transport(None)
3110
 
            format_string = transport.get_bytes("format")
 
3089
            format_string = transport.get("format").read()
3111
3090
            return format_registry.get(format_string)
3112
3091
        except errors.NoSuchFile:
3113
3092
            raise errors.NoRepositoryPresent(a_bzrdir)
3212
3191
        """
3213
3192
        raise NotImplementedError(self.open)
3214
3193
 
3215
 
    def _run_post_repo_init_hooks(self, repository, a_bzrdir, shared):
3216
 
        from bzrlib.bzrdir import BzrDir, RepoInitHookParams
3217
 
        hooks = BzrDir.hooks['post_repo_init']
3218
 
        if not hooks:
3219
 
            return
3220
 
        params = RepoInitHookParams(repository, self, a_bzrdir, shared)
3221
 
        for hook in hooks:
3222
 
            hook(params)
3223
 
 
3224
3194
 
3225
3195
class MetaDirRepositoryFormat(RepositoryFormat):
3226
3196
    """Common base class for the new repositories using the metadir layout."""
3431
3401
 
3432
3402
        :param revision_id: if None all content is copied, if NULL_REVISION no
3433
3403
                            content is copied.
3434
 
        :param pb: ignored.
 
3404
        :param pb: optional progress bar to use for progress reports. If not
 
3405
                   provided a default one will be created.
3435
3406
        :return: None.
3436
3407
        """
3437
 
        ui.ui_factory.warn_experimental_format_fetch(self)
3438
3408
        from bzrlib.fetch import RepoFetcher
3439
 
        # See <https://launchpad.net/bugs/456077> asking for a warning here
3440
 
        if self.source._format.network_name() != self.target._format.network_name():
3441
 
            ui.ui_factory.show_user_warning('cross_format_fetch',
3442
 
                from_format=self.source._format,
3443
 
                to_format=self.target._format)
3444
3409
        f = RepoFetcher(to_repository=self.target,
3445
3410
                               from_repository=self.source,
3446
3411
                               last_revision=revision_id,
3447
3412
                               fetch_spec=fetch_spec,
3448
 
                               find_ghosts=find_ghosts)
 
3413
                               pb=pb, find_ghosts=find_ghosts)
3449
3414
 
3450
3415
    def _walk_to_common_revisions(self, revision_ids):
3451
3416
        """Walk out from revision_ids in source to revisions target has.
3847
3812
                basis_id, delta, current_revision_id, parents_parents)
3848
3813
            cache[current_revision_id] = parent_tree
3849
3814
 
3850
 
    def _fetch_batch(self, revision_ids, basis_id, cache, a_graph=None):
 
3815
    def _fetch_batch(self, revision_ids, basis_id, cache):
3851
3816
        """Fetch across a few revisions.
3852
3817
 
3853
3818
        :param revision_ids: The revisions to copy
3854
3819
        :param basis_id: The revision_id of a tree that must be in cache, used
3855
3820
            as a basis for delta when no other base is available
3856
3821
        :param cache: A cache of RevisionTrees that we can use.
3857
 
        :param a_graph: A Graph object to determine the heads() of the
3858
 
            rich-root data stream.
3859
3822
        :return: The revision_id of the last converted tree. The RevisionTree
3860
3823
            for it will be in cache
3861
3824
        """
3868
3831
        pending_revisions = []
3869
3832
        parent_map = self.source.get_parent_map(revision_ids)
3870
3833
        self._fetch_parent_invs_for_stacking(parent_map, cache)
3871
 
        self.source._safe_to_return_from_cache = True
3872
3834
        for tree in self.source.revision_trees(revision_ids):
3873
3835
            # Find a inventory delta for this revision.
3874
3836
            # Find text entries that need to be copied, too.
3922
3884
            pending_revisions.append(revision)
3923
3885
            cache[current_revision_id] = tree
3924
3886
            basis_id = current_revision_id
3925
 
        self.source._safe_to_return_from_cache = False
3926
3887
        # Copy file texts
3927
3888
        from_texts = self.source.texts
3928
3889
        to_texts = self.target.texts
3929
3890
        if root_keys_to_create:
3930
 
            root_stream = _mod_fetch._new_root_data_stream(
 
3891
            from bzrlib.fetch import _new_root_data_stream
 
3892
            root_stream = _new_root_data_stream(
3931
3893
                root_keys_to_create, self._revision_id_to_root_id, parent_map,
3932
 
                self.source, graph=a_graph)
 
3894
                self.source)
3933
3895
            to_texts.insert_record_stream(root_stream)
3934
3896
        to_texts.insert_record_stream(from_texts.get_record_stream(
3935
3897
            text_keys, self.target._format._fetch_order,
3992
3954
        cache[basis_id] = basis_tree
3993
3955
        del basis_tree # We don't want to hang on to it here
3994
3956
        hints = []
3995
 
        if self._converting_to_rich_root and len(revision_ids) > 100:
3996
 
            a_graph = _mod_fetch._get_rich_root_heads_graph(self.source,
3997
 
                                                            revision_ids)
3998
 
        else:
3999
 
            a_graph = None
4000
 
 
4001
3957
        for offset in range(0, len(revision_ids), batch_size):
4002
3958
            self.target.start_write_group()
4003
3959
            try:
4004
3960
                pb.update('Transferring revisions', offset,
4005
3961
                          len(revision_ids))
4006
3962
                batch = revision_ids[offset:offset+batch_size]
4007
 
                basis_id = self._fetch_batch(batch, basis_id, cache,
4008
 
                                             a_graph=a_graph)
 
3963
                basis_id = self._fetch_batch(batch, basis_id, cache)
4009
3964
            except:
4010
 
                self.source._safe_to_return_from_cache = False
4011
3965
                self.target.abort_write_group()
4012
3966
                raise
4013
3967
            else:
4025
3979
        """See InterRepository.fetch()."""
4026
3980
        if fetch_spec is not None:
4027
3981
            raise AssertionError("Not implemented yet...")
4028
 
        ui.ui_factory.warn_experimental_format_fetch(self)
4029
3982
        if (not self.source.supports_rich_root()
4030
3983
            and self.target.supports_rich_root()):
4031
3984
            self._converting_to_rich_root = True
4032
3985
            self._revision_id_to_root_id = {}
4033
3986
        else:
4034
3987
            self._converting_to_rich_root = False
4035
 
        # See <https://launchpad.net/bugs/456077> asking for a warning here
4036
 
        if self.source._format.network_name() != self.target._format.network_name():
4037
 
            ui.ui_factory.show_user_warning('cross_format_fetch',
4038
 
                from_format=self.source._format,
4039
 
                to_format=self.target._format)
4040
3988
        revision_ids = self.target.search_missing_revision_ids(self.source,
4041
3989
            revision_id, find_ghosts=find_ghosts).get_keys()
4042
3990
        if not revision_ids:
4111
4059
        :param to_convert: The disk object to convert.
4112
4060
        :param pb: a progress bar to use for progress information.
4113
4061
        """
4114
 
        pb = ui.ui_factory.nested_progress_bar()
 
4062
        self.pb = pb
4115
4063
        self.count = 0
4116
4064
        self.total = 4
4117
4065
        # this is only useful with metadir layouts - separated repo content.
4118
4066
        # trigger an assertion if not such
4119
4067
        repo._format.get_format_string()
4120
4068
        self.repo_dir = repo.bzrdir
4121
 
        pb.update('Moving repository to repository.backup')
 
4069
        self.step('Moving repository to repository.backup')
4122
4070
        self.repo_dir.transport.move('repository', 'repository.backup')
4123
4071
        backup_transport =  self.repo_dir.transport.clone('repository.backup')
4124
4072
        repo._format.check_conversion_target(self.target_format)
4125
4073
        self.source_repo = repo._format.open(self.repo_dir,
4126
4074
            _found=True,
4127
4075
            _override_transport=backup_transport)
4128
 
        pb.update('Creating new repository')
 
4076
        self.step('Creating new repository')
4129
4077
        converted = self.target_format.initialize(self.repo_dir,
4130
4078
                                                  self.source_repo.is_shared())
4131
4079
        converted.lock_write()
4132
4080
        try:
4133
 
            pb.update('Copying content')
 
4081
            self.step('Copying content')
4134
4082
            self.source_repo.copy_content_into(converted)
4135
4083
        finally:
4136
4084
            converted.unlock()
4137
 
        pb.update('Deleting old repository content')
 
4085
        self.step('Deleting old repository content')
4138
4086
        self.repo_dir.transport.delete_tree('repository.backup')
4139
 
        ui.ui_factory.note('repository converted')
4140
 
        pb.finished()
 
4087
        self.pb.note('repository converted')
 
4088
 
 
4089
    def step(self, message):
 
4090
        """Update the pb by a step."""
 
4091
        self.count +=1
 
4092
        self.pb.update(message, self.count, self.total)
4141
4093
 
4142
4094
 
4143
4095
_unescape_map = {
4363
4315
                ):
4364
4316
                if versioned_file is None:
4365
4317
                    continue
4366
 
                # TODO: key is often going to be a StaticTuple object
4367
 
                #       I don't believe we can define a method by which
4368
 
                #       (prefix,) + StaticTuple will work, though we could
4369
 
                #       define a StaticTuple.sq_concat that would allow you to
4370
 
                #       pass in either a tuple or a StaticTuple as the second
4371
 
                #       object, so instead we could have:
4372
 
                #       StaticTuple(prefix) + key here...
4373
4318
                missing_keys.update((prefix,) + key for key in
4374
4319
                    versioned_file.get_missing_compression_parent_keys())
4375
4320
        except NotImplementedError:
4487
4432
        fetching the inventory weave.
4488
4433
        """
4489
4434
        if self._rich_root_upgrade():
4490
 
            return _mod_fetch.Inter1and2Helper(
 
4435
            import bzrlib.fetch
 
4436
            return bzrlib.fetch.Inter1and2Helper(
4491
4437
                self.from_repository).generate_root_texts(revs)
4492
4438
        else:
4493
4439
            return []
4635
4581
 
4636
4582
    def _get_convertable_inventory_stream(self, revision_ids,
4637
4583
                                          delta_versus_null=False):
4638
 
        # The two formats are sufficiently different that there is no fast
4639
 
        # path, so we need to send just inventorydeltas, which any
4640
 
        # sufficiently modern client can insert into any repository.
4641
 
        # The StreamSink code expects to be able to
 
4584
        # The source is using CHKs, but the target either doesn't or it has a
 
4585
        # different serializer.  The StreamSink code expects to be able to
4642
4586
        # convert on the target, so we need to put bytes-on-the-wire that can
4643
4587
        # be converted.  That means inventory deltas (if the remote is <1.19,
4644
4588
        # RemoteStreamSink will fallback to VFS to insert the deltas).