/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/repository.py

  • Committer: Vincent Ladeuil
  • Date: 2009-09-02 08:26:27 UTC
  • mto: (4669.1.1 integration)
  • mto: This revision was merged to the branch mainline in revision 4670.
  • Revision ID: v.ladeuil+lp@free.fr-20090902082627-cit8vm6tefu9hwk2
Cleanup emacs-bzr-send-XXXXXX.el leaks in /tmp during selftest.

* tests/test_mail_client.py:
(TestEmacsMail.test_commandline,
TestEmacsMail.test_commandline_is_8bit): Cleanup the generated tmp
file.

* mail_client.py:
(EmacsMail.__init__, EmacsMail._get_compose_commandline): Keep
track of the tmp file to ease cleanup during testing.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005-2010 Canonical Ltd
 
1
# Copyright (C) 2005, 2006, 2007, 2008, 2009 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
24
24
    bzrdir,
25
25
    check,
26
26
    chk_map,
27
 
    config,
28
27
    debug,
29
28
    errors,
30
 
    fetch as _mod_fetch,
31
29
    fifo_cache,
32
30
    generate_ids,
33
31
    gpg,
40
38
    lru_cache,
41
39
    osutils,
42
40
    revision as _mod_revision,
43
 
    static_tuple,
44
41
    symbol_versioning,
45
 
    trace,
46
42
    tsort,
47
43
    ui,
48
44
    versionedfile,
53
49
from bzrlib.testament import Testament
54
50
""")
55
51
 
56
 
from bzrlib.decorators import needs_read_lock, needs_write_lock, only_raises
 
52
from bzrlib.decorators import needs_read_lock, needs_write_lock
57
53
from bzrlib.inter import InterObject
58
54
from bzrlib.inventory import (
59
55
    Inventory,
61
57
    ROOT_ID,
62
58
    entry_factory,
63
59
    )
64
 
from bzrlib.lock import _RelockDebugMixin
65
60
from bzrlib import registry
66
61
from bzrlib.trace import (
67
62
    log_exception_quietly, note, mutter, mutter_callsite, warning)
210
205
            # an inventory delta was accumulated without creating a new
211
206
            # inventory.
212
207
            basis_id = self.basis_delta_revision
213
 
            # We ignore the 'inventory' returned by add_inventory_by_delta
214
 
            # because self.new_inventory is used to hint to the rest of the
215
 
            # system what code path was taken
216
 
            self.inv_sha1, _ = self.repository.add_inventory_by_delta(
 
208
            self.inv_sha1 = self.repository.add_inventory_by_delta(
217
209
                basis_id, self._basis_delta, self._new_revision_id,
218
210
                self.parents)
219
211
        else:
473
465
            if content_summary[2] is None:
474
466
                raise ValueError("Files must not have executable = None")
475
467
            if not store:
476
 
                # We can't trust a check of the file length because of content
477
 
                # filtering...
478
 
                if (# if the exec bit has changed we have to store:
 
468
                if (# if the file length changed we have to store:
 
469
                    parent_entry.text_size != content_summary[1] or
 
470
                    # if the exec bit has changed we have to store:
479
471
                    parent_entry.executable != content_summary[2]):
480
472
                    store = True
481
473
                elif parent_entry.text_sha1 == content_summary[3]:
548
540
                ie.revision = parent_entry.revision
549
541
                return self._get_delta(ie, basis_inv, path), False, None
550
542
            ie.reference_revision = content_summary[3]
551
 
            if ie.reference_revision is None:
552
 
                raise AssertionError("invalid content_summary for nested tree: %r"
553
 
                    % (content_summary,))
554
543
            self._add_text_to_weave(ie.file_id, '', heads, None)
555
544
        else:
556
545
            raise NotImplementedError('unknown kind')
864
853
# Repositories
865
854
 
866
855
 
867
 
class Repository(_RelockDebugMixin, bzrdir.ControlComponent):
 
856
class Repository(object):
868
857
    """Repository holding history for one or more branches.
869
858
 
870
859
    The repository holds and retrieves historical information including
1028
1017
 
1029
1018
        :seealso: add_inventory, for the contract.
1030
1019
        """
1031
 
        inv_lines = self._serializer.write_inventory_to_lines(inv)
 
1020
        inv_lines = self._serialise_inventory_to_lines(inv)
1032
1021
        return self._inventory_add_lines(revision_id, parents,
1033
1022
            inv_lines, check_content=False)
1034
1023
 
1230
1219
                    for record in getattr(self, kind).check(keys=keys[kind]):
1231
1220
                        if record.storage_kind == 'absent':
1232
1221
                            checker._report_items.append(
1233
 
                                'Missing %s {%s}' % (kind, record.key,))
 
1222
                                'Missing inventory {%s}' % (record.key,))
1234
1223
                        else:
1235
1224
                            last_object = self._check_record(kind, record,
1236
1225
                                checker, last_object, current_keys[(kind,) + record.key])
1241
1230
        """Check a single text from this repository."""
1242
1231
        if kind == 'inventories':
1243
1232
            rev_id = record.key[0]
1244
 
            inv = self._deserialise_inventory(rev_id,
 
1233
            inv = self.deserialise_inventory(rev_id,
1245
1234
                record.get_bytes_as('fulltext'))
1246
1235
            if last_object is not None:
1247
1236
                delta = inv._make_delta(last_object)
1291
1280
 
1292
1281
        :param _format: The format of the repository on disk.
1293
1282
        :param a_bzrdir: The BzrDir of the repository.
 
1283
 
 
1284
        In the future we will have a single api for all stores for
 
1285
        getting file texts, inventories and revisions, then
 
1286
        this construct will accept instances of those things.
1294
1287
        """
1295
 
        # In the future we will have a single api for all stores for
1296
 
        # getting file texts, inventories and revisions, then
1297
 
        # this construct will accept instances of those things.
1298
1288
        super(Repository, self).__init__()
1299
1289
        self._format = _format
1300
1290
        # the following are part of the public API for Repository:
1306
1296
        self._reconcile_does_inventory_gc = True
1307
1297
        self._reconcile_fixes_text_parents = False
1308
1298
        self._reconcile_backsup_inventory = True
 
1299
        # not right yet - should be more semantically clear ?
 
1300
        #
 
1301
        # TODO: make sure to construct the right store classes, etc, depending
 
1302
        # on whether escaping is required.
 
1303
        self._warn_if_deprecated()
1309
1304
        self._write_group = None
1310
1305
        # Additional places to query for data.
1311
1306
        self._fallback_repositories = []
1312
1307
        # An InventoryEntry cache, used during deserialization
1313
1308
        self._inventory_entry_cache = fifo_cache.FIFOCache(10*1024)
1314
 
        # Is it safe to return inventory entries directly from the entry cache,
1315
 
        # rather copying them?
1316
 
        self._safe_to_return_from_cache = False
1317
 
 
1318
 
    @property
1319
 
    def user_transport(self):
1320
 
        return self.bzrdir.user_transport
1321
 
 
1322
 
    @property
1323
 
    def control_transport(self):
1324
 
        return self._transport
1325
1309
 
1326
1310
    def __repr__(self):
1327
1311
        if self._fallback_repositories:
1394
1378
        locked = self.is_locked()
1395
1379
        result = self.control_files.lock_write(token=token)
1396
1380
        if not locked:
1397
 
            self._warn_if_deprecated()
1398
 
            self._note_lock('w')
1399
1381
            for repo in self._fallback_repositories:
1400
1382
                # Writes don't affect fallback repos
1401
1383
                repo.lock_read()
1406
1388
        locked = self.is_locked()
1407
1389
        self.control_files.lock_read()
1408
1390
        if not locked:
1409
 
            self._warn_if_deprecated()
1410
 
            self._note_lock('r')
1411
1391
            for repo in self._fallback_repositories:
1412
1392
                repo.lock_read()
1413
1393
            self._refresh_data()
1476
1456
 
1477
1457
        # now gather global repository information
1478
1458
        # XXX: This is available for many repos regardless of listability.
1479
 
        if self.user_transport.listable():
 
1459
        if self.bzrdir.root_transport.listable():
1480
1460
            # XXX: do we want to __define len__() ?
1481
1461
            # Maybe the versionedfiles object should provide a different
1482
1462
            # method to get the number of keys.
1492
1472
        :param using: If True, list only branches using this repository.
1493
1473
        """
1494
1474
        if using and not self.is_shared():
1495
 
            return self.bzrdir.list_branches()
 
1475
            try:
 
1476
                return [self.bzrdir.open_branch()]
 
1477
            except errors.NotBranchError:
 
1478
                return []
1496
1479
        class Evaluator(object):
1497
1480
 
1498
1481
            def __init__(self):
1507
1490
                    except errors.NoRepositoryPresent:
1508
1491
                        pass
1509
1492
                    else:
1510
 
                        return False, ([], repository)
 
1493
                        return False, (None, repository)
1511
1494
                self.first_call = False
1512
 
                value = (bzrdir.list_branches(), None)
 
1495
                try:
 
1496
                    value = (bzrdir.open_branch(), None)
 
1497
                except errors.NotBranchError:
 
1498
                    value = (None, None)
1513
1499
                return True, value
1514
1500
 
1515
 
        ret = []
1516
 
        for branches, repository in bzrdir.BzrDir.find_bzrdirs(
1517
 
                self.user_transport, evaluate=Evaluator()):
1518
 
            if branches is not None:
1519
 
                ret.extend(branches)
 
1501
        branches = []
 
1502
        for branch, repository in bzrdir.BzrDir.find_bzrdirs(
 
1503
                self.bzrdir.root_transport, evaluate=Evaluator()):
 
1504
            if branch is not None:
 
1505
                branches.append(branch)
1520
1506
            if not using and repository is not None:
1521
 
                ret.extend(repository.find_branches())
1522
 
        return ret
 
1507
                branches.extend(repository.find_branches())
 
1508
        return branches
1523
1509
 
1524
1510
    @needs_read_lock
1525
1511
    def search_missing_revision_ids(self, other, revision_id=None, find_ghosts=True):
1615
1601
        # but at the moment we're only checking for texts referenced by
1616
1602
        # inventories at the graph's edge.
1617
1603
        key_deps = self.revisions._index._key_dependencies
1618
 
        key_deps.satisfy_refs_for_keys(present_inventories)
 
1604
        key_deps.add_keys(present_inventories)
1619
1605
        referrers = frozenset(r[0] for r in key_deps.get_referrers())
1620
1606
        file_ids = self.fileids_altered_by_revision_ids(referrers)
1621
1607
        missing_texts = set()
1731
1717
        self.start_write_group()
1732
1718
        return result
1733
1719
 
1734
 
    @only_raises(errors.LockNotHeld, errors.LockBroken)
1735
1720
    def unlock(self):
1736
1721
        if (self.control_files._lock_count == 1 and
1737
1722
            self.control_files._lock_mode == 'w'):
1903
1888
                rev = self._serializer.read_revision_from_string(text)
1904
1889
                yield (revid, rev)
1905
1890
 
 
1891
    @needs_read_lock
 
1892
    def get_revision_xml(self, revision_id):
 
1893
        # TODO: jam 20070210 This shouldn't be necessary since get_revision
 
1894
        #       would have already do it.
 
1895
        # TODO: jam 20070210 Just use _serializer.write_revision_to_string()
 
1896
        # TODO: this can't just be replaced by:
 
1897
        # return self._serializer.write_revision_to_string(
 
1898
        #     self.get_revision(revision_id))
 
1899
        # as cStringIO preservers the encoding unlike write_revision_to_string
 
1900
        # or some other call down the path.
 
1901
        rev = self.get_revision(revision_id)
 
1902
        rev_tmp = cStringIO.StringIO()
 
1903
        # the current serializer..
 
1904
        self._serializer.write_revision(rev, rev_tmp)
 
1905
        rev_tmp.seek(0)
 
1906
        return rev_tmp.getvalue()
 
1907
 
1906
1908
    def get_deltas_for_revisions(self, revisions, specific_fileids=None):
1907
1909
        """Produce a generator of revision deltas.
1908
1910
 
2150
2152
        """
2151
2153
        selected_keys = set((revid,) for revid in revision_ids)
2152
2154
        w = _inv_weave or self.inventories
2153
 
        return self._find_file_ids_from_xml_inventory_lines(
2154
 
            w.iter_lines_added_or_present_in_keys(
2155
 
                selected_keys, pb=None),
2156
 
            selected_keys)
 
2155
        pb = ui.ui_factory.nested_progress_bar()
 
2156
        try:
 
2157
            return self._find_file_ids_from_xml_inventory_lines(
 
2158
                w.iter_lines_added_or_present_in_keys(
 
2159
                    selected_keys, pb=pb),
 
2160
                selected_keys)
 
2161
        finally:
 
2162
            pb.finished()
2157
2163
 
2158
2164
    def iter_files_bytes(self, desired_files):
2159
2165
        """Iterate through file versions.
2320
2326
        num_file_ids = len(file_ids)
2321
2327
        for file_id, altered_versions in file_ids.iteritems():
2322
2328
            if pb is not None:
2323
 
                pb.update("Fetch texts", count, num_file_ids)
 
2329
                pb.update("fetch texts", count, num_file_ids)
2324
2330
            count += 1
2325
2331
            yield ("file", file_id, altered_versions)
2326
2332
 
2369
2375
        """single-document based inventory iteration."""
2370
2376
        inv_xmls = self._iter_inventory_xmls(revision_ids, ordering)
2371
2377
        for text, revision_id in inv_xmls:
2372
 
            yield self._deserialise_inventory(revision_id, text)
 
2378
            yield self.deserialise_inventory(revision_id, text)
2373
2379
 
2374
2380
    def _iter_inventory_xmls(self, revision_ids, ordering):
2375
2381
        if ordering is None:
2407
2413
                        next_key = None
2408
2414
                        break
2409
2415
 
2410
 
    def _deserialise_inventory(self, revision_id, xml):
 
2416
    def deserialise_inventory(self, revision_id, xml):
2411
2417
        """Transform the xml into an inventory object.
2412
2418
 
2413
2419
        :param revision_id: The expected revision id of the inventory.
2414
2420
        :param xml: A serialised inventory.
2415
2421
        """
2416
2422
        result = self._serializer.read_inventory_from_string(xml, revision_id,
2417
 
                    entry_cache=self._inventory_entry_cache,
2418
 
                    return_from_cache=self._safe_to_return_from_cache)
 
2423
                    entry_cache=self._inventory_entry_cache)
2419
2424
        if result.revision_id != revision_id:
2420
2425
            raise AssertionError('revision id mismatch %s != %s' % (
2421
2426
                result.revision_id, revision_id))
2422
2427
        return result
2423
2428
 
 
2429
    def serialise_inventory(self, inv):
 
2430
        return self._serializer.write_inventory_to_string(inv)
 
2431
 
 
2432
    def _serialise_inventory_to_lines(self, inv):
 
2433
        return self._serializer.write_inventory_to_lines(inv)
 
2434
 
2424
2435
    def get_serializer_format(self):
2425
2436
        return self._serializer.format_num
2426
2437
 
2427
2438
    @needs_read_lock
2428
 
    def _get_inventory_xml(self, revision_id):
2429
 
        """Get serialized inventory as a string."""
 
2439
    def get_inventory_xml(self, revision_id):
 
2440
        """Get inventory XML as a file object."""
2430
2441
        texts = self._iter_inventory_xmls([revision_id], 'unordered')
2431
2442
        try:
2432
2443
            text, revision_id = texts.next()
2434
2445
            raise errors.HistoryMissing(self, 'inventory', revision_id)
2435
2446
        return text
2436
2447
 
 
2448
    @needs_read_lock
 
2449
    def get_inventory_sha1(self, revision_id):
 
2450
        """Return the sha1 hash of the inventory entry
 
2451
        """
 
2452
        return self.get_revision(revision_id).inventory_sha1
 
2453
 
2437
2454
    def get_rev_id_for_revno(self, revno, known_pair):
2438
2455
        """Return the revision id of a revno, given a later (revno, revid)
2439
2456
        pair in the same history.
2490
2507
            else:
2491
2508
                next_id = parents[0]
2492
2509
 
 
2510
    @needs_read_lock
 
2511
    def get_revision_inventory(self, revision_id):
 
2512
        """Return inventory of a past revision."""
 
2513
        # TODO: Unify this with get_inventory()
 
2514
        # bzr 0.0.6 and later imposes the constraint that the inventory_id
 
2515
        # must be the same as its revision, so this is trivial.
 
2516
        if revision_id is None:
 
2517
            # This does not make sense: if there is no revision,
 
2518
            # then it is the current tree inventory surely ?!
 
2519
            # and thus get_root_id() is something that looks at the last
 
2520
            # commit on the branch, and the get_root_id is an inventory check.
 
2521
            raise NotImplementedError
 
2522
            # return Inventory(self.get_root_id())
 
2523
        else:
 
2524
            return self.get_inventory(revision_id)
 
2525
 
2493
2526
    def is_shared(self):
2494
2527
        """Return True if this repository is flagged as a shared repository."""
2495
2528
        raise NotImplementedError(self.is_shared)
2529
2562
            return RevisionTree(self, Inventory(root_id=None),
2530
2563
                                _mod_revision.NULL_REVISION)
2531
2564
        else:
2532
 
            inv = self.get_inventory(revision_id)
 
2565
            inv = self.get_revision_inventory(revision_id)
2533
2566
            return RevisionTree(self, inv, revision_id)
2534
2567
 
2535
2568
    def revision_trees(self, revision_ids):
2588
2621
            keys = tsort.topo_sort(parent_map)
2589
2622
        return [None] + list(keys)
2590
2623
 
2591
 
    def pack(self, hint=None, clean_obsolete_packs=False):
 
2624
    def pack(self, hint=None):
2592
2625
        """Compress the data within the repository.
2593
2626
 
2594
2627
        This operation only makes sense for some repository types. For other
2604
2637
            obtained from the result of commit_write_group(). Out of
2605
2638
            date hints are simply ignored, because concurrent operations
2606
2639
            can obsolete them rapidly.
2607
 
 
2608
 
        :param clean_obsolete_packs: Clean obsolete packs immediately after
2609
 
            the pack operation.
2610
2640
        """
2611
2641
 
2612
2642
    def get_transaction(self):
2628
2658
        for ((revision_id,), parent_keys) in \
2629
2659
                self.revisions.get_parent_map(query_keys).iteritems():
2630
2660
            if parent_keys:
2631
 
                result[revision_id] = tuple([parent_revid
2632
 
                    for (parent_revid,) in parent_keys])
 
2661
                result[revision_id] = tuple(parent_revid
 
2662
                    for (parent_revid,) in parent_keys)
2633
2663
            else:
2634
2664
                result[revision_id] = (_mod_revision.NULL_REVISION,)
2635
2665
        return result
2637
2667
    def _make_parents_provider(self):
2638
2668
        return self
2639
2669
 
2640
 
    @needs_read_lock
2641
 
    def get_known_graph_ancestry(self, revision_ids):
2642
 
        """Return the known graph for a set of revision ids and their ancestors.
2643
 
        """
2644
 
        st = static_tuple.StaticTuple
2645
 
        revision_keys = [st(r_id).intern() for r_id in revision_ids]
2646
 
        known_graph = self.revisions.get_known_graph_ancestry(revision_keys)
2647
 
        return graph.GraphThunkIdsToKeys(known_graph)
2648
 
 
2649
2670
    def get_graph(self, other_repository=None):
2650
2671
        """Return the graph walker for this repository format"""
2651
2672
        parents_provider = self._make_parents_provider()
2746
2767
        result.check(callback_refs)
2747
2768
        return result
2748
2769
 
2749
 
    def _warn_if_deprecated(self, branch=None):
 
2770
    def _warn_if_deprecated(self):
2750
2771
        global _deprecation_warning_done
2751
2772
        if _deprecation_warning_done:
2752
2773
            return
2753
 
        try:
2754
 
            if branch is None:
2755
 
                conf = config.GlobalConfig()
2756
 
            else:
2757
 
                conf = branch.get_config()
2758
 
            if conf.suppress_warning('format_deprecation'):
2759
 
                return
2760
 
            warning("Format %s for %s is deprecated -"
2761
 
                    " please use 'bzr upgrade' to get better performance"
2762
 
                    % (self._format, self.bzrdir.transport.base))
2763
 
        finally:
2764
 
            _deprecation_warning_done = True
 
2774
        _deprecation_warning_done = True
 
2775
        warning("Format %s for %s is deprecated - please use 'bzr upgrade' to get better performance"
 
2776
                % (self._format, self.bzrdir.transport.base))
2765
2777
 
2766
2778
    def supports_rich_root(self):
2767
2779
        return self._format.rich_root_data
3050
3062
    pack_compresses = False
3051
3063
    # Does the repository inventory storage understand references to trees?
3052
3064
    supports_tree_reference = None
3053
 
    # Is the format experimental ?
3054
 
    experimental = False
3055
3065
 
3056
 
    def __repr__(self):
3057
 
        return "%s()" % self.__class__.__name__
 
3066
    def __str__(self):
 
3067
        return "<%s>" % self.__class__.__name__
3058
3068
 
3059
3069
    def __eq__(self, other):
3060
3070
        # format objects are generally stateless
3073
3083
        """
3074
3084
        try:
3075
3085
            transport = a_bzrdir.get_repository_transport(None)
3076
 
            format_string = transport.get_bytes("format")
 
3086
            format_string = transport.get("format").read()
3077
3087
            return format_registry.get(format_string)
3078
3088
        except errors.NoSuchFile:
3079
3089
            raise errors.NoRepositoryPresent(a_bzrdir)
3178
3188
        """
3179
3189
        raise NotImplementedError(self.open)
3180
3190
 
3181
 
    def _run_post_repo_init_hooks(self, repository, a_bzrdir, shared):
3182
 
        from bzrlib.bzrdir import BzrDir, RepoInitHookParams
3183
 
        hooks = BzrDir.hooks['post_repo_init']
3184
 
        if not hooks:
3185
 
            return
3186
 
        params = RepoInitHookParams(repository, self, a_bzrdir, shared)
3187
 
        for hook in hooks:
3188
 
            hook(params)
3189
 
 
3190
3191
 
3191
3192
class MetaDirRepositoryFormat(RepositoryFormat):
3192
3193
    """Common base class for the new repositories using the metadir layout."""
3397
3398
 
3398
3399
        :param revision_id: if None all content is copied, if NULL_REVISION no
3399
3400
                            content is copied.
3400
 
        :param pb: ignored.
 
3401
        :param pb: optional progress bar to use for progress reports. If not
 
3402
                   provided a default one will be created.
3401
3403
        :return: None.
3402
3404
        """
3403
 
        ui.ui_factory.warn_experimental_format_fetch(self)
3404
3405
        from bzrlib.fetch import RepoFetcher
3405
 
        # See <https://launchpad.net/bugs/456077> asking for a warning here
3406
 
        if self.source._format.network_name() != self.target._format.network_name():
3407
 
            ui.ui_factory.show_user_warning('cross_format_fetch',
3408
 
                from_format=self.source._format,
3409
 
                to_format=self.target._format)
3410
3406
        f = RepoFetcher(to_repository=self.target,
3411
3407
                               from_repository=self.source,
3412
3408
                               last_revision=revision_id,
3413
3409
                               fetch_spec=fetch_spec,
3414
 
                               find_ghosts=find_ghosts)
 
3410
                               pb=pb, find_ghosts=find_ghosts)
3415
3411
 
3416
3412
    def _walk_to_common_revisions(self, revision_ids):
3417
3413
        """Walk out from revision_ids in source to revisions target has.
3586
3582
                self.target.texts.insert_record_stream(
3587
3583
                    self.source.texts.get_record_stream(
3588
3584
                        self.source.texts.keys(), 'topological', False))
3589
 
                pb.update('Copying inventory', 0, 1)
 
3585
                pb.update('copying inventory', 0, 1)
3590
3586
                self.target.inventories.insert_record_stream(
3591
3587
                    self.source.inventories.get_record_stream(
3592
3588
                        self.source.inventories.keys(), 'topological', False))
3813
3809
                basis_id, delta, current_revision_id, parents_parents)
3814
3810
            cache[current_revision_id] = parent_tree
3815
3811
 
3816
 
    def _fetch_batch(self, revision_ids, basis_id, cache, a_graph=None):
 
3812
    def _fetch_batch(self, revision_ids, basis_id, cache):
3817
3813
        """Fetch across a few revisions.
3818
3814
 
3819
3815
        :param revision_ids: The revisions to copy
3820
3816
        :param basis_id: The revision_id of a tree that must be in cache, used
3821
3817
            as a basis for delta when no other base is available
3822
3818
        :param cache: A cache of RevisionTrees that we can use.
3823
 
        :param a_graph: A Graph object to determine the heads() of the
3824
 
            rich-root data stream.
3825
3819
        :return: The revision_id of the last converted tree. The RevisionTree
3826
3820
            for it will be in cache
3827
3821
        """
3834
3828
        pending_revisions = []
3835
3829
        parent_map = self.source.get_parent_map(revision_ids)
3836
3830
        self._fetch_parent_invs_for_stacking(parent_map, cache)
3837
 
        self.source._safe_to_return_from_cache = True
3838
3831
        for tree in self.source.revision_trees(revision_ids):
3839
3832
            # Find a inventory delta for this revision.
3840
3833
            # Find text entries that need to be copied, too.
3848
3841
                possible_trees.append((basis_id, cache[basis_id]))
3849
3842
            basis_id, delta = self._get_delta_for_revision(tree, parent_ids,
3850
3843
                                                           possible_trees)
3851
 
            revision = self.source.get_revision(current_revision_id)
3852
 
            pending_deltas.append((basis_id, delta,
3853
 
                current_revision_id, revision.parent_ids))
3854
3844
            if self._converting_to_rich_root:
3855
3845
                self._revision_id_to_root_id[current_revision_id] = \
3856
3846
                    tree.get_root_id()
3885
3875
                    if entry.revision == file_revision:
3886
3876
                        texts_possibly_new_in_tree.remove(file_key)
3887
3877
            text_keys.update(texts_possibly_new_in_tree)
 
3878
            revision = self.source.get_revision(current_revision_id)
 
3879
            pending_deltas.append((basis_id, delta,
 
3880
                current_revision_id, revision.parent_ids))
3888
3881
            pending_revisions.append(revision)
3889
3882
            cache[current_revision_id] = tree
3890
3883
            basis_id = current_revision_id
3891
 
        self.source._safe_to_return_from_cache = False
3892
3884
        # Copy file texts
3893
3885
        from_texts = self.source.texts
3894
3886
        to_texts = self.target.texts
3895
3887
        if root_keys_to_create:
3896
 
            root_stream = _mod_fetch._new_root_data_stream(
 
3888
            from bzrlib.fetch import _new_root_data_stream
 
3889
            root_stream = _new_root_data_stream(
3897
3890
                root_keys_to_create, self._revision_id_to_root_id, parent_map,
3898
 
                self.source, graph=a_graph)
 
3891
                self.source)
3899
3892
            to_texts.insert_record_stream(root_stream)
3900
3893
        to_texts.insert_record_stream(from_texts.get_record_stream(
3901
3894
            text_keys, self.target._format._fetch_order,
3958
3951
        cache[basis_id] = basis_tree
3959
3952
        del basis_tree # We don't want to hang on to it here
3960
3953
        hints = []
3961
 
        if self._converting_to_rich_root and len(revision_ids) > 100:
3962
 
            a_graph = _mod_fetch._get_rich_root_heads_graph(self.source,
3963
 
                                                            revision_ids)
3964
 
        else:
3965
 
            a_graph = None
3966
 
 
3967
3954
        for offset in range(0, len(revision_ids), batch_size):
3968
3955
            self.target.start_write_group()
3969
3956
            try:
3970
3957
                pb.update('Transferring revisions', offset,
3971
3958
                          len(revision_ids))
3972
3959
                batch = revision_ids[offset:offset+batch_size]
3973
 
                basis_id = self._fetch_batch(batch, basis_id, cache,
3974
 
                                             a_graph=a_graph)
 
3960
                basis_id = self._fetch_batch(batch, basis_id, cache)
3975
3961
            except:
3976
 
                self.source._safe_to_return_from_cache = False
3977
3962
                self.target.abort_write_group()
3978
3963
                raise
3979
3964
            else:
3991
3976
        """See InterRepository.fetch()."""
3992
3977
        if fetch_spec is not None:
3993
3978
            raise AssertionError("Not implemented yet...")
3994
 
        ui.ui_factory.warn_experimental_format_fetch(self)
3995
3979
        if (not self.source.supports_rich_root()
3996
3980
            and self.target.supports_rich_root()):
3997
3981
            self._converting_to_rich_root = True
3998
3982
            self._revision_id_to_root_id = {}
3999
3983
        else:
4000
3984
            self._converting_to_rich_root = False
4001
 
        # See <https://launchpad.net/bugs/456077> asking for a warning here
4002
 
        if self.source._format.network_name() != self.target._format.network_name():
4003
 
            ui.ui_factory.show_user_warning('cross_format_fetch',
4004
 
                from_format=self.source._format,
4005
 
                to_format=self.target._format)
4006
3985
        revision_ids = self.target.search_missing_revision_ids(self.source,
4007
3986
            revision_id, find_ghosts=find_ghosts).get_keys()
4008
3987
        if not revision_ids:
4077
4056
        :param to_convert: The disk object to convert.
4078
4057
        :param pb: a progress bar to use for progress information.
4079
4058
        """
4080
 
        pb = ui.ui_factory.nested_progress_bar()
 
4059
        self.pb = pb
4081
4060
        self.count = 0
4082
4061
        self.total = 4
4083
4062
        # this is only useful with metadir layouts - separated repo content.
4084
4063
        # trigger an assertion if not such
4085
4064
        repo._format.get_format_string()
4086
4065
        self.repo_dir = repo.bzrdir
4087
 
        pb.update('Moving repository to repository.backup')
 
4066
        self.step('Moving repository to repository.backup')
4088
4067
        self.repo_dir.transport.move('repository', 'repository.backup')
4089
4068
        backup_transport =  self.repo_dir.transport.clone('repository.backup')
4090
4069
        repo._format.check_conversion_target(self.target_format)
4091
4070
        self.source_repo = repo._format.open(self.repo_dir,
4092
4071
            _found=True,
4093
4072
            _override_transport=backup_transport)
4094
 
        pb.update('Creating new repository')
 
4073
        self.step('Creating new repository')
4095
4074
        converted = self.target_format.initialize(self.repo_dir,
4096
4075
                                                  self.source_repo.is_shared())
4097
4076
        converted.lock_write()
4098
4077
        try:
4099
 
            pb.update('Copying content')
 
4078
            self.step('Copying content into repository.')
4100
4079
            self.source_repo.copy_content_into(converted)
4101
4080
        finally:
4102
4081
            converted.unlock()
4103
 
        pb.update('Deleting old repository content')
 
4082
        self.step('Deleting old repository content.')
4104
4083
        self.repo_dir.transport.delete_tree('repository.backup')
4105
 
        ui.ui_factory.note('repository converted')
4106
 
        pb.finished()
 
4084
        self.pb.note('repository converted')
 
4085
 
 
4086
    def step(self, message):
 
4087
        """Update the pb by a step."""
 
4088
        self.count +=1
 
4089
        self.pb.update(message, self.count, self.total)
4107
4090
 
4108
4091
 
4109
4092
_unescape_map = {
4329
4312
                ):
4330
4313
                if versioned_file is None:
4331
4314
                    continue
4332
 
                # TODO: key is often going to be a StaticTuple object
4333
 
                #       I don't believe we can define a method by which
4334
 
                #       (prefix,) + StaticTuple will work, though we could
4335
 
                #       define a StaticTuple.sq_concat that would allow you to
4336
 
                #       pass in either a tuple or a StaticTuple as the second
4337
 
                #       object, so instead we could have:
4338
 
                #       StaticTuple(prefix) + key here...
4339
4315
                missing_keys.update((prefix,) + key for key in
4340
4316
                    versioned_file.get_missing_compression_parent_keys())
4341
4317
        except NotImplementedError:
4453
4429
        fetching the inventory weave.
4454
4430
        """
4455
4431
        if self._rich_root_upgrade():
4456
 
            return _mod_fetch.Inter1and2Helper(
 
4432
            import bzrlib.fetch
 
4433
            return bzrlib.fetch.Inter1and2Helper(
4457
4434
                self.from_repository).generate_root_texts(revs)
4458
4435
        else:
4459
4436
            return []
4601
4578
 
4602
4579
    def _get_convertable_inventory_stream(self, revision_ids,
4603
4580
                                          delta_versus_null=False):
4604
 
        # The two formats are sufficiently different that there is no fast
4605
 
        # path, so we need to send just inventorydeltas, which any
4606
 
        # sufficiently modern client can insert into any repository.
4607
 
        # The StreamSink code expects to be able to
 
4581
        # The source is using CHKs, but the target either doesn't or it has a
 
4582
        # different serializer.  The StreamSink code expects to be able to
4608
4583
        # convert on the target, so we need to put bytes-on-the-wire that can
4609
4584
        # be converted.  That means inventory deltas (if the remote is <1.19,
4610
4585
        # RemoteStreamSink will fallback to VFS to insert the deltas).