/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/repository.py

  • Committer: Martin
  • Date: 2009-11-07 08:02:13 UTC
  • mfrom: (4789 +trunk)
  • mto: This revision was merged to the branch mainline in revision 4809.
  • Revision ID: gzlist@googlemail.com-20091107080213-jad185091b3l69ih
Merge bzr.dev 4789 to resolve conflict from the disabling of plink auto-detection, and relocate NEWS

Show diffs side-by-side

added added

removed removed

Lines of Context:
31
31
    gpg,
32
32
    graph,
33
33
    inventory,
 
34
    inventory_delta,
34
35
    lazy_regex,
35
36
    lockable_files,
36
37
    lockdir,
48
49
from bzrlib.testament import Testament
49
50
""")
50
51
 
51
 
from bzrlib.decorators import needs_read_lock, needs_write_lock
 
52
from bzrlib.decorators import needs_read_lock, needs_write_lock, only_raises
52
53
from bzrlib.inter import InterObject
53
54
from bzrlib.inventory import (
54
55
    Inventory,
56
57
    ROOT_ID,
57
58
    entry_factory,
58
59
    )
 
60
from bzrlib.lock import _RelockDebugMixin
59
61
from bzrlib import registry
60
62
from bzrlib.trace import (
61
63
    log_exception_quietly, note, mutter, mutter_callsite, warning)
464
466
            if content_summary[2] is None:
465
467
                raise ValueError("Files must not have executable = None")
466
468
            if not store:
467
 
                if (# if the file length changed we have to store:
468
 
                    parent_entry.text_size != content_summary[1] or
469
 
                    # if the exec bit has changed we have to store:
 
469
                # We can't trust a check of the file length because of content
 
470
                # filtering...
 
471
                if (# if the exec bit has changed we have to store:
470
472
                    parent_entry.executable != content_summary[2]):
471
473
                    store = True
472
474
                elif parent_entry.text_sha1 == content_summary[3]:
539
541
                ie.revision = parent_entry.revision
540
542
                return self._get_delta(ie, basis_inv, path), False, None
541
543
            ie.reference_revision = content_summary[3]
 
544
            if ie.reference_revision is None:
 
545
                raise AssertionError("invalid content_summary for nested tree: %r"
 
546
                    % (content_summary,))
542
547
            self._add_text_to_weave(ie.file_id, '', heads, None)
543
548
        else:
544
549
            raise NotImplementedError('unknown kind')
806
811
                seen_root = True
807
812
        self.new_inventory = None
808
813
        if len(inv_delta):
 
814
            # This should perhaps be guarded by a check that the basis we
 
815
            # commit against is the basis for the commit and if not do a delta
 
816
            # against the basis.
809
817
            self._any_changes = True
810
818
        if not seen_root:
811
819
            # housekeeping root entry changes do not affect no-change commits.
849
857
# Repositories
850
858
 
851
859
 
852
 
class Repository(object):
 
860
class Repository(_RelockDebugMixin):
853
861
    """Repository holding history for one or more branches.
854
862
 
855
863
    The repository holds and retrieves historical information including
924
932
        """
925
933
        if self._write_group is not self.get_transaction():
926
934
            # has an unlock or relock occured ?
 
935
            if suppress_errors:
 
936
                mutter(
 
937
                '(suppressed) mismatched lock context and write group. %r, %r',
 
938
                self._write_group, self.get_transaction())
 
939
                return
927
940
            raise errors.BzrError(
928
941
                'mismatched lock context and write group. %r, %r' %
929
942
                (self._write_group, self.get_transaction()))
1063
1076
        check_content=True):
1064
1077
        """Store lines in inv_vf and return the sha1 of the inventory."""
1065
1078
        parents = [(parent,) for parent in parents]
1066
 
        return self.inventories.add_lines((revision_id,), parents, lines,
 
1079
        result = self.inventories.add_lines((revision_id,), parents, lines,
1067
1080
            check_content=check_content)[0]
 
1081
        self.inventories._access.flush()
 
1082
        return result
1068
1083
 
1069
1084
    def add_revision(self, revision_id, rev, inv=None, config=None):
1070
1085
        """Add rev to the revision store as revision_id.
1208
1223
                    for record in getattr(self, kind).check(keys=keys[kind]):
1209
1224
                        if record.storage_kind == 'absent':
1210
1225
                            checker._report_items.append(
1211
 
                                'Missing inventory {%s}' % (record.key,))
 
1226
                                'Missing %s {%s}' % (kind, record.key,))
1212
1227
                        else:
1213
1228
                            last_object = self._check_record(kind, record,
1214
1229
                                checker, last_object, current_keys[(kind,) + record.key])
1367
1382
        locked = self.is_locked()
1368
1383
        result = self.control_files.lock_write(token=token)
1369
1384
        if not locked:
 
1385
            self._note_lock('w')
1370
1386
            for repo in self._fallback_repositories:
1371
1387
                # Writes don't affect fallback repos
1372
1388
                repo.lock_read()
1377
1393
        locked = self.is_locked()
1378
1394
        self.control_files.lock_read()
1379
1395
        if not locked:
 
1396
            self._note_lock('r')
1380
1397
            for repo in self._fallback_repositories:
1381
1398
                repo.lock_read()
1382
1399
            self._refresh_data()
1529
1546
        """Commit the contents accrued within the current write group.
1530
1547
 
1531
1548
        :seealso: start_write_group.
 
1549
        
 
1550
        :return: it may return an opaque hint that can be passed to 'pack'.
1532
1551
        """
1533
1552
        if self._write_group is not self.get_transaction():
1534
1553
            # has an unlock or relock occured ?
1588
1607
        # but at the moment we're only checking for texts referenced by
1589
1608
        # inventories at the graph's edge.
1590
1609
        key_deps = self.revisions._index._key_dependencies
1591
 
        key_deps.add_keys(present_inventories)
 
1610
        key_deps.satisfy_refs_for_keys(present_inventories)
1592
1611
        referrers = frozenset(r[0] for r in key_deps.get_referrers())
1593
1612
        file_ids = self.fileids_altered_by_revision_ids(referrers)
1594
1613
        missing_texts = set()
1695
1714
        :param revprops: Optional dictionary of revision properties.
1696
1715
        :param revision_id: Optional revision id.
1697
1716
        """
 
1717
        if self._fallback_repositories:
 
1718
            raise errors.BzrError("Cannot commit from a lightweight checkout "
 
1719
                "to a stacked branch. See "
 
1720
                "https://bugs.launchpad.net/bzr/+bug/375013 for details.")
1698
1721
        result = self._commit_builder_class(self, parents, config,
1699
1722
            timestamp, timezone, committer, revprops, revision_id)
1700
1723
        self.start_write_group()
1701
1724
        return result
1702
1725
 
 
1726
    @only_raises(errors.LockNotHeld, errors.LockBroken)
1703
1727
    def unlock(self):
1704
1728
        if (self.control_files._lock_count == 1 and
1705
1729
            self.control_files._lock_mode == 'w'):
2309
2333
        num_file_ids = len(file_ids)
2310
2334
        for file_id, altered_versions in file_ids.iteritems():
2311
2335
            if pb is not None:
2312
 
                pb.update("fetch texts", count, num_file_ids)
 
2336
                pb.update("Fetch texts", count, num_file_ids)
2313
2337
            count += 1
2314
2338
            yield ("file", file_id, altered_versions)
2315
2339
 
2336
2360
        """Get Inventory object by revision id."""
2337
2361
        return self.iter_inventories([revision_id]).next()
2338
2362
 
2339
 
    def iter_inventories(self, revision_ids):
 
2363
    def iter_inventories(self, revision_ids, ordering=None):
2340
2364
        """Get many inventories by revision_ids.
2341
2365
 
2342
2366
        This will buffer some or all of the texts used in constructing the
2344
2368
        time.
2345
2369
 
2346
2370
        :param revision_ids: The expected revision ids of the inventories.
 
2371
        :param ordering: optional ordering, e.g. 'topological'.  If not
 
2372
            specified, the order of revision_ids will be preserved (by
 
2373
            buffering if necessary).
2347
2374
        :return: An iterator of inventories.
2348
2375
        """
2349
2376
        if ((None in revision_ids)
2350
2377
            or (_mod_revision.NULL_REVISION in revision_ids)):
2351
2378
            raise ValueError('cannot get null revision inventory')
2352
 
        return self._iter_inventories(revision_ids)
 
2379
        return self._iter_inventories(revision_ids, ordering)
2353
2380
 
2354
 
    def _iter_inventories(self, revision_ids):
 
2381
    def _iter_inventories(self, revision_ids, ordering):
2355
2382
        """single-document based inventory iteration."""
2356
 
        for text, revision_id in self._iter_inventory_xmls(revision_ids):
 
2383
        inv_xmls = self._iter_inventory_xmls(revision_ids, ordering)
 
2384
        for text, revision_id in inv_xmls:
2357
2385
            yield self.deserialise_inventory(revision_id, text)
2358
2386
 
2359
 
    def _iter_inventory_xmls(self, revision_ids):
 
2387
    def _iter_inventory_xmls(self, revision_ids, ordering):
 
2388
        if ordering is None:
 
2389
            order_as_requested = True
 
2390
            ordering = 'unordered'
 
2391
        else:
 
2392
            order_as_requested = False
2360
2393
        keys = [(revision_id,) for revision_id in revision_ids]
2361
 
        stream = self.inventories.get_record_stream(keys, 'unordered', True)
 
2394
        if not keys:
 
2395
            return
 
2396
        if order_as_requested:
 
2397
            key_iter = iter(keys)
 
2398
            next_key = key_iter.next()
 
2399
        stream = self.inventories.get_record_stream(keys, ordering, True)
2362
2400
        text_chunks = {}
2363
2401
        for record in stream:
2364
2402
            if record.storage_kind != 'absent':
2365
 
                text_chunks[record.key] = record.get_bytes_as('chunked')
 
2403
                chunks = record.get_bytes_as('chunked')
 
2404
                if order_as_requested:
 
2405
                    text_chunks[record.key] = chunks
 
2406
                else:
 
2407
                    yield ''.join(chunks), record.key[-1]
2366
2408
            else:
2367
2409
                raise errors.NoSuchRevision(self, record.key)
2368
 
        for key in keys:
2369
 
            chunks = text_chunks.pop(key)
2370
 
            yield ''.join(chunks), key[-1]
 
2410
            if order_as_requested:
 
2411
                # Yield as many results as we can while preserving order.
 
2412
                while next_key in text_chunks:
 
2413
                    chunks = text_chunks.pop(next_key)
 
2414
                    yield ''.join(chunks), next_key[-1]
 
2415
                    try:
 
2416
                        next_key = key_iter.next()
 
2417
                    except StopIteration:
 
2418
                        # We still want to fully consume the get_record_stream,
 
2419
                        # just in case it is not actually finished at this point
 
2420
                        next_key = None
 
2421
                        break
2371
2422
 
2372
2423
    def deserialise_inventory(self, revision_id, xml):
2373
2424
        """Transform the xml into an inventory object.
2394
2445
    @needs_read_lock
2395
2446
    def get_inventory_xml(self, revision_id):
2396
2447
        """Get inventory XML as a file object."""
2397
 
        texts = self._iter_inventory_xmls([revision_id])
 
2448
        texts = self._iter_inventory_xmls([revision_id], 'unordered')
2398
2449
        try:
2399
2450
            text, revision_id = texts.next()
2400
2451
        except StopIteration:
3016
3067
    # help), and for fetching when data won't have come from the same
3017
3068
    # compressor.
3018
3069
    pack_compresses = False
 
3070
    # Does the repository inventory storage understand references to trees?
 
3071
    supports_tree_reference = None
3019
3072
 
3020
3073
    def __str__(self):
3021
3074
        return "<%s>" % self.__class__.__name__
3125
3178
        raise NotImplementedError(self.network_name)
3126
3179
 
3127
3180
    def check_conversion_target(self, target_format):
3128
 
        raise NotImplementedError(self.check_conversion_target)
 
3181
        if self.rich_root_data and not target_format.rich_root_data:
 
3182
            raise errors.BadConversionTarget(
 
3183
                'Does not support rich root data.', target_format,
 
3184
                from_format=self)
 
3185
        if (self.supports_tree_reference and 
 
3186
            not getattr(target_format, 'supports_tree_reference', False)):
 
3187
            raise errors.BadConversionTarget(
 
3188
                'Does not support nested trees', target_format,
 
3189
                from_format=self)
3129
3190
 
3130
3191
    def open(self, a_bzrdir, _found=False):
3131
3192
        """Return an instance of this format for the bzrdir a_bzrdir.
3528
3589
                self.target.texts.insert_record_stream(
3529
3590
                    self.source.texts.get_record_stream(
3530
3591
                        self.source.texts.keys(), 'topological', False))
3531
 
                pb.update('copying inventory', 0, 1)
 
3592
                pb.update('Copying inventory', 0, 1)
3532
3593
                self.target.inventories.insert_record_stream(
3533
3594
                    self.source.inventories.get_record_stream(
3534
3595
                        self.source.inventories.keys(), 'topological', False))
3660
3721
        # This is redundant with format.check_conversion_target(), however that
3661
3722
        # raises an exception, and we just want to say "False" as in we won't
3662
3723
        # support converting between these formats.
 
3724
        if 'IDS_never' in debug.debug_flags:
 
3725
            return False
3663
3726
        if source.supports_rich_root() and not target.supports_rich_root():
3664
3727
            return False
3665
3728
        if (source._format.supports_tree_reference
3666
3729
            and not target._format.supports_tree_reference):
3667
3730
            return False
 
3731
        if target._fallback_repositories and target._format.supports_chks:
 
3732
            # IDS doesn't know how to copy CHKs for the parent inventories it
 
3733
            # adds to stacked repos.
 
3734
            return False
 
3735
        if 'IDS_always' in debug.debug_flags:
 
3736
            return True
 
3737
        # Only use this code path for local source and target.  IDS does far
 
3738
        # too much IO (both bandwidth and roundtrips) over a network.
 
3739
        if not source.bzrdir.transport.base.startswith('file:///'):
 
3740
            return False
 
3741
        if not target.bzrdir.transport.base.startswith('file:///'):
 
3742
            return False
3668
3743
        return True
3669
3744
 
3670
 
    def _get_delta_for_revision(self, tree, parent_ids, basis_id, cache):
 
3745
    def _get_trees(self, revision_ids, cache):
 
3746
        possible_trees = []
 
3747
        for rev_id in revision_ids:
 
3748
            if rev_id in cache:
 
3749
                possible_trees.append((rev_id, cache[rev_id]))
 
3750
            else:
 
3751
                # Not cached, but inventory might be present anyway.
 
3752
                try:
 
3753
                    tree = self.source.revision_tree(rev_id)
 
3754
                except errors.NoSuchRevision:
 
3755
                    # Nope, parent is ghost.
 
3756
                    pass
 
3757
                else:
 
3758
                    cache[rev_id] = tree
 
3759
                    possible_trees.append((rev_id, tree))
 
3760
        return possible_trees
 
3761
 
 
3762
    def _get_delta_for_revision(self, tree, parent_ids, possible_trees):
3671
3763
        """Get the best delta and base for this revision.
3672
3764
 
3673
3765
        :return: (basis_id, delta)
3674
3766
        """
3675
 
        possible_trees = [(parent_id, cache[parent_id])
3676
 
                          for parent_id in parent_ids
3677
 
                           if parent_id in cache]
3678
 
        if len(possible_trees) == 0:
3679
 
            # There either aren't any parents, or the parents aren't in the
3680
 
            # cache, so just use the last converted tree
3681
 
            possible_trees.append((basis_id, cache[basis_id]))
3682
3767
        deltas = []
 
3768
        # Generate deltas against each tree, to find the shortest.
 
3769
        texts_possibly_new_in_tree = set()
3683
3770
        for basis_id, basis_tree in possible_trees:
3684
3771
            delta = tree.inventory._make_delta(basis_tree.inventory)
 
3772
            for old_path, new_path, file_id, new_entry in delta:
 
3773
                if new_path is None:
 
3774
                    # This file_id isn't present in the new rev, so we don't
 
3775
                    # care about it.
 
3776
                    continue
 
3777
                if not new_path:
 
3778
                    # Rich roots are handled elsewhere...
 
3779
                    continue
 
3780
                kind = new_entry.kind
 
3781
                if kind != 'directory' and kind != 'file':
 
3782
                    # No text record associated with this inventory entry.
 
3783
                    continue
 
3784
                # This is a directory or file that has changed somehow.
 
3785
                texts_possibly_new_in_tree.add((file_id, new_entry.revision))
3685
3786
            deltas.append((len(delta), basis_id, delta))
3686
3787
        deltas.sort()
3687
3788
        return deltas[0][1:]
3688
3789
 
3689
 
    def _get_parent_keys(self, root_key, parent_map):
3690
 
        """Get the parent keys for a given root id."""
3691
 
        root_id, rev_id = root_key
3692
 
        # Include direct parents of the revision, but only if they used
3693
 
        # the same root_id and are heads.
3694
 
        parent_keys = []
3695
 
        for parent_id in parent_map[rev_id]:
3696
 
            if parent_id == _mod_revision.NULL_REVISION:
3697
 
                continue
3698
 
            if parent_id not in self._revision_id_to_root_id:
3699
 
                # We probably didn't read this revision, go spend the
3700
 
                # extra effort to actually check
3701
 
                try:
3702
 
                    tree = self.source.revision_tree(parent_id)
3703
 
                except errors.NoSuchRevision:
3704
 
                    # Ghost, fill out _revision_id_to_root_id in case we
3705
 
                    # encounter this again.
3706
 
                    # But set parent_root_id to None since we don't really know
3707
 
                    parent_root_id = None
3708
 
                else:
3709
 
                    parent_root_id = tree.get_root_id()
3710
 
                self._revision_id_to_root_id[parent_id] = None
3711
 
            else:
3712
 
                parent_root_id = self._revision_id_to_root_id[parent_id]
3713
 
            if root_id == parent_root_id:
3714
 
                # With stacking we _might_ want to refer to a non-local
3715
 
                # revision, but this code path only applies when we have the
3716
 
                # full content available, so ghosts really are ghosts, not just
3717
 
                # the edge of local data.
3718
 
                parent_keys.append((parent_id,))
3719
 
            else:
3720
 
                # root_id may be in the parent anyway.
3721
 
                try:
3722
 
                    tree = self.source.revision_tree(parent_id)
3723
 
                except errors.NoSuchRevision:
3724
 
                    # ghost, can't refer to it.
3725
 
                    pass
3726
 
                else:
3727
 
                    try:
3728
 
                        parent_keys.append((tree.inventory[root_id].revision,))
3729
 
                    except errors.NoSuchId:
3730
 
                        # not in the tree
3731
 
                        pass
3732
 
        g = graph.Graph(self.source.revisions)
3733
 
        heads = g.heads(parent_keys)
3734
 
        selected_keys = []
3735
 
        for key in parent_keys:
3736
 
            if key in heads and key not in selected_keys:
3737
 
                selected_keys.append(key)
3738
 
        return tuple([(root_id,)+ key for key in selected_keys])
 
3790
    def _fetch_parent_invs_for_stacking(self, parent_map, cache):
 
3791
        """Find all parent revisions that are absent, but for which the
 
3792
        inventory is present, and copy those inventories.
3739
3793
 
3740
 
    def _new_root_data_stream(self, root_keys_to_create, parent_map):
3741
 
        for root_key in root_keys_to_create:
3742
 
            parent_keys = self._get_parent_keys(root_key, parent_map)
3743
 
            yield versionedfile.FulltextContentFactory(root_key,
3744
 
                parent_keys, None, '')
 
3794
        This is necessary to preserve correctness when the source is stacked
 
3795
        without fallbacks configured.  (Note that in cases like upgrade the
 
3796
        source may be not have _fallback_repositories even though it is
 
3797
        stacked.)
 
3798
        """
 
3799
        parent_revs = set()
 
3800
        for parents in parent_map.values():
 
3801
            parent_revs.update(parents)
 
3802
        present_parents = self.source.get_parent_map(parent_revs)
 
3803
        absent_parents = set(parent_revs).difference(present_parents)
 
3804
        parent_invs_keys_for_stacking = self.source.inventories.get_parent_map(
 
3805
            (rev_id,) for rev_id in absent_parents)
 
3806
        parent_inv_ids = [key[-1] for key in parent_invs_keys_for_stacking]
 
3807
        for parent_tree in self.source.revision_trees(parent_inv_ids):
 
3808
            current_revision_id = parent_tree.get_revision_id()
 
3809
            parents_parents_keys = parent_invs_keys_for_stacking[
 
3810
                (current_revision_id,)]
 
3811
            parents_parents = [key[-1] for key in parents_parents_keys]
 
3812
            basis_id = _mod_revision.NULL_REVISION
 
3813
            basis_tree = self.source.revision_tree(basis_id)
 
3814
            delta = parent_tree.inventory._make_delta(basis_tree.inventory)
 
3815
            self.target.add_inventory_by_delta(
 
3816
                basis_id, delta, current_revision_id, parents_parents)
 
3817
            cache[current_revision_id] = parent_tree
3745
3818
 
3746
3819
    def _fetch_batch(self, revision_ids, basis_id, cache):
3747
3820
        """Fetch across a few revisions.
3761
3834
        pending_deltas = []
3762
3835
        pending_revisions = []
3763
3836
        parent_map = self.source.get_parent_map(revision_ids)
 
3837
        self._fetch_parent_invs_for_stacking(parent_map, cache)
3764
3838
        for tree in self.source.revision_trees(revision_ids):
 
3839
            # Find a inventory delta for this revision.
 
3840
            # Find text entries that need to be copied, too.
3765
3841
            current_revision_id = tree.get_revision_id()
3766
3842
            parent_ids = parent_map.get(current_revision_id, ())
 
3843
            parent_trees = self._get_trees(parent_ids, cache)
 
3844
            possible_trees = list(parent_trees)
 
3845
            if len(possible_trees) == 0:
 
3846
                # There either aren't any parents, or the parents are ghosts,
 
3847
                # so just use the last converted tree.
 
3848
                possible_trees.append((basis_id, cache[basis_id]))
3767
3849
            basis_id, delta = self._get_delta_for_revision(tree, parent_ids,
3768
 
                                                           basis_id, cache)
 
3850
                                                           possible_trees)
 
3851
            revision = self.source.get_revision(current_revision_id)
 
3852
            pending_deltas.append((basis_id, delta,
 
3853
                current_revision_id, revision.parent_ids))
3769
3854
            if self._converting_to_rich_root:
3770
3855
                self._revision_id_to_root_id[current_revision_id] = \
3771
3856
                    tree.get_root_id()
3772
 
            # Find text entries that need to be copied
 
3857
            # Determine which texts are in present in this revision but not in
 
3858
            # any of the available parents.
 
3859
            texts_possibly_new_in_tree = set()
3773
3860
            for old_path, new_path, file_id, entry in delta:
3774
 
                if new_path is not None:
3775
 
                    if not new_path:
3776
 
                        # This is the root
3777
 
                        if not self.target.supports_rich_root():
3778
 
                            # The target doesn't support rich root, so we don't
3779
 
                            # copy
3780
 
                            continue
3781
 
                        if self._converting_to_rich_root:
3782
 
                            # This can't be copied normally, we have to insert
3783
 
                            # it specially
3784
 
                            root_keys_to_create.add((file_id, entry.revision))
3785
 
                            continue
3786
 
                    text_keys.add((file_id, entry.revision))
3787
 
            revision = self.source.get_revision(current_revision_id)
3788
 
            pending_deltas.append((basis_id, delta,
3789
 
                current_revision_id, revision.parent_ids))
 
3861
                if new_path is None:
 
3862
                    # This file_id isn't present in the new rev
 
3863
                    continue
 
3864
                if not new_path:
 
3865
                    # This is the root
 
3866
                    if not self.target.supports_rich_root():
 
3867
                        # The target doesn't support rich root, so we don't
 
3868
                        # copy
 
3869
                        continue
 
3870
                    if self._converting_to_rich_root:
 
3871
                        # This can't be copied normally, we have to insert
 
3872
                        # it specially
 
3873
                        root_keys_to_create.add((file_id, entry.revision))
 
3874
                        continue
 
3875
                kind = entry.kind
 
3876
                texts_possibly_new_in_tree.add((file_id, entry.revision))
 
3877
            for basis_id, basis_tree in possible_trees:
 
3878
                basis_inv = basis_tree.inventory
 
3879
                for file_key in list(texts_possibly_new_in_tree):
 
3880
                    file_id, file_revision = file_key
 
3881
                    try:
 
3882
                        entry = basis_inv[file_id]
 
3883
                    except errors.NoSuchId:
 
3884
                        continue
 
3885
                    if entry.revision == file_revision:
 
3886
                        texts_possibly_new_in_tree.remove(file_key)
 
3887
            text_keys.update(texts_possibly_new_in_tree)
3790
3888
            pending_revisions.append(revision)
3791
3889
            cache[current_revision_id] = tree
3792
3890
            basis_id = current_revision_id
3794
3892
        from_texts = self.source.texts
3795
3893
        to_texts = self.target.texts
3796
3894
        if root_keys_to_create:
3797
 
            root_stream = self._new_root_data_stream(root_keys_to_create,
3798
 
                                                     parent_map)
 
3895
            from bzrlib.fetch import _new_root_data_stream
 
3896
            root_stream = _new_root_data_stream(
 
3897
                root_keys_to_create, self._revision_id_to_root_id, parent_map,
 
3898
                self.source)
3799
3899
            to_texts.insert_record_stream(root_stream)
3800
3900
        to_texts.insert_record_stream(from_texts.get_record_stream(
3801
3901
            text_keys, self.target._format._fetch_order,
3808
3908
            # for the new revisions that we are about to insert.  We do this
3809
3909
            # before adding the revisions so that no revision is added until
3810
3910
            # all the inventories it may depend on are added.
 
3911
            # Note that this is overzealous, as we may have fetched these in an
 
3912
            # earlier batch.
3811
3913
            parent_ids = set()
3812
3914
            revision_ids = set()
3813
3915
            for revision in pending_revisions:
3816
3918
            parent_ids.difference_update(revision_ids)
3817
3919
            parent_ids.discard(_mod_revision.NULL_REVISION)
3818
3920
            parent_map = self.source.get_parent_map(parent_ids)
3819
 
            for parent_tree in self.source.revision_trees(parent_ids):
3820
 
                basis_id, delta = self._get_delta_for_revision(tree, parent_ids, basis_id, cache)
 
3921
            # we iterate over parent_map and not parent_ids because we don't
 
3922
            # want to try copying any revision which is a ghost
 
3923
            for parent_tree in self.source.revision_trees(parent_map):
3821
3924
                current_revision_id = parent_tree.get_revision_id()
3822
3925
                parents_parents = parent_map[current_revision_id]
 
3926
                possible_trees = self._get_trees(parents_parents, cache)
 
3927
                if len(possible_trees) == 0:
 
3928
                    # There either aren't any parents, or the parents are
 
3929
                    # ghosts, so just use the last converted tree.
 
3930
                    possible_trees.append((basis_id, cache[basis_id]))
 
3931
                basis_id, delta = self._get_delta_for_revision(parent_tree,
 
3932
                    parents_parents, possible_trees)
3823
3933
                self.target.add_inventory_by_delta(
3824
3934
                    basis_id, delta, current_revision_id, parents_parents)
3825
3935
        # insert signatures and revisions
3890
4000
        # Walk though all revisions; get inventory deltas, copy referenced
3891
4001
        # texts that delta references, insert the delta, revision and
3892
4002
        # signature.
3893
 
        first_rev = self.source.get_revision(revision_ids[0])
3894
4003
        if pb is None:
3895
4004
            my_pb = ui.ui_factory.nested_progress_bar()
3896
4005
            pb = my_pb
3973
4082
                                                  self.source_repo.is_shared())
3974
4083
        converted.lock_write()
3975
4084
        try:
3976
 
            self.step('Copying content into repository.')
 
4085
            self.step('Copying content')
3977
4086
            self.source_repo.copy_content_into(converted)
3978
4087
        finally:
3979
4088
            converted.unlock()
3980
 
        self.step('Deleting old repository content.')
 
4089
        self.step('Deleting old repository content')
3981
4090
        self.repo_dir.transport.delete_tree('repository.backup')
3982
 
        self.pb.note('repository converted')
 
4091
        ui.ui_factory.note('repository converted')
3983
4092
 
3984
4093
    def step(self, message):
3985
4094
        """Update the pb by a step."""
4062
4171
        self.file_ids = set([file_id for file_id, _ in
4063
4172
            self.text_index.iterkeys()])
4064
4173
        # text keys is now grouped by file_id
4065
 
        n_weaves = len(self.file_ids)
4066
 
        files_in_revisions = {}
4067
 
        revisions_of_files = {}
4068
4174
        n_versions = len(self.text_index)
4069
4175
        progress_bar.update('loading text store', 0, n_versions)
4070
4176
        parent_map = self.repository.texts.get_parent_map(self.text_index)
4163
4269
            else:
4164
4270
                new_pack.set_write_cache_size(1024*1024)
4165
4271
        for substream_type, substream in stream:
 
4272
            if 'stream' in debug.debug_flags:
 
4273
                mutter('inserting substream: %s', substream_type)
4166
4274
            if substream_type == 'texts':
4167
4275
                self.target_repo.texts.insert_record_stream(substream)
4168
4276
            elif substream_type == 'inventories':
4172
4280
                else:
4173
4281
                    self._extract_and_insert_inventories(
4174
4282
                        substream, src_serializer)
 
4283
            elif substream_type == 'inventory-deltas':
 
4284
                self._extract_and_insert_inventory_deltas(
 
4285
                    substream, src_serializer)
4175
4286
            elif substream_type == 'chk_bytes':
4176
4287
                # XXX: This doesn't support conversions, as it assumes the
4177
4288
                #      conversion was done in the fetch code.
4208
4319
                ):
4209
4320
                if versioned_file is None:
4210
4321
                    continue
 
4322
                # TODO: key is often going to be a StaticTuple object
 
4323
                #       I don't believe we can define a method by which
 
4324
                #       (prefix,) + StaticTuple will work, though we could
 
4325
                #       define a StaticTuple.sq_concat that would allow you to
 
4326
                #       pass in either a tuple or a StaticTuple as the second
 
4327
                #       object, so instead we could have:
 
4328
                #       StaticTuple(prefix) + key here...
4211
4329
                missing_keys.update((prefix,) + key for key in
4212
4330
                    versioned_file.get_missing_compression_parent_keys())
4213
4331
        except NotImplementedError:
4228
4346
            self.target_repo.pack(hint=hint)
4229
4347
        return [], set()
4230
4348
 
4231
 
    def _extract_and_insert_inventories(self, substream, serializer):
 
4349
    def _extract_and_insert_inventory_deltas(self, substream, serializer):
 
4350
        target_rich_root = self.target_repo._format.rich_root_data
 
4351
        target_tree_refs = self.target_repo._format.supports_tree_reference
 
4352
        for record in substream:
 
4353
            # Insert the delta directly
 
4354
            inventory_delta_bytes = record.get_bytes_as('fulltext')
 
4355
            deserialiser = inventory_delta.InventoryDeltaDeserializer()
 
4356
            try:
 
4357
                parse_result = deserialiser.parse_text_bytes(
 
4358
                    inventory_delta_bytes)
 
4359
            except inventory_delta.IncompatibleInventoryDelta, err:
 
4360
                trace.mutter("Incompatible delta: %s", err.msg)
 
4361
                raise errors.IncompatibleRevision(self.target_repo._format)
 
4362
            basis_id, new_id, rich_root, tree_refs, inv_delta = parse_result
 
4363
            revision_id = new_id
 
4364
            parents = [key[0] for key in record.parents]
 
4365
            self.target_repo.add_inventory_by_delta(
 
4366
                basis_id, inv_delta, revision_id, parents)
 
4367
 
 
4368
    def _extract_and_insert_inventories(self, substream, serializer,
 
4369
            parse_delta=None):
4232
4370
        """Generate a new inventory versionedfile in target, converting data.
4233
4371
 
4234
4372
        The inventory is retrieved from the source, (deserializing it), and
4235
4373
        stored in the target (reserializing it in a different format).
4236
4374
        """
 
4375
        target_rich_root = self.target_repo._format.rich_root_data
 
4376
        target_tree_refs = self.target_repo._format.supports_tree_reference
4237
4377
        for record in substream:
 
4378
            # It's not a delta, so it must be a fulltext in the source
 
4379
            # serializer's format.
4238
4380
            bytes = record.get_bytes_as('fulltext')
4239
4381
            revision_id = record.key[0]
4240
4382
            inv = serializer.read_inventory_from_string(bytes, revision_id)
4241
4383
            parents = [key[0] for key in record.parents]
4242
4384
            self.target_repo.add_inventory(revision_id, inv, parents)
 
4385
            # No need to keep holding this full inv in memory when the rest of
 
4386
            # the substream is likely to be all deltas.
 
4387
            del inv
4243
4388
 
4244
4389
    def _extract_and_insert_revisions(self, substream, serializer):
4245
4390
        for record in substream:
4294
4439
        return [('signatures', signatures), ('revisions', revisions)]
4295
4440
 
4296
4441
    def _generate_root_texts(self, revs):
4297
 
        """This will be called by __fetch between fetching weave texts and
 
4442
        """This will be called by get_stream between fetching weave texts and
4298
4443
        fetching the inventory weave.
4299
 
 
4300
 
        Subclasses should override this if they need to generate root texts
4301
 
        after fetching weave texts.
4302
4444
        """
4303
4445
        if self._rich_root_upgrade():
4304
4446
            import bzrlib.fetch
4311
4453
        phase = 'file'
4312
4454
        revs = search.get_keys()
4313
4455
        graph = self.from_repository.get_graph()
4314
 
        revs = list(graph.iter_topo_order(revs))
 
4456
        revs = tsort.topo_sort(graph.get_parent_map(revs))
4315
4457
        data_to_fetch = self.from_repository.item_keys_introduced_by(revs)
4316
4458
        text_keys = []
4317
4459
        for knit_kind, file_id, revisions in data_to_fetch:
4336
4478
                # will be valid.
4337
4479
                for _ in self._generate_root_texts(revs):
4338
4480
                    yield _
4339
 
                # NB: This currently reopens the inventory weave in source;
4340
 
                # using a single stream interface instead would avoid this.
4341
 
                from_weave = self.from_repository.inventories
4342
4481
                # we fetch only the referenced inventories because we do not
4343
4482
                # know for unselected inventories whether all their required
4344
4483
                # texts are present in the other repository - it could be
4383
4522
            if not keys:
4384
4523
                # No need to stream something we don't have
4385
4524
                continue
 
4525
            if substream_kind == 'inventories':
 
4526
                # Some missing keys are genuinely ghosts, filter those out.
 
4527
                present = self.from_repository.inventories.get_parent_map(keys)
 
4528
                revs = [key[0] for key in present]
 
4529
                # Get the inventory stream more-or-less as we do for the
 
4530
                # original stream; there's no reason to assume that records
 
4531
                # direct from the source will be suitable for the sink.  (Think
 
4532
                # e.g. 2a -> 1.9-rich-root).
 
4533
                for info in self._get_inventory_stream(revs, missing=True):
 
4534
                    yield info
 
4535
                continue
 
4536
 
4386
4537
            # Ask for full texts always so that we don't need more round trips
4387
4538
            # after this stream.
4388
4539
            # Some of the missing keys are genuinely ghosts, so filter absent
4403
4554
        return (not self.from_repository._format.rich_root_data and
4404
4555
            self.to_format.rich_root_data)
4405
4556
 
4406
 
    def _get_inventory_stream(self, revision_ids):
 
4557
    def _get_inventory_stream(self, revision_ids, missing=False):
4407
4558
        from_format = self.from_repository._format
4408
 
        if (from_format.supports_chks and self.to_format.supports_chks
4409
 
            and (from_format._serializer == self.to_format._serializer)):
4410
 
            # Both sides support chks, and they use the same serializer, so it
4411
 
            # is safe to transmit the chk pages and inventory pages across
4412
 
            # as-is.
4413
 
            return self._get_chk_inventory_stream(revision_ids)
4414
 
        elif (not from_format.supports_chks):
4415
 
            # Source repository doesn't support chks. So we can transmit the
4416
 
            # inventories 'as-is' and either they are just accepted on the
4417
 
            # target, or the Sink will properly convert it.
4418
 
            return self._get_simple_inventory_stream(revision_ids)
 
4559
        if (from_format.supports_chks and self.to_format.supports_chks and
 
4560
            from_format.network_name() == self.to_format.network_name()):
 
4561
            raise AssertionError(
 
4562
                "this case should be handled by GroupCHKStreamSource")
 
4563
        elif 'forceinvdeltas' in debug.debug_flags:
 
4564
            return self._get_convertable_inventory_stream(revision_ids,
 
4565
                    delta_versus_null=missing)
 
4566
        elif from_format.network_name() == self.to_format.network_name():
 
4567
            # Same format.
 
4568
            return self._get_simple_inventory_stream(revision_ids,
 
4569
                    missing=missing)
 
4570
        elif (not from_format.supports_chks and not self.to_format.supports_chks
 
4571
                and from_format._serializer == self.to_format._serializer):
 
4572
            # Essentially the same format.
 
4573
            return self._get_simple_inventory_stream(revision_ids,
 
4574
                    missing=missing)
4419
4575
        else:
4420
 
            # XXX: Hack to make not-chk->chk fetch: copy the inventories as
4421
 
            #      inventories. Note that this should probably be done somehow
4422
 
            #      as part of bzrlib.repository.StreamSink. Except JAM couldn't
4423
 
            #      figure out how a non-chk repository could possibly handle
4424
 
            #      deserializing an inventory stream from a chk repo, as it
4425
 
            #      doesn't have a way to understand individual pages.
4426
 
            return self._get_convertable_inventory_stream(revision_ids)
 
4576
            # Any time we switch serializations, we want to use an
 
4577
            # inventory-delta based approach.
 
4578
            return self._get_convertable_inventory_stream(revision_ids,
 
4579
                    delta_versus_null=missing)
4427
4580
 
4428
 
    def _get_simple_inventory_stream(self, revision_ids):
 
4581
    def _get_simple_inventory_stream(self, revision_ids, missing=False):
 
4582
        # NB: This currently reopens the inventory weave in source;
 
4583
        # using a single stream interface instead would avoid this.
4429
4584
        from_weave = self.from_repository.inventories
 
4585
        if missing:
 
4586
            delta_closure = True
 
4587
        else:
 
4588
            delta_closure = not self.delta_on_metadata()
4430
4589
        yield ('inventories', from_weave.get_record_stream(
4431
4590
            [(rev_id,) for rev_id in revision_ids],
4432
 
            self.inventory_fetch_order(),
4433
 
            not self.delta_on_metadata()))
4434
 
 
4435
 
    def _get_chk_inventory_stream(self, revision_ids):
4436
 
        """Fetch the inventory texts, along with the associated chk maps."""
4437
 
        # We want an inventory outside of the search set, so that we can filter
4438
 
        # out uninteresting chk pages. For now we use
4439
 
        # _find_revision_outside_set, but if we had a Search with cut_revs, we
4440
 
        # could use that instead.
4441
 
        start_rev_id = self.from_repository._find_revision_outside_set(
4442
 
                            revision_ids)
4443
 
        start_rev_key = (start_rev_id,)
4444
 
        inv_keys_to_fetch = [(rev_id,) for rev_id in revision_ids]
4445
 
        if start_rev_id != _mod_revision.NULL_REVISION:
4446
 
            inv_keys_to_fetch.append((start_rev_id,))
4447
 
        # Any repo that supports chk_bytes must also support out-of-order
4448
 
        # insertion. At least, that is how we expect it to work
4449
 
        # We use get_record_stream instead of iter_inventories because we want
4450
 
        # to be able to insert the stream as well. We could instead fetch
4451
 
        # allowing deltas, and then iter_inventories, but we don't know whether
4452
 
        # source or target is more 'local' anway.
4453
 
        inv_stream = self.from_repository.inventories.get_record_stream(
4454
 
            inv_keys_to_fetch, 'unordered',
4455
 
            True) # We need them as full-texts so we can find their references
4456
 
        uninteresting_chk_roots = set()
4457
 
        interesting_chk_roots = set()
4458
 
        def filter_inv_stream(inv_stream):
4459
 
            for idx, record in enumerate(inv_stream):
4460
 
                ### child_pb.update('fetch inv', idx, len(inv_keys_to_fetch))
4461
 
                bytes = record.get_bytes_as('fulltext')
4462
 
                chk_inv = inventory.CHKInventory.deserialise(
4463
 
                    self.from_repository.chk_bytes, bytes, record.key)
4464
 
                if record.key == start_rev_key:
4465
 
                    uninteresting_chk_roots.add(chk_inv.id_to_entry.key())
4466
 
                    p_id_map = chk_inv.parent_id_basename_to_file_id
4467
 
                    if p_id_map is not None:
4468
 
                        uninteresting_chk_roots.add(p_id_map.key())
4469
 
                else:
4470
 
                    yield record
4471
 
                    interesting_chk_roots.add(chk_inv.id_to_entry.key())
4472
 
                    p_id_map = chk_inv.parent_id_basename_to_file_id
4473
 
                    if p_id_map is not None:
4474
 
                        interesting_chk_roots.add(p_id_map.key())
4475
 
        ### pb.update('fetch inventory', 0, 2)
4476
 
        yield ('inventories', filter_inv_stream(inv_stream))
4477
 
        # Now that we have worked out all of the interesting root nodes, grab
4478
 
        # all of the interesting pages and insert them
4479
 
        ### pb.update('fetch inventory', 1, 2)
4480
 
        interesting = chk_map.iter_interesting_nodes(
4481
 
            self.from_repository.chk_bytes, interesting_chk_roots,
4482
 
            uninteresting_chk_roots)
4483
 
        def to_stream_adapter():
4484
 
            """Adapt the iter_interesting_nodes result to a single stream.
4485
 
 
4486
 
            iter_interesting_nodes returns records as it processes them, along
4487
 
            with keys. However, we only want to return the records themselves.
4488
 
            """
4489
 
            for record, items in interesting:
4490
 
                if record is not None:
4491
 
                    yield record
4492
 
        # XXX: We could instead call get_record_stream(records.keys())
4493
 
        #      ATM, this will always insert the records as fulltexts, and
4494
 
        #      requires that you can hang on to records once you have gone
4495
 
        #      on to the next one. Further, it causes the target to
4496
 
        #      recompress the data. Testing shows it to be faster than
4497
 
        #      requesting the records again, though.
4498
 
        yield ('chk_bytes', to_stream_adapter())
4499
 
        ### pb.update('fetch inventory', 2, 2)
4500
 
 
4501
 
    def _get_convertable_inventory_stream(self, revision_ids):
4502
 
        # XXX: One of source or target is using chks, and they don't have
4503
 
        #      compatible serializations. The StreamSink code expects to be
4504
 
        #      able to convert on the target, so we need to put
4505
 
        #      bytes-on-the-wire that can be converted
4506
 
        yield ('inventories', self._stream_invs_as_fulltexts(revision_ids))
4507
 
 
4508
 
    def _stream_invs_as_fulltexts(self, revision_ids):
 
4591
            self.inventory_fetch_order(), delta_closure))
 
4592
 
 
4593
    def _get_convertable_inventory_stream(self, revision_ids,
 
4594
                                          delta_versus_null=False):
 
4595
        # The source is using CHKs, but the target either doesn't or it has a
 
4596
        # different serializer.  The StreamSink code expects to be able to
 
4597
        # convert on the target, so we need to put bytes-on-the-wire that can
 
4598
        # be converted.  That means inventory deltas (if the remote is <1.19,
 
4599
        # RemoteStreamSink will fallback to VFS to insert the deltas).
 
4600
        yield ('inventory-deltas',
 
4601
           self._stream_invs_as_deltas(revision_ids,
 
4602
                                       delta_versus_null=delta_versus_null))
 
4603
 
 
4604
    def _stream_invs_as_deltas(self, revision_ids, delta_versus_null=False):
 
4605
        """Return a stream of inventory-deltas for the given rev ids.
 
4606
 
 
4607
        :param revision_ids: The list of inventories to transmit
 
4608
        :param delta_versus_null: Don't try to find a minimal delta for this
 
4609
            entry, instead compute the delta versus the NULL_REVISION. This
 
4610
            effectively streams a complete inventory. Used for stuff like
 
4611
            filling in missing parents, etc.
 
4612
        """
4509
4613
        from_repo = self.from_repository
4510
 
        from_serializer = from_repo._format._serializer
4511
4614
        revision_keys = [(rev_id,) for rev_id in revision_ids]
4512
4615
        parent_map = from_repo.inventories.get_parent_map(revision_keys)
4513
 
        for inv in self.from_repository.iter_inventories(revision_ids):
4514
 
            # XXX: This is a bit hackish, but it works. Basically,
4515
 
            #      CHKSerializer 'accidentally' supports
4516
 
            #      read/write_inventory_to_string, even though that is never
4517
 
            #      the format that is stored on disk. It *does* give us a
4518
 
            #      single string representation for an inventory, so live with
4519
 
            #      it for now.
4520
 
            #      This would be far better if we had a 'serialized inventory
4521
 
            #      delta' form. Then we could use 'inventory._make_delta', and
4522
 
            #      transmit that. This would both be faster to generate, and
4523
 
            #      result in fewer bytes-on-the-wire.
4524
 
            as_bytes = from_serializer.write_inventory_to_string(inv)
 
4616
        # XXX: possibly repos could implement a more efficient iter_inv_deltas
 
4617
        # method...
 
4618
        inventories = self.from_repository.iter_inventories(
 
4619
            revision_ids, 'topological')
 
4620
        format = from_repo._format
 
4621
        invs_sent_so_far = set([_mod_revision.NULL_REVISION])
 
4622
        inventory_cache = lru_cache.LRUCache(50)
 
4623
        null_inventory = from_repo.revision_tree(
 
4624
            _mod_revision.NULL_REVISION).inventory
 
4625
        # XXX: ideally the rich-root/tree-refs flags would be per-revision, not
 
4626
        # per-repo (e.g.  streaming a non-rich-root revision out of a rich-root
 
4627
        # repo back into a non-rich-root repo ought to be allowed)
 
4628
        serializer = inventory_delta.InventoryDeltaSerializer(
 
4629
            versioned_root=format.rich_root_data,
 
4630
            tree_references=format.supports_tree_reference)
 
4631
        for inv in inventories:
4525
4632
            key = (inv.revision_id,)
4526
4633
            parent_keys = parent_map.get(key, ())
 
4634
            delta = None
 
4635
            if not delta_versus_null and parent_keys:
 
4636
                # The caller did not ask for complete inventories and we have
 
4637
                # some parents that we can delta against.  Make a delta against
 
4638
                # each parent so that we can find the smallest.
 
4639
                parent_ids = [parent_key[0] for parent_key in parent_keys]
 
4640
                for parent_id in parent_ids:
 
4641
                    if parent_id not in invs_sent_so_far:
 
4642
                        # We don't know that the remote side has this basis, so
 
4643
                        # we can't use it.
 
4644
                        continue
 
4645
                    if parent_id == _mod_revision.NULL_REVISION:
 
4646
                        parent_inv = null_inventory
 
4647
                    else:
 
4648
                        parent_inv = inventory_cache.get(parent_id, None)
 
4649
                        if parent_inv is None:
 
4650
                            parent_inv = from_repo.get_inventory(parent_id)
 
4651
                    candidate_delta = inv._make_delta(parent_inv)
 
4652
                    if (delta is None or
 
4653
                        len(delta) > len(candidate_delta)):
 
4654
                        delta = candidate_delta
 
4655
                        basis_id = parent_id
 
4656
            if delta is None:
 
4657
                # Either none of the parents ended up being suitable, or we
 
4658
                # were asked to delta against NULL
 
4659
                basis_id = _mod_revision.NULL_REVISION
 
4660
                delta = inv._make_delta(null_inventory)
 
4661
            invs_sent_so_far.add(inv.revision_id)
 
4662
            inventory_cache[inv.revision_id] = inv
 
4663
            delta_serialized = ''.join(
 
4664
                serializer.delta_to_lines(basis_id, key[-1], delta))
4527
4665
            yield versionedfile.FulltextContentFactory(
4528
 
                key, parent_keys, None, as_bytes)
 
4666
                key, parent_keys, None, delta_serialized)
4529
4667
 
4530
4668
 
4531
4669
def _iter_for_revno(repo, partial_history_cache, stop_index=None,