/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/graph.py

  • Committer: Aaron Bentley
  • Date: 2008-02-24 16:42:13 UTC
  • mfrom: (3234 +trunk)
  • mto: This revision was merged to the branch mainline in revision 3235.
  • Revision ID: aaron@aaronbentley.com-20080224164213-eza1lzru5bwuwmmj
Merge with bzr.dev

Show diffs side-by-side

added added

removed removed

Lines of Context:
46
46
 
47
47
 
48
48
class DictParentsProvider(object):
 
49
    """A parents provider for Graph objects."""
49
50
 
50
51
    def __init__(self, ancestry):
51
52
        self.ancestry = ancestry
53
54
    def __repr__(self):
54
55
        return 'DictParentsProvider(%r)' % self.ancestry
55
56
 
56
 
    @symbol_versioning.deprecated_method(symbol_versioning.one_one)
57
 
    def get_parents(self, revisions):
58
 
        return [self.ancestry.get(r, None) for r in revisions]
59
 
 
60
57
    def get_parent_map(self, keys):
61
58
        """See _StackedParentsProvider.get_parent_map"""
62
59
        ancestry = self.ancestry
71
68
    def __repr__(self):
72
69
        return "_StackedParentsProvider(%r)" % self._parent_providers
73
70
 
74
 
    @symbol_versioning.deprecated_method(symbol_versioning.one_one)
75
 
    def get_parents(self, revision_ids):
76
 
        """Find revision ids of the parents of a list of revisions
77
 
 
78
 
        A list is returned of the same length as the input.  Each entry
79
 
        is a list of parent ids for the corresponding input revision.
80
 
 
81
 
        [NULL_REVISION] is used as the parent of the first user-committed
82
 
        revision.  Its parent list is empty.
83
 
 
84
 
        If the revision is not present (i.e. a ghost), None is used in place
85
 
        of the list of parents.
86
 
        """
87
 
        found = self.get_parent_map(revision_ids)
88
 
        return [found.get(r, None) for r in revision_ids]
89
 
 
90
71
    def get_parent_map(self, keys):
91
72
        """Get a mapping of keys => parents
92
73
 
125
106
    def __repr__(self):
126
107
        return "%s(%r)" % (self.__class__.__name__, self._real_provider)
127
108
 
128
 
    @symbol_versioning.deprecated_method(symbol_versioning.one_one)
129
 
    def get_parents(self, revision_ids):
130
 
        """See _StackedParentsProvider.get_parents"""
131
 
        found = self.get_parent_map(revision_ids)
132
 
        return [found.get(r, None) for r in revision_ids]
133
 
 
134
109
    def get_parent_map(self, keys):
135
110
        """See _StackedParentsProvider.get_parent_map"""
136
111
        needed = set()
168
143
 
169
144
        This should not normally be invoked directly, because there may be
170
145
        specialized implementations for particular repository types.  See
171
 
        Repository.get_graph()
 
146
        Repository.get_graph().
172
147
 
173
 
        :param parents_provider: An object providing a get_parents call
174
 
            conforming to the behavior of StackedParentsProvider.get_parents
 
148
        :param parents_provider: An object providing a get_parent_map call
 
149
            conforming to the behavior of
 
150
            StackedParentsProvider.get_parent_map.
175
151
        """
176
 
        self.get_parents = parents_provider.get_parents
177
 
        self.get_parent_map = parents_provider.get_parent_map
 
152
        if getattr(parents_provider, 'get_parents', None) is not None:
 
153
            self.get_parents = parents_provider.get_parents
 
154
        if getattr(parents_provider, 'get_parent_map', None) is not None:
 
155
            self.get_parent_map = parents_provider.get_parent_map
178
156
        self._parents_provider = parents_provider
179
157
 
180
158
    def __repr__(self):
226
204
        return (left.difference(right).difference(common),
227
205
                right.difference(left).difference(common))
228
206
 
 
207
    @symbol_versioning.deprecated_method(symbol_versioning.one_one)
 
208
    def get_parents(self, revisions):
 
209
        """Find revision ids of the parents of a list of revisions
 
210
 
 
211
        A list is returned of the same length as the input.  Each entry
 
212
        is a list of parent ids for the corresponding input revision.
 
213
 
 
214
        [NULL_REVISION] is used as the parent of the first user-committed
 
215
        revision.  Its parent list is empty.
 
216
 
 
217
        If the revision is not present (i.e. a ghost), None is used in place
 
218
        of the list of parents.
 
219
 
 
220
        Deprecated in bzr 1.2 - please see get_parent_map.
 
221
        """
 
222
        parents = self.get_parent_map(revisions)
 
223
        return [parent.get(r, None) for r in revisions]
 
224
 
 
225
    def get_parent_map(self, revisions):
 
226
        """Get a map of key:parent_list for revisions.
 
227
 
 
228
        This implementation delegates to get_parents, for old parent_providers
 
229
        that do not supply get_parent_map.
 
230
        """
 
231
        result = {}
 
232
        for rev, parents in self.get_parents(revisions):
 
233
            if parents is not None:
 
234
                result[rev] = parents
 
235
        return result
 
236
 
229
237
    def _make_breadth_first_searcher(self, revisions):
230
238
        return _BreadthFirstSearcher(revisions, self)
231
239
 
465
473
            return set(heads)
466
474
 
467
475
 
468
 
class HeadsCache(object):
469
 
    """A cache of results for graph heads calls."""
470
 
 
471
 
    def __init__(self, graph):
472
 
        self.graph = graph
473
 
        self._heads = {}
474
 
 
475
 
    def heads(self, keys):
476
 
        """Return the heads of keys.
477
 
 
478
 
        :see also: Graph.heads.
479
 
        :param keys: The keys to calculate heads for.
480
 
        :return: A set containing the heads, which may be mutated without
481
 
            affecting future lookups.
482
 
        """
483
 
        keys = frozenset(keys)
484
 
        try:
485
 
            return set(self._heads[keys])
486
 
        except KeyError:
487
 
            heads = self.graph.heads(keys)
488
 
            self._heads[keys] = heads
489
 
            return set(heads)
490
 
 
491
 
 
492
476
class _BreadthFirstSearcher(object):
493
477
    """Parallel search breadth-first the ancestry of revisions.
494
478
 
498
482
    """
499
483
 
500
484
    def __init__(self, revisions, parents_provider):
501
 
        self._start = set(revisions)
502
 
        self._search_revisions = None
503
 
        self.seen = set(revisions)
 
485
        self._iterations = 0
 
486
        self._next_query = set(revisions)
 
487
        self.seen = set()
 
488
        self._started_keys = set(self._next_query)
 
489
        self._stopped_keys = set()
504
490
        self._parents_provider = parents_provider
 
491
        self._returning = 'next_with_ghosts'
 
492
        self._current_present = set()
 
493
        self._current_ghosts = set()
 
494
        self._current_parents = {}
505
495
 
506
496
    def __repr__(self):
507
 
        if self._search_revisions is not None:
508
 
            search = 'searching=%r' % (list(self._search_revisions),)
509
 
        else:
510
 
            search = 'starting=%r' % (list(self._start),)
511
 
        return ('_BreadthFirstSearcher(%s,'
512
 
                ' seen=%r)' % (search, list(self.seen)))
 
497
        if self._iterations:
 
498
            prefix = "searching"
 
499
        else:
 
500
            prefix = "starting"
 
501
        search = '%s=%r' % (prefix, list(self._next_query))
 
502
        return ('_BreadthFirstSearcher(iterations=%d, %s,'
 
503
                ' seen=%r)' % (self._iterations, search, list(self.seen)))
 
504
 
 
505
    def get_result(self):
 
506
        """Get a SearchResult for the current state of this searcher.
 
507
        
 
508
        :return: A SearchResult for this search so far. The SearchResult is
 
509
            static - the search can be advanced and the search result will not
 
510
            be invalidated or altered.
 
511
        """
 
512
        if self._returning == 'next':
 
513
            # We have to know the current nodes children to be able to list the
 
514
            # exclude keys for them. However, while we could have a second
 
515
            # look-ahead result buffer and shuffle things around, this method
 
516
            # is typically only called once per search - when memoising the
 
517
            # results of the search. 
 
518
            found, ghosts, next, parents = self._do_query(self._next_query)
 
519
            # pretend we didn't query: perhaps we should tweak _do_query to be
 
520
            # entirely stateless?
 
521
            self.seen.difference_update(next)
 
522
            next_query = next.union(ghosts)
 
523
        else:
 
524
            next_query = self._next_query
 
525
        excludes = self._stopped_keys.union(next_query)
 
526
        included_keys = self.seen.difference(excludes)
 
527
        return SearchResult(self._started_keys, excludes, len(included_keys),
 
528
            included_keys)
513
529
 
514
530
    def next(self):
515
531
        """Return the next ancestors of this revision.
516
532
 
517
533
        Ancestors are returned in the order they are seen in a breadth-first
518
 
        traversal.  No ancestor will be returned more than once.
 
534
        traversal.  No ancestor will be returned more than once. Ancestors are
 
535
        returned before their parentage is queried, so ghosts and missing
 
536
        revisions (including the start revisions) are included in the result.
 
537
        This can save a round trip in LCA style calculation by allowing
 
538
        convergence to be detected without reading the data for the revision
 
539
        the convergence occurs on.
 
540
 
 
541
        :return: A set of revision_ids.
519
542
        """
520
 
        if self._search_revisions is None:
521
 
            self._search_revisions = self._start
 
543
        if self._returning != 'next':
 
544
            # switch to returning the query, not the results.
 
545
            self._returning = 'next'
 
546
            self._iterations += 1
522
547
        else:
523
 
            new_search_revisions = set()
524
 
            parent_map = self._parents_provider.get_parent_map(
525
 
                            self._search_revisions)
526
 
            for parents in parent_map.itervalues():
527
 
                new_search_revisions.update(p for p in parents if
528
 
                                            p not in self.seen)
529
 
            self._search_revisions = new_search_revisions
530
 
        if len(self._search_revisions) == 0:
531
 
            raise StopIteration()
532
 
        self.seen.update(self._search_revisions)
533
 
        return self._search_revisions
 
548
            self._advance()
 
549
        if len(self._next_query) == 0:
 
550
            raise StopIteration()
 
551
        # We have seen what we're querying at this point as we are returning
 
552
        # the query, not the results.
 
553
        self.seen.update(self._next_query)
 
554
        return self._next_query
 
555
 
 
556
    def next_with_ghosts(self):
 
557
        """Return the next found ancestors, with ghosts split out.
 
558
        
 
559
        Ancestors are returned in the order they are seen in a breadth-first
 
560
        traversal.  No ancestor will be returned more than once. Ancestors are
 
561
        returned only after asking for their parents, which allows us to detect
 
562
        which revisions are ghosts and which are not.
 
563
 
 
564
        :return: A tuple with (present ancestors, ghost ancestors) sets.
 
565
        """
 
566
        if self._returning != 'next_with_ghosts':
 
567
            # switch to returning the results, not the current query.
 
568
            self._returning = 'next_with_ghosts'
 
569
            self._advance()
 
570
        if len(self._next_query) == 0:
 
571
            raise StopIteration()
 
572
        self._advance()
 
573
        return self._current_present, self._current_ghosts
 
574
 
 
575
    def _advance(self):
 
576
        """Advance the search.
 
577
 
 
578
        Updates self.seen, self._next_query, self._current_present,
 
579
        self._current_ghosts, self._current_parents and self._iterations.
 
580
        """
 
581
        self._iterations += 1
 
582
        found, ghosts, next, parents = self._do_query(self._next_query)
 
583
        self._current_present = found
 
584
        self._current_ghosts = ghosts
 
585
        self._next_query = next
 
586
        self._current_parents = parents
 
587
        # ghosts are implicit stop points, otherwise the search cannot be
 
588
        # repeated when ghosts are filled.
 
589
        self._stopped_keys.update(ghosts)
 
590
 
 
591
    def _do_query(self, revisions):
 
592
        """Query for revisions.
 
593
 
 
594
        Adds revisions to the seen set.
 
595
 
 
596
        :param revisions: Revisions to query.
 
597
        :return: A tuple: (set(found_revisions), set(ghost_revisions),
 
598
           set(parents_of_found_revisions), dict(found_revisions:parents)).
 
599
        """
 
600
        found_parents = set()
 
601
        parents_of_found = set()
 
602
        # revisions may contain nodes that point to other nodes in revisions:
 
603
        # we want to filter them out.
 
604
        self.seen.update(revisions)
 
605
        parent_map = self._parents_provider.get_parent_map(revisions)
 
606
        for rev_id, parents in parent_map.iteritems():
 
607
            found_parents.add(rev_id)
 
608
            parents_of_found.update(p for p in parents if p not in self.seen)
 
609
        ghost_parents = revisions - found_parents
 
610
        return found_parents, ghost_parents, parents_of_found, parent_map
534
611
 
535
612
    def __iter__(self):
536
613
        return self
554
631
        None of the specified revisions are required to be present in the
555
632
        search list.  In this case, the call is a no-op.
556
633
        """
557
 
        stopped = self._search_revisions.intersection(revisions)
558
 
        self._search_revisions = self._search_revisions.difference(revisions)
 
634
        revisions = frozenset(revisions)
 
635
        if self._returning == 'next':
 
636
            stopped = self._next_query.intersection(revisions)
 
637
            self._next_query = self._next_query.difference(revisions)
 
638
        else:
 
639
            stopped_present = self._current_present.intersection(revisions)
 
640
            stopped = stopped_present.union(
 
641
                self._current_ghosts.intersection(revisions))
 
642
            self._current_present.difference_update(stopped)
 
643
            self._current_ghosts.difference_update(stopped)
 
644
            # stopping 'x' should stop returning parents of 'x', but 
 
645
            # not if 'y' always references those same parents
 
646
            stop_rev_references = {}
 
647
            for rev in stopped_present:
 
648
                for parent_id in self._current_parents[rev]:
 
649
                    if parent_id not in stop_rev_references:
 
650
                        stop_rev_references[parent_id] = 0
 
651
                    stop_rev_references[parent_id] += 1
 
652
            # if only the stopped revisions reference it, the ref count will be
 
653
            # 0 after this loop
 
654
            for parents in self._current_parents.itervalues():
 
655
                for parent_id in parents:
 
656
                    try:
 
657
                        stop_rev_references[parent_id] -= 1
 
658
                    except KeyError:
 
659
                        pass
 
660
            stop_parents = set()
 
661
            for rev_id, refs in stop_rev_references.iteritems():
 
662
                if refs == 0:
 
663
                    stop_parents.add(rev_id)
 
664
            self._next_query.difference_update(stop_parents)
 
665
        self._stopped_keys.update(stopped)
559
666
        return stopped
560
667
 
561
668
    def start_searching(self, revisions):
562
 
        if self._search_revisions is None:
563
 
            self._start = set(revisions)
 
669
        """Add revisions to the search.
 
670
 
 
671
        The parents of revisions will be returned from the next call to next()
 
672
        or next_with_ghosts(). If next_with_ghosts was the most recently used
 
673
        next* call then the return value is the result of looking up the
 
674
        ghost/not ghost status of revisions. (A tuple (present, ghosted)).
 
675
        """
 
676
        revisions = frozenset(revisions)
 
677
        self._started_keys.update(revisions)
 
678
        new_revisions = revisions.difference(self.seen)
 
679
        revs, ghosts, query, parents = self._do_query(revisions)
 
680
        self._stopped_keys.update(ghosts)
 
681
        if self._returning == 'next':
 
682
            self._next_query.update(new_revisions)
564
683
        else:
565
 
            self._search_revisions.update(revisions.difference(self.seen))
566
 
        self.seen.update(revisions)
 
684
            # perform a query on revisions
 
685
            self._current_present.update(revs)
 
686
            self._current_ghosts.update(ghosts)
 
687
            self._next_query.update(query)
 
688
            self._current_parents.update(parents)
 
689
            return revs, ghosts
 
690
 
 
691
 
 
692
class SearchResult(object):
 
693
    """The result of a breadth first search.
 
694
 
 
695
    A SearchResult provides the ability to reconstruct the search or access a
 
696
    set of the keys the search found.
 
697
    """
 
698
 
 
699
    def __init__(self, start_keys, exclude_keys, key_count, keys):
 
700
        """Create a SearchResult.
 
701
 
 
702
        :param start_keys: The keys the search started at.
 
703
        :param exclude_keys: The keys the search excludes.
 
704
        :param key_count: The total number of keys (from start to but not
 
705
            including exclude).
 
706
        :param keys: The keys the search found. Note that in future we may get
 
707
            a SearchResult from a smart server, in which case the keys list is
 
708
            not necessarily immediately available.
 
709
        """
 
710
        self._recipe = (start_keys, exclude_keys, key_count)
 
711
        self._keys = frozenset(keys)
 
712
 
 
713
    def get_recipe(self):
 
714
        """Return a recipe that can be used to replay this search.
 
715
        
 
716
        The recipe allows reconstruction of the same results at a later date
 
717
        without knowing all the found keys. The essential elements are a list
 
718
        of keys to start and and to stop at. In order to give reproducible
 
719
        results when ghosts are encountered by a search they are automatically
 
720
        added to the exclude list (or else ghost filling may alter the
 
721
        results).
 
722
 
 
723
        :return: A tuple (start_keys_set, exclude_keys_set, revision_count). To
 
724
            recreate the results of this search, create a breadth first
 
725
            searcher on the same graph starting at start_keys. Then call next()
 
726
            (or next_with_ghosts()) repeatedly, and on every result, call
 
727
            stop_searching_any on any keys from the exclude_keys set. The
 
728
            revision_count value acts as a trivial cross-check - the found
 
729
            revisions of the new search should have as many elements as
 
730
            revision_count. If it does not, then additional revisions have been
 
731
            ghosted since the search was executed the first time and the second
 
732
            time.
 
733
        """
 
734
        return self._recipe
 
735
 
 
736
    def get_keys(self):
 
737
        """Return the keys found in this search.
 
738
 
 
739
        :return: A set of keys.
 
740
        """
 
741
        return self._keys
 
742