/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/graph.py

Handle submodules explicitly.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2007 Canonical Ltd
2
 
#
3
 
# This program is free software; you can redistribute it and/or modify
4
 
# it under the terms of the GNU General Public License as published by
5
 
# the Free Software Foundation; either version 2 of the License, or
6
 
# (at your option) any later version.
7
 
#
8
 
# This program is distributed in the hope that it will be useful,
9
 
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
 
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
 
# GNU General Public License for more details.
12
 
#
13
 
# You should have received a copy of the GNU General Public License
14
 
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
 
 
17
 
import time
18
 
 
19
 
from bzrlib import (
20
 
    debug,
21
 
    errors,
22
 
    revision,
23
 
    symbol_versioning,
24
 
    trace,
25
 
    tsort,
26
 
    )
27
 
 
28
 
STEP_UNIQUE_SEARCHER_EVERY = 5
29
 
 
30
 
# DIAGRAM of terminology
31
 
#       A
32
 
#       /\
33
 
#      B  C
34
 
#      |  |\
35
 
#      D  E F
36
 
#      |\/| |
37
 
#      |/\|/
38
 
#      G  H
39
 
#
40
 
# In this diagram, relative to G and H:
41
 
# A, B, C, D, E are common ancestors.
42
 
# C, D and E are border ancestors, because each has a non-common descendant.
43
 
# D and E are least common ancestors because none of their descendants are
44
 
# common ancestors.
45
 
# C is not a least common ancestor because its descendant, E, is a common
46
 
# ancestor.
47
 
#
48
 
# The find_unique_lca algorithm will pick A in two steps:
49
 
# 1. find_lca('G', 'H') => ['D', 'E']
50
 
# 2. Since len(['D', 'E']) > 1, find_lca('D', 'E') => ['A']
51
 
 
52
 
 
53
 
class DictParentsProvider(object):
54
 
    """A parents provider for Graph objects."""
55
 
 
56
 
    def __init__(self, ancestry):
57
 
        self.ancestry = ancestry
58
 
 
59
 
    def __repr__(self):
60
 
        return 'DictParentsProvider(%r)' % self.ancestry
61
 
 
62
 
    def get_parent_map(self, keys):
63
 
        """See _StackedParentsProvider.get_parent_map"""
64
 
        ancestry = self.ancestry
65
 
        return dict((k, ancestry[k]) for k in keys if k in ancestry)
66
 
 
67
 
 
68
 
class _StackedParentsProvider(object):
69
 
 
70
 
    def __init__(self, parent_providers):
71
 
        self._parent_providers = parent_providers
72
 
 
73
 
    def __repr__(self):
74
 
        return "_StackedParentsProvider(%r)" % self._parent_providers
75
 
 
76
 
    def get_parent_map(self, keys):
77
 
        """Get a mapping of keys => parents
78
 
 
79
 
        A dictionary is returned with an entry for each key present in this
80
 
        source. If this source doesn't have information about a key, it should
81
 
        not include an entry.
82
 
 
83
 
        [NULL_REVISION] is used as the parent of the first user-committed
84
 
        revision.  Its parent list is empty.
85
 
 
86
 
        :param keys: An iterable returning keys to check (eg revision_ids)
87
 
        :return: A dictionary mapping each key to its parents
88
 
        """
89
 
        found = {}
90
 
        remaining = set(keys)
91
 
        for parents_provider in self._parent_providers:
92
 
            new_found = parents_provider.get_parent_map(remaining)
93
 
            found.update(new_found)
94
 
            remaining.difference_update(new_found)
95
 
            if not remaining:
96
 
                break
97
 
        return found
98
 
 
99
 
 
100
 
class CachingParentsProvider(object):
101
 
    """A parents provider which will cache the revision => parents as a dict.
102
 
 
103
 
    This is useful for providers which have an expensive look up.
104
 
 
105
 
    Either a ParentsProvider or a get_parent_map-like callback may be
106
 
    supplied.  If it provides extra un-asked-for parents, they will be cached,
107
 
    but filtered out of get_parent_map.
108
 
 
109
 
    The cache is enabled by default, but may be disabled and re-enabled.
110
 
    """
111
 
    def __init__(self, parent_provider=None, get_parent_map=None):
112
 
        """Constructor.
113
 
 
114
 
        :param parent_provider: The ParentProvider to use.  It or
115
 
            get_parent_map must be supplied.
116
 
        :param get_parent_map: The get_parent_map callback to use.  It or
117
 
            parent_provider must be supplied.
118
 
        """
119
 
        self._real_provider = parent_provider
120
 
        if get_parent_map is None:
121
 
            self._get_parent_map = self._real_provider.get_parent_map
122
 
        else:
123
 
            self._get_parent_map = get_parent_map
124
 
        self._cache = {}
125
 
        self._cache_misses = True
126
 
 
127
 
    def __repr__(self):
128
 
        return "%s(%r)" % (self.__class__.__name__, self._real_provider)
129
 
 
130
 
    def enable_cache(self, cache_misses=True):
131
 
        """Enable cache."""
132
 
        if self._cache is not None:
133
 
            raise AssertionError('Cache enabled when already enabled.')
134
 
        self._cache = {}
135
 
        self._cache_misses = cache_misses
136
 
 
137
 
    def disable_cache(self):
138
 
        """Disable and clear the cache."""
139
 
        self._cache = None
140
 
 
141
 
    def get_cached_map(self):
142
 
        """Return any cached get_parent_map values."""
143
 
        if self._cache is None:
144
 
            return None
145
 
        return dict((k, v) for k, v in self._cache.items()
146
 
                    if v is not None)
147
 
 
148
 
    def get_parent_map(self, keys):
149
 
        """See _StackedParentsProvider.get_parent_map."""
150
 
        # Hack to build up the caching logic.
151
 
        ancestry = self._cache
152
 
        if ancestry is None:
153
 
            # Caching is disabled.
154
 
            missing_revisions = set(keys)
155
 
            ancestry = {}
156
 
        else:
157
 
            missing_revisions = set(key for key in keys if key not in ancestry)
158
 
        if missing_revisions:
159
 
            parent_map = self._get_parent_map(missing_revisions)
160
 
            ancestry.update(parent_map)
161
 
            if self._cache_misses:
162
 
                # None is never a valid parents list, so it can be used to
163
 
                # record misses.
164
 
                ancestry.update(dict((k, None) for k in missing_revisions
165
 
                                     if k not in parent_map))
166
 
        present_keys = [k for k in keys if ancestry.get(k) is not None]
167
 
        return dict((k, ancestry[k]) for k in present_keys)
168
 
 
169
 
 
170
 
class Graph(object):
171
 
    """Provide incremental access to revision graphs.
172
 
 
173
 
    This is the generic implementation; it is intended to be subclassed to
174
 
    specialize it for other repository types.
175
 
    """
176
 
 
177
 
    def __init__(self, parents_provider):
178
 
        """Construct a Graph that uses several graphs as its input
179
 
 
180
 
        This should not normally be invoked directly, because there may be
181
 
        specialized implementations for particular repository types.  See
182
 
        Repository.get_graph().
183
 
 
184
 
        :param parents_provider: An object providing a get_parent_map call
185
 
            conforming to the behavior of
186
 
            StackedParentsProvider.get_parent_map.
187
 
        """
188
 
        if getattr(parents_provider, 'get_parents', None) is not None:
189
 
            self.get_parents = parents_provider.get_parents
190
 
        if getattr(parents_provider, 'get_parent_map', None) is not None:
191
 
            self.get_parent_map = parents_provider.get_parent_map
192
 
        self._parents_provider = parents_provider
193
 
 
194
 
    def __repr__(self):
195
 
        return 'Graph(%r)' % self._parents_provider
196
 
 
197
 
    def find_lca(self, *revisions):
198
 
        """Determine the lowest common ancestors of the provided revisions
199
 
 
200
 
        A lowest common ancestor is a common ancestor none of whose
201
 
        descendants are common ancestors.  In graphs, unlike trees, there may
202
 
        be multiple lowest common ancestors.
203
 
 
204
 
        This algorithm has two phases.  Phase 1 identifies border ancestors,
205
 
        and phase 2 filters border ancestors to determine lowest common
206
 
        ancestors.
207
 
 
208
 
        In phase 1, border ancestors are identified, using a breadth-first
209
 
        search starting at the bottom of the graph.  Searches are stopped
210
 
        whenever a node or one of its descendants is determined to be common
211
 
 
212
 
        In phase 2, the border ancestors are filtered to find the least
213
 
        common ancestors.  This is done by searching the ancestries of each
214
 
        border ancestor.
215
 
 
216
 
        Phase 2 is perfomed on the principle that a border ancestor that is
217
 
        not an ancestor of any other border ancestor is a least common
218
 
        ancestor.
219
 
 
220
 
        Searches are stopped when they find a node that is determined to be a
221
 
        common ancestor of all border ancestors, because this shows that it
222
 
        cannot be a descendant of any border ancestor.
223
 
 
224
 
        The scaling of this operation should be proportional to
225
 
        1. The number of uncommon ancestors
226
 
        2. The number of border ancestors
227
 
        3. The length of the shortest path between a border ancestor and an
228
 
           ancestor of all border ancestors.
229
 
        """
230
 
        border_common, common, sides = self._find_border_ancestors(revisions)
231
 
        # We may have common ancestors that can be reached from each other.
232
 
        # - ask for the heads of them to filter it down to only ones that
233
 
        # cannot be reached from each other - phase 2.
234
 
        return self.heads(border_common)
235
 
 
236
 
    def find_difference(self, left_revision, right_revision):
237
 
        """Determine the graph difference between two revisions"""
238
 
        border, common, searchers = self._find_border_ancestors(
239
 
            [left_revision, right_revision])
240
 
        self._search_for_extra_common(common, searchers)
241
 
        left = searchers[0].seen
242
 
        right = searchers[1].seen
243
 
        return (left.difference(right), right.difference(left))
244
 
 
245
 
    def find_distance_to_null(self, target_revision_id, known_revision_ids):
246
 
        """Find the left-hand distance to the NULL_REVISION.
247
 
 
248
 
        (This can also be considered the revno of a branch at
249
 
        target_revision_id.)
250
 
 
251
 
        :param target_revision_id: A revision_id which we would like to know
252
 
            the revno for.
253
 
        :param known_revision_ids: [(revision_id, revno)] A list of known
254
 
            revno, revision_id tuples. We'll use this to seed the search.
255
 
        """
256
 
        # Map from revision_ids to a known value for their revno
257
 
        known_revnos = dict(known_revision_ids)
258
 
        cur_tip = target_revision_id
259
 
        num_steps = 0
260
 
        NULL_REVISION = revision.NULL_REVISION
261
 
        known_revnos[NULL_REVISION] = 0
262
 
 
263
 
        searching_known_tips = list(known_revnos.keys())
264
 
 
265
 
        unknown_searched = {}
266
 
 
267
 
        while cur_tip not in known_revnos:
268
 
            unknown_searched[cur_tip] = num_steps
269
 
            num_steps += 1
270
 
            to_search = set([cur_tip])
271
 
            to_search.update(searching_known_tips)
272
 
            parent_map = self.get_parent_map(to_search)
273
 
            parents = parent_map.get(cur_tip, None)
274
 
            if not parents: # An empty list or None is a ghost
275
 
                raise errors.GhostRevisionsHaveNoRevno(target_revision_id,
276
 
                                                       cur_tip)
277
 
            cur_tip = parents[0]
278
 
            next_known_tips = []
279
 
            for revision_id in searching_known_tips:
280
 
                parents = parent_map.get(revision_id, None)
281
 
                if not parents:
282
 
                    continue
283
 
                next = parents[0]
284
 
                next_revno = known_revnos[revision_id] - 1
285
 
                if next in unknown_searched:
286
 
                    # We have enough information to return a value right now
287
 
                    return next_revno + unknown_searched[next]
288
 
                if next in known_revnos:
289
 
                    continue
290
 
                known_revnos[next] = next_revno
291
 
                next_known_tips.append(next)
292
 
            searching_known_tips = next_known_tips
293
 
 
294
 
        # We reached a known revision, so just add in how many steps it took to
295
 
        # get there.
296
 
        return known_revnos[cur_tip] + num_steps
297
 
 
298
 
    def find_unique_ancestors(self, unique_revision, common_revisions):
299
 
        """Find the unique ancestors for a revision versus others.
300
 
 
301
 
        This returns the ancestry of unique_revision, excluding all revisions
302
 
        in the ancestry of common_revisions. If unique_revision is in the
303
 
        ancestry, then the empty set will be returned.
304
 
 
305
 
        :param unique_revision: The revision_id whose ancestry we are
306
 
            interested in.
307
 
            XXX: Would this API be better if we allowed multiple revisions on
308
 
                 to be searched here?
309
 
        :param common_revisions: Revision_ids of ancestries to exclude.
310
 
        :return: A set of revisions in the ancestry of unique_revision
311
 
        """
312
 
        if unique_revision in common_revisions:
313
 
            return set()
314
 
 
315
 
        # Algorithm description
316
 
        # 1) Walk backwards from the unique node and all common nodes.
317
 
        # 2) When a node is seen by both sides, stop searching it in the unique
318
 
        #    walker, include it in the common walker.
319
 
        # 3) Stop searching when there are no nodes left for the unique walker.
320
 
        #    At this point, you have a maximal set of unique nodes. Some of
321
 
        #    them may actually be common, and you haven't reached them yet.
322
 
        # 4) Start new searchers for the unique nodes, seeded with the
323
 
        #    information you have so far.
324
 
        # 5) Continue searching, stopping the common searches when the search
325
 
        #    tip is an ancestor of all unique nodes.
326
 
        # 6) Aggregate together unique searchers when they are searching the
327
 
        #    same tips. When all unique searchers are searching the same node,
328
 
        #    stop move it to a single 'all_unique_searcher'.
329
 
        # 7) The 'all_unique_searcher' represents the very 'tip' of searching.
330
 
        #    Most of the time this produces very little important information.
331
 
        #    So don't step it as quickly as the other searchers.
332
 
        # 8) Search is done when all common searchers have completed.
333
 
 
334
 
        unique_searcher, common_searcher = self._find_initial_unique_nodes(
335
 
            [unique_revision], common_revisions)
336
 
 
337
 
        unique_nodes = unique_searcher.seen.difference(common_searcher.seen)
338
 
        if not unique_nodes:
339
 
            return unique_nodes
340
 
 
341
 
        (all_unique_searcher,
342
 
         unique_tip_searchers) = self._make_unique_searchers(unique_nodes,
343
 
                                    unique_searcher, common_searcher)
344
 
 
345
 
        self._refine_unique_nodes(unique_searcher, all_unique_searcher,
346
 
                                  unique_tip_searchers, common_searcher)
347
 
        true_unique_nodes = unique_nodes.difference(common_searcher.seen)
348
 
        if 'graph' in debug.debug_flags:
349
 
            trace.mutter('Found %d truly unique nodes out of %d',
350
 
                         len(true_unique_nodes), len(unique_nodes))
351
 
        return true_unique_nodes
352
 
 
353
 
    def _find_initial_unique_nodes(self, unique_revisions, common_revisions):
354
 
        """Steps 1-3 of find_unique_ancestors.
355
 
 
356
 
        Find the maximal set of unique nodes. Some of these might actually
357
 
        still be common, but we are sure that there are no other unique nodes.
358
 
 
359
 
        :return: (unique_searcher, common_searcher)
360
 
        """
361
 
 
362
 
        unique_searcher = self._make_breadth_first_searcher(unique_revisions)
363
 
        # we know that unique_revisions aren't in common_revisions, so skip
364
 
        # past them.
365
 
        unique_searcher.next()
366
 
        common_searcher = self._make_breadth_first_searcher(common_revisions)
367
 
 
368
 
        # As long as we are still finding unique nodes, keep searching
369
 
        while unique_searcher._next_query:
370
 
            next_unique_nodes = set(unique_searcher.step())
371
 
            next_common_nodes = set(common_searcher.step())
372
 
 
373
 
            # Check if either searcher encounters new nodes seen by the other
374
 
            # side.
375
 
            unique_are_common_nodes = next_unique_nodes.intersection(
376
 
                common_searcher.seen)
377
 
            unique_are_common_nodes.update(
378
 
                next_common_nodes.intersection(unique_searcher.seen))
379
 
            if unique_are_common_nodes:
380
 
                ancestors = unique_searcher.find_seen_ancestors(
381
 
                                unique_are_common_nodes)
382
 
                # TODO: This is a bit overboard, we only really care about
383
 
                #       the ancestors of the tips because the rest we
384
 
                #       already know. This is *correct* but causes us to
385
 
                #       search too much ancestry.
386
 
                ancestors.update(common_searcher.find_seen_ancestors(ancestors))
387
 
                unique_searcher.stop_searching_any(ancestors)
388
 
                common_searcher.start_searching(ancestors)
389
 
 
390
 
        return unique_searcher, common_searcher
391
 
 
392
 
    def _make_unique_searchers(self, unique_nodes, unique_searcher,
393
 
                               common_searcher):
394
 
        """Create a searcher for all the unique search tips (step 4).
395
 
 
396
 
        As a side effect, the common_searcher will stop searching any nodes
397
 
        that are ancestors of the unique searcher tips.
398
 
 
399
 
        :return: (all_unique_searcher, unique_tip_searchers)
400
 
        """
401
 
        unique_tips = self._remove_simple_descendants(unique_nodes,
402
 
                        self.get_parent_map(unique_nodes))
403
 
 
404
 
        if len(unique_tips) == 1:
405
 
            unique_tip_searchers = []
406
 
            ancestor_all_unique = unique_searcher.find_seen_ancestors(unique_tips)
407
 
        else:
408
 
            unique_tip_searchers = []
409
 
            for tip in unique_tips:
410
 
                revs_to_search = unique_searcher.find_seen_ancestors([tip])
411
 
                revs_to_search.update(
412
 
                    common_searcher.find_seen_ancestors(revs_to_search))
413
 
                searcher = self._make_breadth_first_searcher(revs_to_search)
414
 
                # We don't care about the starting nodes.
415
 
                searcher._label = tip
416
 
                searcher.step()
417
 
                unique_tip_searchers.append(searcher)
418
 
 
419
 
            ancestor_all_unique = None
420
 
            for searcher in unique_tip_searchers:
421
 
                if ancestor_all_unique is None:
422
 
                    ancestor_all_unique = set(searcher.seen)
423
 
                else:
424
 
                    ancestor_all_unique = ancestor_all_unique.intersection(
425
 
                                                searcher.seen)
426
 
        # Collapse all the common nodes into a single searcher
427
 
        all_unique_searcher = self._make_breadth_first_searcher(
428
 
                                ancestor_all_unique)
429
 
        if ancestor_all_unique:
430
 
            # We've seen these nodes in all the searchers, so we'll just go to
431
 
            # the next
432
 
            all_unique_searcher.step()
433
 
 
434
 
            # Stop any search tips that are already known as ancestors of the
435
 
            # unique nodes
436
 
            stopped_common = common_searcher.stop_searching_any(
437
 
                common_searcher.find_seen_ancestors(ancestor_all_unique))
438
 
 
439
 
            total_stopped = 0
440
 
            for searcher in unique_tip_searchers:
441
 
                total_stopped += len(searcher.stop_searching_any(
442
 
                    searcher.find_seen_ancestors(ancestor_all_unique)))
443
 
        if 'graph' in debug.debug_flags:
444
 
            trace.mutter('For %d unique nodes, created %d + 1 unique searchers'
445
 
                         ' (%d stopped search tips, %d common ancestors'
446
 
                         ' (%d stopped common)',
447
 
                         len(unique_nodes), len(unique_tip_searchers),
448
 
                         total_stopped, len(ancestor_all_unique),
449
 
                         len(stopped_common))
450
 
        return all_unique_searcher, unique_tip_searchers
451
 
 
452
 
    def _step_unique_and_common_searchers(self, common_searcher,
453
 
                                          unique_tip_searchers,
454
 
                                          unique_searcher):
455
 
        """Step all the searchers"""
456
 
        newly_seen_common = set(common_searcher.step())
457
 
        newly_seen_unique = set()
458
 
        for searcher in unique_tip_searchers:
459
 
            next = set(searcher.step())
460
 
            next.update(unique_searcher.find_seen_ancestors(next))
461
 
            next.update(common_searcher.find_seen_ancestors(next))
462
 
            for alt_searcher in unique_tip_searchers:
463
 
                if alt_searcher is searcher:
464
 
                    continue
465
 
                next.update(alt_searcher.find_seen_ancestors(next))
466
 
            searcher.start_searching(next)
467
 
            newly_seen_unique.update(next)
468
 
        return newly_seen_common, newly_seen_unique
469
 
 
470
 
    def _find_nodes_common_to_all_unique(self, unique_tip_searchers,
471
 
                                         all_unique_searcher,
472
 
                                         newly_seen_unique, step_all_unique):
473
 
        """Find nodes that are common to all unique_tip_searchers.
474
 
 
475
 
        If it is time, step the all_unique_searcher, and add its nodes to the
476
 
        result.
477
 
        """
478
 
        common_to_all_unique_nodes = newly_seen_unique.copy()
479
 
        for searcher in unique_tip_searchers:
480
 
            common_to_all_unique_nodes.intersection_update(searcher.seen)
481
 
        common_to_all_unique_nodes.intersection_update(
482
 
                                    all_unique_searcher.seen)
483
 
        # Step all-unique less frequently than the other searchers.
484
 
        # In the common case, we don't need to spider out far here, so
485
 
        # avoid doing extra work.
486
 
        if step_all_unique:
487
 
            tstart = time.clock()
488
 
            nodes = all_unique_searcher.step()
489
 
            common_to_all_unique_nodes.update(nodes)
490
 
            if 'graph' in debug.debug_flags:
491
 
                tdelta = time.clock() - tstart
492
 
                trace.mutter('all_unique_searcher step() took %.3fs'
493
 
                             'for %d nodes (%d total), iteration: %s',
494
 
                             tdelta, len(nodes), len(all_unique_searcher.seen),
495
 
                             all_unique_searcher._iterations)
496
 
        return common_to_all_unique_nodes
497
 
 
498
 
    def _collapse_unique_searchers(self, unique_tip_searchers,
499
 
                                   common_to_all_unique_nodes):
500
 
        """Combine searchers that are searching the same tips.
501
 
 
502
 
        When two searchers are searching the same tips, we can stop one of the
503
 
        searchers. We also know that the maximal set of common ancestors is the
504
 
        intersection of the two original searchers.
505
 
 
506
 
        :return: A list of searchers that are searching unique nodes.
507
 
        """
508
 
        # Filter out searchers that don't actually search different
509
 
        # nodes. We already have the ancestry intersection for them
510
 
        unique_search_tips = {}
511
 
        for searcher in unique_tip_searchers:
512
 
            stopped = searcher.stop_searching_any(common_to_all_unique_nodes)
513
 
            will_search_set = frozenset(searcher._next_query)
514
 
            if not will_search_set:
515
 
                if 'graph' in debug.debug_flags:
516
 
                    trace.mutter('Unique searcher %s was stopped.'
517
 
                                 ' (%s iterations) %d nodes stopped',
518
 
                                 searcher._label,
519
 
                                 searcher._iterations,
520
 
                                 len(stopped))
521
 
            elif will_search_set not in unique_search_tips:
522
 
                # This searcher is searching a unique set of nodes, let it
523
 
                unique_search_tips[will_search_set] = [searcher]
524
 
            else:
525
 
                unique_search_tips[will_search_set].append(searcher)
526
 
        # TODO: it might be possible to collapse searchers faster when they
527
 
        #       only have *some* search tips in common.
528
 
        next_unique_searchers = []
529
 
        for searchers in unique_search_tips.itervalues():
530
 
            if len(searchers) == 1:
531
 
                # Searching unique tips, go for it
532
 
                next_unique_searchers.append(searchers[0])
533
 
            else:
534
 
                # These searchers have started searching the same tips, we
535
 
                # don't need them to cover the same ground. The
536
 
                # intersection of their ancestry won't change, so create a
537
 
                # new searcher, combining their histories.
538
 
                next_searcher = searchers[0]
539
 
                for searcher in searchers[1:]:
540
 
                    next_searcher.seen.intersection_update(searcher.seen)
541
 
                if 'graph' in debug.debug_flags:
542
 
                    trace.mutter('Combining %d searchers into a single'
543
 
                                 ' searcher searching %d nodes with'
544
 
                                 ' %d ancestry',
545
 
                                 len(searchers),
546
 
                                 len(next_searcher._next_query),
547
 
                                 len(next_searcher.seen))
548
 
                next_unique_searchers.append(next_searcher)
549
 
        return next_unique_searchers
550
 
 
551
 
    def _refine_unique_nodes(self, unique_searcher, all_unique_searcher,
552
 
                             unique_tip_searchers, common_searcher):
553
 
        """Steps 5-8 of find_unique_ancestors.
554
 
        
555
 
        This function returns when common_searcher has stopped searching for
556
 
        more nodes.
557
 
        """
558
 
        # We step the ancestor_all_unique searcher only every
559
 
        # STEP_UNIQUE_SEARCHER_EVERY steps.
560
 
        step_all_unique_counter = 0
561
 
        # While we still have common nodes to search
562
 
        while common_searcher._next_query:
563
 
            (newly_seen_common,
564
 
             newly_seen_unique) = self._step_unique_and_common_searchers(
565
 
                common_searcher, unique_tip_searchers, unique_searcher)
566
 
            # These nodes are common ancestors of all unique nodes
567
 
            common_to_all_unique_nodes = self._find_nodes_common_to_all_unique(
568
 
                unique_tip_searchers, all_unique_searcher, newly_seen_unique,
569
 
                step_all_unique_counter==0)
570
 
            step_all_unique_counter = ((step_all_unique_counter + 1)
571
 
                                       % STEP_UNIQUE_SEARCHER_EVERY)
572
 
 
573
 
            if newly_seen_common:
574
 
                # If a 'common' node is an ancestor of all unique searchers, we
575
 
                # can stop searching it.
576
 
                common_searcher.stop_searching_any(
577
 
                    all_unique_searcher.seen.intersection(newly_seen_common))
578
 
            if common_to_all_unique_nodes:
579
 
                common_to_all_unique_nodes.update(
580
 
                    common_searcher.find_seen_ancestors(
581
 
                        common_to_all_unique_nodes))
582
 
                # The all_unique searcher can start searching the common nodes
583
 
                # but everyone else can stop.
584
 
                # This is the sort of thing where we would like to not have it
585
 
                # start_searching all of the nodes, but only mark all of them
586
 
                # as seen, and have it search only the actual tips. Otherwise
587
 
                # it is another get_parent_map() traversal for it to figure out
588
 
                # what we already should know.
589
 
                all_unique_searcher.start_searching(common_to_all_unique_nodes)
590
 
                common_searcher.stop_searching_any(common_to_all_unique_nodes)
591
 
 
592
 
            next_unique_searchers = self._collapse_unique_searchers(
593
 
                unique_tip_searchers, common_to_all_unique_nodes)
594
 
            if len(unique_tip_searchers) != len(next_unique_searchers):
595
 
                if 'graph' in debug.debug_flags:
596
 
                    trace.mutter('Collapsed %d unique searchers => %d'
597
 
                                 ' at %s iterations',
598
 
                                 len(unique_tip_searchers),
599
 
                                 len(next_unique_searchers),
600
 
                                 all_unique_searcher._iterations)
601
 
            unique_tip_searchers = next_unique_searchers
602
 
 
603
 
    @symbol_versioning.deprecated_method(symbol_versioning.one_one)
604
 
    def get_parents(self, revisions):
605
 
        """Find revision ids of the parents of a list of revisions
606
 
 
607
 
        A list is returned of the same length as the input.  Each entry
608
 
        is a list of parent ids for the corresponding input revision.
609
 
 
610
 
        [NULL_REVISION] is used as the parent of the first user-committed
611
 
        revision.  Its parent list is empty.
612
 
 
613
 
        If the revision is not present (i.e. a ghost), None is used in place
614
 
        of the list of parents.
615
 
 
616
 
        Deprecated in bzr 1.2 - please see get_parent_map.
617
 
        """
618
 
        parents = self.get_parent_map(revisions)
619
 
        return [parents.get(r, None) for r in revisions]
620
 
 
621
 
    def get_parent_map(self, revisions):
622
 
        """Get a map of key:parent_list for revisions.
623
 
 
624
 
        This implementation delegates to get_parents, for old parent_providers
625
 
        that do not supply get_parent_map.
626
 
        """
627
 
        result = {}
628
 
        for rev, parents in self.get_parents(revisions):
629
 
            if parents is not None:
630
 
                result[rev] = parents
631
 
        return result
632
 
 
633
 
    def _make_breadth_first_searcher(self, revisions):
634
 
        return _BreadthFirstSearcher(revisions, self)
635
 
 
636
 
    def _find_border_ancestors(self, revisions):
637
 
        """Find common ancestors with at least one uncommon descendant.
638
 
 
639
 
        Border ancestors are identified using a breadth-first
640
 
        search starting at the bottom of the graph.  Searches are stopped
641
 
        whenever a node or one of its descendants is determined to be common.
642
 
 
643
 
        This will scale with the number of uncommon ancestors.
644
 
 
645
 
        As well as the border ancestors, a set of seen common ancestors and a
646
 
        list of sets of seen ancestors for each input revision is returned.
647
 
        This allows calculation of graph difference from the results of this
648
 
        operation.
649
 
        """
650
 
        if None in revisions:
651
 
            raise errors.InvalidRevisionId(None, self)
652
 
        common_ancestors = set()
653
 
        searchers = [self._make_breadth_first_searcher([r])
654
 
                     for r in revisions]
655
 
        active_searchers = searchers[:]
656
 
        border_ancestors = set()
657
 
 
658
 
        while True:
659
 
            newly_seen = set()
660
 
            for searcher in searchers:
661
 
                new_ancestors = searcher.step()
662
 
                if new_ancestors:
663
 
                    newly_seen.update(new_ancestors)
664
 
            new_common = set()
665
 
            for revision in newly_seen:
666
 
                if revision in common_ancestors:
667
 
                    # Not a border ancestor because it was seen as common
668
 
                    # already
669
 
                    new_common.add(revision)
670
 
                    continue
671
 
                for searcher in searchers:
672
 
                    if revision not in searcher.seen:
673
 
                        break
674
 
                else:
675
 
                    # This is a border because it is a first common that we see
676
 
                    # after walking for a while.
677
 
                    border_ancestors.add(revision)
678
 
                    new_common.add(revision)
679
 
            if new_common:
680
 
                for searcher in searchers:
681
 
                    new_common.update(searcher.find_seen_ancestors(new_common))
682
 
                for searcher in searchers:
683
 
                    searcher.start_searching(new_common)
684
 
                common_ancestors.update(new_common)
685
 
 
686
 
            # Figure out what the searchers will be searching next, and if
687
 
            # there is only 1 set being searched, then we are done searching,
688
 
            # since all searchers would have to be searching the same data,
689
 
            # thus it *must* be in common.
690
 
            unique_search_sets = set()
691
 
            for searcher in searchers:
692
 
                will_search_set = frozenset(searcher._next_query)
693
 
                if will_search_set not in unique_search_sets:
694
 
                    # This searcher is searching a unique set of nodes, let it
695
 
                    unique_search_sets.add(will_search_set)
696
 
 
697
 
            if len(unique_search_sets) == 1:
698
 
                nodes = unique_search_sets.pop()
699
 
                uncommon_nodes = nodes.difference(common_ancestors)
700
 
                if uncommon_nodes:
701
 
                    raise AssertionError("Somehow we ended up converging"
702
 
                                         " without actually marking them as"
703
 
                                         " in common."
704
 
                                         "\nStart_nodes: %s"
705
 
                                         "\nuncommon_nodes: %s"
706
 
                                         % (revisions, uncommon_nodes))
707
 
                break
708
 
        return border_ancestors, common_ancestors, searchers
709
 
 
710
 
    def heads(self, keys):
711
 
        """Return the heads from amongst keys.
712
 
 
713
 
        This is done by searching the ancestries of each key.  Any key that is
714
 
        reachable from another key is not returned; all the others are.
715
 
 
716
 
        This operation scales with the relative depth between any two keys. If
717
 
        any two keys are completely disconnected all ancestry of both sides
718
 
        will be retrieved.
719
 
 
720
 
        :param keys: An iterable of keys.
721
 
        :return: A set of the heads. Note that as a set there is no ordering
722
 
            information. Callers will need to filter their input to create
723
 
            order if they need it.
724
 
        """
725
 
        candidate_heads = set(keys)
726
 
        if revision.NULL_REVISION in candidate_heads:
727
 
            # NULL_REVISION is only a head if it is the only entry
728
 
            candidate_heads.remove(revision.NULL_REVISION)
729
 
            if not candidate_heads:
730
 
                return set([revision.NULL_REVISION])
731
 
        if len(candidate_heads) < 2:
732
 
            return candidate_heads
733
 
        searchers = dict((c, self._make_breadth_first_searcher([c]))
734
 
                          for c in candidate_heads)
735
 
        active_searchers = dict(searchers)
736
 
        # skip over the actual candidate for each searcher
737
 
        for searcher in active_searchers.itervalues():
738
 
            searcher.next()
739
 
        # The common walker finds nodes that are common to two or more of the
740
 
        # input keys, so that we don't access all history when a currently
741
 
        # uncommon search point actually meets up with something behind a
742
 
        # common search point. Common search points do not keep searches
743
 
        # active; they just allow us to make searches inactive without
744
 
        # accessing all history.
745
 
        common_walker = self._make_breadth_first_searcher([])
746
 
        while len(active_searchers) > 0:
747
 
            ancestors = set()
748
 
            # advance searches
749
 
            try:
750
 
                common_walker.next()
751
 
            except StopIteration:
752
 
                # No common points being searched at this time.
753
 
                pass
754
 
            for candidate in active_searchers.keys():
755
 
                try:
756
 
                    searcher = active_searchers[candidate]
757
 
                except KeyError:
758
 
                    # rare case: we deleted candidate in a previous iteration
759
 
                    # through this for loop, because it was determined to be
760
 
                    # a descendant of another candidate.
761
 
                    continue
762
 
                try:
763
 
                    ancestors.update(searcher.next())
764
 
                except StopIteration:
765
 
                    del active_searchers[candidate]
766
 
                    continue
767
 
            # process found nodes
768
 
            new_common = set()
769
 
            for ancestor in ancestors:
770
 
                if ancestor in candidate_heads:
771
 
                    candidate_heads.remove(ancestor)
772
 
                    del searchers[ancestor]
773
 
                    if ancestor in active_searchers:
774
 
                        del active_searchers[ancestor]
775
 
                # it may meet up with a known common node
776
 
                if ancestor in common_walker.seen:
777
 
                    # some searcher has encountered our known common nodes:
778
 
                    # just stop it
779
 
                    ancestor_set = set([ancestor])
780
 
                    for searcher in searchers.itervalues():
781
 
                        searcher.stop_searching_any(ancestor_set)
782
 
                else:
783
 
                    # or it may have been just reached by all the searchers:
784
 
                    for searcher in searchers.itervalues():
785
 
                        if ancestor not in searcher.seen:
786
 
                            break
787
 
                    else:
788
 
                        # The final active searcher has just reached this node,
789
 
                        # making it be known as a descendant of all candidates,
790
 
                        # so we can stop searching it, and any seen ancestors
791
 
                        new_common.add(ancestor)
792
 
                        for searcher in searchers.itervalues():
793
 
                            seen_ancestors =\
794
 
                                searcher.find_seen_ancestors([ancestor])
795
 
                            searcher.stop_searching_any(seen_ancestors)
796
 
            common_walker.start_searching(new_common)
797
 
        return candidate_heads
798
 
 
799
 
    def find_merge_order(self, tip_revision_id, lca_revision_ids):
800
 
        """Find the order that each revision was merged into tip.
801
 
 
802
 
        This basically just walks backwards with a stack, and walks left-first
803
 
        until it finds a node to stop.
804
 
        """
805
 
        if len(lca_revision_ids) == 1:
806
 
            return list(lca_revision_ids)
807
 
        looking_for = set(lca_revision_ids)
808
 
        # TODO: Is there a way we could do this "faster" by batching up the
809
 
        # get_parent_map requests?
810
 
        # TODO: Should we also be culling the ancestry search right away? We
811
 
        # could add looking_for to the "stop" list, and walk their
812
 
        # ancestry in batched mode. The flip side is it might mean we walk a
813
 
        # lot of "stop" nodes, rather than only the minimum.
814
 
        # Then again, without it we may trace back into ancestry we could have
815
 
        # stopped early.
816
 
        stack = [tip_revision_id]
817
 
        found = []
818
 
        stop = set()
819
 
        while stack and looking_for:
820
 
            next = stack.pop()
821
 
            stop.add(next)
822
 
            if next in looking_for:
823
 
                found.append(next)
824
 
                looking_for.remove(next)
825
 
                if len(looking_for) == 1:
826
 
                    found.append(looking_for.pop())
827
 
                    break
828
 
                continue
829
 
            parent_ids = self.get_parent_map([next]).get(next, None)
830
 
            if not parent_ids: # Ghost, nothing to search here
831
 
                continue
832
 
            for parent_id in reversed(parent_ids):
833
 
                # TODO: (performance) We see the parent at this point, but we
834
 
                #       wait to mark it until later to make sure we get left
835
 
                #       parents before right parents. However, instead of
836
 
                #       waiting until we have traversed enough parents, we
837
 
                #       could instead note that we've found it, and once all
838
 
                #       parents are in the stack, just reverse iterate the
839
 
                #       stack for them.
840
 
                if parent_id not in stop:
841
 
                    # this will need to be searched
842
 
                    stack.append(parent_id)
843
 
                stop.add(parent_id)
844
 
        return found
845
 
 
846
 
    def find_unique_lca(self, left_revision, right_revision,
847
 
                        count_steps=False):
848
 
        """Find a unique LCA.
849
 
 
850
 
        Find lowest common ancestors.  If there is no unique  common
851
 
        ancestor, find the lowest common ancestors of those ancestors.
852
 
 
853
 
        Iteration stops when a unique lowest common ancestor is found.
854
 
        The graph origin is necessarily a unique lowest common ancestor.
855
 
 
856
 
        Note that None is not an acceptable substitute for NULL_REVISION.
857
 
        in the input for this method.
858
 
 
859
 
        :param count_steps: If True, the return value will be a tuple of
860
 
            (unique_lca, steps) where steps is the number of times that
861
 
            find_lca was run.  If False, only unique_lca is returned.
862
 
        """
863
 
        revisions = [left_revision, right_revision]
864
 
        steps = 0
865
 
        while True:
866
 
            steps += 1
867
 
            lca = self.find_lca(*revisions)
868
 
            if len(lca) == 1:
869
 
                result = lca.pop()
870
 
                if count_steps:
871
 
                    return result, steps
872
 
                else:
873
 
                    return result
874
 
            if len(lca) == 0:
875
 
                raise errors.NoCommonAncestor(left_revision, right_revision)
876
 
            revisions = lca
877
 
 
878
 
    def iter_ancestry(self, revision_ids):
879
 
        """Iterate the ancestry of this revision.
880
 
 
881
 
        :param revision_ids: Nodes to start the search
882
 
        :return: Yield tuples mapping a revision_id to its parents for the
883
 
            ancestry of revision_id.
884
 
            Ghosts will be returned with None as their parents, and nodes
885
 
            with no parents will have NULL_REVISION as their only parent. (As
886
 
            defined by get_parent_map.)
887
 
            There will also be a node for (NULL_REVISION, ())
888
 
        """
889
 
        pending = set(revision_ids)
890
 
        processed = set()
891
 
        while pending:
892
 
            processed.update(pending)
893
 
            next_map = self.get_parent_map(pending)
894
 
            next_pending = set()
895
 
            for item in next_map.iteritems():
896
 
                yield item
897
 
                next_pending.update(p for p in item[1] if p not in processed)
898
 
            ghosts = pending.difference(next_map)
899
 
            for ghost in ghosts:
900
 
                yield (ghost, None)
901
 
            pending = next_pending
902
 
 
903
 
    def iter_topo_order(self, revisions):
904
 
        """Iterate through the input revisions in topological order.
905
 
 
906
 
        This sorting only ensures that parents come before their children.
907
 
        An ancestor may sort after a descendant if the relationship is not
908
 
        visible in the supplied list of revisions.
909
 
        """
910
 
        sorter = tsort.TopoSorter(self.get_parent_map(revisions))
911
 
        return sorter.iter_topo_order()
912
 
 
913
 
    def is_ancestor(self, candidate_ancestor, candidate_descendant):
914
 
        """Determine whether a revision is an ancestor of another.
915
 
 
916
 
        We answer this using heads() as heads() has the logic to perform the
917
 
        smallest number of parent lookups to determine the ancestral
918
 
        relationship between N revisions.
919
 
        """
920
 
        return set([candidate_descendant]) == self.heads(
921
 
            [candidate_ancestor, candidate_descendant])
922
 
 
923
 
    def _search_for_extra_common(self, common, searchers):
924
 
        """Make sure that unique nodes are genuinely unique.
925
 
 
926
 
        After _find_border_ancestors, all nodes marked "common" are indeed
927
 
        common. Some of the nodes considered unique are not, due to history
928
 
        shortcuts stopping the searches early.
929
 
 
930
 
        We know that we have searched enough when all common search tips are
931
 
        descended from all unique (uncommon) nodes because we know that a node
932
 
        cannot be an ancestor of its own ancestor.
933
 
 
934
 
        :param common: A set of common nodes
935
 
        :param searchers: The searchers returned from _find_border_ancestors
936
 
        :return: None
937
 
        """
938
 
        # Basic algorithm...
939
 
        #   A) The passed in searchers should all be on the same tips, thus
940
 
        #      they should be considered the "common" searchers.
941
 
        #   B) We find the difference between the searchers, these are the
942
 
        #      "unique" nodes for each side.
943
 
        #   C) We do a quick culling so that we only start searching from the
944
 
        #      more interesting unique nodes. (A unique ancestor is more
945
 
        #      interesting than any of its children.)
946
 
        #   D) We start searching for ancestors common to all unique nodes.
947
 
        #   E) We have the common searchers stop searching any ancestors of
948
 
        #      nodes found by (D)
949
 
        #   F) When there are no more common search tips, we stop
950
 
 
951
 
        # TODO: We need a way to remove unique_searchers when they overlap with
952
 
        #       other unique searchers.
953
 
        if len(searchers) != 2:
954
 
            raise NotImplementedError(
955
 
                "Algorithm not yet implemented for > 2 searchers")
956
 
        common_searchers = searchers
957
 
        left_searcher = searchers[0]
958
 
        right_searcher = searchers[1]
959
 
        unique = left_searcher.seen.symmetric_difference(right_searcher.seen)
960
 
        if not unique: # No unique nodes, nothing to do
961
 
            return
962
 
        total_unique = len(unique)
963
 
        unique = self._remove_simple_descendants(unique,
964
 
                    self.get_parent_map(unique))
965
 
        simple_unique = len(unique)
966
 
 
967
 
        unique_searchers = []
968
 
        for revision_id in unique:
969
 
            if revision_id in left_searcher.seen:
970
 
                parent_searcher = left_searcher
971
 
            else:
972
 
                parent_searcher = right_searcher
973
 
            revs_to_search = parent_searcher.find_seen_ancestors([revision_id])
974
 
            if not revs_to_search: # XXX: This shouldn't be possible
975
 
                revs_to_search = [revision_id]
976
 
            searcher = self._make_breadth_first_searcher(revs_to_search)
977
 
            # We don't care about the starting nodes.
978
 
            searcher.step()
979
 
            unique_searchers.append(searcher)
980
 
 
981
 
        # possible todo: aggregate the common searchers into a single common
982
 
        #   searcher, just make sure that we include the nodes into the .seen
983
 
        #   properties of the original searchers
984
 
 
985
 
        ancestor_all_unique = None
986
 
        for searcher in unique_searchers:
987
 
            if ancestor_all_unique is None:
988
 
                ancestor_all_unique = set(searcher.seen)
989
 
            else:
990
 
                ancestor_all_unique = ancestor_all_unique.intersection(
991
 
                                            searcher.seen)
992
 
 
993
 
        trace.mutter('Started %s unique searchers for %s unique revisions',
994
 
                     simple_unique, total_unique)
995
 
 
996
 
        while True: # If we have no more nodes we have nothing to do
997
 
            newly_seen_common = set()
998
 
            for searcher in common_searchers:
999
 
                newly_seen_common.update(searcher.step())
1000
 
            newly_seen_unique = set()
1001
 
            for searcher in unique_searchers:
1002
 
                newly_seen_unique.update(searcher.step())
1003
 
            new_common_unique = set()
1004
 
            for revision in newly_seen_unique:
1005
 
                for searcher in unique_searchers:
1006
 
                    if revision not in searcher.seen:
1007
 
                        break
1008
 
                else:
1009
 
                    # This is a border because it is a first common that we see
1010
 
                    # after walking for a while.
1011
 
                    new_common_unique.add(revision)
1012
 
            if newly_seen_common:
1013
 
                # These are nodes descended from one of the 'common' searchers.
1014
 
                # Make sure all searchers are on the same page
1015
 
                for searcher in common_searchers:
1016
 
                    newly_seen_common.update(
1017
 
                        searcher.find_seen_ancestors(newly_seen_common))
1018
 
                # We start searching the whole ancestry. It is a bit wasteful,
1019
 
                # though. We really just want to mark all of these nodes as
1020
 
                # 'seen' and then start just the tips. However, it requires a
1021
 
                # get_parent_map() call to figure out the tips anyway, and all
1022
 
                # redundant requests should be fairly fast.
1023
 
                for searcher in common_searchers:
1024
 
                    searcher.start_searching(newly_seen_common)
1025
 
 
1026
 
                # If a 'common' node is an ancestor of all unique searchers, we
1027
 
                # can stop searching it.
1028
 
                stop_searching_common = ancestor_all_unique.intersection(
1029
 
                                            newly_seen_common)
1030
 
                if stop_searching_common:
1031
 
                    for searcher in common_searchers:
1032
 
                        searcher.stop_searching_any(stop_searching_common)
1033
 
            if new_common_unique:
1034
 
                # We found some ancestors that are common
1035
 
                for searcher in unique_searchers:
1036
 
                    new_common_unique.update(
1037
 
                        searcher.find_seen_ancestors(new_common_unique))
1038
 
                # Since these are common, we can grab another set of ancestors
1039
 
                # that we have seen
1040
 
                for searcher in common_searchers:
1041
 
                    new_common_unique.update(
1042
 
                        searcher.find_seen_ancestors(new_common_unique))
1043
 
 
1044
 
                # We can tell all of the unique searchers to start at these
1045
 
                # nodes, and tell all of the common searchers to *stop*
1046
 
                # searching these nodes
1047
 
                for searcher in unique_searchers:
1048
 
                    searcher.start_searching(new_common_unique)
1049
 
                for searcher in common_searchers:
1050
 
                    searcher.stop_searching_any(new_common_unique)
1051
 
                ancestor_all_unique.update(new_common_unique)
1052
 
 
1053
 
                # Filter out searchers that don't actually search different
1054
 
                # nodes. We already have the ancestry intersection for them
1055
 
                next_unique_searchers = []
1056
 
                unique_search_sets = set()
1057
 
                for searcher in unique_searchers:
1058
 
                    will_search_set = frozenset(searcher._next_query)
1059
 
                    if will_search_set not in unique_search_sets:
1060
 
                        # This searcher is searching a unique set of nodes, let it
1061
 
                        unique_search_sets.add(will_search_set)
1062
 
                        next_unique_searchers.append(searcher)
1063
 
                unique_searchers = next_unique_searchers
1064
 
            for searcher in common_searchers:
1065
 
                if searcher._next_query:
1066
 
                    break
1067
 
            else:
1068
 
                # All common searcher have stopped searching
1069
 
                return
1070
 
 
1071
 
    def _remove_simple_descendants(self, revisions, parent_map):
1072
 
        """remove revisions which are children of other ones in the set
1073
 
 
1074
 
        This doesn't do any graph searching, it just checks the immediate
1075
 
        parent_map to find if there are any children which can be removed.
1076
 
 
1077
 
        :param revisions: A set of revision_ids
1078
 
        :return: A set of revision_ids with the children removed
1079
 
        """
1080
 
        simple_ancestors = revisions.copy()
1081
 
        # TODO: jam 20071214 we *could* restrict it to searching only the
1082
 
        #       parent_map of revisions already present in 'revisions', but
1083
 
        #       considering the general use case, I think this is actually
1084
 
        #       better.
1085
 
 
1086
 
        # This is the same as the following loop. I don't know that it is any
1087
 
        # faster.
1088
 
        ## simple_ancestors.difference_update(r for r, p_ids in parent_map.iteritems()
1089
 
        ##     if p_ids is not None and revisions.intersection(p_ids))
1090
 
        ## return simple_ancestors
1091
 
 
1092
 
        # Yet Another Way, invert the parent map (which can be cached)
1093
 
        ## descendants = {}
1094
 
        ## for revision_id, parent_ids in parent_map.iteritems():
1095
 
        ##   for p_id in parent_ids:
1096
 
        ##       descendants.setdefault(p_id, []).append(revision_id)
1097
 
        ## for revision in revisions.intersection(descendants):
1098
 
        ##   simple_ancestors.difference_update(descendants[revision])
1099
 
        ## return simple_ancestors
1100
 
        for revision, parent_ids in parent_map.iteritems():
1101
 
            if parent_ids is None:
1102
 
                continue
1103
 
            for parent_id in parent_ids:
1104
 
                if parent_id in revisions:
1105
 
                    # This node has a parent present in the set, so we can
1106
 
                    # remove it
1107
 
                    simple_ancestors.discard(revision)
1108
 
                    break
1109
 
        return simple_ancestors
1110
 
 
1111
 
 
1112
 
class HeadsCache(object):
1113
 
    """A cache of results for graph heads calls."""
1114
 
 
1115
 
    def __init__(self, graph):
1116
 
        self.graph = graph
1117
 
        self._heads = {}
1118
 
 
1119
 
    def heads(self, keys):
1120
 
        """Return the heads of keys.
1121
 
 
1122
 
        This matches the API of Graph.heads(), specifically the return value is
1123
 
        a set which can be mutated, and ordering of the input is not preserved
1124
 
        in the output.
1125
 
 
1126
 
        :see also: Graph.heads.
1127
 
        :param keys: The keys to calculate heads for.
1128
 
        :return: A set containing the heads, which may be mutated without
1129
 
            affecting future lookups.
1130
 
        """
1131
 
        keys = frozenset(keys)
1132
 
        try:
1133
 
            return set(self._heads[keys])
1134
 
        except KeyError:
1135
 
            heads = self.graph.heads(keys)
1136
 
            self._heads[keys] = heads
1137
 
            return set(heads)
1138
 
 
1139
 
 
1140
 
class FrozenHeadsCache(object):
1141
 
    """Cache heads() calls, assuming the caller won't modify them."""
1142
 
 
1143
 
    def __init__(self, graph):
1144
 
        self.graph = graph
1145
 
        self._heads = {}
1146
 
 
1147
 
    def heads(self, keys):
1148
 
        """Return the heads of keys.
1149
 
 
1150
 
        Similar to Graph.heads(). The main difference is that the return value
1151
 
        is a frozen set which cannot be mutated.
1152
 
 
1153
 
        :see also: Graph.heads.
1154
 
        :param keys: The keys to calculate heads for.
1155
 
        :return: A frozenset containing the heads.
1156
 
        """
1157
 
        keys = frozenset(keys)
1158
 
        try:
1159
 
            return self._heads[keys]
1160
 
        except KeyError:
1161
 
            heads = frozenset(self.graph.heads(keys))
1162
 
            self._heads[keys] = heads
1163
 
            return heads
1164
 
 
1165
 
    def cache(self, keys, heads):
1166
 
        """Store a known value."""
1167
 
        self._heads[frozenset(keys)] = frozenset(heads)
1168
 
 
1169
 
 
1170
 
class _BreadthFirstSearcher(object):
1171
 
    """Parallel search breadth-first the ancestry of revisions.
1172
 
 
1173
 
    This class implements the iterator protocol, but additionally
1174
 
    1. provides a set of seen ancestors, and
1175
 
    2. allows some ancestries to be unsearched, via stop_searching_any
1176
 
    """
1177
 
 
1178
 
    def __init__(self, revisions, parents_provider):
1179
 
        self._iterations = 0
1180
 
        self._next_query = set(revisions)
1181
 
        self.seen = set()
1182
 
        self._started_keys = set(self._next_query)
1183
 
        self._stopped_keys = set()
1184
 
        self._parents_provider = parents_provider
1185
 
        self._returning = 'next_with_ghosts'
1186
 
        self._current_present = set()
1187
 
        self._current_ghosts = set()
1188
 
        self._current_parents = {}
1189
 
 
1190
 
    def __repr__(self):
1191
 
        if self._iterations:
1192
 
            prefix = "searching"
1193
 
        else:
1194
 
            prefix = "starting"
1195
 
        search = '%s=%r' % (prefix, list(self._next_query))
1196
 
        return ('_BreadthFirstSearcher(iterations=%d, %s,'
1197
 
                ' seen=%r)' % (self._iterations, search, list(self.seen)))
1198
 
 
1199
 
    def get_result(self):
1200
 
        """Get a SearchResult for the current state of this searcher.
1201
 
        
1202
 
        :return: A SearchResult for this search so far. The SearchResult is
1203
 
            static - the search can be advanced and the search result will not
1204
 
            be invalidated or altered.
1205
 
        """
1206
 
        if self._returning == 'next':
1207
 
            # We have to know the current nodes children to be able to list the
1208
 
            # exclude keys for them. However, while we could have a second
1209
 
            # look-ahead result buffer and shuffle things around, this method
1210
 
            # is typically only called once per search - when memoising the
1211
 
            # results of the search. 
1212
 
            found, ghosts, next, parents = self._do_query(self._next_query)
1213
 
            # pretend we didn't query: perhaps we should tweak _do_query to be
1214
 
            # entirely stateless?
1215
 
            self.seen.difference_update(next)
1216
 
            next_query = next.union(ghosts)
1217
 
        else:
1218
 
            next_query = self._next_query
1219
 
        excludes = self._stopped_keys.union(next_query)
1220
 
        included_keys = self.seen.difference(excludes)
1221
 
        return SearchResult(self._started_keys, excludes, len(included_keys),
1222
 
            included_keys)
1223
 
 
1224
 
    def step(self):
1225
 
        try:
1226
 
            return self.next()
1227
 
        except StopIteration:
1228
 
            return ()
1229
 
 
1230
 
    def next(self):
1231
 
        """Return the next ancestors of this revision.
1232
 
 
1233
 
        Ancestors are returned in the order they are seen in a breadth-first
1234
 
        traversal.  No ancestor will be returned more than once. Ancestors are
1235
 
        returned before their parentage is queried, so ghosts and missing
1236
 
        revisions (including the start revisions) are included in the result.
1237
 
        This can save a round trip in LCA style calculation by allowing
1238
 
        convergence to be detected without reading the data for the revision
1239
 
        the convergence occurs on.
1240
 
 
1241
 
        :return: A set of revision_ids.
1242
 
        """
1243
 
        if self._returning != 'next':
1244
 
            # switch to returning the query, not the results.
1245
 
            self._returning = 'next'
1246
 
            self._iterations += 1
1247
 
        else:
1248
 
            self._advance()
1249
 
        if len(self._next_query) == 0:
1250
 
            raise StopIteration()
1251
 
        # We have seen what we're querying at this point as we are returning
1252
 
        # the query, not the results.
1253
 
        self.seen.update(self._next_query)
1254
 
        return self._next_query
1255
 
 
1256
 
    def next_with_ghosts(self):
1257
 
        """Return the next found ancestors, with ghosts split out.
1258
 
        
1259
 
        Ancestors are returned in the order they are seen in a breadth-first
1260
 
        traversal.  No ancestor will be returned more than once. Ancestors are
1261
 
        returned only after asking for their parents, which allows us to detect
1262
 
        which revisions are ghosts and which are not.
1263
 
 
1264
 
        :return: A tuple with (present ancestors, ghost ancestors) sets.
1265
 
        """
1266
 
        if self._returning != 'next_with_ghosts':
1267
 
            # switch to returning the results, not the current query.
1268
 
            self._returning = 'next_with_ghosts'
1269
 
            self._advance()
1270
 
        if len(self._next_query) == 0:
1271
 
            raise StopIteration()
1272
 
        self._advance()
1273
 
        return self._current_present, self._current_ghosts
1274
 
 
1275
 
    def _advance(self):
1276
 
        """Advance the search.
1277
 
 
1278
 
        Updates self.seen, self._next_query, self._current_present,
1279
 
        self._current_ghosts, self._current_parents and self._iterations.
1280
 
        """
1281
 
        self._iterations += 1
1282
 
        found, ghosts, next, parents = self._do_query(self._next_query)
1283
 
        self._current_present = found
1284
 
        self._current_ghosts = ghosts
1285
 
        self._next_query = next
1286
 
        self._current_parents = parents
1287
 
        # ghosts are implicit stop points, otherwise the search cannot be
1288
 
        # repeated when ghosts are filled.
1289
 
        self._stopped_keys.update(ghosts)
1290
 
 
1291
 
    def _do_query(self, revisions):
1292
 
        """Query for revisions.
1293
 
 
1294
 
        Adds revisions to the seen set.
1295
 
 
1296
 
        :param revisions: Revisions to query.
1297
 
        :return: A tuple: (set(found_revisions), set(ghost_revisions),
1298
 
           set(parents_of_found_revisions), dict(found_revisions:parents)).
1299
 
        """
1300
 
        found_revisions = set()
1301
 
        parents_of_found = set()
1302
 
        # revisions may contain nodes that point to other nodes in revisions:
1303
 
        # we want to filter them out.
1304
 
        self.seen.update(revisions)
1305
 
        parent_map = self._parents_provider.get_parent_map(revisions)
1306
 
        found_revisions.update(parent_map)
1307
 
        for rev_id, parents in parent_map.iteritems():
1308
 
            if parents is None:
1309
 
                continue
1310
 
            new_found_parents = [p for p in parents if p not in self.seen]
1311
 
            if new_found_parents:
1312
 
                # Calling set.update() with an empty generator is actually
1313
 
                # rather expensive.
1314
 
                parents_of_found.update(new_found_parents)
1315
 
        ghost_revisions = revisions - found_revisions
1316
 
        return found_revisions, ghost_revisions, parents_of_found, parent_map
1317
 
 
1318
 
    def __iter__(self):
1319
 
        return self
1320
 
 
1321
 
    def find_seen_ancestors(self, revisions):
1322
 
        """Find ancestors of these revisions that have already been seen.
1323
 
        
1324
 
        This function generally makes the assumption that querying for the
1325
 
        parents of a node that has already been queried is reasonably cheap.
1326
 
        (eg, not a round trip to a remote host).
1327
 
        """
1328
 
        # TODO: Often we might ask one searcher for its seen ancestors, and
1329
 
        #       then ask another searcher the same question. This can result in
1330
 
        #       searching the same revisions repeatedly if the two searchers
1331
 
        #       have a lot of overlap.
1332
 
        all_seen = self.seen
1333
 
        pending = set(revisions).intersection(all_seen)
1334
 
        seen_ancestors = set(pending)
1335
 
 
1336
 
        if self._returning == 'next':
1337
 
            # self.seen contains what nodes have been returned, not what nodes
1338
 
            # have been queried. We don't want to probe for nodes that haven't
1339
 
            # been searched yet.
1340
 
            not_searched_yet = self._next_query
1341
 
        else:
1342
 
            not_searched_yet = ()
1343
 
        pending.difference_update(not_searched_yet)
1344
 
        get_parent_map = self._parents_provider.get_parent_map
1345
 
        while pending:
1346
 
            parent_map = get_parent_map(pending)
1347
 
            all_parents = []
1348
 
            # We don't care if it is a ghost, since it can't be seen if it is
1349
 
            # a ghost
1350
 
            for parent_ids in parent_map.itervalues():
1351
 
                all_parents.extend(parent_ids)
1352
 
            next_pending = all_seen.intersection(all_parents).difference(seen_ancestors)
1353
 
            seen_ancestors.update(next_pending)
1354
 
            next_pending.difference_update(not_searched_yet)
1355
 
            pending = next_pending
1356
 
 
1357
 
        return seen_ancestors
1358
 
 
1359
 
    def stop_searching_any(self, revisions):
1360
 
        """
1361
 
        Remove any of the specified revisions from the search list.
1362
 
 
1363
 
        None of the specified revisions are required to be present in the
1364
 
        search list.
1365
 
 
1366
 
        It is okay to call stop_searching_any() for revisions which were seen
1367
 
        in previous iterations. It is the callers responsibility to call
1368
 
        find_seen_ancestors() to make sure that current search tips that are
1369
 
        ancestors of those revisions are also stopped.  All explicitly stopped
1370
 
        revisions will be excluded from the search result's get_keys(), though.
1371
 
        """
1372
 
        # TODO: does this help performance?
1373
 
        # if not revisions:
1374
 
        #     return set()
1375
 
        revisions = frozenset(revisions)
1376
 
        if self._returning == 'next':
1377
 
            stopped = self._next_query.intersection(revisions)
1378
 
            self._next_query = self._next_query.difference(revisions)
1379
 
        else:
1380
 
            stopped_present = self._current_present.intersection(revisions)
1381
 
            stopped = stopped_present.union(
1382
 
                self._current_ghosts.intersection(revisions))
1383
 
            self._current_present.difference_update(stopped)
1384
 
            self._current_ghosts.difference_update(stopped)
1385
 
            # stopping 'x' should stop returning parents of 'x', but 
1386
 
            # not if 'y' always references those same parents
1387
 
            stop_rev_references = {}
1388
 
            for rev in stopped_present:
1389
 
                for parent_id in self._current_parents[rev]:
1390
 
                    if parent_id not in stop_rev_references:
1391
 
                        stop_rev_references[parent_id] = 0
1392
 
                    stop_rev_references[parent_id] += 1
1393
 
            # if only the stopped revisions reference it, the ref count will be
1394
 
            # 0 after this loop
1395
 
            for parents in self._current_parents.itervalues():
1396
 
                for parent_id in parents:
1397
 
                    try:
1398
 
                        stop_rev_references[parent_id] -= 1
1399
 
                    except KeyError:
1400
 
                        pass
1401
 
            stop_parents = set()
1402
 
            for rev_id, refs in stop_rev_references.iteritems():
1403
 
                if refs == 0:
1404
 
                    stop_parents.add(rev_id)
1405
 
            self._next_query.difference_update(stop_parents)
1406
 
        self._stopped_keys.update(stopped)
1407
 
        self._stopped_keys.update(revisions - set([revision.NULL_REVISION]))
1408
 
        return stopped
1409
 
 
1410
 
    def start_searching(self, revisions):
1411
 
        """Add revisions to the search.
1412
 
 
1413
 
        The parents of revisions will be returned from the next call to next()
1414
 
        or next_with_ghosts(). If next_with_ghosts was the most recently used
1415
 
        next* call then the return value is the result of looking up the
1416
 
        ghost/not ghost status of revisions. (A tuple (present, ghosted)).
1417
 
        """
1418
 
        revisions = frozenset(revisions)
1419
 
        self._started_keys.update(revisions)
1420
 
        new_revisions = revisions.difference(self.seen)
1421
 
        if self._returning == 'next':
1422
 
            self._next_query.update(new_revisions)
1423
 
            self.seen.update(new_revisions)
1424
 
        else:
1425
 
            # perform a query on revisions
1426
 
            revs, ghosts, query, parents = self._do_query(revisions)
1427
 
            self._stopped_keys.update(ghosts)
1428
 
            self._current_present.update(revs)
1429
 
            self._current_ghosts.update(ghosts)
1430
 
            self._next_query.update(query)
1431
 
            self._current_parents.update(parents)
1432
 
            return revs, ghosts
1433
 
 
1434
 
 
1435
 
class SearchResult(object):
1436
 
    """The result of a breadth first search.
1437
 
 
1438
 
    A SearchResult provides the ability to reconstruct the search or access a
1439
 
    set of the keys the search found.
1440
 
    """
1441
 
 
1442
 
    def __init__(self, start_keys, exclude_keys, key_count, keys):
1443
 
        """Create a SearchResult.
1444
 
 
1445
 
        :param start_keys: The keys the search started at.
1446
 
        :param exclude_keys: The keys the search excludes.
1447
 
        :param key_count: The total number of keys (from start to but not
1448
 
            including exclude).
1449
 
        :param keys: The keys the search found. Note that in future we may get
1450
 
            a SearchResult from a smart server, in which case the keys list is
1451
 
            not necessarily immediately available.
1452
 
        """
1453
 
        self._recipe = (start_keys, exclude_keys, key_count)
1454
 
        self._keys = frozenset(keys)
1455
 
 
1456
 
    def get_recipe(self):
1457
 
        """Return a recipe that can be used to replay this search.
1458
 
        
1459
 
        The recipe allows reconstruction of the same results at a later date
1460
 
        without knowing all the found keys. The essential elements are a list
1461
 
        of keys to start and and to stop at. In order to give reproducible
1462
 
        results when ghosts are encountered by a search they are automatically
1463
 
        added to the exclude list (or else ghost filling may alter the
1464
 
        results).
1465
 
 
1466
 
        :return: A tuple (start_keys_set, exclude_keys_set, revision_count). To
1467
 
            recreate the results of this search, create a breadth first
1468
 
            searcher on the same graph starting at start_keys. Then call next()
1469
 
            (or next_with_ghosts()) repeatedly, and on every result, call
1470
 
            stop_searching_any on any keys from the exclude_keys set. The
1471
 
            revision_count value acts as a trivial cross-check - the found
1472
 
            revisions of the new search should have as many elements as
1473
 
            revision_count. If it does not, then additional revisions have been
1474
 
            ghosted since the search was executed the first time and the second
1475
 
            time.
1476
 
        """
1477
 
        return self._recipe
1478
 
 
1479
 
    def get_keys(self):
1480
 
        """Return the keys found in this search.
1481
 
 
1482
 
        :return: A set of keys.
1483
 
        """
1484
 
        return self._keys
1485
 
 
1486
 
 
1487
 
def collapse_linear_regions(parent_map):
1488
 
    """Collapse regions of the graph that are 'linear'.
1489
 
 
1490
 
    For example::
1491
 
 
1492
 
      A:[B], B:[C]
1493
 
 
1494
 
    can be collapsed by removing B and getting::
1495
 
 
1496
 
      A:[C]
1497
 
 
1498
 
    :param parent_map: A dictionary mapping children to their parents
1499
 
    :return: Another dictionary with 'linear' chains collapsed
1500
 
    """
1501
 
    # Note: this isn't a strictly minimal collapse. For example:
1502
 
    #   A
1503
 
    #  / \
1504
 
    # B   C
1505
 
    #  \ /
1506
 
    #   D
1507
 
    #   |
1508
 
    #   E
1509
 
    # Will not have 'D' removed, even though 'E' could fit. Also:
1510
 
    #   A
1511
 
    #   |    A
1512
 
    #   B => |
1513
 
    #   |    C
1514
 
    #   C
1515
 
    # A and C are both kept because they are edges of the graph. We *could* get
1516
 
    # rid of A if we wanted.
1517
 
    #   A
1518
 
    #  / \
1519
 
    # B   C
1520
 
    # |   |
1521
 
    # D   E
1522
 
    #  \ /
1523
 
    #   F
1524
 
    # Will not have any nodes removed, even though you do have an
1525
 
    # 'uninteresting' linear D->B and E->C
1526
 
    children = {}
1527
 
    for child, parents in parent_map.iteritems():
1528
 
        children.setdefault(child, [])
1529
 
        for p in parents:
1530
 
            children.setdefault(p, []).append(child)
1531
 
 
1532
 
    orig_children = dict(children)
1533
 
    removed = set()
1534
 
    result = dict(parent_map)
1535
 
    for node in parent_map:
1536
 
        parents = result[node]
1537
 
        if len(parents) == 1:
1538
 
            parent_children = children[parents[0]]
1539
 
            if len(parent_children) != 1:
1540
 
                # This is not the only child
1541
 
                continue
1542
 
            node_children = children[node]
1543
 
            if len(node_children) != 1:
1544
 
                continue
1545
 
            child_parents = result.get(node_children[0], None)
1546
 
            if len(child_parents) != 1:
1547
 
                # This is not its only parent
1548
 
                continue
1549
 
            # The child of this node only points at it, and the parent only has
1550
 
            # this as a child. remove this node, and join the others together
1551
 
            result[node_children[0]] = parents
1552
 
            children[parents[0]] = node_children
1553
 
            del result[node]
1554
 
            del children[node]
1555
 
            removed.add(node)
1556
 
 
1557
 
    return result