3
# Copyright (C) 2005 Canonical Ltd
 
 
5
# This program is free software; you can redistribute it and/or modify
 
 
6
# it under the terms of the GNU General Public License as published by
 
 
7
# the Free Software Foundation; either version 2 of the License, or
 
 
8
# (at your option) any later version.
 
 
10
# This program is distributed in the hope that it will be useful,
 
 
11
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
 
12
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
 
13
# GNU General Public License for more details.
 
 
15
# You should have received a copy of the GNU General Public License
 
 
16
# along with this program; if not, write to the Free Software
 
 
17
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
 
19
# Author: Martin Pool <mbp@canonical.com>
 
 
22
"""Weave - storage of related text file versions"""
 
 
25
# XXX: If we do weaves this way, will a merge still behave the same
 
 
26
# way if it's done in a different order?  That's a pretty desirable
 
 
29
# TODO: Nothing here so far assumes the lines are really \n newlines,
 
 
30
# rather than being split up in some other way.  We could accomodate
 
 
31
# binaries, perhaps by naively splitting on \n or perhaps using
 
 
32
# something like a rolling checksum.
 
 
34
# TODO: End marker for each version so we can stop reading?
 
 
36
# TODO: Check that no insertion occurs inside a deletion that was
 
 
37
# active in the version of the insertion.
 
 
39
# TODO: In addition to the SHA-1 check, perhaps have some code that
 
 
40
# checks structural constraints of the weave: ie that insertions are
 
 
41
# properly nested, that there is no text outside of an insertion, that
 
 
42
# insertions or deletions are not repeated, etc.
 
 
44
# TODO: Parallel-extract that passes back each line along with a
 
 
45
# description of which revisions include it.  Nice for checking all
 
 
46
# shas or calculating stats in parallel.
 
 
48
# TODO: Using a single _extract routine and then processing the output
 
 
49
# is probably inefficient.  It's simple enough that we can afford to
 
 
50
# have slight specializations for different ways its used: annotate,
 
 
51
# basis for add, get, etc.
 
 
53
# TODO: Probably the API should work only in names to hide the integer
 
 
54
# indexes from the user.
 
 
56
# TODO: Is there any potential performance win by having an add()
 
 
57
# variant that is passed a pre-cooked version of the single basis
 
 
60
# TODO: Reweave can possibly be made faster by remembering diffs
 
 
61
# where the basis and destination are unchanged.
 
 
63
# FIXME: Sometimes we will be given a parents list for a revision
 
 
64
# that includes some redundant parents (i.e. already a parent of 
 
 
65
# something in the list.)  We should eliminate them.  This can 
 
 
66
# be done fairly efficiently because the sequence numbers constrain
 
 
67
# the possible relationships.
 
 
72
from difflib import SequenceMatcher
 
 
74
from bzrlib.trace import mutter
 
 
75
from bzrlib.errors import (WeaveError, WeaveFormatError, WeaveParentMismatch,
 
 
76
        WeaveRevisionNotPresent, WeaveRevisionAlreadyPresent)
 
 
77
import bzrlib.errors as errors
 
 
78
from bzrlib.tsort import topo_sort
 
 
82
    """weave - versioned text file storage.
 
 
84
    A Weave manages versions of line-based text files, keeping track
 
 
85
    of the originating version for each line.
 
 
87
    To clients the "lines" of the file are represented as a list of strings.
 
 
88
    These strings  will typically have terminal newline characters, but
 
 
89
    this is not required.  In particular files commonly do not have a newline
 
 
90
    at the end of the file.
 
 
92
    Texts can be identified in either of two ways:
 
 
94
    * a nonnegative index number.
 
 
96
    * a version-id string.
 
 
98
    Typically the index number will be valid only inside this weave and
 
 
99
    the version-id is used to reference it in the larger world.
 
 
101
    The weave is represented as a list mixing edit instructions and
 
 
102
    literal text.  Each entry in _weave can be either a string (or
 
 
103
    unicode), or a tuple.  If a string, it means that the given line
 
 
104
    should be output in the currently active revisions.
 
 
106
    If a tuple, it gives a processing instruction saying in which
 
 
107
    revisions the enclosed lines are active.  The tuple has the form
 
 
108
    (instruction, version).
 
 
110
    The instruction can be '{' or '}' for an insertion block, and '['
 
 
111
    and ']' for a deletion block respectively.  The version is the
 
 
112
    integer version index.  There is no replace operator, only deletes
 
 
113
    and inserts.  For '}', the end of an insertion, there is no
 
 
114
    version parameter because it always closes the most recently
 
 
119
    * A later version can delete lines that were introduced by any
 
 
120
      number of ancestor versions; this implies that deletion
 
 
121
      instructions can span insertion blocks without regard to the
 
 
122
      insertion block's nesting.
 
 
124
    * Similarly, deletions need not be properly nested with regard to
 
 
125
      each other, because they might have been generated by
 
 
126
      independent revisions.
 
 
128
    * Insertions are always made by inserting a new bracketed block
 
 
129
      into a single point in the previous weave.  This implies they
 
 
130
      can nest but not overlap, and the nesting must always have later
 
 
131
      insertions on the inside.
 
 
133
    * It doesn't seem very useful to have an active insertion
 
 
134
      inside an inactive insertion, but it might happen.
 
 
136
    * Therefore, all instructions are always"considered"; that
 
 
137
      is passed onto and off the stack.  An outer inactive block
 
 
138
      doesn't disable an inner block.
 
 
140
    * Lines are enabled if the most recent enclosing insertion is
 
 
141
      active and none of the enclosing deletions are active.
 
 
143
    * There is no point having a deletion directly inside its own
 
 
144
      insertion; you might as well just not write it.  And there
 
 
145
      should be no way to get an earlier version deleting a later
 
 
149
        Text of the weave; list of control instruction tuples and strings.
 
 
152
        List of parents, indexed by version number.
 
 
153
        It is only necessary to store the minimal set of parents for
 
 
154
        each version; the parent's parents are implied.
 
 
157
        List of hex SHA-1 of each version.
 
 
160
        List of symbolic names for each version.  Each should be unique.
 
 
163
        For each name, the version number.
 
 
166
        Descriptive name of this weave; typically the filename if known.
 
 
170
    __slots__ = ['_weave', '_parents', '_sha1s', '_names', '_name_map',
 
 
173
    def __init__(self, weave_name=None):
 
 
179
        self._weave_name = weave_name
 
 
182
        return "Weave(%r)" % self._weave_name
 
 
186
        """Return a deep copy of self.
 
 
188
        The copy can be modified without affecting the original weave."""
 
 
190
        other._weave = self._weave[:]
 
 
191
        other._parents = self._parents[:]
 
 
192
        other._sha1s = self._sha1s[:]
 
 
193
        other._names = self._names[:]
 
 
194
        other._name_map = self._name_map.copy()
 
 
195
        other._weave_name = self._weave_name
 
 
198
    def __eq__(self, other):
 
 
199
        if not isinstance(other, Weave):
 
 
201
        return self._parents == other._parents \
 
 
202
               and self._weave == other._weave \
 
 
203
               and self._sha1s == other._sha1s 
 
 
206
    def __ne__(self, other):
 
 
207
        return not self.__eq__(other)
 
 
209
    def __contains__(self, name):
 
 
210
        return self._name_map.has_key(name)
 
 
212
    def maybe_lookup(self, name_or_index):
 
 
213
        """Convert possible symbolic name to index, or pass through indexes."""
 
 
214
        if isinstance(name_or_index, (int, long)):
 
 
217
            return self.lookup(name_or_index)
 
 
220
    def lookup(self, name):
 
 
221
        """Convert symbolic version name to index."""
 
 
223
            return self._name_map[name]
 
 
225
            raise WeaveRevisionNotPresent(name, self)
 
 
228
        return self._names[:]
 
 
230
    def iter_names(self):
 
 
231
        """Yield a list of all names in this weave."""
 
 
232
        return iter(self._names)
 
 
234
    def idx_to_name(self, version):
 
 
235
        return self._names[version]
 
 
237
    def _check_repeated_add(self, name, parents, text, sha1):
 
 
238
        """Check that a duplicated add is OK.
 
 
240
        If it is, return the (old) index; otherwise raise an exception.
 
 
242
        idx = self.lookup(name)
 
 
243
        if sorted(self._parents[idx]) != sorted(parents) \
 
 
244
            or sha1 != self._sha1s[idx]:
 
 
245
            raise WeaveRevisionAlreadyPresent(name, self)
 
 
248
    def add(self, name, parents, text, sha1=None):
 
 
249
        """Add a single text on top of the weave.
 
 
251
        Returns the index number of the newly added version.
 
 
254
            Symbolic name for this version.
 
 
255
            (Typically the revision-id of the revision that added it.)
 
 
258
            List or set of direct parent version numbers.
 
 
261
            Sequence of lines to be added in the new version.
 
 
263
        sha -- SHA-1 of the file, if known.  This is trusted to be
 
 
266
        from bzrlib.osutils import sha_strings
 
 
268
        assert isinstance(name, basestring)
 
 
270
            sha1 = sha_strings(text)
 
 
271
        if name in self._name_map:
 
 
272
            return self._check_repeated_add(name, parents, text, sha1)
 
 
274
        parents = map(self.maybe_lookup, parents)
 
 
275
        self._check_versions(parents)
 
 
276
        ## self._check_lines(text)
 
 
277
        new_version = len(self._parents)
 
 
280
        # if we abort after here the (in-memory) weave will be corrupt because only
 
 
281
        # some fields are updated
 
 
282
        self._parents.append(parents[:])
 
 
283
        self._sha1s.append(sha1)
 
 
284
        self._names.append(name)
 
 
285
        self._name_map[name] = new_version
 
 
289
            # special case; adding with no parents revision; can do
 
 
290
            # this more quickly by just appending unconditionally.
 
 
291
            # even more specially, if we're adding an empty text we
 
 
292
            # need do nothing at all.
 
 
294
                self._weave.append(('{', new_version))
 
 
295
                self._weave.extend(text)
 
 
296
                self._weave.append(('}', None))
 
 
300
        if len(parents) == 1:
 
 
301
            pv = list(parents)[0]
 
 
302
            if sha1 == self._sha1s[pv]:
 
 
303
                # special case: same as the single parent
 
 
307
        ancestors = self.inclusions(parents)
 
 
311
        # basis a list of (origin, lineno, line)
 
 
314
        for origin, lineno, line in self._extract(ancestors):
 
 
315
            basis_lineno.append(lineno)
 
 
316
            basis_lines.append(line)
 
 
318
        # another small special case: a merge, producing the same text
 
 
320
        if text == basis_lines:
 
 
323
        # add a sentinal, because we can also match against the final line
 
 
324
        basis_lineno.append(len(self._weave))
 
 
326
        # XXX: which line of the weave should we really consider
 
 
327
        # matches the end of the file?  the current code says it's the
 
 
328
        # last line of the weave?
 
 
330
        #print 'basis_lines:', basis_lines
 
 
331
        #print 'new_lines:  ', lines
 
 
333
        s = SequenceMatcher(None, basis_lines, text)
 
 
335
        # offset gives the number of lines that have been inserted
 
 
336
        # into the weave up to the current point; if the original edit instruction
 
 
337
        # says to change line A then we actually change (A+offset)
 
 
340
        for tag, i1, i2, j1, j2 in s.get_opcodes():
 
 
341
            # i1,i2 are given in offsets within basis_lines; we need to map them
 
 
342
            # back to offsets within the entire weave
 
 
343
            #print 'raw match', tag, i1, i2, j1, j2
 
 
347
            i1 = basis_lineno[i1]
 
 
348
            i2 = basis_lineno[i2]
 
 
350
            assert 0 <= j1 <= j2 <= len(text)
 
 
352
            #print tag, i1, i2, j1, j2
 
 
354
            # the deletion and insertion are handled separately.
 
 
355
            # first delete the region.
 
 
357
                self._weave.insert(i1+offset, ('[', new_version))
 
 
358
                self._weave.insert(i2+offset+1, (']', new_version))
 
 
362
                # there may have been a deletion spanning up to
 
 
363
                # i2; we want to insert after this region to make sure
 
 
364
                # we don't destroy ourselves
 
 
366
                self._weave[i:i] = ([('{', new_version)] 
 
 
369
                offset += 2 + (j2 - j1)
 
 
373
    def add_identical(self, old_rev_id, new_rev_id, parents):
 
 
374
        """Add an identical text to old_rev_id as new_rev_id."""
 
 
375
        old_lines = self.get(self.lookup(old_rev_id))
 
 
376
        self.add(new_rev_id, parents, old_lines)
 
 
378
    def inclusions(self, versions):
 
 
379
        """Return set of all ancestors of given version(s)."""
 
 
381
        for v in xrange(max(versions), 0, -1):
 
 
383
                # include all its parents
 
 
384
                i.update(self._parents[v])
 
 
386
        ## except IndexError:
 
 
387
        ##     raise ValueError("version %d not present in weave" % v)
 
 
390
    def parents(self, version):
 
 
391
        return self._parents[version]
 
 
394
    def parent_names(self, version):
 
 
395
        """Return version names for parents of a version."""
 
 
396
        return map(self.idx_to_name, self._parents[self.lookup(version)])
 
 
399
    def minimal_parents(self, version):
 
 
400
        """Find the minimal set of parents for the version."""
 
 
401
        included = self._parents[version]
 
 
406
        li.sort(reverse=True)
 
 
414
                gotit.update(self.inclusions(pv))
 
 
416
        assert mininc[0] >= 0
 
 
417
        assert mininc[-1] < version
 
 
422
    def _check_lines(self, text):
 
 
423
        if not isinstance(text, list):
 
 
424
            raise ValueError("text should be a list, not %s" % type(text))
 
 
427
            if not isinstance(l, basestring):
 
 
428
                raise ValueError("text line should be a string or unicode, not %s"
 
 
433
    def _check_versions(self, indexes):
 
 
434
        """Check everything in the sequence of indexes is valid"""
 
 
439
                raise IndexError("invalid version number %r" % i)
 
 
442
    def annotate(self, name_or_index):
 
 
443
        return list(self.annotate_iter(name_or_index))
 
 
446
    def annotate_iter(self, name_or_index):
 
 
447
        """Yield list of (index-id, line) pairs for the specified version.
 
 
449
        The index indicates when the line originated in the weave."""
 
 
450
        incls = [self.maybe_lookup(name_or_index)]
 
 
451
        for origin, lineno, text in self._extract(incls):
 
 
458
        (lineno, insert, deletes, text)
 
 
459
        for each literal line.
 
 
465
        lineno = 0         # line of weave, 0-based
 
 
467
        for l in self._weave:
 
 
468
            if isinstance(l, tuple):
 
 
481
                    raise WeaveFormatError('unexpected instruction %r' % v)
 
 
483
                assert isinstance(l, basestring)
 
 
485
                yield lineno, istack[-1], dset, l
 
 
489
            raise WeaveFormatError("unclosed insertion blocks "
 
 
490
                    "at end of weave: %s" % istack)
 
 
492
            raise WeaveFormatError("unclosed deletion blocks at end of weave: %s"
 
 
495
    def _extract(self, versions):
 
 
496
        """Yield annotation of lines in included set.
 
 
498
        Yields a sequence of tuples (origin, lineno, text), where
 
 
499
        origin is the origin version, lineno the index in the weave,
 
 
500
        and text the text of the line.
 
 
502
        The set typically but not necessarily corresponds to a version.
 
 
505
            if not isinstance(i, int):
 
 
508
        included = self.inclusions(versions)
 
 
513
        lineno = 0         # line of weave, 0-based
 
 
519
        WFE = WeaveFormatError
 
 
521
        for l in self._weave:
 
 
522
            if isinstance(l, tuple):
 
 
526
                    assert v not in istack
 
 
540
                assert isinstance(l, basestring)
 
 
542
                    isactive = (not dset) and istack and (istack[-1] in included)
 
 
544
                    result.append((istack[-1], lineno, l))
 
 
547
            raise WeaveFormatError("unclosed insertion blocks "
 
 
548
                    "at end of weave: %s" % istack)
 
 
550
            raise WeaveFormatError("unclosed deletion blocks at end of weave: %s"
 
 
555
    def get_iter(self, name_or_index):
 
 
556
        """Yield lines for the specified version."""
 
 
557
        incls = [self.maybe_lookup(name_or_index)]
 
 
562
            # We don't have sha1 sums for multiple entries
 
 
564
        for origin, lineno, line in self._extract(incls):
 
 
569
            expected_sha1 = self._sha1s[index]
 
 
570
            measured_sha1 = cur_sha.hexdigest() 
 
 
571
            if measured_sha1 != expected_sha1:
 
 
572
                raise errors.WeaveInvalidChecksum(
 
 
573
                        'file %s, revision %s, expected: %s, measured %s' 
 
 
574
                        % (self._weave_name, self._names[index],
 
 
575
                           expected_sha1, measured_sha1))
 
 
578
    def get_text(self, name_or_index):
 
 
579
        return ''.join(self.get_iter(name_or_index))
 
 
580
        assert isinstance(version, int)
 
 
583
    def get_lines(self, name_or_index):
 
 
584
        return list(self.get_iter(name_or_index))
 
 
590
    def get_sha1(self, name):
 
 
591
        """Get the stored sha1 sum for the given revision.
 
 
593
        :param name: The name of the version to lookup
 
 
595
        return self._sha1s[self.lookup(name)]
 
 
597
    def mash_iter(self, included):
 
 
598
        """Return composed version of multiple included versions."""
 
 
599
        included = map(self.maybe_lookup, included)
 
 
600
        for origin, lineno, text in self._extract(included):
 
 
604
    def dump(self, to_file):
 
 
605
        from pprint import pprint
 
 
606
        print >>to_file, "Weave._weave = ",
 
 
607
        pprint(self._weave, to_file)
 
 
608
        print >>to_file, "Weave._parents = ",
 
 
609
        pprint(self._parents, to_file)
 
 
613
    def numversions(self):
 
 
614
        l = len(self._parents)
 
 
615
        assert l == len(self._sha1s)
 
 
620
        return self.numversions()
 
 
622
    def check(self, progress_bar=None):
 
 
623
        # check no circular inclusions
 
 
624
        for version in range(self.numversions()):
 
 
625
            inclusions = list(self._parents[version])
 
 
628
                if inclusions[-1] >= version:
 
 
629
                    raise WeaveFormatError("invalid included version %d for index %d"
 
 
630
                                           % (inclusions[-1], version))
 
 
632
        # try extracting all versions; parallel extraction is used
 
 
633
        nv = self.numversions()
 
 
634
        sha1s = [sha.new() for i in range(nv)]
 
 
635
        texts = [[] for i in range(nv)]
 
 
638
            # For creating the ancestry, IntSet is much faster (3.7s vs 0.17s)
 
 
639
            # The problem is that set membership is much more expensive
 
 
641
            for p in self._parents[i]:
 
 
642
                new_inc.update(inclusions[p])
 
 
644
            #assert set(new_inc) == self.inclusions([i]), 'failed %s != %s' % (new_inc, self.inclusions([i]))
 
 
645
            inclusions.append(new_inc)
 
 
647
        nlines = len(self._weave)
 
 
649
        update_text = 'checking weave'
 
 
651
            short_name = os.path.basename(self._weave_name)
 
 
652
            update_text = 'checking %s' % (short_name,)
 
 
653
            update_text = update_text[:25]
 
 
655
        for lineno, insert, deleteset, line in self._walk():
 
 
657
                progress_bar.update(update_text, lineno, nlines)
 
 
659
            for j, j_inc in enumerate(inclusions):
 
 
660
                # The active inclusion must be an ancestor,
 
 
661
                # and no ancestors must have deleted this line,
 
 
662
                # because we don't support resurrection.
 
 
663
                if (insert in j_inc) and not (deleteset & j_inc):
 
 
664
                    sha1s[j].update(line)
 
 
666
        for version in range(nv):
 
 
667
            hd = sha1s[version].hexdigest()
 
 
668
            expected = self._sha1s[version]
 
 
670
                raise errors.WeaveInvalidChecksum(
 
 
671
                        "mismatched sha1 for version %s: "
 
 
672
                        "got %s, expected %s"
 
 
673
                        % (self._names[version], hd, expected))
 
 
675
        # TODO: check insertions are properly nested, that there are
 
 
676
        # no lines outside of insertion blocks, that deletions are
 
 
677
        # properly paired, etc.
 
 
679
    def _delta(self, included, lines):
 
 
680
        """Return changes from basis to new revision.
 
 
682
        The old text for comparison is the union of included revisions.
 
 
684
        This is used in inserting a new text.
 
 
686
        Delta is returned as a sequence of
 
 
687
        (weave1, weave2, newlines).
 
 
689
        This indicates that weave1:weave2 of the old weave should be
 
 
690
        replaced by the sequence of lines in newlines.  Note that
 
 
691
        these line numbers are positions in the total weave and don't
 
 
692
        correspond to the lines in any extracted version, or even the
 
 
693
        extracted union of included versions.
 
 
695
        If line1=line2, this is a pure insert; if newlines=[] this is a
 
 
696
        pure delete.  (Similar to difflib.)
 
 
698
        raise NotImplementedError()
 
 
701
    def plan_merge(self, ver_a, ver_b):
 
 
702
        """Return pseudo-annotation indicating how the two versions merge.
 
 
704
        This is computed between versions a and b and their common
 
 
707
        Weave lines present in none of them are skipped entirely.
 
 
709
        inc_a = self.inclusions([ver_a])
 
 
710
        inc_b = self.inclusions([ver_b])
 
 
711
        inc_c = inc_a & inc_b
 
 
713
        for lineno, insert, deleteset, line in self._walk():
 
 
714
            if deleteset & inc_c:
 
 
715
                # killed in parent; can't be in either a or b
 
 
716
                # not relevant to our work
 
 
717
                yield 'killed-base', line
 
 
718
            elif insert in inc_c:
 
 
719
                # was inserted in base
 
 
720
                killed_a = bool(deleteset & inc_a)
 
 
721
                killed_b = bool(deleteset & inc_b)
 
 
722
                if killed_a and killed_b:
 
 
723
                    yield 'killed-both', line
 
 
725
                    yield 'killed-a', line
 
 
727
                    yield 'killed-b', line
 
 
729
                    yield 'unchanged', line
 
 
730
            elif insert in inc_a:
 
 
731
                if deleteset & inc_a:
 
 
732
                    yield 'ghost-a', line
 
 
736
            elif insert in inc_b:
 
 
737
                if deleteset & inc_b:
 
 
738
                    yield 'ghost-b', line
 
 
742
                # not in either revision
 
 
743
                yield 'irrelevant', line
 
 
745
        yield 'unchanged', ''           # terminator
 
 
749
    def weave_merge(self, plan):
 
 
753
        # TODO: Return a structured form of the conflicts (e.g. 2-tuples for
 
 
754
        # conflicted regions), rather than just inserting the markers.
 
 
756
        # TODO: Show some version information (e.g. author, date) on 
 
 
757
        # conflicted regions.
 
 
758
        for state, line in plan:
 
 
759
            if state == 'unchanged' or state == 'killed-both':
 
 
760
                # resync and flush queued conflicts changes if any
 
 
761
                if not lines_a and not lines_b:
 
 
763
                elif ch_a and not ch_b:
 
 
765
                    for l in lines_a: yield l
 
 
766
                elif ch_b and not ch_a:
 
 
767
                    for l in lines_b: yield l
 
 
768
                elif lines_a == lines_b:
 
 
769
                    for l in lines_a: yield l
 
 
772
                    for l in lines_a: yield l
 
 
774
                    for l in lines_b: yield l
 
 
781
            if state == 'unchanged':
 
 
784
            elif state == 'killed-a':
 
 
787
            elif state == 'killed-b':
 
 
790
            elif state == 'new-a':
 
 
793
            elif state == 'new-b':
 
 
797
                assert state in ('irrelevant', 'ghost-a', 'ghost-b', 'killed-base',
 
 
802
    def join(self, other):
 
 
804
        """Integrate versions from other into this weave.
 
 
806
        The resulting weave contains all the history of both weaves; 
 
 
807
        any version you could retrieve from either self or other can be 
 
 
808
        retrieved from self after this call.
 
 
810
        It is illegal for the two weaves to contain different values 
 
 
811
        or different parents for any version.  See also reweave().
 
 
813
        if other.numversions() == 0:
 
 
814
            return          # nothing to update, easy
 
 
815
        # two loops so that we do not change ourselves before verifying it
 
 
817
        # work through in index order to make sure we get all dependencies
 
 
818
        for other_idx, name in enumerate(other._names):
 
 
819
            self._check_version_consistent(other, other_idx, name)
 
 
824
        for other_idx, name in enumerate(other._names):
 
 
825
            # TODO: If all the parents of the other version are already
 
 
826
            # present then we can avoid some work by just taking the delta
 
 
827
            # and adjusting the offsets.
 
 
828
            new_parents = self._imported_parents(other, other_idx)
 
 
829
            sha1 = other._sha1s[other_idx]
 
 
833
            if name in self._names:
 
 
834
                idx = self.lookup(name)
 
 
835
                n1 = map(other.idx_to_name, other._parents[other_idx] )
 
 
836
                n2 = map(self.idx_to_name, self._parents[other_idx] )
 
 
837
                if sha1 ==  self._sha1s[idx] and n1 == n2:
 
 
841
            lines = other.get_lines(other_idx)
 
 
842
            self.add(name, new_parents, lines, sha1)
 
 
844
        mutter("merged = %d, processed = %d, file_id=%s; deltat=%d"%(
 
 
845
                merged,processed,self._weave_name, time.time( )-time0))
 
 
850
    def _imported_parents(self, other, other_idx):
 
 
851
        """Return list of parents in self corresponding to indexes in other."""
 
 
853
        for parent_idx in other._parents[other_idx]:
 
 
854
            parent_name = other._names[parent_idx]
 
 
855
            if parent_name not in self._names:
 
 
856
                # should not be possible
 
 
857
                raise WeaveError("missing parent {%s} of {%s} in %r" 
 
 
858
                                 % (parent_name, other._name_map[other_idx], self))
 
 
859
            new_parents.append(self._name_map[parent_name])
 
 
862
    def _check_version_consistent(self, other, other_idx, name):
 
 
863
        """Check if a version in consistent in this and other.
 
 
865
        To be consistent it must have:
 
 
868
         * the same direct parents (by name, not index, and disregarding
 
 
871
        If present & correct return True;
 
 
872
        if not present in self return False; 
 
 
873
        if inconsistent raise error."""
 
 
874
        this_idx = self._name_map.get(name, -1)
 
 
876
            if self._sha1s[this_idx] != other._sha1s[other_idx]:
 
 
877
                raise WeaveError("inconsistent texts for version {%s} "
 
 
878
                                 "when joining weaves"
 
 
880
            self_parents = self._parents[this_idx]
 
 
881
            other_parents = other._parents[other_idx]
 
 
882
            n1 = [self._names[i] for i in self_parents]
 
 
883
            n2 = [other._names[i] for i in other_parents]
 
 
887
                raise WeaveParentMismatch("inconsistent parents "
 
 
888
                    "for version {%s}: %s vs %s" % (name, n1, n2))
 
 
894
    def reweave(self, other):
 
 
895
        """Reweave self with other."""
 
 
896
        new_weave = reweave(self, other)
 
 
897
        for attr in self.__slots__:
 
 
898
            setattr(self, attr, getattr(new_weave, attr))
 
 
902
    """Combine two weaves and return the result.
 
 
904
    This works even if a revision R has different parents in 
 
 
905
    wa and wb.  In the resulting weave all the parents are given.
 
 
907
    This is done by just building up a new weave, maintaining ordering 
 
 
908
    of the versions in the two inputs.  More efficient approaches
 
 
909
    might be possible but it should only be necessary to do 
 
 
910
    this operation rarely, when a new previously ghost version is 
 
 
915
    queue_a = range(wa.numversions())
 
 
916
    queue_b = range(wb.numversions())
 
 
917
    # first determine combined parents of all versions
 
 
918
    # map from version name -> all parent names
 
 
919
    combined_parents = _reweave_parent_graphs(wa, wb)
 
 
920
    mutter("combined parents: %r", combined_parents)
 
 
921
    order = topo_sort(combined_parents.iteritems())
 
 
922
    mutter("order to reweave: %r", order)
 
 
924
        if name in wa._name_map:
 
 
925
            lines = wa.get_lines(name)
 
 
926
            if name in wb._name_map:
 
 
927
                assert lines == wb.get_lines(name)
 
 
929
            lines = wb.get_lines(name)
 
 
930
        wr.add(name, combined_parents[name], lines)
 
 
934
def _reweave_parent_graphs(wa, wb):
 
 
935
    """Return combined parent ancestry for two weaves.
 
 
937
    Returned as a list of (version_name, set(parent_names))"""
 
 
939
    for weave in [wa, wb]:
 
 
940
        for idx, name in enumerate(weave._names):
 
 
941
            p = combined.setdefault(name, set())
 
 
942
            p.update(map(weave.idx_to_name, weave._parents[idx]))
 
 
947
    """Show the weave's table-of-contents"""
 
 
948
    print '%6s %50s %10s %10s' % ('ver', 'name', 'sha1', 'parents')
 
 
949
    for i in (6, 50, 10, 10):
 
 
952
    for i in range(w.numversions()):
 
 
955
        parent_str = ' '.join(map(str, w._parents[i]))
 
 
956
        print '%6d %-50.50s %10.10s %s' % (i, name, sha1, parent_str)
 
 
960
def weave_stats(weave_file, pb):
 
 
961
    from bzrlib.weavefile import read_weave
 
 
963
    wf = file(weave_file, 'rb')
 
 
965
    # FIXME: doesn't work on pipes
 
 
966
    weave_size = wf.tell()
 
 
970
    for i in range(vers):
 
 
971
        pb.update('checking sizes', i, vers)
 
 
972
        for origin, lineno, line in w._extract([i]):
 
 
977
    print 'versions          %9d' % vers
 
 
978
    print 'weave file        %9d bytes' % weave_size
 
 
979
    print 'total contents    %9d bytes' % total
 
 
980
    print 'compression ratio %9.2fx' % (float(total) / float(weave_size))
 
 
983
        print 'average size      %9d bytes' % avg
 
 
984
        print 'relative size     %9.2fx' % (float(weave_size) / float(avg))
 
 
988
    print """bzr weave tool
 
 
990
Experimental tool for weave algorithm.
 
 
994
        Create an empty weave file
 
 
995
    weave get WEAVEFILE VERSION
 
 
996
        Write out specified version.
 
 
997
    weave check WEAVEFILE
 
 
998
        Check consistency of all versions.
 
 
1000
        Display table of contents.
 
 
1001
    weave add WEAVEFILE NAME [BASE...] < NEWTEXT
 
 
1002
        Add NEWTEXT, with specified parent versions.
 
 
1003
    weave annotate WEAVEFILE VERSION
 
 
1004
        Display origin of each line.
 
 
1005
    weave mash WEAVEFILE VERSION...
 
 
1006
        Display composite of all selected versions.
 
 
1007
    weave merge WEAVEFILE VERSION1 VERSION2 > OUT
 
 
1008
        Auto-merge two versions and display conflicts.
 
 
1009
    weave diff WEAVEFILE VERSION1 VERSION2 
 
 
1010
        Show differences between two versions.
 
 
1014
    % weave init foo.weave
 
 
1016
    % weave add foo.weave ver0 < foo.txt
 
 
1019
    (create updated version)
 
 
1021
    % weave get foo.weave 0 | diff -u - foo.txt
 
 
1022
    % weave add foo.weave ver1 0 < foo.txt
 
 
1025
    % weave get foo.weave 0 > foo.txt       (create forked version)
 
 
1027
    % weave add foo.weave ver2 0 < foo.txt
 
 
1030
    % weave merge foo.weave 1 2 > foo.txt   (merge them)
 
 
1031
    % vi foo.txt                            (resolve conflicts)
 
 
1032
    % weave add foo.weave merged 1 2 < foo.txt     (commit merged version)     
 
 
1044
        # in case we're run directly from the subdirectory
 
 
1045
        sys.path.append('..')
 
 
1047
    from bzrlib.weavefile import write_weave, read_weave
 
 
1048
    from bzrlib.progress import ProgressBar
 
 
1063
        return read_weave(file(argv[2], 'rb'))
 
 
1069
        # at the moment, based on everything in the file
 
 
1071
        parents = map(int, argv[4:])
 
 
1072
        lines = sys.stdin.readlines()
 
 
1073
        ver = w.add(name, parents, lines)
 
 
1074
        write_weave(w, file(argv[2], 'wb'))
 
 
1075
        print 'added version %r %d' % (name, ver)
 
 
1078
        if os.path.exists(fn):
 
 
1079
            raise IOError("file exists")
 
 
1081
        write_weave(w, file(fn, 'wb'))
 
 
1082
    elif cmd == 'get': # get one version
 
 
1084
        sys.stdout.writelines(w.get_iter(int(argv[3])))
 
 
1086
    elif cmd == 'mash': # get composite
 
 
1088
        sys.stdout.writelines(w.mash_iter(map(int, argv[3:])))
 
 
1091
        from difflib import unified_diff
 
 
1094
        v1, v2 = map(int, argv[3:5])
 
 
1097
        diff_gen = unified_diff(lines1, lines2,
 
 
1098
                                '%s version %d' % (fn, v1),
 
 
1099
                                '%s version %d' % (fn, v2))
 
 
1100
        sys.stdout.writelines(diff_gen)
 
 
1102
    elif cmd == 'annotate':
 
 
1104
        # newline is added to all lines regardless; too hard to get
 
 
1105
        # reasonable formatting otherwise
 
 
1107
        for origin, text in w.annotate(int(argv[3])):
 
 
1108
            text = text.rstrip('\r\n')
 
 
1110
                print '      | %s' % (text)
 
 
1112
                print '%5d | %s' % (origin, text)
 
 
1118
    elif cmd == 'stats':
 
 
1119
        weave_stats(argv[2], ProgressBar())
 
 
1121
    elif cmd == 'check':
 
 
1126
        print '%d versions ok' % w.numversions()
 
 
1128
    elif cmd == 'inclusions':
 
 
1130
        print ' '.join(map(str, w.inclusions([int(argv[3])])))
 
 
1132
    elif cmd == 'parents':
 
 
1134
        print ' '.join(map(str, w._parents[int(argv[3])]))
 
 
1136
    elif cmd == 'plan-merge':
 
 
1138
        for state, line in w.plan_merge(int(argv[3]), int(argv[4])):
 
 
1140
                print '%14s | %s' % (state, line),
 
 
1142
    elif cmd == 'merge':
 
 
1144
        p = w.plan_merge(int(argv[3]), int(argv[4]))
 
 
1145
        sys.stdout.writelines(w.weave_merge(p))
 
 
1147
    elif cmd == 'mash-merge':
 
 
1153
        v1, v2 = map(int, argv[3:5])
 
 
1155
        basis = w.inclusions([v1]).intersection(w.inclusions([v2]))
 
 
1157
        base_lines = list(w.mash_iter(basis))
 
 
1158
        a_lines = list(w.get(v1))
 
 
1159
        b_lines = list(w.get(v2))
 
 
1161
        from bzrlib.merge3 import Merge3
 
 
1162
        m3 = Merge3(base_lines, a_lines, b_lines)
 
 
1164
        name_a = 'version %d' % v1
 
 
1165
        name_b = 'version %d' % v2
 
 
1166
        sys.stdout.writelines(m3.merge_lines(name_a=name_a, name_b=name_b))
 
 
1168
        raise ValueError('unknown command %r' % cmd)
 
 
1172
def profile_main(argv): 
 
 
1173
    import tempfile, hotshot, hotshot.stats
 
 
1175
    prof_f = tempfile.NamedTemporaryFile()
 
 
1177
    prof = hotshot.Profile(prof_f.name)
 
 
1179
    ret = prof.runcall(main, argv)
 
 
1182
    stats = hotshot.stats.load(prof_f.name)
 
 
1184
    stats.sort_stats('cumulative')
 
 
1185
    ## XXX: Might like to write to stderr or the trace file instead but
 
 
1186
    ## print_stats seems hardcoded to stdout
 
 
1187
    stats.print_stats(20)
 
 
1192
def lsprofile_main(argv): 
 
 
1193
    from bzrlib.lsprof import profile
 
 
1194
    ret,stats = profile(main, argv)
 
 
1200
if __name__ == '__main__':
 
 
1202
    if '--profile' in sys.argv:
 
 
1204
        args.remove('--profile')
 
 
1205
        sys.exit(profile_main(args))
 
 
1206
    elif '--lsprof' in sys.argv:
 
 
1208
        args.remove('--lsprof')
 
 
1209
        sys.exit(lsprofile_main(args))
 
 
1211
        sys.exit(main(sys.argv))