3
# Copyright (C) 2005 Canonical Ltd
 
 
5
# This program is free software; you can redistribute it and/or modify
 
 
6
# it under the terms of the GNU General Public License as published by
 
 
7
# the Free Software Foundation; either version 2 of the License, or
 
 
8
# (at your option) any later version.
 
 
10
# This program is distributed in the hope that it will be useful,
 
 
11
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
 
12
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
 
13
# GNU General Public License for more details.
 
 
15
# You should have received a copy of the GNU General Public License
 
 
16
# along with this program; if not, write to the Free Software
 
 
17
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
 
19
# Author: Martin Pool <mbp@canonical.com>
 
 
22
"""Weave - storage of related text file versions"""
 
 
25
# XXX: If we do weaves this way, will a merge still behave the same
 
 
26
# way if it's done in a different order?  That's a pretty desirable
 
 
29
# TODO: Nothing here so far assumes the lines are really \n newlines,
 
 
30
# rather than being split up in some other way.  We could accomodate
 
 
31
# binaries, perhaps by naively splitting on \n or perhaps using
 
 
32
# something like a rolling checksum.
 
 
34
# TODO: End marker for each version so we can stop reading?
 
 
36
# TODO: Check that no insertion occurs inside a deletion that was
 
 
37
# active in the version of the insertion.
 
 
39
# TODO: In addition to the SHA-1 check, perhaps have some code that
 
 
40
# checks structural constraints of the weave: ie that insertions are
 
 
41
# properly nested, that there is no text outside of an insertion, that
 
 
42
# insertions or deletions are not repeated, etc.
 
 
44
# TODO: Parallel-extract that passes back each line along with a
 
 
45
# description of which revisions include it.  Nice for checking all
 
 
46
# shas or calculating stats in parallel.
 
 
48
# TODO: Using a single _extract routine and then processing the output
 
 
49
# is probably inefficient.  It's simple enough that we can afford to
 
 
50
# have slight specializations for different ways its used: annotate,
 
 
51
# basis for add, get, etc.
 
 
53
# TODO: Probably the API should work only in names to hide the integer
 
 
54
# indexes from the user.
 
 
56
# TODO: Is there any potential performance win by having an add()
 
 
57
# variant that is passed a pre-cooked version of the single basis
 
 
60
# TODO: Reweave can possibly be made faster by remembering diffs
 
 
61
# where the basis and destination are unchanged.
 
 
63
# FIXME: Sometimes we will be given a parents list for a revision
 
 
64
# that includes some redundant parents (i.e. already a parent of 
 
 
65
# something in the list.)  We should eliminate them.  This can 
 
 
66
# be done fairly efficiently because the sequence numbers constrain
 
 
67
# the possible relationships.
 
 
71
from difflib import SequenceMatcher
 
 
73
from bzrlib.trace import mutter
 
 
74
from bzrlib.errors import WeaveError, WeaveFormatError, WeaveParentMismatch, \
 
 
75
        WeaveRevisionNotPresent, WeaveRevisionAlreadyPresent
 
 
76
from bzrlib.tsort import topo_sort
 
 
80
    """weave - versioned text file storage.
 
 
82
    A Weave manages versions of line-based text files, keeping track
 
 
83
    of the originating version for each line.
 
 
85
    To clients the "lines" of the file are represented as a list of strings.
 
 
86
    These strings  will typically have terminal newline characters, but
 
 
87
    this is not required.  In particular files commonly do not have a newline
 
 
88
    at the end of the file.
 
 
90
    Texts can be identified in either of two ways:
 
 
92
    * a nonnegative index number.
 
 
94
    * a version-id string.
 
 
96
    Typically the index number will be valid only inside this weave and
 
 
97
    the version-id is used to reference it in the larger world.
 
 
99
    The weave is represented as a list mixing edit instructions and
 
 
100
    literal text.  Each entry in _weave can be either a string (or
 
 
101
    unicode), or a tuple.  If a string, it means that the given line
 
 
102
    should be output in the currently active revisions.
 
 
104
    If a tuple, it gives a processing instruction saying in which
 
 
105
    revisions the enclosed lines are active.  The tuple has the form
 
 
106
    (instruction, version).
 
 
108
    The instruction can be '{' or '}' for an insertion block, and '['
 
 
109
    and ']' for a deletion block respectively.  The version is the
 
 
110
    integer version index.  There is no replace operator, only deletes
 
 
111
    and inserts.  For '}', the end of an insertion, there is no
 
 
112
    version parameter because it always closes the most recently
 
 
117
    * A later version can delete lines that were introduced by any
 
 
118
      number of ancestor versions; this implies that deletion
 
 
119
      instructions can span insertion blocks without regard to the
 
 
120
      insertion block's nesting.
 
 
122
    * Similarly, deletions need not be properly nested with regard to
 
 
123
      each other, because they might have been generated by
 
 
124
      independent revisions.
 
 
126
    * Insertions are always made by inserting a new bracketed block
 
 
127
      into a single point in the previous weave.  This implies they
 
 
128
      can nest but not overlap, and the nesting must always have later
 
 
129
      insertions on the inside.
 
 
131
    * It doesn't seem very useful to have an active insertion
 
 
132
      inside an inactive insertion, but it might happen.
 
 
134
    * Therefore, all instructions are always"considered"; that
 
 
135
      is passed onto and off the stack.  An outer inactive block
 
 
136
      doesn't disable an inner block.
 
 
138
    * Lines are enabled if the most recent enclosing insertion is
 
 
139
      active and none of the enclosing deletions are active.
 
 
141
    * There is no point having a deletion directly inside its own
 
 
142
      insertion; you might as well just not write it.  And there
 
 
143
      should be no way to get an earlier version deleting a later
 
 
147
        Text of the weave; list of control instruction tuples and strings.
 
 
150
        List of parents, indexed by version number.
 
 
151
        It is only necessary to store the minimal set of parents for
 
 
152
        each version; the parent's parents are implied.
 
 
155
        List of hex SHA-1 of each version.
 
 
158
        List of symbolic names for each version.  Each should be unique.
 
 
161
        For each name, the version number.
 
 
164
        Descriptive name of this weave; typically the filename if known.
 
 
168
    __slots__ = ['_weave', '_parents', '_sha1s', '_names', '_name_map',
 
 
171
    def __init__(self, weave_name=None):
 
 
177
        self._weave_name = weave_name
 
 
181
        """Return a deep copy of self.
 
 
183
        The copy can be modified without affecting the original weave."""
 
 
185
        other._weave = self._weave[:]
 
 
186
        other._parents = self._parents[:]
 
 
187
        other._sha1s = self._sha1s[:]
 
 
188
        other._names = self._names[:]
 
 
189
        other._name_map = self._name_map.copy()
 
 
190
        other._weave_name = self._weave_name
 
 
193
    def __eq__(self, other):
 
 
194
        if not isinstance(other, Weave):
 
 
196
        return self._parents == other._parents \
 
 
197
               and self._weave == other._weave \
 
 
198
               and self._sha1s == other._sha1s 
 
 
201
    def __ne__(self, other):
 
 
202
        return not self.__eq__(other)
 
 
204
    def __contains__(self, name):
 
 
205
        return self._name_map.has_key(name)
 
 
207
    def maybe_lookup(self, name_or_index):
 
 
208
        """Convert possible symbolic name to index, or pass through indexes."""
 
 
209
        if isinstance(name_or_index, (int, long)):
 
 
212
            return self.lookup(name_or_index)
 
 
215
    def lookup(self, name):
 
 
216
        """Convert symbolic version name to index."""
 
 
218
            return self._name_map[name]
 
 
220
            raise WeaveRevisionNotPresent(name, self)
 
 
223
        return self._names[:]
 
 
225
    def iter_names(self):
 
 
226
        """Yield a list of all names in this weave."""
 
 
227
        return iter(self._names)
 
 
229
    def idx_to_name(self, version):
 
 
230
        return self._names[version]
 
 
232
    def _check_repeated_add(self, name, parents, text, sha1):
 
 
233
        """Check that a duplicated add is OK.
 
 
235
        If it is, return the (old) index; otherwise raise an exception.
 
 
237
        idx = self.lookup(name)
 
 
238
        if sorted(self._parents[idx]) != sorted(parents) \
 
 
239
            or sha1 != self._sha1s[idx]:
 
 
240
            raise WeaveRevisionAlreadyPresent(name, self)
 
 
243
    def add(self, name, parents, text, sha1=None):
 
 
244
        """Add a single text on top of the weave.
 
 
246
        Returns the index number of the newly added version.
 
 
249
            Symbolic name for this version.
 
 
250
            (Typically the revision-id of the revision that added it.)
 
 
253
            List or set of direct parent version numbers.
 
 
256
            Sequence of lines to be added in the new version.
 
 
258
        sha -- SHA-1 of the file, if known.  This is trusted to be
 
 
261
        from bzrlib.osutils import sha_strings
 
 
263
        assert isinstance(name, basestring)
 
 
265
            sha1 = sha_strings(text)
 
 
266
        if name in self._name_map:
 
 
267
            return self._check_repeated_add(name, parents, text, sha1)
 
 
269
        parents = map(self.maybe_lookup, parents)
 
 
270
        self._check_versions(parents)
 
 
271
        ## self._check_lines(text)
 
 
272
        new_version = len(self._parents)
 
 
275
        # if we abort after here the (in-memory) weave will be corrupt because only
 
 
276
        # some fields are updated
 
 
277
        self._parents.append(parents[:])
 
 
278
        self._sha1s.append(sha1)
 
 
279
        self._names.append(name)
 
 
280
        self._name_map[name] = new_version
 
 
284
            # special case; adding with no parents revision; can do
 
 
285
            # this more quickly by just appending unconditionally.
 
 
286
            # even more specially, if we're adding an empty text we
 
 
287
            # need do nothing at all.
 
 
289
                self._weave.append(('{', new_version))
 
 
290
                self._weave.extend(text)
 
 
291
                self._weave.append(('}', None))
 
 
295
        if len(parents) == 1:
 
 
296
            pv = list(parents)[0]
 
 
297
            if sha1 == self._sha1s[pv]:
 
 
298
                # special case: same as the single parent
 
 
302
        ancestors = self.inclusions(parents)
 
 
306
        # basis a list of (origin, lineno, line)
 
 
309
        for origin, lineno, line in self._extract(ancestors):
 
 
310
            basis_lineno.append(lineno)
 
 
311
            basis_lines.append(line)
 
 
313
        # another small special case: a merge, producing the same text
 
 
315
        if text == basis_lines:
 
 
318
        # add a sentinal, because we can also match against the final line
 
 
319
        basis_lineno.append(len(self._weave))
 
 
321
        # XXX: which line of the weave should we really consider
 
 
322
        # matches the end of the file?  the current code says it's the
 
 
323
        # last line of the weave?
 
 
325
        #print 'basis_lines:', basis_lines
 
 
326
        #print 'new_lines:  ', lines
 
 
328
        s = SequenceMatcher(None, basis_lines, text)
 
 
330
        # offset gives the number of lines that have been inserted
 
 
331
        # into the weave up to the current point; if the original edit instruction
 
 
332
        # says to change line A then we actually change (A+offset)
 
 
335
        for tag, i1, i2, j1, j2 in s.get_opcodes():
 
 
336
            # i1,i2 are given in offsets within basis_lines; we need to map them
 
 
337
            # back to offsets within the entire weave
 
 
338
            #print 'raw match', tag, i1, i2, j1, j2
 
 
342
            i1 = basis_lineno[i1]
 
 
343
            i2 = basis_lineno[i2]
 
 
345
            assert 0 <= j1 <= j2 <= len(text)
 
 
347
            #print tag, i1, i2, j1, j2
 
 
349
            # the deletion and insertion are handled separately.
 
 
350
            # first delete the region.
 
 
352
                self._weave.insert(i1+offset, ('[', new_version))
 
 
353
                self._weave.insert(i2+offset+1, (']', new_version))
 
 
357
                # there may have been a deletion spanning up to
 
 
358
                # i2; we want to insert after this region to make sure
 
 
359
                # we don't destroy ourselves
 
 
361
                self._weave[i:i] = ([('{', new_version)] 
 
 
364
                offset += 2 + (j2 - j1)
 
 
368
    def add_identical(self, old_rev_id, new_rev_id, parents):
 
 
369
        """Add an identical text to old_rev_id as new_rev_id."""
 
 
370
        old_lines = self.get(self.lookup(old_rev_id))
 
 
371
        self.add(new_rev_id, parents, old_lines)
 
 
373
    def inclusions(self, versions):
 
 
374
        """Return set of all ancestors of given version(s)."""
 
 
376
        for v in xrange(max(versions), 0, -1):
 
 
378
                # include all its parents
 
 
379
                i.update(self._parents[v])
 
 
381
        ## except IndexError:
 
 
382
        ##     raise ValueError("version %d not present in weave" % v)
 
 
385
    def parents(self, version):
 
 
386
        return self._parents[version]
 
 
389
    def parent_names(self, version):
 
 
390
        """Return version names for parents of a version."""
 
 
391
        return map(self.idx_to_name, self._parents[self.lookup(version)])
 
 
394
    def minimal_parents(self, version):
 
 
395
        """Find the minimal set of parents for the version."""
 
 
396
        included = self._parents[version]
 
 
401
        li.sort(reverse=True)
 
 
409
                gotit.update(self.inclusions(pv))
 
 
411
        assert mininc[0] >= 0
 
 
412
        assert mininc[-1] < version
 
 
417
    def _check_lines(self, text):
 
 
418
        if not isinstance(text, list):
 
 
419
            raise ValueError("text should be a list, not %s" % type(text))
 
 
422
            if not isinstance(l, basestring):
 
 
423
                raise ValueError("text line should be a string or unicode, not %s"
 
 
428
    def _check_versions(self, indexes):
 
 
429
        """Check everything in the sequence of indexes is valid"""
 
 
434
                raise IndexError("invalid version number %r" % i)
 
 
437
    def annotate(self, name_or_index):
 
 
438
        return list(self.annotate_iter(name_or_index))
 
 
441
    def annotate_iter(self, name_or_index):
 
 
442
        """Yield list of (index-id, line) pairs for the specified version.
 
 
444
        The index indicates when the line originated in the weave."""
 
 
445
        incls = [self.maybe_lookup(name_or_index)]
 
 
446
        for origin, lineno, text in self._extract(incls):
 
 
453
        (lineno, insert, deletes, text)
 
 
454
        for each literal line.
 
 
460
        lineno = 0         # line of weave, 0-based
 
 
462
        for l in self._weave:
 
 
463
            if isinstance(l, tuple):
 
 
476
                    raise WeaveFormatError('unexpected instruction %r' % v)
 
 
478
                assert isinstance(l, basestring)
 
 
480
                yield lineno, istack[-1], dset, l
 
 
485
    def _extract(self, versions):
 
 
486
        """Yield annotation of lines in included set.
 
 
488
        Yields a sequence of tuples (origin, lineno, text), where
 
 
489
        origin is the origin version, lineno the index in the weave,
 
 
490
        and text the text of the line.
 
 
492
        The set typically but not necessarily corresponds to a version.
 
 
495
            if not isinstance(i, int):
 
 
498
        included = self.inclusions(versions)
 
 
503
        lineno = 0         # line of weave, 0-based
 
 
509
        WFE = WeaveFormatError
 
 
511
        for l in self._weave:
 
 
512
            if isinstance(l, tuple):
 
 
516
                    assert v not in istack
 
 
530
                assert isinstance(l, basestring)
 
 
532
                    isactive = (not dset) and istack and (istack[-1] in included)
 
 
534
                    result.append((istack[-1], lineno, l))
 
 
537
            raise WeaveFormatError("unclosed insertion blocks "
 
 
538
                    "at end of weave: %s" % istack)
 
 
540
            raise WeaveFormatError("unclosed deletion blocks at end of weave: %s"
 
 
545
    def get_iter(self, name_or_index):
 
 
546
        """Yield lines for the specified version."""
 
 
547
        incls = [self.maybe_lookup(name_or_index)]
 
 
548
        for origin, lineno, line in self._extract(incls):
 
 
552
    def get_text(self, name_or_index):
 
 
553
        return ''.join(self.get_iter(name_or_index))
 
 
554
        assert isinstance(version, int)
 
 
557
    def get_lines(self, name_or_index):
 
 
558
        return list(self.get_iter(name_or_index))
 
 
564
    def mash_iter(self, included):
 
 
565
        """Return composed version of multiple included versions."""
 
 
566
        included = map(self.maybe_lookup, included)
 
 
567
        for origin, lineno, text in self._extract(included):
 
 
571
    def dump(self, to_file):
 
 
572
        from pprint import pprint
 
 
573
        print >>to_file, "Weave._weave = ",
 
 
574
        pprint(self._weave, to_file)
 
 
575
        print >>to_file, "Weave._parents = ",
 
 
576
        pprint(self._parents, to_file)
 
 
580
    def numversions(self):
 
 
581
        l = len(self._parents)
 
 
582
        assert l == len(self._sha1s)
 
 
587
        return self.numversions()
 
 
590
    def check(self, progress_bar=None):
 
 
591
        # check no circular inclusions
 
 
592
        for version in range(self.numversions()):
 
 
593
            inclusions = list(self._parents[version])
 
 
596
                if inclusions[-1] >= version:
 
 
597
                    raise WeaveFormatError("invalid included version %d for index %d"
 
 
598
                                           % (inclusions[-1], version))
 
 
600
        # try extracting all versions; this is a bit slow and parallel
 
 
601
        # extraction could be used
 
 
602
        nv = self.numversions()
 
 
603
        for version in range(nv):
 
 
605
                progress_bar.update('checking text', version, nv)
 
 
607
            for l in self.get_iter(version):
 
 
610
            expected = self._sha1s[version]
 
 
612
                raise WeaveError("mismatched sha1 for version %d; "
 
 
613
                                 "got %s, expected %s"
 
 
614
                                 % (version, hd, expected))
 
 
616
        # TODO: check insertions are properly nested, that there are
 
 
617
        # no lines outside of insertion blocks, that deletions are
 
 
618
        # properly paired, etc.
 
 
622
    def merge(self, merge_versions):
 
 
623
        """Automerge and mark conflicts between versions.
 
 
625
        This returns a sequence, each entry describing alternatives
 
 
626
        for a chunk of the file.  Each of the alternatives is given as
 
 
629
        If there is a chunk of the file where there's no diagreement,
 
 
630
        only one alternative is given.
 
 
632
        # approach: find the included versions common to all the
 
 
634
        raise NotImplementedError()
 
 
638
    def _delta(self, included, lines):
 
 
639
        """Return changes from basis to new revision.
 
 
641
        The old text for comparison is the union of included revisions.
 
 
643
        This is used in inserting a new text.
 
 
645
        Delta is returned as a sequence of
 
 
646
        (weave1, weave2, newlines).
 
 
648
        This indicates that weave1:weave2 of the old weave should be
 
 
649
        replaced by the sequence of lines in newlines.  Note that
 
 
650
        these line numbers are positions in the total weave and don't
 
 
651
        correspond to the lines in any extracted version, or even the
 
 
652
        extracted union of included versions.
 
 
654
        If line1=line2, this is a pure insert; if newlines=[] this is a
 
 
655
        pure delete.  (Similar to difflib.)
 
 
657
        raise NotImplementedError()
 
 
660
    def plan_merge(self, ver_a, ver_b):
 
 
661
        """Return pseudo-annotation indicating how the two versions merge.
 
 
663
        This is computed between versions a and b and their common
 
 
666
        Weave lines present in none of them are skipped entirely.
 
 
668
        inc_a = self.inclusions([ver_a])
 
 
669
        inc_b = self.inclusions([ver_b])
 
 
670
        inc_c = inc_a & inc_b
 
 
672
        for lineno, insert, deleteset, line in self._walk():
 
 
673
            if deleteset & inc_c:
 
 
674
                # killed in parent; can't be in either a or b
 
 
675
                # not relevant to our work
 
 
676
                yield 'killed-base', line
 
 
677
            elif insert in inc_c:
 
 
678
                # was inserted in base
 
 
679
                killed_a = bool(deleteset & inc_a)
 
 
680
                killed_b = bool(deleteset & inc_b)
 
 
681
                if killed_a and killed_b:
 
 
682
                    yield 'killed-both', line
 
 
684
                    yield 'killed-a', line
 
 
686
                    yield 'killed-b', line
 
 
688
                    yield 'unchanged', line
 
 
689
            elif insert in inc_a:
 
 
690
                if deleteset & inc_a:
 
 
691
                    yield 'ghost-a', line
 
 
695
            elif insert in inc_b:
 
 
696
                if deleteset & inc_b:
 
 
697
                    yield 'ghost-b', line
 
 
701
                # not in either revision
 
 
702
                yield 'irrelevant', line
 
 
704
        yield 'unchanged', ''           # terminator
 
 
708
    def weave_merge(self, plan):
 
 
713
        for state, line in plan:
 
 
714
            if state == 'unchanged' or state == 'killed-both':
 
 
715
                # resync and flush queued conflicts changes if any
 
 
716
                if not lines_a and not lines_b:
 
 
718
                elif ch_a and not ch_b:
 
 
720
                    for l in lines_a: yield l
 
 
721
                elif ch_b and not ch_a:
 
 
722
                    for l in lines_b: yield l
 
 
723
                elif lines_a == lines_b:
 
 
724
                    for l in lines_a: yield l
 
 
727
                    for l in lines_a: yield l
 
 
729
                    for l in lines_b: yield l
 
 
736
            if state == 'unchanged':
 
 
739
            elif state == 'killed-a':
 
 
742
            elif state == 'killed-b':
 
 
745
            elif state == 'new-a':
 
 
748
            elif state == 'new-b':
 
 
752
                assert state in ('irrelevant', 'ghost-a', 'ghost-b', 'killed-base',
 
 
757
    def join(self, other):
 
 
758
        """Integrate versions from other into this weave.
 
 
760
        The resulting weave contains all the history of both weaves; 
 
 
761
        any version you could retrieve from either self or other can be 
 
 
762
        retrieved from self after this call.
 
 
764
        It is illegal for the two weaves to contain different values 
 
 
765
        or different parents for any version.  See also reweave().
 
 
767
        if other.numversions() == 0:
 
 
768
            return          # nothing to update, easy
 
 
769
        # two loops so that we do not change ourselves before verifying it
 
 
771
        # work through in index order to make sure we get all dependencies
 
 
772
        for other_idx, name in enumerate(other._names):
 
 
773
            if self._check_version_consistent(other, other_idx, name):
 
 
775
        for other_idx, name in enumerate(other._names):
 
 
776
            # TODO: If all the parents of the other version are already 
 
 
777
            # present then we can avoid some work by just taking the delta
 
 
778
            # and adjusting the offsets.
 
 
779
            new_parents = self._imported_parents(other, other_idx)
 
 
780
            lines = other.get_lines(other_idx)
 
 
781
            sha1 = other._sha1s[other_idx]
 
 
782
            self.add(name, new_parents, lines, sha1)
 
 
785
    def _imported_parents(self, other, other_idx):
 
 
786
        """Return list of parents in self corresponding to indexes in other."""
 
 
788
        for parent_idx in other._parents[other_idx]:
 
 
789
            parent_name = other._names[parent_idx]
 
 
790
            if parent_name not in self._names:
 
 
791
                # should not be possible
 
 
792
                raise WeaveError("missing parent {%s} of {%s} in %r" 
 
 
793
                                 % (parent_name, other._name_map[other_idx], self))
 
 
794
            new_parents.append(self._name_map[parent_name])
 
 
797
    def _check_version_consistent(self, other, other_idx, name):
 
 
798
        """Check if a version in consistent in this and other.
 
 
800
        To be consistent it must have:
 
 
803
         * the same direct parents (by name, not index, and disregarding
 
 
806
        If present & correct return True;
 
 
807
        if not present in self return False; 
 
 
808
        if inconsistent raise error."""
 
 
809
        this_idx = self._name_map.get(name, -1)
 
 
811
            if self._sha1s[this_idx] != other._sha1s[other_idx]:
 
 
812
                raise WeaveError("inconsistent texts for version {%s} "
 
 
813
                                 "when joining weaves"
 
 
815
            self_parents = self._parents[this_idx]
 
 
816
            other_parents = other._parents[other_idx]
 
 
817
            n1 = [self._names[i] for i in self_parents]
 
 
818
            n2 = [other._names[i] for i in other_parents]
 
 
822
                raise WeaveParentMismatch("inconsistent parents "
 
 
823
                    "for version {%s}: %s vs %s" % (name, n1, n2))
 
 
829
    def reweave(self, other):
 
 
830
        """Reweave self with other."""
 
 
831
        new_weave = reweave(self, other)
 
 
832
        for attr in self.__slots__:
 
 
833
            setattr(self, attr, getattr(new_weave, attr))
 
 
837
    """Combine two weaves and return the result.
 
 
839
    This works even if a revision R has different parents in 
 
 
840
    wa and wb.  In the resulting weave all the parents are given.
 
 
842
    This is done by just building up a new weave, maintaining ordering 
 
 
843
    of the versions in the two inputs.  More efficient approaches
 
 
844
    might be possible but it should only be necessary to do 
 
 
845
    this operation rarely, when a new previously ghost version is 
 
 
850
    queue_a = range(wa.numversions())
 
 
851
    queue_b = range(wb.numversions())
 
 
852
    # first determine combined parents of all versions
 
 
853
    # map from version name -> all parent names
 
 
854
    combined_parents = _reweave_parent_graphs(wa, wb)
 
 
855
    mutter("combined parents: %r", combined_parents)
 
 
856
    order = topo_sort(combined_parents.iteritems())
 
 
857
    mutter("order to reweave: %r", order)
 
 
859
        if name in wa._name_map:
 
 
860
            lines = wa.get_lines(name)
 
 
861
            if name in wb._name_map:
 
 
862
                assert lines == wb.get_lines(name)
 
 
864
            lines = wb.get_lines(name)
 
 
865
        wr.add(name, combined_parents[name], lines)
 
 
869
def _reweave_parent_graphs(wa, wb):
 
 
870
    """Return combined parent ancestry for two weaves.
 
 
872
    Returned as a list of (version_name, set(parent_names))"""
 
 
874
    for weave in [wa, wb]:
 
 
875
        for idx, name in enumerate(weave._names):
 
 
876
            p = combined.setdefault(name, set())
 
 
877
            p.update(map(weave.idx_to_name, weave._parents[idx]))
 
 
882
    """Show the weave's table-of-contents"""
 
 
883
    print '%6s %50s %10s %10s' % ('ver', 'name', 'sha1', 'parents')
 
 
884
    for i in (6, 50, 10, 10):
 
 
887
    for i in range(w.numversions()):
 
 
890
        parent_str = ' '.join(map(str, w._parents[i]))
 
 
891
        print '%6d %-50.50s %10.10s %s' % (i, name, sha1, parent_str)
 
 
895
def weave_stats(weave_file, pb):
 
 
896
    from bzrlib.weavefile import read_weave
 
 
898
    wf = file(weave_file, 'rb')
 
 
900
    # FIXME: doesn't work on pipes
 
 
901
    weave_size = wf.tell()
 
 
905
    for i in range(vers):
 
 
906
        pb.update('checking sizes', i, vers)
 
 
907
        for origin, lineno, line in w._extract([i]):
 
 
912
    print 'versions          %9d' % vers
 
 
913
    print 'weave file        %9d bytes' % weave_size
 
 
914
    print 'total contents    %9d bytes' % total
 
 
915
    print 'compression ratio %9.2fx' % (float(total) / float(weave_size))
 
 
918
        print 'average size      %9d bytes' % avg
 
 
919
        print 'relative size     %9.2fx' % (float(weave_size) / float(avg))
 
 
923
    print """bzr weave tool
 
 
925
Experimental tool for weave algorithm.
 
 
929
        Create an empty weave file
 
 
930
    weave get WEAVEFILE VERSION
 
 
931
        Write out specified version.
 
 
932
    weave check WEAVEFILE
 
 
933
        Check consistency of all versions.
 
 
935
        Display table of contents.
 
 
936
    weave add WEAVEFILE NAME [BASE...] < NEWTEXT
 
 
937
        Add NEWTEXT, with specified parent versions.
 
 
938
    weave annotate WEAVEFILE VERSION
 
 
939
        Display origin of each line.
 
 
940
    weave mash WEAVEFILE VERSION...
 
 
941
        Display composite of all selected versions.
 
 
942
    weave merge WEAVEFILE VERSION1 VERSION2 > OUT
 
 
943
        Auto-merge two versions and display conflicts.
 
 
944
    weave diff WEAVEFILE VERSION1 VERSION2 
 
 
945
        Show differences between two versions.
 
 
949
    % weave init foo.weave
 
 
951
    % weave add foo.weave ver0 < foo.txt
 
 
954
    (create updated version)
 
 
956
    % weave get foo.weave 0 | diff -u - foo.txt
 
 
957
    % weave add foo.weave ver1 0 < foo.txt
 
 
960
    % weave get foo.weave 0 > foo.txt       (create forked version)
 
 
962
    % weave add foo.weave ver2 0 < foo.txt
 
 
965
    % weave merge foo.weave 1 2 > foo.txt   (merge them)
 
 
966
    % vi foo.txt                            (resolve conflicts)
 
 
967
    % weave add foo.weave merged 1 2 < foo.txt     (commit merged version)     
 
 
979
        # in case we're run directly from the subdirectory
 
 
980
        sys.path.append('..')
 
 
982
    from bzrlib.weavefile import write_weave, read_weave
 
 
983
    from bzrlib.progress import ProgressBar
 
 
998
        return read_weave(file(argv[2], 'rb'))
 
 
1004
        # at the moment, based on everything in the file
 
 
1006
        parents = map(int, argv[4:])
 
 
1007
        lines = sys.stdin.readlines()
 
 
1008
        ver = w.add(name, parents, lines)
 
 
1009
        write_weave(w, file(argv[2], 'wb'))
 
 
1010
        print 'added version %r %d' % (name, ver)
 
 
1013
        if os.path.exists(fn):
 
 
1014
            raise IOError("file exists")
 
 
1016
        write_weave(w, file(fn, 'wb'))
 
 
1017
    elif cmd == 'get': # get one version
 
 
1019
        sys.stdout.writelines(w.get_iter(int(argv[3])))
 
 
1021
    elif cmd == 'mash': # get composite
 
 
1023
        sys.stdout.writelines(w.mash_iter(map(int, argv[3:])))
 
 
1026
        from difflib import unified_diff
 
 
1029
        v1, v2 = map(int, argv[3:5])
 
 
1032
        diff_gen = unified_diff(lines1, lines2,
 
 
1033
                                '%s version %d' % (fn, v1),
 
 
1034
                                '%s version %d' % (fn, v2))
 
 
1035
        sys.stdout.writelines(diff_gen)
 
 
1037
    elif cmd == 'annotate':
 
 
1039
        # newline is added to all lines regardless; too hard to get
 
 
1040
        # reasonable formatting otherwise
 
 
1042
        for origin, text in w.annotate(int(argv[3])):
 
 
1043
            text = text.rstrip('\r\n')
 
 
1045
                print '      | %s' % (text)
 
 
1047
                print '%5d | %s' % (origin, text)
 
 
1053
    elif cmd == 'stats':
 
 
1054
        weave_stats(argv[2], ProgressBar())
 
 
1056
    elif cmd == 'check':
 
 
1061
        print '%d versions ok' % w.numversions()
 
 
1063
    elif cmd == 'inclusions':
 
 
1065
        print ' '.join(map(str, w.inclusions([int(argv[3])])))
 
 
1067
    elif cmd == 'parents':
 
 
1069
        print ' '.join(map(str, w._parents[int(argv[3])]))
 
 
1071
    elif cmd == 'plan-merge':
 
 
1073
        for state, line in w.plan_merge(int(argv[3]), int(argv[4])):
 
 
1075
                print '%14s | %s' % (state, line),
 
 
1077
    elif cmd == 'merge':
 
 
1079
        p = w.plan_merge(int(argv[3]), int(argv[4]))
 
 
1080
        sys.stdout.writelines(w.weave_merge(p))
 
 
1082
    elif cmd == 'mash-merge':
 
 
1088
        v1, v2 = map(int, argv[3:5])
 
 
1090
        basis = w.inclusions([v1]).intersection(w.inclusions([v2]))
 
 
1092
        base_lines = list(w.mash_iter(basis))
 
 
1093
        a_lines = list(w.get(v1))
 
 
1094
        b_lines = list(w.get(v2))
 
 
1096
        from bzrlib.merge3 import Merge3
 
 
1097
        m3 = Merge3(base_lines, a_lines, b_lines)
 
 
1099
        name_a = 'version %d' % v1
 
 
1100
        name_b = 'version %d' % v2
 
 
1101
        sys.stdout.writelines(m3.merge_lines(name_a=name_a, name_b=name_b))
 
 
1103
        raise ValueError('unknown command %r' % cmd)
 
 
1107
def profile_main(argv): 
 
 
1108
    import tempfile, hotshot, hotshot.stats
 
 
1110
    prof_f = tempfile.NamedTemporaryFile()
 
 
1112
    prof = hotshot.Profile(prof_f.name)
 
 
1114
    ret = prof.runcall(main, argv)
 
 
1117
    stats = hotshot.stats.load(prof_f.name)
 
 
1119
    stats.sort_stats('cumulative')
 
 
1120
    ## XXX: Might like to write to stderr or the trace file instead but
 
 
1121
    ## print_stats seems hardcoded to stdout
 
 
1122
    stats.print_stats(20)
 
 
1127
if __name__ == '__main__':
 
 
1129
    if '--profile' in sys.argv:
 
 
1131
        args.remove('--profile')
 
 
1132
        sys.exit(profile_main(args))
 
 
1134
        sys.exit(main(sys.argv))