3
# Copyright (C) 2005 Canonical Ltd
 
 
5
# This program is free software; you can redistribute it and/or modify
 
 
6
# it under the terms of the GNU General Public License as published by
 
 
7
# the Free Software Foundation; either version 2 of the License, or
 
 
8
# (at your option) any later version.
 
 
10
# This program is distributed in the hope that it will be useful,
 
 
11
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
 
12
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
 
13
# GNU General Public License for more details.
 
 
15
# You should have received a copy of the GNU General Public License
 
 
16
# along with this program; if not, write to the Free Software
 
 
17
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
 
19
# Author: Martin Pool <mbp@canonical.com>
 
 
22
"""Weave - storage of related text file versions"""
 
 
25
# XXX: If we do weaves this way, will a merge still behave the same
 
 
26
# way if it's done in a different order?  That's a pretty desirable
 
 
29
# TODO: Nothing here so far assumes the lines are really \n newlines,
 
 
30
# rather than being split up in some other way.  We could accomodate
 
 
31
# binaries, perhaps by naively splitting on \n or perhaps using
 
 
32
# something like a rolling checksum.
 
 
34
# TODO: End marker for each version so we can stop reading?
 
 
36
# TODO: Check that no insertion occurs inside a deletion that was
 
 
37
# active in the version of the insertion.
 
 
39
# TODO: In addition to the SHA-1 check, perhaps have some code that
 
 
40
# checks structural constraints of the weave: ie that insertions are
 
 
41
# properly nested, that there is no text outside of an insertion, that
 
 
42
# insertions or deletions are not repeated, etc.
 
 
44
# TODO: Parallel-extract that passes back each line along with a
 
 
45
# description of which revisions include it.  Nice for checking all
 
 
46
# shas or calculating stats in parallel.
 
 
48
# TODO: Using a single _extract routine and then processing the output
 
 
49
# is probably inefficient.  It's simple enough that we can afford to
 
 
50
# have slight specializations for different ways its used: annotate,
 
 
51
# basis for add, get, etc.
 
 
53
# TODO: Probably the API should work only in names to hide the integer
 
 
54
# indexes from the user.
 
 
56
# TODO: Is there any potential performance win by having an add()
 
 
57
# variant that is passed a pre-cooked version of the single basis
 
 
60
# TODO: Reweave can possibly be made faster by remembering diffs
 
 
61
# where the basis and destination are unchanged.
 
 
63
# FIXME: Sometimes we will be given a parents list for a revision
 
 
64
# that includes some redundant parents (i.e. already a parent of 
 
 
65
# something in the list.)  We should eliminate them.  This can 
 
 
66
# be done fairly efficiently because the sequence numbers constrain
 
 
67
# the possible relationships.
 
 
71
from difflib import SequenceMatcher
 
 
73
from bzrlib.trace import mutter
 
 
74
from bzrlib.errors import WeaveError, WeaveFormatError, WeaveParentMismatch, \
 
 
75
        WeaveRevisionNotPresent, WeaveRevisionAlreadyPresent
 
 
76
from bzrlib.tsort import topo_sort
 
 
80
    """weave - versioned text file storage.
 
 
82
    A Weave manages versions of line-based text files, keeping track
 
 
83
    of the originating version for each line.
 
 
85
    To clients the "lines" of the file are represented as a list of strings.
 
 
86
    These strings  will typically have terminal newline characters, but
 
 
87
    this is not required.  In particular files commonly do not have a newline
 
 
88
    at the end of the file.
 
 
90
    Texts can be identified in either of two ways:
 
 
92
    * a nonnegative index number.
 
 
94
    * a version-id string.
 
 
96
    Typically the index number will be valid only inside this weave and
 
 
97
    the version-id is used to reference it in the larger world.
 
 
99
    The weave is represented as a list mixing edit instructions and
 
 
100
    literal text.  Each entry in _weave can be either a string (or
 
 
101
    unicode), or a tuple.  If a string, it means that the given line
 
 
102
    should be output in the currently active revisions.
 
 
104
    If a tuple, it gives a processing instruction saying in which
 
 
105
    revisions the enclosed lines are active.  The tuple has the form
 
 
106
    (instruction, version).
 
 
108
    The instruction can be '{' or '}' for an insertion block, and '['
 
 
109
    and ']' for a deletion block respectively.  The version is the
 
 
110
    integer version index.  There is no replace operator, only deletes
 
 
111
    and inserts.  For '}', the end of an insertion, there is no
 
 
112
    version parameter because it always closes the most recently
 
 
117
    * A later version can delete lines that were introduced by any
 
 
118
      number of ancestor versions; this implies that deletion
 
 
119
      instructions can span insertion blocks without regard to the
 
 
120
      insertion block's nesting.
 
 
122
    * Similarly, deletions need not be properly nested with regard to
 
 
123
      each other, because they might have been generated by
 
 
124
      independent revisions.
 
 
126
    * Insertions are always made by inserting a new bracketed block
 
 
127
      into a single point in the previous weave.  This implies they
 
 
128
      can nest but not overlap, and the nesting must always have later
 
 
129
      insertions on the inside.
 
 
131
    * It doesn't seem very useful to have an active insertion
 
 
132
      inside an inactive insertion, but it might happen.
 
 
134
    * Therefore, all instructions are always"considered"; that
 
 
135
      is passed onto and off the stack.  An outer inactive block
 
 
136
      doesn't disable an inner block.
 
 
138
    * Lines are enabled if the most recent enclosing insertion is
 
 
139
      active and none of the enclosing deletions are active.
 
 
141
    * There is no point having a deletion directly inside its own
 
 
142
      insertion; you might as well just not write it.  And there
 
 
143
      should be no way to get an earlier version deleting a later
 
 
147
        Text of the weave; list of control instruction tuples and strings.
 
 
150
        List of parents, indexed by version number.
 
 
151
        It is only necessary to store the minimal set of parents for
 
 
152
        each version; the parent's parents are implied.
 
 
155
        List of hex SHA-1 of each version.
 
 
158
        List of symbolic names for each version.  Each should be unique.
 
 
161
        For each name, the version number.
 
 
164
        Descriptive name of this weave; typically the filename if known.
 
 
168
    __slots__ = ['_weave', '_parents', '_sha1s', '_names', '_name_map',
 
 
171
    def __init__(self, weave_name=None):
 
 
177
        self._weave_name = weave_name
 
 
180
        return "Weave(%r)" % self._weave_name
 
 
184
        """Return a deep copy of self.
 
 
186
        The copy can be modified without affecting the original weave."""
 
 
188
        other._weave = self._weave[:]
 
 
189
        other._parents = self._parents[:]
 
 
190
        other._sha1s = self._sha1s[:]
 
 
191
        other._names = self._names[:]
 
 
192
        other._name_map = self._name_map.copy()
 
 
193
        other._weave_name = self._weave_name
 
 
196
    def __eq__(self, other):
 
 
197
        if not isinstance(other, Weave):
 
 
199
        return self._parents == other._parents \
 
 
200
               and self._weave == other._weave \
 
 
201
               and self._sha1s == other._sha1s 
 
 
204
    def __ne__(self, other):
 
 
205
        return not self.__eq__(other)
 
 
207
    def __contains__(self, name):
 
 
208
        return self._name_map.has_key(name)
 
 
210
    def maybe_lookup(self, name_or_index):
 
 
211
        """Convert possible symbolic name to index, or pass through indexes."""
 
 
212
        if isinstance(name_or_index, (int, long)):
 
 
215
            return self.lookup(name_or_index)
 
 
218
    def lookup(self, name):
 
 
219
        """Convert symbolic version name to index."""
 
 
221
            return self._name_map[name]
 
 
223
            raise WeaveRevisionNotPresent(name, self)
 
 
226
        return self._names[:]
 
 
228
    def iter_names(self):
 
 
229
        """Yield a list of all names in this weave."""
 
 
230
        return iter(self._names)
 
 
232
    def idx_to_name(self, version):
 
 
233
        return self._names[version]
 
 
235
    def _check_repeated_add(self, name, parents, text, sha1):
 
 
236
        """Check that a duplicated add is OK.
 
 
238
        If it is, return the (old) index; otherwise raise an exception.
 
 
240
        idx = self.lookup(name)
 
 
241
        if sorted(self._parents[idx]) != sorted(parents) \
 
 
242
            or sha1 != self._sha1s[idx]:
 
 
243
            raise WeaveRevisionAlreadyPresent(name, self)
 
 
246
    def add(self, name, parents, text, sha1=None):
 
 
247
        """Add a single text on top of the weave.
 
 
249
        Returns the index number of the newly added version.
 
 
252
            Symbolic name for this version.
 
 
253
            (Typically the revision-id of the revision that added it.)
 
 
256
            List or set of direct parent version numbers.
 
 
259
            Sequence of lines to be added in the new version.
 
 
261
        sha -- SHA-1 of the file, if known.  This is trusted to be
 
 
264
        from bzrlib.osutils import sha_strings
 
 
266
        assert isinstance(name, basestring)
 
 
268
            sha1 = sha_strings(text)
 
 
269
        if name in self._name_map:
 
 
270
            return self._check_repeated_add(name, parents, text, sha1)
 
 
272
        parents = map(self.maybe_lookup, parents)
 
 
273
        self._check_versions(parents)
 
 
274
        ## self._check_lines(text)
 
 
275
        new_version = len(self._parents)
 
 
278
        # if we abort after here the (in-memory) weave will be corrupt because only
 
 
279
        # some fields are updated
 
 
280
        self._parents.append(parents[:])
 
 
281
        self._sha1s.append(sha1)
 
 
282
        self._names.append(name)
 
 
283
        self._name_map[name] = new_version
 
 
287
            # special case; adding with no parents revision; can do
 
 
288
            # this more quickly by just appending unconditionally.
 
 
289
            # even more specially, if we're adding an empty text we
 
 
290
            # need do nothing at all.
 
 
292
                self._weave.append(('{', new_version))
 
 
293
                self._weave.extend(text)
 
 
294
                self._weave.append(('}', None))
 
 
298
        if len(parents) == 1:
 
 
299
            pv = list(parents)[0]
 
 
300
            if sha1 == self._sha1s[pv]:
 
 
301
                # special case: same as the single parent
 
 
305
        ancestors = self.inclusions(parents)
 
 
309
        # basis a list of (origin, lineno, line)
 
 
312
        for origin, lineno, line in self._extract(ancestors):
 
 
313
            basis_lineno.append(lineno)
 
 
314
            basis_lines.append(line)
 
 
316
        # another small special case: a merge, producing the same text
 
 
318
        if text == basis_lines:
 
 
321
        # add a sentinal, because we can also match against the final line
 
 
322
        basis_lineno.append(len(self._weave))
 
 
324
        # XXX: which line of the weave should we really consider
 
 
325
        # matches the end of the file?  the current code says it's the
 
 
326
        # last line of the weave?
 
 
328
        #print 'basis_lines:', basis_lines
 
 
329
        #print 'new_lines:  ', lines
 
 
331
        s = SequenceMatcher(None, basis_lines, text)
 
 
333
        # offset gives the number of lines that have been inserted
 
 
334
        # into the weave up to the current point; if the original edit instruction
 
 
335
        # says to change line A then we actually change (A+offset)
 
 
338
        for tag, i1, i2, j1, j2 in s.get_opcodes():
 
 
339
            # i1,i2 are given in offsets within basis_lines; we need to map them
 
 
340
            # back to offsets within the entire weave
 
 
341
            #print 'raw match', tag, i1, i2, j1, j2
 
 
345
            i1 = basis_lineno[i1]
 
 
346
            i2 = basis_lineno[i2]
 
 
348
            assert 0 <= j1 <= j2 <= len(text)
 
 
350
            #print tag, i1, i2, j1, j2
 
 
352
            # the deletion and insertion are handled separately.
 
 
353
            # first delete the region.
 
 
355
                self._weave.insert(i1+offset, ('[', new_version))
 
 
356
                self._weave.insert(i2+offset+1, (']', new_version))
 
 
360
                # there may have been a deletion spanning up to
 
 
361
                # i2; we want to insert after this region to make sure
 
 
362
                # we don't destroy ourselves
 
 
364
                self._weave[i:i] = ([('{', new_version)] 
 
 
367
                offset += 2 + (j2 - j1)
 
 
371
    def add_identical(self, old_rev_id, new_rev_id, parents):
 
 
372
        """Add an identical text to old_rev_id as new_rev_id."""
 
 
373
        old_lines = self.get(self.lookup(old_rev_id))
 
 
374
        self.add(new_rev_id, parents, old_lines)
 
 
376
    def inclusions(self, versions):
 
 
377
        """Return set of all ancestors of given version(s)."""
 
 
379
        for v in xrange(max(versions), 0, -1):
 
 
381
                # include all its parents
 
 
382
                i.update(self._parents[v])
 
 
384
        ## except IndexError:
 
 
385
        ##     raise ValueError("version %d not present in weave" % v)
 
 
388
    def parents(self, version):
 
 
389
        return self._parents[version]
 
 
392
    def parent_names(self, version):
 
 
393
        """Return version names for parents of a version."""
 
 
394
        return map(self.idx_to_name, self._parents[self.lookup(version)])
 
 
397
    def minimal_parents(self, version):
 
 
398
        """Find the minimal set of parents for the version."""
 
 
399
        included = self._parents[version]
 
 
404
        li.sort(reverse=True)
 
 
412
                gotit.update(self.inclusions(pv))
 
 
414
        assert mininc[0] >= 0
 
 
415
        assert mininc[-1] < version
 
 
420
    def _check_lines(self, text):
 
 
421
        if not isinstance(text, list):
 
 
422
            raise ValueError("text should be a list, not %s" % type(text))
 
 
425
            if not isinstance(l, basestring):
 
 
426
                raise ValueError("text line should be a string or unicode, not %s"
 
 
431
    def _check_versions(self, indexes):
 
 
432
        """Check everything in the sequence of indexes is valid"""
 
 
437
                raise IndexError("invalid version number %r" % i)
 
 
440
    def annotate(self, name_or_index):
 
 
441
        return list(self.annotate_iter(name_or_index))
 
 
444
    def annotate_iter(self, name_or_index):
 
 
445
        """Yield list of (index-id, line) pairs for the specified version.
 
 
447
        The index indicates when the line originated in the weave."""
 
 
448
        incls = [self.maybe_lookup(name_or_index)]
 
 
449
        for origin, lineno, text in self._extract(incls):
 
 
456
        (lineno, insert, deletes, text)
 
 
457
        for each literal line.
 
 
463
        lineno = 0         # line of weave, 0-based
 
 
465
        for l in self._weave:
 
 
466
            if isinstance(l, tuple):
 
 
479
                    raise WeaveFormatError('unexpected instruction %r' % v)
 
 
481
                assert isinstance(l, basestring)
 
 
483
                yield lineno, istack[-1], dset, l
 
 
488
    def _extract(self, versions):
 
 
489
        """Yield annotation of lines in included set.
 
 
491
        Yields a sequence of tuples (origin, lineno, text), where
 
 
492
        origin is the origin version, lineno the index in the weave,
 
 
493
        and text the text of the line.
 
 
495
        The set typically but not necessarily corresponds to a version.
 
 
498
            if not isinstance(i, int):
 
 
501
        included = self.inclusions(versions)
 
 
506
        lineno = 0         # line of weave, 0-based
 
 
512
        WFE = WeaveFormatError
 
 
514
        for l in self._weave:
 
 
515
            if isinstance(l, tuple):
 
 
519
                    assert v not in istack
 
 
533
                assert isinstance(l, basestring)
 
 
535
                    isactive = (not dset) and istack and (istack[-1] in included)
 
 
537
                    result.append((istack[-1], lineno, l))
 
 
540
            raise WeaveFormatError("unclosed insertion blocks "
 
 
541
                    "at end of weave: %s" % istack)
 
 
543
            raise WeaveFormatError("unclosed deletion blocks at end of weave: %s"
 
 
548
    def get_iter(self, name_or_index):
 
 
549
        """Yield lines for the specified version."""
 
 
550
        incls = [self.maybe_lookup(name_or_index)]
 
 
551
        for origin, lineno, line in self._extract(incls):
 
 
555
    def get_text(self, name_or_index):
 
 
556
        return ''.join(self.get_iter(name_or_index))
 
 
557
        assert isinstance(version, int)
 
 
560
    def get_lines(self, name_or_index):
 
 
561
        return list(self.get_iter(name_or_index))
 
 
567
    def mash_iter(self, included):
 
 
568
        """Return composed version of multiple included versions."""
 
 
569
        included = map(self.maybe_lookup, included)
 
 
570
        for origin, lineno, text in self._extract(included):
 
 
574
    def dump(self, to_file):
 
 
575
        from pprint import pprint
 
 
576
        print >>to_file, "Weave._weave = ",
 
 
577
        pprint(self._weave, to_file)
 
 
578
        print >>to_file, "Weave._parents = ",
 
 
579
        pprint(self._parents, to_file)
 
 
583
    def numversions(self):
 
 
584
        l = len(self._parents)
 
 
585
        assert l == len(self._sha1s)
 
 
590
        return self.numversions()
 
 
593
    def check(self, progress_bar=None):
 
 
594
        # check no circular inclusions
 
 
595
        for version in range(self.numversions()):
 
 
596
            inclusions = list(self._parents[version])
 
 
599
                if inclusions[-1] >= version:
 
 
600
                    raise WeaveFormatError("invalid included version %d for index %d"
 
 
601
                                           % (inclusions[-1], version))
 
 
603
        # try extracting all versions; this is a bit slow and parallel
 
 
604
        # extraction could be used
 
 
605
        nv = self.numversions()
 
 
606
        for version in range(nv):
 
 
608
                progress_bar.update('checking text', version, nv)
 
 
610
            for l in self.get_iter(version):
 
 
613
            expected = self._sha1s[version]
 
 
615
                raise WeaveError("mismatched sha1 for version %d; "
 
 
616
                                 "got %s, expected %s"
 
 
617
                                 % (version, hd, expected))
 
 
619
        # TODO: check insertions are properly nested, that there are
 
 
620
        # no lines outside of insertion blocks, that deletions are
 
 
621
        # properly paired, etc.
 
 
624
    def _delta(self, included, lines):
 
 
625
        """Return changes from basis to new revision.
 
 
627
        The old text for comparison is the union of included revisions.
 
 
629
        This is used in inserting a new text.
 
 
631
        Delta is returned as a sequence of
 
 
632
        (weave1, weave2, newlines).
 
 
634
        This indicates that weave1:weave2 of the old weave should be
 
 
635
        replaced by the sequence of lines in newlines.  Note that
 
 
636
        these line numbers are positions in the total weave and don't
 
 
637
        correspond to the lines in any extracted version, or even the
 
 
638
        extracted union of included versions.
 
 
640
        If line1=line2, this is a pure insert; if newlines=[] this is a
 
 
641
        pure delete.  (Similar to difflib.)
 
 
643
        raise NotImplementedError()
 
 
646
    def plan_merge(self, ver_a, ver_b):
 
 
647
        """Return pseudo-annotation indicating how the two versions merge.
 
 
649
        This is computed between versions a and b and their common
 
 
652
        Weave lines present in none of them are skipped entirely.
 
 
654
        inc_a = self.inclusions([ver_a])
 
 
655
        inc_b = self.inclusions([ver_b])
 
 
656
        inc_c = inc_a & inc_b
 
 
658
        for lineno, insert, deleteset, line in self._walk():
 
 
659
            if deleteset & inc_c:
 
 
660
                # killed in parent; can't be in either a or b
 
 
661
                # not relevant to our work
 
 
662
                yield 'killed-base', line
 
 
663
            elif insert in inc_c:
 
 
664
                # was inserted in base
 
 
665
                killed_a = bool(deleteset & inc_a)
 
 
666
                killed_b = bool(deleteset & inc_b)
 
 
667
                if killed_a and killed_b:
 
 
668
                    yield 'killed-both', line
 
 
670
                    yield 'killed-a', line
 
 
672
                    yield 'killed-b', line
 
 
674
                    yield 'unchanged', line
 
 
675
            elif insert in inc_a:
 
 
676
                if deleteset & inc_a:
 
 
677
                    yield 'ghost-a', line
 
 
681
            elif insert in inc_b:
 
 
682
                if deleteset & inc_b:
 
 
683
                    yield 'ghost-b', line
 
 
687
                # not in either revision
 
 
688
                yield 'irrelevant', line
 
 
690
        yield 'unchanged', ''           # terminator
 
 
694
    def weave_merge(self, plan):
 
 
699
        for state, line in plan:
 
 
700
            if state == 'unchanged' or state == 'killed-both':
 
 
701
                # resync and flush queued conflicts changes if any
 
 
702
                if not lines_a and not lines_b:
 
 
704
                elif ch_a and not ch_b:
 
 
706
                    for l in lines_a: yield l
 
 
707
                elif ch_b and not ch_a:
 
 
708
                    for l in lines_b: yield l
 
 
709
                elif lines_a == lines_b:
 
 
710
                    for l in lines_a: yield l
 
 
713
                    for l in lines_a: yield l
 
 
715
                    for l in lines_b: yield l
 
 
722
            if state == 'unchanged':
 
 
725
            elif state == 'killed-a':
 
 
728
            elif state == 'killed-b':
 
 
731
            elif state == 'new-a':
 
 
734
            elif state == 'new-b':
 
 
738
                assert state in ('irrelevant', 'ghost-a', 'ghost-b', 'killed-base',
 
 
743
    def join(self, other):
 
 
744
        """Integrate versions from other into this weave.
 
 
746
        The resulting weave contains all the history of both weaves; 
 
 
747
        any version you could retrieve from either self or other can be 
 
 
748
        retrieved from self after this call.
 
 
750
        It is illegal for the two weaves to contain different values 
 
 
751
        or different parents for any version.  See also reweave().
 
 
753
        if other.numversions() == 0:
 
 
754
            return          # nothing to update, easy
 
 
755
        # two loops so that we do not change ourselves before verifying it
 
 
757
        # work through in index order to make sure we get all dependencies
 
 
758
        for other_idx, name in enumerate(other._names):
 
 
759
            if self._check_version_consistent(other, other_idx, name):
 
 
761
        for other_idx, name in enumerate(other._names):
 
 
762
            # TODO: If all the parents of the other version are already 
 
 
763
            # present then we can avoid some work by just taking the delta
 
 
764
            # and adjusting the offsets.
 
 
765
            new_parents = self._imported_parents(other, other_idx)
 
 
766
            lines = other.get_lines(other_idx)
 
 
767
            sha1 = other._sha1s[other_idx]
 
 
768
            self.add(name, new_parents, lines, sha1)
 
 
771
    def _imported_parents(self, other, other_idx):
 
 
772
        """Return list of parents in self corresponding to indexes in other."""
 
 
774
        for parent_idx in other._parents[other_idx]:
 
 
775
            parent_name = other._names[parent_idx]
 
 
776
            if parent_name not in self._names:
 
 
777
                # should not be possible
 
 
778
                raise WeaveError("missing parent {%s} of {%s} in %r" 
 
 
779
                                 % (parent_name, other._name_map[other_idx], self))
 
 
780
            new_parents.append(self._name_map[parent_name])
 
 
783
    def _check_version_consistent(self, other, other_idx, name):
 
 
784
        """Check if a version in consistent in this and other.
 
 
786
        To be consistent it must have:
 
 
789
         * the same direct parents (by name, not index, and disregarding
 
 
792
        If present & correct return True;
 
 
793
        if not present in self return False; 
 
 
794
        if inconsistent raise error."""
 
 
795
        this_idx = self._name_map.get(name, -1)
 
 
797
            if self._sha1s[this_idx] != other._sha1s[other_idx]:
 
 
798
                raise WeaveError("inconsistent texts for version {%s} "
 
 
799
                                 "when joining weaves"
 
 
801
            self_parents = self._parents[this_idx]
 
 
802
            other_parents = other._parents[other_idx]
 
 
803
            n1 = [self._names[i] for i in self_parents]
 
 
804
            n2 = [other._names[i] for i in other_parents]
 
 
808
                raise WeaveParentMismatch("inconsistent parents "
 
 
809
                    "for version {%s}: %s vs %s" % (name, n1, n2))
 
 
815
    def reweave(self, other):
 
 
816
        """Reweave self with other."""
 
 
817
        new_weave = reweave(self, other)
 
 
818
        for attr in self.__slots__:
 
 
819
            setattr(self, attr, getattr(new_weave, attr))
 
 
823
    """Combine two weaves and return the result.
 
 
825
    This works even if a revision R has different parents in 
 
 
826
    wa and wb.  In the resulting weave all the parents are given.
 
 
828
    This is done by just building up a new weave, maintaining ordering 
 
 
829
    of the versions in the two inputs.  More efficient approaches
 
 
830
    might be possible but it should only be necessary to do 
 
 
831
    this operation rarely, when a new previously ghost version is 
 
 
836
    queue_a = range(wa.numversions())
 
 
837
    queue_b = range(wb.numversions())
 
 
838
    # first determine combined parents of all versions
 
 
839
    # map from version name -> all parent names
 
 
840
    combined_parents = _reweave_parent_graphs(wa, wb)
 
 
841
    mutter("combined parents: %r", combined_parents)
 
 
842
    order = topo_sort(combined_parents.iteritems())
 
 
843
    mutter("order to reweave: %r", order)
 
 
845
        if name in wa._name_map:
 
 
846
            lines = wa.get_lines(name)
 
 
847
            if name in wb._name_map:
 
 
848
                assert lines == wb.get_lines(name)
 
 
850
            lines = wb.get_lines(name)
 
 
851
        wr.add(name, combined_parents[name], lines)
 
 
855
def _reweave_parent_graphs(wa, wb):
 
 
856
    """Return combined parent ancestry for two weaves.
 
 
858
    Returned as a list of (version_name, set(parent_names))"""
 
 
860
    for weave in [wa, wb]:
 
 
861
        for idx, name in enumerate(weave._names):
 
 
862
            p = combined.setdefault(name, set())
 
 
863
            p.update(map(weave.idx_to_name, weave._parents[idx]))
 
 
868
    """Show the weave's table-of-contents"""
 
 
869
    print '%6s %50s %10s %10s' % ('ver', 'name', 'sha1', 'parents')
 
 
870
    for i in (6, 50, 10, 10):
 
 
873
    for i in range(w.numversions()):
 
 
876
        parent_str = ' '.join(map(str, w._parents[i]))
 
 
877
        print '%6d %-50.50s %10.10s %s' % (i, name, sha1, parent_str)
 
 
881
def weave_stats(weave_file, pb):
 
 
882
    from bzrlib.weavefile import read_weave
 
 
884
    wf = file(weave_file, 'rb')
 
 
886
    # FIXME: doesn't work on pipes
 
 
887
    weave_size = wf.tell()
 
 
891
    for i in range(vers):
 
 
892
        pb.update('checking sizes', i, vers)
 
 
893
        for origin, lineno, line in w._extract([i]):
 
 
898
    print 'versions          %9d' % vers
 
 
899
    print 'weave file        %9d bytes' % weave_size
 
 
900
    print 'total contents    %9d bytes' % total
 
 
901
    print 'compression ratio %9.2fx' % (float(total) / float(weave_size))
 
 
904
        print 'average size      %9d bytes' % avg
 
 
905
        print 'relative size     %9.2fx' % (float(weave_size) / float(avg))
 
 
909
    print """bzr weave tool
 
 
911
Experimental tool for weave algorithm.
 
 
915
        Create an empty weave file
 
 
916
    weave get WEAVEFILE VERSION
 
 
917
        Write out specified version.
 
 
918
    weave check WEAVEFILE
 
 
919
        Check consistency of all versions.
 
 
921
        Display table of contents.
 
 
922
    weave add WEAVEFILE NAME [BASE...] < NEWTEXT
 
 
923
        Add NEWTEXT, with specified parent versions.
 
 
924
    weave annotate WEAVEFILE VERSION
 
 
925
        Display origin of each line.
 
 
926
    weave mash WEAVEFILE VERSION...
 
 
927
        Display composite of all selected versions.
 
 
928
    weave merge WEAVEFILE VERSION1 VERSION2 > OUT
 
 
929
        Auto-merge two versions and display conflicts.
 
 
930
    weave diff WEAVEFILE VERSION1 VERSION2 
 
 
931
        Show differences between two versions.
 
 
935
    % weave init foo.weave
 
 
937
    % weave add foo.weave ver0 < foo.txt
 
 
940
    (create updated version)
 
 
942
    % weave get foo.weave 0 | diff -u - foo.txt
 
 
943
    % weave add foo.weave ver1 0 < foo.txt
 
 
946
    % weave get foo.weave 0 > foo.txt       (create forked version)
 
 
948
    % weave add foo.weave ver2 0 < foo.txt
 
 
951
    % weave merge foo.weave 1 2 > foo.txt   (merge them)
 
 
952
    % vi foo.txt                            (resolve conflicts)
 
 
953
    % weave add foo.weave merged 1 2 < foo.txt     (commit merged version)     
 
 
965
        # in case we're run directly from the subdirectory
 
 
966
        sys.path.append('..')
 
 
968
    from bzrlib.weavefile import write_weave, read_weave
 
 
969
    from bzrlib.progress import ProgressBar
 
 
984
        return read_weave(file(argv[2], 'rb'))
 
 
990
        # at the moment, based on everything in the file
 
 
992
        parents = map(int, argv[4:])
 
 
993
        lines = sys.stdin.readlines()
 
 
994
        ver = w.add(name, parents, lines)
 
 
995
        write_weave(w, file(argv[2], 'wb'))
 
 
996
        print 'added version %r %d' % (name, ver)
 
 
999
        if os.path.exists(fn):
 
 
1000
            raise IOError("file exists")
 
 
1002
        write_weave(w, file(fn, 'wb'))
 
 
1003
    elif cmd == 'get': # get one version
 
 
1005
        sys.stdout.writelines(w.get_iter(int(argv[3])))
 
 
1007
    elif cmd == 'mash': # get composite
 
 
1009
        sys.stdout.writelines(w.mash_iter(map(int, argv[3:])))
 
 
1012
        from difflib import unified_diff
 
 
1015
        v1, v2 = map(int, argv[3:5])
 
 
1018
        diff_gen = unified_diff(lines1, lines2,
 
 
1019
                                '%s version %d' % (fn, v1),
 
 
1020
                                '%s version %d' % (fn, v2))
 
 
1021
        sys.stdout.writelines(diff_gen)
 
 
1023
    elif cmd == 'annotate':
 
 
1025
        # newline is added to all lines regardless; too hard to get
 
 
1026
        # reasonable formatting otherwise
 
 
1028
        for origin, text in w.annotate(int(argv[3])):
 
 
1029
            text = text.rstrip('\r\n')
 
 
1031
                print '      | %s' % (text)
 
 
1033
                print '%5d | %s' % (origin, text)
 
 
1039
    elif cmd == 'stats':
 
 
1040
        weave_stats(argv[2], ProgressBar())
 
 
1042
    elif cmd == 'check':
 
 
1047
        print '%d versions ok' % w.numversions()
 
 
1049
    elif cmd == 'inclusions':
 
 
1051
        print ' '.join(map(str, w.inclusions([int(argv[3])])))
 
 
1053
    elif cmd == 'parents':
 
 
1055
        print ' '.join(map(str, w._parents[int(argv[3])]))
 
 
1057
    elif cmd == 'plan-merge':
 
 
1059
        for state, line in w.plan_merge(int(argv[3]), int(argv[4])):
 
 
1061
                print '%14s | %s' % (state, line),
 
 
1063
    elif cmd == 'merge':
 
 
1065
        p = w.plan_merge(int(argv[3]), int(argv[4]))
 
 
1066
        sys.stdout.writelines(w.weave_merge(p))
 
 
1068
    elif cmd == 'mash-merge':
 
 
1074
        v1, v2 = map(int, argv[3:5])
 
 
1076
        basis = w.inclusions([v1]).intersection(w.inclusions([v2]))
 
 
1078
        base_lines = list(w.mash_iter(basis))
 
 
1079
        a_lines = list(w.get(v1))
 
 
1080
        b_lines = list(w.get(v2))
 
 
1082
        from bzrlib.merge3 import Merge3
 
 
1083
        m3 = Merge3(base_lines, a_lines, b_lines)
 
 
1085
        name_a = 'version %d' % v1
 
 
1086
        name_b = 'version %d' % v2
 
 
1087
        sys.stdout.writelines(m3.merge_lines(name_a=name_a, name_b=name_b))
 
 
1089
        raise ValueError('unknown command %r' % cmd)
 
 
1093
def profile_main(argv): 
 
 
1094
    import tempfile, hotshot, hotshot.stats
 
 
1096
    prof_f = tempfile.NamedTemporaryFile()
 
 
1098
    prof = hotshot.Profile(prof_f.name)
 
 
1100
    ret = prof.runcall(main, argv)
 
 
1103
    stats = hotshot.stats.load(prof_f.name)
 
 
1105
    stats.sort_stats('cumulative')
 
 
1106
    ## XXX: Might like to write to stderr or the trace file instead but
 
 
1107
    ## print_stats seems hardcoded to stdout
 
 
1108
    stats.print_stats(20)
 
 
1113
def lsprofile_main(argv): 
 
 
1114
    from bzrlib.lsprof import profile
 
 
1115
    ret,stats = profile(main, argv)
 
 
1121
if __name__ == '__main__':
 
 
1123
    if '--profile' in sys.argv:
 
 
1125
        args.remove('--profile')
 
 
1126
        sys.exit(profile_main(args))
 
 
1127
    elif '--lsprof' in sys.argv:
 
 
1129
        args.remove('--lsprof')
 
 
1130
        sys.exit(lsprofile_main(args))
 
 
1132
        sys.exit(main(sys.argv))