3
# Copyright (C) 2005 Canonical Ltd
 
 
5
# This program is free software; you can redistribute it and/or modify
 
 
6
# it under the terms of the GNU General Public License as published by
 
 
7
# the Free Software Foundation; either version 2 of the License, or
 
 
8
# (at your option) any later version.
 
 
10
# This program is distributed in the hope that it will be useful,
 
 
11
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
 
12
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
 
13
# GNU General Public License for more details.
 
 
15
# You should have received a copy of the GNU General Public License
 
 
16
# along with this program; if not, write to the Free Software
 
 
17
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
 
19
# Author: Martin Pool <mbp@canonical.com>
 
 
22
"""Weave - storage of related text file versions"""
 
 
25
# XXX: If we do weaves this way, will a merge still behave the same
 
 
26
# way if it's done in a different order?  That's a pretty desirable
 
 
29
# TODO: Nothing here so far assumes the lines are really \n newlines,
 
 
30
# rather than being split up in some other way.  We could accomodate
 
 
31
# binaries, perhaps by naively splitting on \n or perhaps using
 
 
32
# something like a rolling checksum.
 
 
34
# TODO: End marker for each version so we can stop reading?
 
 
36
# TODO: Check that no insertion occurs inside a deletion that was
 
 
37
# active in the version of the insertion.
 
 
39
# TODO: In addition to the SHA-1 check, perhaps have some code that
 
 
40
# checks structural constraints of the weave: ie that insertions are
 
 
41
# properly nested, that there is no text outside of an insertion, that
 
 
42
# insertions or deletions are not repeated, etc.
 
 
44
# TODO: Parallel-extract that passes back each line along with a
 
 
45
# description of which revisions include it.  Nice for checking all
 
 
46
# shas or calculating stats in parallel.
 
 
48
# TODO: Using a single _extract routine and then processing the output
 
 
49
# is probably inefficient.  It's simple enough that we can afford to
 
 
50
# have slight specializations for different ways its used: annotate,
 
 
51
# basis for add, get, etc.
 
 
53
# TODO: Perhaps the API should work only in names to hide the integer
 
 
54
# indexes from the user?
 
 
56
# TODO: Is there any potential performance win by having an add()
 
 
57
# variant that is passed a pre-cooked version of the single basis
 
 
60
# TODO: Have a way to go back and insert a revision V1 that is a parent 
 
 
61
# of an already-stored revision V2.  This means some lines previously 
 
 
62
# counted as new in V2 will be discovered to have actually come from V1.  
 
 
63
# It is probably necessary to insert V1, then compute a whole new diff 
 
 
64
# from the mashed ancestors to V2.  This must be repeated for every 
 
 
65
# direct child of V1.  The deltas from V2 to its descendents won't change,
 
 
66
# although their location within the weave may change.  It may be possible
 
 
67
# to just adjust the location of those instructions rather than 
 
 
68
# re-weaving the whole thing.  This is expected to be a fairly rare
 
 
69
# operation, only used when inserting data that was previously a ghost.
 
 
75
from difflib import SequenceMatcher
 
 
80
class WeaveError(Exception):
 
 
81
    """Exception in processing weave"""
 
 
84
class WeaveFormatError(WeaveError):
 
 
85
    """Weave invariant violated"""
 
 
89
    """weave - versioned text file storage.
 
 
91
    A Weave manages versions of line-based text files, keeping track
 
 
92
    of the originating version for each line.
 
 
94
    To clients the "lines" of the file are represented as a list of strings.
 
 
95
    These strings  will typically have terminal newline characters, but
 
 
96
    this is not required.  In particular files commonly do not have a newline
 
 
97
    at the end of the file.
 
 
99
    Texts can be identified in either of two ways:
 
 
101
    * a nonnegative index number.
 
 
103
    * a version-id string.
 
 
105
    Typically the index number will be valid only inside this weave and
 
 
106
    the version-id is used to reference it in the larger world.
 
 
108
    The weave is represented as a list mixing edit instructions and
 
 
109
    literal text.  Each entry in _weave can be either a string (or
 
 
110
    unicode), or a tuple.  If a string, it means that the given line
 
 
111
    should be output in the currently active revisions.
 
 
113
    If a tuple, it gives a processing instruction saying in which
 
 
114
    revisions the enclosed lines are active.  The tuple has the form
 
 
115
    (instruction, version).
 
 
117
    The instruction can be '{' or '}' for an insertion block, and '['
 
 
118
    and ']' for a deletion block respectively.  The version is the
 
 
119
    integer version index.  There is no replace operator, only deletes
 
 
120
    and inserts.  For '}', the end of an insertion, there is no
 
 
121
    version parameter because it always closes the most recently
 
 
126
    * A later version can delete lines that were introduced by any
 
 
127
      number of ancestor versions; this implies that deletion
 
 
128
      instructions can span insertion blocks without regard to the
 
 
129
      insertion block's nesting.
 
 
131
    * Similarly, deletions need not be properly nested with regard to
 
 
132
      each other, because they might have been generated by
 
 
133
      independent revisions.
 
 
135
    * Insertions are always made by inserting a new bracketed block
 
 
136
      into a single point in the previous weave.  This implies they
 
 
137
      can nest but not overlap, and the nesting must always have later
 
 
138
      insertions on the inside.
 
 
140
    * It doesn't seem very useful to have an active insertion
 
 
141
      inside an inactive insertion, but it might happen.
 
 
143
    * Therefore, all instructions are always"considered"; that
 
 
144
      is passed onto and off the stack.  An outer inactive block
 
 
145
      doesn't disable an inner block.
 
 
147
    * Lines are enabled if the most recent enclosing insertion is
 
 
148
      active and none of the enclosing deletions are active.
 
 
150
    * There is no point having a deletion directly inside its own
 
 
151
      insertion; you might as well just not write it.  And there
 
 
152
      should be no way to get an earlier version deleting a later
 
 
156
        Text of the weave; list of control instruction tuples and strings.
 
 
159
        List of parents, indexed by version number.
 
 
160
        It is only necessary to store the minimal set of parents for
 
 
161
        each version; the parent's parents are implied.
 
 
164
        List of hex SHA-1 of each version.
 
 
167
        List of symbolic names for each version.  Each should be unique.
 
 
170
        For each name, the version number.
 
 
173
        Descriptive name of this weave; typically the filename if known.
 
 
177
    __slots__ = ['_weave', '_parents', '_sha1s', '_names', '_name_map',
 
 
180
    def __init__(self, weave_name=None):
 
 
186
        self._weave_name = weave_name
 
 
190
        """Return a deep copy of self.
 
 
192
        The copy can be modified without affecting the original weave."""
 
 
194
        other._weave = self._weave[:]
 
 
195
        other._parents = self._parents[:]
 
 
196
        other._sha1s = self._sha1s[:]
 
 
197
        other._names = self._names[:]
 
 
198
        other._name_map = self._name_map.copy()
 
 
199
        other._weave_name = self._weave_name
 
 
202
    def __eq__(self, other):
 
 
203
        if not isinstance(other, Weave):
 
 
205
        return self._parents == other._parents \
 
 
206
               and self._weave == other._weave \
 
 
207
               and self._sha1s == other._sha1s 
 
 
210
    def __ne__(self, other):
 
 
211
        return not self.__eq__(other)
 
 
214
    def maybe_lookup(self, name_or_index):
 
 
215
        """Convert possible symbolic name to index, or pass through indexes."""
 
 
216
        if isinstance(name_or_index, (int, long)):
 
 
219
            return self.lookup(name_or_index)
 
 
222
    def lookup(self, name):
 
 
223
        """Convert symbolic version name to index."""
 
 
225
            return self._name_map[name]
 
 
227
            raise WeaveError("name %r not present in weave %r" %
 
 
228
                             (name, self._weave_name))
 
 
231
    def iter_names(self):
 
 
232
        """Yield a list of all names in this weave."""
 
 
233
        return iter(self._names)
 
 
235
    def idx_to_name(self, version):
 
 
236
        return self._names[version]
 
 
239
    def _check_repeated_add(self, name, parents, text, sha1):
 
 
240
        """Check that a duplicated add is OK.
 
 
242
        If it is, return the (old) index; otherwise raise an exception.
 
 
244
        idx = self.lookup(name)
 
 
245
        if sorted(self._parents[idx]) != sorted(parents):
 
 
246
            raise WeaveError("name \"%s\" already present in weave "
 
 
247
                             "with different parents" % name)
 
 
248
        if sha1 != self._sha1s[idx]:
 
 
249
            raise WeaveError("name \"%s\" already present in weave "
 
 
250
                             "with different text" % name)            
 
 
255
    def add(self, name, parents, text, sha1=None):
 
 
256
        """Add a single text on top of the weave.
 
 
258
        Returns the index number of the newly added version.
 
 
261
            Symbolic name for this version.
 
 
262
            (Typically the revision-id of the revision that added it.)
 
 
265
            List or set of direct parent version numbers.
 
 
268
            Sequence of lines to be added in the new version.
 
 
270
        sha -- SHA-1 of the file, if known.  This is trusted to be
 
 
273
        from bzrlib.osutils import sha_strings
 
 
275
        assert isinstance(name, basestring)
 
 
277
            sha1 = sha_strings(text)
 
 
278
        if name in self._name_map:
 
 
279
            return self._check_repeated_add(name, parents, text, sha1)
 
 
281
        parents = map(self.maybe_lookup, parents)
 
 
282
        self._check_versions(parents)
 
 
283
        ## self._check_lines(text)
 
 
284
        new_version = len(self._parents)
 
 
287
        # if we abort after here the (in-memory) weave will be corrupt because only
 
 
288
        # some fields are updated
 
 
289
        self._parents.append(parents[:])
 
 
290
        self._sha1s.append(sha1)
 
 
291
        self._names.append(name)
 
 
292
        self._name_map[name] = new_version
 
 
296
            # special case; adding with no parents revision; can do
 
 
297
            # this more quickly by just appending unconditionally.
 
 
298
            # even more specially, if we're adding an empty text we
 
 
299
            # need do nothing at all.
 
 
301
                self._weave.append(('{', new_version))
 
 
302
                self._weave.extend(text)
 
 
303
                self._weave.append(('}', None))
 
 
307
        if len(parents) == 1:
 
 
308
            pv = list(parents)[0]
 
 
309
            if sha1 == self._sha1s[pv]:
 
 
310
                # special case: same as the single parent
 
 
314
        ancestors = self.inclusions(parents)
 
 
318
        # basis a list of (origin, lineno, line)
 
 
321
        for origin, lineno, line in self._extract(ancestors):
 
 
322
            basis_lineno.append(lineno)
 
 
323
            basis_lines.append(line)
 
 
325
        # another small special case: a merge, producing the same text
 
 
327
        if text == basis_lines:
 
 
330
        # add a sentinal, because we can also match against the final line
 
 
331
        basis_lineno.append(len(self._weave))
 
 
333
        # XXX: which line of the weave should we really consider
 
 
334
        # matches the end of the file?  the current code says it's the
 
 
335
        # last line of the weave?
 
 
337
        #print 'basis_lines:', basis_lines
 
 
338
        #print 'new_lines:  ', lines
 
 
340
        s = SequenceMatcher(None, basis_lines, text)
 
 
342
        # offset gives the number of lines that have been inserted
 
 
343
        # into the weave up to the current point; if the original edit instruction
 
 
344
        # says to change line A then we actually change (A+offset)
 
 
347
        for tag, i1, i2, j1, j2 in s.get_opcodes():
 
 
348
            # i1,i2 are given in offsets within basis_lines; we need to map them
 
 
349
            # back to offsets within the entire weave
 
 
350
            #print 'raw match', tag, i1, i2, j1, j2
 
 
354
            i1 = basis_lineno[i1]
 
 
355
            i2 = basis_lineno[i2]
 
 
357
            assert 0 <= j1 <= j2 <= len(text)
 
 
359
            #print tag, i1, i2, j1, j2
 
 
361
            # the deletion and insertion are handled separately.
 
 
362
            # first delete the region.
 
 
364
                self._weave.insert(i1+offset, ('[', new_version))
 
 
365
                self._weave.insert(i2+offset+1, (']', new_version))
 
 
369
                # there may have been a deletion spanning up to
 
 
370
                # i2; we want to insert after this region to make sure
 
 
371
                # we don't destroy ourselves
 
 
373
                self._weave[i:i] = ([('{', new_version)] 
 
 
376
                offset += 2 + (j2 - j1)
 
 
380
    def add_identical(self, old_rev_id, new_rev_id, parents):
 
 
381
        """Add an identical text to old_rev_id as new_rev_id."""
 
 
382
        old_lines = self.get(self.lookup(old_rev_id))
 
 
383
        self.add(new_rev_id, parents, old_lines)
 
 
385
    def inclusions(self, versions):
 
 
386
        """Return set of all ancestors of given version(s)."""
 
 
388
        for v in xrange(max(versions), 0, -1):
 
 
390
                # include all its parents
 
 
391
                i.update(self._parents[v])
 
 
393
        ## except IndexError:
 
 
394
        ##     raise ValueError("version %d not present in weave" % v)
 
 
397
    def parents(self, version):
 
 
398
        return self._parents[version]
 
 
401
    def minimal_parents(self, version):
 
 
402
        """Find the minimal set of parents for the version."""
 
 
403
        included = self._parents[version]
 
 
408
        li.sort(reverse=True)
 
 
416
                gotit.update(self.inclusions(pv))
 
 
418
        assert mininc[0] >= 0
 
 
419
        assert mininc[-1] < version
 
 
424
    def _check_lines(self, text):
 
 
425
        if not isinstance(text, list):
 
 
426
            raise ValueError("text should be a list, not %s" % type(text))
 
 
429
            if not isinstance(l, basestring):
 
 
430
                raise ValueError("text line should be a string or unicode, not %s"
 
 
435
    def _check_versions(self, indexes):
 
 
436
        """Check everything in the sequence of indexes is valid"""
 
 
441
                raise IndexError("invalid version number %r" % i)
 
 
444
    def annotate(self, name_or_index):
 
 
445
        return list(self.annotate_iter(name_or_index))
 
 
448
    def annotate_iter(self, name_or_index):
 
 
449
        """Yield list of (index-id, line) pairs for the specified version.
 
 
451
        The index indicates when the line originated in the weave."""
 
 
452
        incls = [self.maybe_lookup(name_or_index)]
 
 
453
        for origin, lineno, text in self._extract(incls):
 
 
461
        (lineno, insert, deletes, text)
 
 
462
        for each literal line.
 
 
468
        lineno = 0         # line of weave, 0-based
 
 
470
        for l in self._weave:
 
 
471
            if isinstance(l, tuple):
 
 
484
                    raise WeaveFormatError('unexpected instruction %r'
 
 
487
                assert isinstance(l, basestring)
 
 
489
                yield lineno, istack[-1], dset, l
 
 
494
    def _extract(self, versions):
 
 
495
        """Yield annotation of lines in included set.
 
 
497
        Yields a sequence of tuples (origin, lineno, text), where
 
 
498
        origin is the origin version, lineno the index in the weave,
 
 
499
        and text the text of the line.
 
 
501
        The set typically but not necessarily corresponds to a version.
 
 
504
            if not isinstance(i, int):
 
 
507
        included = self.inclusions(versions)
 
 
512
        lineno = 0         # line of weave, 0-based
 
 
518
        WFE = WeaveFormatError
 
 
520
        for l in self._weave:
 
 
521
            if isinstance(l, tuple):
 
 
525
                    assert v not in istack
 
 
539
                assert isinstance(l, basestring)
 
 
541
                    isactive = (not dset) and istack and (istack[-1] in included)
 
 
543
                    result.append((istack[-1], lineno, l))
 
 
547
            raise WFE("unclosed insertion blocks at end of weave",
 
 
550
            raise WFE("unclosed deletion blocks at end of weave",
 
 
557
    def get_iter(self, name_or_index):
 
 
558
        """Yield lines for the specified version."""
 
 
559
        incls = [self.maybe_lookup(name_or_index)]
 
 
560
        for origin, lineno, line in self._extract(incls):
 
 
564
    def get_text(self, name_or_index):
 
 
565
        return ''.join(self.get_iter(name_or_index))
 
 
566
        assert isinstance(version, int)
 
 
569
    def get_lines(self, name_or_index):
 
 
570
        return list(self.get_iter(name_or_index))
 
 
576
    def mash_iter(self, included):
 
 
577
        """Return composed version of multiple included versions."""
 
 
578
        included = map(self.maybe_lookup, included)
 
 
579
        for origin, lineno, text in self._extract(included):
 
 
583
    def dump(self, to_file):
 
 
584
        from pprint import pprint
 
 
585
        print >>to_file, "Weave._weave = ",
 
 
586
        pprint(self._weave, to_file)
 
 
587
        print >>to_file, "Weave._parents = ",
 
 
588
        pprint(self._parents, to_file)
 
 
592
    def numversions(self):
 
 
593
        l = len(self._parents)
 
 
594
        assert l == len(self._sha1s)
 
 
599
        return self.numversions()
 
 
602
    def check(self, progress_bar=None):
 
 
603
        # check no circular inclusions
 
 
604
        for version in range(self.numversions()):
 
 
605
            inclusions = list(self._parents[version])
 
 
608
                if inclusions[-1] >= version:
 
 
609
                    raise WeaveFormatError("invalid included version %d for index %d"
 
 
610
                                           % (inclusions[-1], version))
 
 
612
        # try extracting all versions; this is a bit slow and parallel
 
 
613
        # extraction could be used
 
 
614
        nv = self.numversions()
 
 
615
        for version in range(nv):
 
 
617
                progress_bar.update('checking text', version, nv)
 
 
619
            for l in self.get_iter(version):
 
 
622
            expected = self._sha1s[version]
 
 
624
                raise WeaveError("mismatched sha1 for version %d; "
 
 
625
                                 "got %s, expected %s"
 
 
626
                                 % (version, hd, expected))
 
 
628
        # TODO: check insertions are properly nested, that there are
 
 
629
        # no lines outside of insertion blocks, that deletions are
 
 
630
        # properly paired, etc.
 
 
634
    def merge(self, merge_versions):
 
 
635
        """Automerge and mark conflicts between versions.
 
 
637
        This returns a sequence, each entry describing alternatives
 
 
638
        for a chunk of the file.  Each of the alternatives is given as
 
 
641
        If there is a chunk of the file where there's no diagreement,
 
 
642
        only one alternative is given.
 
 
644
        # approach: find the included versions common to all the
 
 
646
        raise NotImplementedError()
 
 
650
    def _delta(self, included, lines):
 
 
651
        """Return changes from basis to new revision.
 
 
653
        The old text for comparison is the union of included revisions.
 
 
655
        This is used in inserting a new text.
 
 
657
        Delta is returned as a sequence of
 
 
658
        (weave1, weave2, newlines).
 
 
660
        This indicates that weave1:weave2 of the old weave should be
 
 
661
        replaced by the sequence of lines in newlines.  Note that
 
 
662
        these line numbers are positions in the total weave and don't
 
 
663
        correspond to the lines in any extracted version, or even the
 
 
664
        extracted union of included versions.
 
 
666
        If line1=line2, this is a pure insert; if newlines=[] this is a
 
 
667
        pure delete.  (Similar to difflib.)
 
 
669
        raise NotImplementedError()
 
 
672
    def plan_merge(self, ver_a, ver_b):
 
 
673
        """Return pseudo-annotation indicating how the two versions merge.
 
 
675
        This is computed between versions a and b and their common
 
 
678
        Weave lines present in none of them are skipped entirely.
 
 
680
        inc_a = self.inclusions([ver_a])
 
 
681
        inc_b = self.inclusions([ver_b])
 
 
682
        inc_c = inc_a & inc_b
 
 
684
        for lineno, insert, deleteset, line in self._walk():
 
 
685
            if deleteset & inc_c:
 
 
686
                # killed in parent; can't be in either a or b
 
 
687
                # not relevant to our work
 
 
688
                yield 'killed-base', line
 
 
689
            elif insert in inc_c:
 
 
690
                # was inserted in base
 
 
691
                killed_a = bool(deleteset & inc_a)
 
 
692
                killed_b = bool(deleteset & inc_b)
 
 
693
                if killed_a and killed_b:
 
 
694
                    yield 'killed-both', line
 
 
696
                    yield 'killed-a', line
 
 
698
                    yield 'killed-b', line
 
 
700
                    yield 'unchanged', line
 
 
701
            elif insert in inc_a:
 
 
702
                if deleteset & inc_a:
 
 
703
                    yield 'ghost-a', line
 
 
707
            elif insert in inc_b:
 
 
708
                if deleteset & inc_b:
 
 
709
                    yield 'ghost-b', line
 
 
713
                # not in either revision
 
 
714
                yield 'irrelevant', line
 
 
716
        yield 'unchanged', ''           # terminator
 
 
720
    def weave_merge(self, plan):
 
 
725
        for state, line in plan:
 
 
726
            if state == 'unchanged' or state == 'killed-both':
 
 
727
                # resync and flush queued conflicts changes if any
 
 
728
                if not lines_a and not lines_b:
 
 
730
                elif ch_a and not ch_b:
 
 
732
                    for l in lines_a: yield l
 
 
733
                elif ch_b and not ch_a:
 
 
734
                    for l in lines_b: yield l
 
 
735
                elif lines_a == lines_b:
 
 
736
                    for l in lines_a: yield l
 
 
739
                    for l in lines_a: yield l
 
 
741
                    for l in lines_b: yield l
 
 
748
            if state == 'unchanged':
 
 
751
            elif state == 'killed-a':
 
 
754
            elif state == 'killed-b':
 
 
757
            elif state == 'new-a':
 
 
760
            elif state == 'new-b':
 
 
764
                assert state in ('irrelevant', 'ghost-a', 'ghost-b', 'killed-base',
 
 
769
    def join(self, other):
 
 
770
        """Integrate versions from other into this weave.
 
 
772
        The resulting weave contains all the history of both weaves; 
 
 
773
        any version you could retrieve from either self or other can be 
 
 
774
        retrieved from self after this call.
 
 
776
        It is illegal for the two weaves to contain different values 
 
 
779
        if other.numversions() == 0:
 
 
780
            return          # nothing to update, easy
 
 
781
        # work through in index order to make sure we get all dependencies
 
 
782
        for other_idx, name in enumerate(other._names):
 
 
783
            # TODO: If all the parents of the other version are already 
 
 
784
            # present then we can avoid some work by just taking the delta
 
 
785
            # and adjusting the offsets.
 
 
786
            if self._check_version_consistent(other, other_idx, name):
 
 
788
            new_parents = self._imported_parents(other, other_idx)
 
 
789
            lines = other.get_lines(other_idx)
 
 
790
            sha1 = other._sha1s[other_idx]
 
 
791
            self.add(name, new_parents, lines, sha1)
 
 
794
    def _imported_parents(self, other, other_idx):
 
 
795
        """Return list of parents in self corresponding to indexes in other."""
 
 
797
        for parent_idx in other._parents[other_idx]:
 
 
798
            parent_name = other._names[parent_idx]
 
 
799
            if parent_name not in self._names:
 
 
800
                # should not be possible
 
 
801
                raise WeaveError("missing parent {%s} of {%s} in %r" 
 
 
802
                                 % (parent_name, other._name_map[other_idx], self))
 
 
803
            new_parents.append(self._name_map[parent_name])
 
 
806
    def _check_version_consistent(self, other, other_idx, name):
 
 
807
        """Check if a version in consistent in this and other.
 
 
809
        If present & correct return True;
 
 
810
        if not present in self return False; 
 
 
811
        if inconsistent raise error."""
 
 
812
        this_idx = self._name_map.get(name, -1)
 
 
814
            if self._sha1s[this_idx] != other._sha1s[other_idx]:
 
 
815
                raise WeaveError("inconsistent texts for version {%s} in %r and %r"
 
 
816
                                 % (name, self, other))
 
 
817
            elif set(self._parents[this_idx]) != set(other._parents[other_idx]):
 
 
818
                raise WeaveError("inconsistent parents for version {%s} in %r and %r"
 
 
819
                                 % (name, self, other))
 
 
827
    """Show the weave's table-of-contents"""
 
 
828
    print '%6s %50s %10s %10s' % ('ver', 'name', 'sha1', 'parents')
 
 
829
    for i in (6, 50, 10, 10):
 
 
832
    for i in range(w.numversions()):
 
 
835
        parent_str = ' '.join(map(str, w._parents[i]))
 
 
836
        print '%6d %-50.50s %10.10s %s' % (i, name, sha1, parent_str)
 
 
840
def weave_stats(weave_file, pb):
 
 
841
    from bzrlib.weavefile import read_weave
 
 
843
    wf = file(weave_file, 'rb')
 
 
845
    # FIXME: doesn't work on pipes
 
 
846
    weave_size = wf.tell()
 
 
850
    for i in range(vers):
 
 
851
        pb.update('checking sizes', i, vers)
 
 
852
        for origin, lineno, line in w._extract([i]):
 
 
857
    print 'versions          %9d' % vers
 
 
858
    print 'weave file        %9d bytes' % weave_size
 
 
859
    print 'total contents    %9d bytes' % total
 
 
860
    print 'compression ratio %9.2fx' % (float(total) / float(weave_size))
 
 
863
        print 'average size      %9d bytes' % avg
 
 
864
        print 'relative size     %9.2fx' % (float(weave_size) / float(avg))
 
 
868
    print """bzr weave tool
 
 
870
Experimental tool for weave algorithm.
 
 
874
        Create an empty weave file
 
 
875
    weave get WEAVEFILE VERSION
 
 
876
        Write out specified version.
 
 
877
    weave check WEAVEFILE
 
 
878
        Check consistency of all versions.
 
 
880
        Display table of contents.
 
 
881
    weave add WEAVEFILE NAME [BASE...] < NEWTEXT
 
 
882
        Add NEWTEXT, with specified parent versions.
 
 
883
    weave annotate WEAVEFILE VERSION
 
 
884
        Display origin of each line.
 
 
885
    weave mash WEAVEFILE VERSION...
 
 
886
        Display composite of all selected versions.
 
 
887
    weave merge WEAVEFILE VERSION1 VERSION2 > OUT
 
 
888
        Auto-merge two versions and display conflicts.
 
 
889
    weave diff WEAVEFILE VERSION1 VERSION2 
 
 
890
        Show differences between two versions.
 
 
894
    % weave init foo.weave
 
 
896
    % weave add foo.weave ver0 < foo.txt
 
 
899
    (create updated version)
 
 
901
    % weave get foo.weave 0 | diff -u - foo.txt
 
 
902
    % weave add foo.weave ver1 0 < foo.txt
 
 
905
    % weave get foo.weave 0 > foo.txt       (create forked version)
 
 
907
    % weave add foo.weave ver2 0 < foo.txt
 
 
910
    % weave merge foo.weave 1 2 > foo.txt   (merge them)
 
 
911
    % vi foo.txt                            (resolve conflicts)
 
 
912
    % weave add foo.weave merged 1 2 < foo.txt     (commit merged version)     
 
 
924
        # in case we're run directly from the subdirectory
 
 
925
        sys.path.append('..')
 
 
927
    from bzrlib.weavefile import write_weave, read_weave
 
 
928
    from bzrlib.progress import ProgressBar
 
 
943
        return read_weave(file(argv[2], 'rb'))
 
 
949
        # at the moment, based on everything in the file
 
 
951
        parents = map(int, argv[4:])
 
 
952
        lines = sys.stdin.readlines()
 
 
953
        ver = w.add(name, parents, lines)
 
 
954
        write_weave(w, file(argv[2], 'wb'))
 
 
955
        print 'added version %r %d' % (name, ver)
 
 
958
        if os.path.exists(fn):
 
 
959
            raise IOError("file exists")
 
 
961
        write_weave(w, file(fn, 'wb'))
 
 
962
    elif cmd == 'get': # get one version
 
 
964
        sys.stdout.writelines(w.get_iter(int(argv[3])))
 
 
966
    elif cmd == 'mash': # get composite
 
 
968
        sys.stdout.writelines(w.mash_iter(map(int, argv[3:])))
 
 
971
        from difflib import unified_diff
 
 
974
        v1, v2 = map(int, argv[3:5])
 
 
977
        diff_gen = unified_diff(lines1, lines2,
 
 
978
                                '%s version %d' % (fn, v1),
 
 
979
                                '%s version %d' % (fn, v2))
 
 
980
        sys.stdout.writelines(diff_gen)
 
 
982
    elif cmd == 'annotate':
 
 
984
        # newline is added to all lines regardless; too hard to get
 
 
985
        # reasonable formatting otherwise
 
 
987
        for origin, text in w.annotate(int(argv[3])):
 
 
988
            text = text.rstrip('\r\n')
 
 
990
                print '      | %s' % (text)
 
 
992
                print '%5d | %s' % (origin, text)
 
 
999
        weave_stats(argv[2], ProgressBar())
 
 
1001
    elif cmd == 'check':
 
 
1006
        print '%d versions ok' % w.numversions()
 
 
1008
    elif cmd == 'inclusions':
 
 
1010
        print ' '.join(map(str, w.inclusions([int(argv[3])])))
 
 
1012
    elif cmd == 'parents':
 
 
1014
        print ' '.join(map(str, w._parents[int(argv[3])]))
 
 
1016
    elif cmd == 'plan-merge':
 
 
1018
        for state, line in w.plan_merge(int(argv[3]), int(argv[4])):
 
 
1020
                print '%14s | %s' % (state, line),
 
 
1022
    elif cmd == 'merge':
 
 
1024
        p = w.plan_merge(int(argv[3]), int(argv[4]))
 
 
1025
        sys.stdout.writelines(w.weave_merge(p))
 
 
1027
    elif cmd == 'mash-merge':
 
 
1033
        v1, v2 = map(int, argv[3:5])
 
 
1035
        basis = w.inclusions([v1]).intersection(w.inclusions([v2]))
 
 
1037
        base_lines = list(w.mash_iter(basis))
 
 
1038
        a_lines = list(w.get(v1))
 
 
1039
        b_lines = list(w.get(v2))
 
 
1041
        from bzrlib.merge3 import Merge3
 
 
1042
        m3 = Merge3(base_lines, a_lines, b_lines)
 
 
1044
        name_a = 'version %d' % v1
 
 
1045
        name_b = 'version %d' % v2
 
 
1046
        sys.stdout.writelines(m3.merge_lines(name_a=name_a, name_b=name_b))
 
 
1048
        raise ValueError('unknown command %r' % cmd)
 
 
1052
def profile_main(argv): 
 
 
1053
    import tempfile, hotshot, hotshot.stats
 
 
1055
    prof_f = tempfile.NamedTemporaryFile()
 
 
1057
    prof = hotshot.Profile(prof_f.name)
 
 
1059
    ret = prof.runcall(main, argv)
 
 
1062
    stats = hotshot.stats.load(prof_f.name)
 
 
1064
    stats.sort_stats('cumulative')
 
 
1065
    ## XXX: Might like to write to stderr or the trace file instead but
 
 
1066
    ## print_stats seems hardcoded to stdout
 
 
1067
    stats.print_stats(20)
 
 
1072
if __name__ == '__main__':
 
 
1074
    if '--profile' in sys.argv:
 
 
1076
        args.remove('--profile')
 
 
1077
        sys.exit(profile_main(args))
 
 
1079
        sys.exit(main(sys.argv))