/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/weave.py

[merge] aaron

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
#! /usr/bin/python
 
2
 
 
3
# Copyright (C) 2005 Canonical Ltd
 
4
 
 
5
# This program is free software; you can redistribute it and/or modify
 
6
# it under the terms of the GNU General Public License as published by
 
7
# the Free Software Foundation; either version 2 of the License, or
 
8
# (at your option) any later version.
 
9
 
 
10
# This program is distributed in the hope that it will be useful,
 
11
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
12
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
13
# GNU General Public License for more details.
 
14
 
 
15
# You should have received a copy of the GNU General Public License
 
16
# along with this program; if not, write to the Free Software
 
17
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
18
 
 
19
# Author: Martin Pool <mbp@canonical.com>
 
20
 
 
21
 
 
22
"""Weave - storage of related text file versions"""
 
23
 
 
24
 
 
25
# XXX: If we do weaves this way, will a merge still behave the same
 
26
# way if it's done in a different order?  That's a pretty desirable
 
27
# property.
 
28
 
 
29
# TODO: Nothing here so far assumes the lines are really \n newlines,
 
30
# rather than being split up in some other way.  We could accomodate
 
31
# binaries, perhaps by naively splitting on \n or perhaps using
 
32
# something like a rolling checksum.
 
33
 
 
34
# TODO: End marker for each version so we can stop reading?
 
35
 
 
36
# TODO: Check that no insertion occurs inside a deletion that was
 
37
# active in the version of the insertion.
 
38
 
 
39
# TODO: In addition to the SHA-1 check, perhaps have some code that
 
40
# checks structural constraints of the weave: ie that insertions are
 
41
# properly nested, that there is no text outside of an insertion, that
 
42
# insertions or deletions are not repeated, etc.
 
43
 
 
44
# TODO: Parallel-extract that passes back each line along with a
 
45
# description of which revisions include it.  Nice for checking all
 
46
# shas or calculating stats in parallel.
 
47
 
 
48
# TODO: Using a single _extract routine and then processing the output
 
49
# is probably inefficient.  It's simple enough that we can afford to
 
50
# have slight specializations for different ways its used: annotate,
 
51
# basis for add, get, etc.
 
52
 
 
53
# TODO: Probably the API should work only in names to hide the integer
 
54
# indexes from the user.
 
55
 
 
56
# TODO: Is there any potential performance win by having an add()
 
57
# variant that is passed a pre-cooked version of the single basis
 
58
# version?
 
59
 
 
60
# TODO: Reweave can possibly be made faster by remembering diffs
 
61
# where the basis and destination are unchanged.
 
62
 
 
63
# FIXME: Sometimes we will be given a parents list for a revision
 
64
# that includes some redundant parents (i.e. already a parent of 
 
65
# something in the list.)  We should eliminate them.  This can 
 
66
# be done fairly efficiently because the sequence numbers constrain
 
67
# the possible relationships.
 
68
 
 
69
 
 
70
import sha
 
71
from difflib import SequenceMatcher
 
72
 
 
73
from bzrlib.trace import mutter
 
74
from bzrlib.errors import WeaveError, WeaveFormatError, WeaveParentMismatch, \
 
75
        WeaveRevisionNotPresent, WeaveRevisionAlreadyPresent
 
76
from bzrlib.tsort import topo_sort
 
77
 
 
78
 
 
79
class Weave(object):
 
80
    """weave - versioned text file storage.
 
81
    
 
82
    A Weave manages versions of line-based text files, keeping track
 
83
    of the originating version for each line.
 
84
 
 
85
    To clients the "lines" of the file are represented as a list of strings.
 
86
    These strings  will typically have terminal newline characters, but
 
87
    this is not required.  In particular files commonly do not have a newline
 
88
    at the end of the file.
 
89
 
 
90
    Texts can be identified in either of two ways:
 
91
 
 
92
    * a nonnegative index number.
 
93
 
 
94
    * a version-id string.
 
95
 
 
96
    Typically the index number will be valid only inside this weave and
 
97
    the version-id is used to reference it in the larger world.
 
98
 
 
99
    The weave is represented as a list mixing edit instructions and
 
100
    literal text.  Each entry in _weave can be either a string (or
 
101
    unicode), or a tuple.  If a string, it means that the given line
 
102
    should be output in the currently active revisions.
 
103
 
 
104
    If a tuple, it gives a processing instruction saying in which
 
105
    revisions the enclosed lines are active.  The tuple has the form
 
106
    (instruction, version).
 
107
 
 
108
    The instruction can be '{' or '}' for an insertion block, and '['
 
109
    and ']' for a deletion block respectively.  The version is the
 
110
    integer version index.  There is no replace operator, only deletes
 
111
    and inserts.  For '}', the end of an insertion, there is no
 
112
    version parameter because it always closes the most recently
 
113
    opened insertion.
 
114
 
 
115
    Constraints/notes:
 
116
 
 
117
    * A later version can delete lines that were introduced by any
 
118
      number of ancestor versions; this implies that deletion
 
119
      instructions can span insertion blocks without regard to the
 
120
      insertion block's nesting.
 
121
 
 
122
    * Similarly, deletions need not be properly nested with regard to
 
123
      each other, because they might have been generated by
 
124
      independent revisions.
 
125
 
 
126
    * Insertions are always made by inserting a new bracketed block
 
127
      into a single point in the previous weave.  This implies they
 
128
      can nest but not overlap, and the nesting must always have later
 
129
      insertions on the inside.
 
130
 
 
131
    * It doesn't seem very useful to have an active insertion
 
132
      inside an inactive insertion, but it might happen.
 
133
      
 
134
    * Therefore, all instructions are always"considered"; that
 
135
      is passed onto and off the stack.  An outer inactive block
 
136
      doesn't disable an inner block.
 
137
 
 
138
    * Lines are enabled if the most recent enclosing insertion is
 
139
      active and none of the enclosing deletions are active.
 
140
 
 
141
    * There is no point having a deletion directly inside its own
 
142
      insertion; you might as well just not write it.  And there
 
143
      should be no way to get an earlier version deleting a later
 
144
      version.
 
145
 
 
146
    _weave
 
147
        Text of the weave; list of control instruction tuples and strings.
 
148
 
 
149
    _parents
 
150
        List of parents, indexed by version number.
 
151
        It is only necessary to store the minimal set of parents for
 
152
        each version; the parent's parents are implied.
 
153
 
 
154
    _sha1s
 
155
        List of hex SHA-1 of each version.
 
156
 
 
157
    _names
 
158
        List of symbolic names for each version.  Each should be unique.
 
159
 
 
160
    _name_map
 
161
        For each name, the version number.
 
162
 
 
163
    _weave_name
 
164
        Descriptive name of this weave; typically the filename if known.
 
165
        Set by read_weave.
 
166
    """
 
167
 
 
168
    __slots__ = ['_weave', '_parents', '_sha1s', '_names', '_name_map',
 
169
                 '_weave_name']
 
170
    
 
171
    def __init__(self, weave_name=None):
 
172
        self._weave = []
 
173
        self._parents = []
 
174
        self._sha1s = []
 
175
        self._names = []
 
176
        self._name_map = {}
 
177
        self._weave_name = weave_name
 
178
 
 
179
 
 
180
    def copy(self):
 
181
        """Return a deep copy of self.
 
182
        
 
183
        The copy can be modified without affecting the original weave."""
 
184
        other = Weave()
 
185
        other._weave = self._weave[:]
 
186
        other._parents = self._parents[:]
 
187
        other._sha1s = self._sha1s[:]
 
188
        other._names = self._names[:]
 
189
        other._name_map = self._name_map.copy()
 
190
        other._weave_name = self._weave_name
 
191
        return other
 
192
 
 
193
    def __eq__(self, other):
 
194
        if not isinstance(other, Weave):
 
195
            return False
 
196
        return self._parents == other._parents \
 
197
               and self._weave == other._weave \
 
198
               and self._sha1s == other._sha1s 
 
199
 
 
200
    
 
201
    def __ne__(self, other):
 
202
        return not self.__eq__(other)
 
203
 
 
204
 
 
205
    def maybe_lookup(self, name_or_index):
 
206
        """Convert possible symbolic name to index, or pass through indexes."""
 
207
        if isinstance(name_or_index, (int, long)):
 
208
            return name_or_index
 
209
        else:
 
210
            return self.lookup(name_or_index)
 
211
 
 
212
        
 
213
    def lookup(self, name):
 
214
        """Convert symbolic version name to index."""
 
215
        try:
 
216
            return self._name_map[name]
 
217
        except KeyError:
 
218
            raise WeaveRevisionNotPresent(name, self)
 
219
 
 
220
    def names(self):
 
221
        return self._names[:]
 
222
 
 
223
    def iter_names(self):
 
224
        """Yield a list of all names in this weave."""
 
225
        return iter(self._names)
 
226
 
 
227
    def idx_to_name(self, version):
 
228
        return self._names[version]
 
229
 
 
230
    def _check_repeated_add(self, name, parents, text, sha1):
 
231
        """Check that a duplicated add is OK.
 
232
 
 
233
        If it is, return the (old) index; otherwise raise an exception.
 
234
        """
 
235
        idx = self.lookup(name)
 
236
        if sorted(self._parents[idx]) != sorted(parents) \
 
237
            or sha1 != self._sha1s[idx]:
 
238
            raise WeaveRevisionAlreadyPresent(name, self)
 
239
        return idx
 
240
        
 
241
    def add(self, name, parents, text, sha1=None):
 
242
        """Add a single text on top of the weave.
 
243
  
 
244
        Returns the index number of the newly added version.
 
245
 
 
246
        name
 
247
            Symbolic name for this version.
 
248
            (Typically the revision-id of the revision that added it.)
 
249
 
 
250
        parents
 
251
            List or set of direct parent version numbers.
 
252
            
 
253
        text
 
254
            Sequence of lines to be added in the new version.
 
255
 
 
256
        sha -- SHA-1 of the file, if known.  This is trusted to be
 
257
            correct if supplied.
 
258
        """
 
259
        from bzrlib.osutils import sha_strings
 
260
 
 
261
        assert isinstance(name, basestring)
 
262
        if sha1 is None:
 
263
            sha1 = sha_strings(text)
 
264
        if name in self._name_map:
 
265
            return self._check_repeated_add(name, parents, text, sha1)
 
266
 
 
267
        parents = map(self.maybe_lookup, parents)
 
268
        self._check_versions(parents)
 
269
        ## self._check_lines(text)
 
270
        new_version = len(self._parents)
 
271
 
 
272
 
 
273
        # if we abort after here the (in-memory) weave will be corrupt because only
 
274
        # some fields are updated
 
275
        self._parents.append(parents[:])
 
276
        self._sha1s.append(sha1)
 
277
        self._names.append(name)
 
278
        self._name_map[name] = new_version
 
279
 
 
280
            
 
281
        if not parents:
 
282
            # special case; adding with no parents revision; can do
 
283
            # this more quickly by just appending unconditionally.
 
284
            # even more specially, if we're adding an empty text we
 
285
            # need do nothing at all.
 
286
            if text:
 
287
                self._weave.append(('{', new_version))
 
288
                self._weave.extend(text)
 
289
                self._weave.append(('}', None))
 
290
        
 
291
            return new_version
 
292
 
 
293
        if len(parents) == 1:
 
294
            pv = list(parents)[0]
 
295
            if sha1 == self._sha1s[pv]:
 
296
                # special case: same as the single parent
 
297
                return new_version
 
298
            
 
299
 
 
300
        ancestors = self.inclusions(parents)
 
301
 
 
302
        l = self._weave
 
303
 
 
304
        # basis a list of (origin, lineno, line)
 
305
        basis_lineno = []
 
306
        basis_lines = []
 
307
        for origin, lineno, line in self._extract(ancestors):
 
308
            basis_lineno.append(lineno)
 
309
            basis_lines.append(line)
 
310
 
 
311
        # another small special case: a merge, producing the same text
 
312
        # as auto-merge
 
313
        if text == basis_lines:
 
314
            return new_version            
 
315
 
 
316
        # add a sentinal, because we can also match against the final line
 
317
        basis_lineno.append(len(self._weave))
 
318
 
 
319
        # XXX: which line of the weave should we really consider
 
320
        # matches the end of the file?  the current code says it's the
 
321
        # last line of the weave?
 
322
 
 
323
        #print 'basis_lines:', basis_lines
 
324
        #print 'new_lines:  ', lines
 
325
 
 
326
        s = SequenceMatcher(None, basis_lines, text)
 
327
 
 
328
        # offset gives the number of lines that have been inserted
 
329
        # into the weave up to the current point; if the original edit instruction
 
330
        # says to change line A then we actually change (A+offset)
 
331
        offset = 0
 
332
 
 
333
        for tag, i1, i2, j1, j2 in s.get_opcodes():
 
334
            # i1,i2 are given in offsets within basis_lines; we need to map them
 
335
            # back to offsets within the entire weave
 
336
            #print 'raw match', tag, i1, i2, j1, j2
 
337
            if tag == 'equal':
 
338
                continue
 
339
 
 
340
            i1 = basis_lineno[i1]
 
341
            i2 = basis_lineno[i2]
 
342
 
 
343
            assert 0 <= j1 <= j2 <= len(text)
 
344
 
 
345
            #print tag, i1, i2, j1, j2
 
346
 
 
347
            # the deletion and insertion are handled separately.
 
348
            # first delete the region.
 
349
            if i1 != i2:
 
350
                self._weave.insert(i1+offset, ('[', new_version))
 
351
                self._weave.insert(i2+offset+1, (']', new_version))
 
352
                offset += 2
 
353
 
 
354
            if j1 != j2:
 
355
                # there may have been a deletion spanning up to
 
356
                # i2; we want to insert after this region to make sure
 
357
                # we don't destroy ourselves
 
358
                i = i2 + offset
 
359
                self._weave[i:i] = ([('{', new_version)] 
 
360
                                    + text[j1:j2] 
 
361
                                    + [('}', None)])
 
362
                offset += 2 + (j2 - j1)
 
363
 
 
364
        return new_version
 
365
 
 
366
    def add_identical(self, old_rev_id, new_rev_id, parents):
 
367
        """Add an identical text to old_rev_id as new_rev_id."""
 
368
        old_lines = self.get(self.lookup(old_rev_id))
 
369
        self.add(new_rev_id, parents, old_lines)
 
370
 
 
371
    def inclusions(self, versions):
 
372
        """Return set of all ancestors of given version(s)."""
 
373
        i = set(versions)
 
374
        for v in xrange(max(versions), 0, -1):
 
375
            if v in i:
 
376
                # include all its parents
 
377
                i.update(self._parents[v])
 
378
        return i
 
379
        ## except IndexError:
 
380
        ##     raise ValueError("version %d not present in weave" % v)
 
381
 
 
382
 
 
383
    def parents(self, version):
 
384
        return self._parents[version]
 
385
 
 
386
 
 
387
    def parent_names(self, version):
 
388
        """Return version names for parents of a version."""
 
389
        return map(self.idx_to_name, self._parents[self.lookup(version)])
 
390
 
 
391
 
 
392
    def minimal_parents(self, version):
 
393
        """Find the minimal set of parents for the version."""
 
394
        included = self._parents[version]
 
395
        if not included:
 
396
            return []
 
397
        
 
398
        li = list(included)
 
399
        li.sort(reverse=True)
 
400
 
 
401
        mininc = []
 
402
        gotit = set()
 
403
 
 
404
        for pv in li:
 
405
            if pv not in gotit:
 
406
                mininc.append(pv)
 
407
                gotit.update(self.inclusions(pv))
 
408
 
 
409
        assert mininc[0] >= 0
 
410
        assert mininc[-1] < version
 
411
        return mininc
 
412
 
 
413
 
 
414
 
 
415
    def _check_lines(self, text):
 
416
        if not isinstance(text, list):
 
417
            raise ValueError("text should be a list, not %s" % type(text))
 
418
 
 
419
        for l in text:
 
420
            if not isinstance(l, basestring):
 
421
                raise ValueError("text line should be a string or unicode, not %s"
 
422
                                 % type(l))
 
423
        
 
424
 
 
425
 
 
426
    def _check_versions(self, indexes):
 
427
        """Check everything in the sequence of indexes is valid"""
 
428
        for i in indexes:
 
429
            try:
 
430
                self._parents[i]
 
431
            except IndexError:
 
432
                raise IndexError("invalid version number %r" % i)
 
433
 
 
434
    
 
435
    def annotate(self, name_or_index):
 
436
        return list(self.annotate_iter(name_or_index))
 
437
 
 
438
 
 
439
    def annotate_iter(self, name_or_index):
 
440
        """Yield list of (index-id, line) pairs for the specified version.
 
441
 
 
442
        The index indicates when the line originated in the weave."""
 
443
        incls = [self.maybe_lookup(name_or_index)]
 
444
        for origin, lineno, text in self._extract(incls):
 
445
            yield origin, text
 
446
 
 
447
    def _walk(self):
 
448
        """Walk the weave.
 
449
 
 
450
        Yields sequence of
 
451
        (lineno, insert, deletes, text)
 
452
        for each literal line.
 
453
        """
 
454
        
 
455
        istack = []
 
456
        dset = set()
 
457
 
 
458
        lineno = 0         # line of weave, 0-based
 
459
 
 
460
        for l in self._weave:
 
461
            if isinstance(l, tuple):
 
462
                c, v = l
 
463
                isactive = None
 
464
                if c == '{':
 
465
                    istack.append(v)
 
466
                elif c == '}':
 
467
                    istack.pop()
 
468
                elif c == '[':
 
469
                    assert v not in dset
 
470
                    dset.add(v)
 
471
                elif c == ']':
 
472
                    dset.remove(v)
 
473
                else:
 
474
                    raise WeaveFormatError('unexpected instruction %r' % v)
 
475
            else:
 
476
                assert isinstance(l, basestring)
 
477
                assert istack
 
478
                yield lineno, istack[-1], dset, l
 
479
            lineno += 1
 
480
 
 
481
 
 
482
 
 
483
    def _extract(self, versions):
 
484
        """Yield annotation of lines in included set.
 
485
 
 
486
        Yields a sequence of tuples (origin, lineno, text), where
 
487
        origin is the origin version, lineno the index in the weave,
 
488
        and text the text of the line.
 
489
 
 
490
        The set typically but not necessarily corresponds to a version.
 
491
        """
 
492
        for i in versions:
 
493
            if not isinstance(i, int):
 
494
                raise ValueError(i)
 
495
            
 
496
        included = self.inclusions(versions)
 
497
 
 
498
        istack = []
 
499
        dset = set()
 
500
 
 
501
        lineno = 0         # line of weave, 0-based
 
502
 
 
503
        isactive = None
 
504
 
 
505
        result = []
 
506
 
 
507
        WFE = WeaveFormatError
 
508
 
 
509
        for l in self._weave:
 
510
            if isinstance(l, tuple):
 
511
                c, v = l
 
512
                isactive = None
 
513
                if c == '{':
 
514
                    assert v not in istack
 
515
                    istack.append(v)
 
516
                elif c == '}':
 
517
                    istack.pop()
 
518
                elif c == '[':
 
519
                    if v in included:
 
520
                        assert v not in dset
 
521
                        dset.add(v)
 
522
                else:
 
523
                    assert c == ']'
 
524
                    if v in included:
 
525
                        assert v in dset
 
526
                        dset.remove(v)
 
527
            else:
 
528
                assert isinstance(l, basestring)
 
529
                if isactive is None:
 
530
                    isactive = (not dset) and istack and (istack[-1] in included)
 
531
                if isactive:
 
532
                    result.append((istack[-1], lineno, l))
 
533
            lineno += 1
 
534
        if istack:
 
535
            raise WeaveFormatError("unclosed insertion blocks "
 
536
                    "at end of weave: %s" % istack)
 
537
        if dset:
 
538
            raise WeaveFormatError("unclosed deletion blocks at end of weave: %s"
 
539
                                   % dset)
 
540
        return result
 
541
 
 
542
 
 
543
    def get_iter(self, name_or_index):
 
544
        """Yield lines for the specified version."""
 
545
        incls = [self.maybe_lookup(name_or_index)]
 
546
        for origin, lineno, line in self._extract(incls):
 
547
            yield line
 
548
 
 
549
 
 
550
    def get_text(self, name_or_index):
 
551
        return ''.join(self.get_iter(name_or_index))
 
552
        assert isinstance(version, int)
 
553
 
 
554
 
 
555
    def get_lines(self, name_or_index):
 
556
        return list(self.get_iter(name_or_index))
 
557
 
 
558
 
 
559
    get = get_lines
 
560
 
 
561
 
 
562
    def mash_iter(self, included):
 
563
        """Return composed version of multiple included versions."""
 
564
        included = map(self.maybe_lookup, included)
 
565
        for origin, lineno, text in self._extract(included):
 
566
            yield text
 
567
 
 
568
 
 
569
    def dump(self, to_file):
 
570
        from pprint import pprint
 
571
        print >>to_file, "Weave._weave = ",
 
572
        pprint(self._weave, to_file)
 
573
        print >>to_file, "Weave._parents = ",
 
574
        pprint(self._parents, to_file)
 
575
 
 
576
 
 
577
 
 
578
    def numversions(self):
 
579
        l = len(self._parents)
 
580
        assert l == len(self._sha1s)
 
581
        return l
 
582
 
 
583
 
 
584
    def __len__(self):
 
585
        return self.numversions()
 
586
 
 
587
 
 
588
    def check(self, progress_bar=None):
 
589
        # check no circular inclusions
 
590
        for version in range(self.numversions()):
 
591
            inclusions = list(self._parents[version])
 
592
            if inclusions:
 
593
                inclusions.sort()
 
594
                if inclusions[-1] >= version:
 
595
                    raise WeaveFormatError("invalid included version %d for index %d"
 
596
                                           % (inclusions[-1], version))
 
597
 
 
598
        # try extracting all versions; this is a bit slow and parallel
 
599
        # extraction could be used
 
600
        nv = self.numversions()
 
601
        for version in range(nv):
 
602
            if progress_bar:
 
603
                progress_bar.update('checking text', version, nv)
 
604
            s = sha.new()
 
605
            for l in self.get_iter(version):
 
606
                s.update(l)
 
607
            hd = s.hexdigest()
 
608
            expected = self._sha1s[version]
 
609
            if hd != expected:
 
610
                raise WeaveError("mismatched sha1 for version %d; "
 
611
                                 "got %s, expected %s"
 
612
                                 % (version, hd, expected))
 
613
 
 
614
        # TODO: check insertions are properly nested, that there are
 
615
        # no lines outside of insertion blocks, that deletions are
 
616
        # properly paired, etc.
 
617
 
 
618
 
 
619
 
 
620
    def merge(self, merge_versions):
 
621
        """Automerge and mark conflicts between versions.
 
622
 
 
623
        This returns a sequence, each entry describing alternatives
 
624
        for a chunk of the file.  Each of the alternatives is given as
 
625
        a list of lines.
 
626
 
 
627
        If there is a chunk of the file where there's no diagreement,
 
628
        only one alternative is given.
 
629
        """
 
630
        # approach: find the included versions common to all the
 
631
        # merged versions
 
632
        raise NotImplementedError()
 
633
 
 
634
 
 
635
 
 
636
    def _delta(self, included, lines):
 
637
        """Return changes from basis to new revision.
 
638
 
 
639
        The old text for comparison is the union of included revisions.
 
640
 
 
641
        This is used in inserting a new text.
 
642
 
 
643
        Delta is returned as a sequence of
 
644
        (weave1, weave2, newlines).
 
645
 
 
646
        This indicates that weave1:weave2 of the old weave should be
 
647
        replaced by the sequence of lines in newlines.  Note that
 
648
        these line numbers are positions in the total weave and don't
 
649
        correspond to the lines in any extracted version, or even the
 
650
        extracted union of included versions.
 
651
 
 
652
        If line1=line2, this is a pure insert; if newlines=[] this is a
 
653
        pure delete.  (Similar to difflib.)
 
654
        """
 
655
        raise NotImplementedError()
 
656
 
 
657
            
 
658
    def plan_merge(self, ver_a, ver_b):
 
659
        """Return pseudo-annotation indicating how the two versions merge.
 
660
 
 
661
        This is computed between versions a and b and their common
 
662
        base.
 
663
 
 
664
        Weave lines present in none of them are skipped entirely.
 
665
        """
 
666
        inc_a = self.inclusions([ver_a])
 
667
        inc_b = self.inclusions([ver_b])
 
668
        inc_c = inc_a & inc_b
 
669
 
 
670
        for lineno, insert, deleteset, line in self._walk():
 
671
            if deleteset & inc_c:
 
672
                # killed in parent; can't be in either a or b
 
673
                # not relevant to our work
 
674
                yield 'killed-base', line
 
675
            elif insert in inc_c:
 
676
                # was inserted in base
 
677
                killed_a = bool(deleteset & inc_a)
 
678
                killed_b = bool(deleteset & inc_b)
 
679
                if killed_a and killed_b:
 
680
                    yield 'killed-both', line
 
681
                elif killed_a:
 
682
                    yield 'killed-a', line
 
683
                elif killed_b:
 
684
                    yield 'killed-b', line
 
685
                else:
 
686
                    yield 'unchanged', line
 
687
            elif insert in inc_a:
 
688
                if deleteset & inc_a:
 
689
                    yield 'ghost-a', line
 
690
                else:
 
691
                    # new in A; not in B
 
692
                    yield 'new-a', line
 
693
            elif insert in inc_b:
 
694
                if deleteset & inc_b:
 
695
                    yield 'ghost-b', line
 
696
                else:
 
697
                    yield 'new-b', line
 
698
            else:
 
699
                # not in either revision
 
700
                yield 'irrelevant', line
 
701
 
 
702
        yield 'unchanged', ''           # terminator
 
703
 
 
704
 
 
705
 
 
706
    def weave_merge(self, plan):
 
707
        lines_a = []
 
708
        lines_b = []
 
709
        ch_a = ch_b = False
 
710
 
 
711
        for state, line in plan:
 
712
            if state == 'unchanged' or state == 'killed-both':
 
713
                # resync and flush queued conflicts changes if any
 
714
                if not lines_a and not lines_b:
 
715
                    pass
 
716
                elif ch_a and not ch_b:
 
717
                    # one-sided change:                    
 
718
                    for l in lines_a: yield l
 
719
                elif ch_b and not ch_a:
 
720
                    for l in lines_b: yield l
 
721
                elif lines_a == lines_b:
 
722
                    for l in lines_a: yield l
 
723
                else:
 
724
                    yield '<<<<<<<\n'
 
725
                    for l in lines_a: yield l
 
726
                    yield '=======\n'
 
727
                    for l in lines_b: yield l
 
728
                    yield '>>>>>>>\n'
 
729
 
 
730
                del lines_a[:]
 
731
                del lines_b[:]
 
732
                ch_a = ch_b = False
 
733
                
 
734
            if state == 'unchanged':
 
735
                if line:
 
736
                    yield line
 
737
            elif state == 'killed-a':
 
738
                ch_a = True
 
739
                lines_b.append(line)
 
740
            elif state == 'killed-b':
 
741
                ch_b = True
 
742
                lines_a.append(line)
 
743
            elif state == 'new-a':
 
744
                ch_a = True
 
745
                lines_a.append(line)
 
746
            elif state == 'new-b':
 
747
                ch_b = True
 
748
                lines_b.append(line)
 
749
            else:
 
750
                assert state in ('irrelevant', 'ghost-a', 'ghost-b', 'killed-base',
 
751
                                 'killed-both'), \
 
752
                       state
 
753
 
 
754
                
 
755
    def join(self, other):
 
756
        """Integrate versions from other into this weave.
 
757
 
 
758
        The resulting weave contains all the history of both weaves; 
 
759
        any version you could retrieve from either self or other can be 
 
760
        retrieved from self after this call.
 
761
 
 
762
        It is illegal for the two weaves to contain different values 
 
763
        or different parents for any version.  See also reweave().
 
764
        """
 
765
        if other.numversions() == 0:
 
766
            return          # nothing to update, easy
 
767
        # two loops so that we do not change ourselves before verifying it
 
768
        # will be ok
 
769
        # work through in index order to make sure we get all dependencies
 
770
        for other_idx, name in enumerate(other._names):
 
771
            if self._check_version_consistent(other, other_idx, name):
 
772
                continue
 
773
        for other_idx, name in enumerate(other._names):
 
774
            # TODO: If all the parents of the other version are already 
 
775
            # present then we can avoid some work by just taking the delta
 
776
            # and adjusting the offsets.
 
777
            new_parents = self._imported_parents(other, other_idx)
 
778
            lines = other.get_lines(other_idx)
 
779
            sha1 = other._sha1s[other_idx]
 
780
            self.add(name, new_parents, lines, sha1)
 
781
 
 
782
 
 
783
    def _imported_parents(self, other, other_idx):
 
784
        """Return list of parents in self corresponding to indexes in other."""
 
785
        new_parents = []
 
786
        for parent_idx in other._parents[other_idx]:
 
787
            parent_name = other._names[parent_idx]
 
788
            if parent_name not in self._names:
 
789
                # should not be possible
 
790
                raise WeaveError("missing parent {%s} of {%s} in %r" 
 
791
                                 % (parent_name, other._name_map[other_idx], self))
 
792
            new_parents.append(self._name_map[parent_name])
 
793
        return new_parents
 
794
 
 
795
    def _check_version_consistent(self, other, other_idx, name):
 
796
        """Check if a version in consistent in this and other.
 
797
 
 
798
        To be consistent it must have:
 
799
 
 
800
         * the same text
 
801
         * the same direct parents (by name, not index, and disregarding
 
802
           order)
 
803
        
 
804
        If present & correct return True;
 
805
        if not present in self return False; 
 
806
        if inconsistent raise error."""
 
807
        this_idx = self._name_map.get(name, -1)
 
808
        if this_idx != -1:
 
809
            if self._sha1s[this_idx] != other._sha1s[other_idx]:
 
810
                raise WeaveError("inconsistent texts for version {%s} "
 
811
                                 "when joining weaves"
 
812
                                 % (name))
 
813
            self_parents = self._parents[this_idx]
 
814
            other_parents = other._parents[other_idx]
 
815
            n1 = [self._names[i] for i in self_parents]
 
816
            n2 = [other._names[i] for i in other_parents]
 
817
            n1.sort()
 
818
            n2.sort()
 
819
            if n1 != n2:
 
820
                raise WeaveParentMismatch("inconsistent parents "
 
821
                    "for version {%s}: %s vs %s" % (name, n1, n2))
 
822
            else:
 
823
                return True         # ok!
 
824
        else:
 
825
            return False
 
826
 
 
827
    def reweave(self, other):
 
828
        """Reweave self with other."""
 
829
        new_weave = reweave(self, other)
 
830
        for attr in self.__slots__:
 
831
            setattr(self, attr, getattr(new_weave, attr))
 
832
 
 
833
 
 
834
def reweave(wa, wb):
 
835
    """Combine two weaves and return the result.
 
836
 
 
837
    This works even if a revision R has different parents in 
 
838
    wa and wb.  In the resulting weave all the parents are given.
 
839
 
 
840
    This is done by just building up a new weave, maintaining ordering 
 
841
    of the versions in the two inputs.  More efficient approaches
 
842
    might be possible but it should only be necessary to do 
 
843
    this operation rarely, when a new previously ghost version is 
 
844
    inserted.
 
845
    """
 
846
    wr = Weave()
 
847
    ia = ib = 0
 
848
    queue_a = range(wa.numversions())
 
849
    queue_b = range(wb.numversions())
 
850
    # first determine combined parents of all versions
 
851
    # map from version name -> all parent names
 
852
    combined_parents = _reweave_parent_graphs(wa, wb)
 
853
    mutter("combined parents: %r", combined_parents)
 
854
    order = topo_sort(combined_parents.iteritems())
 
855
    mutter("order to reweave: %r", order)
 
856
    for name in order:
 
857
        if name in wa._name_map:
 
858
            lines = wa.get_lines(name)
 
859
            if name in wb._name_map:
 
860
                assert lines == wb.get_lines(name)
 
861
        else:
 
862
            lines = wb.get_lines(name)
 
863
        wr.add(name, combined_parents[name], lines)
 
864
    return wr
 
865
 
 
866
 
 
867
def _reweave_parent_graphs(wa, wb):
 
868
    """Return combined parent ancestry for two weaves.
 
869
    
 
870
    Returned as a list of (version_name, set(parent_names))"""
 
871
    combined = {}
 
872
    for weave in [wa, wb]:
 
873
        for idx, name in enumerate(weave._names):
 
874
            p = combined.setdefault(name, set())
 
875
            p.update(map(weave.idx_to_name, weave._parents[idx]))
 
876
    return combined
 
877
 
 
878
 
 
879
def weave_toc(w):
 
880
    """Show the weave's table-of-contents"""
 
881
    print '%6s %50s %10s %10s' % ('ver', 'name', 'sha1', 'parents')
 
882
    for i in (6, 50, 10, 10):
 
883
        print '-' * i,
 
884
    print
 
885
    for i in range(w.numversions()):
 
886
        sha1 = w._sha1s[i]
 
887
        name = w._names[i]
 
888
        parent_str = ' '.join(map(str, w._parents[i]))
 
889
        print '%6d %-50.50s %10.10s %s' % (i, name, sha1, parent_str)
 
890
 
 
891
 
 
892
 
 
893
def weave_stats(weave_file, pb):
 
894
    from bzrlib.weavefile import read_weave
 
895
 
 
896
    wf = file(weave_file, 'rb')
 
897
    w = read_weave(wf)
 
898
    # FIXME: doesn't work on pipes
 
899
    weave_size = wf.tell()
 
900
 
 
901
    total = 0
 
902
    vers = len(w)
 
903
    for i in range(vers):
 
904
        pb.update('checking sizes', i, vers)
 
905
        for origin, lineno, line in w._extract([i]):
 
906
            total += len(line)
 
907
 
 
908
    pb.clear()
 
909
 
 
910
    print 'versions          %9d' % vers
 
911
    print 'weave file        %9d bytes' % weave_size
 
912
    print 'total contents    %9d bytes' % total
 
913
    print 'compression ratio %9.2fx' % (float(total) / float(weave_size))
 
914
    if vers:
 
915
        avg = total/vers
 
916
        print 'average size      %9d bytes' % avg
 
917
        print 'relative size     %9.2fx' % (float(weave_size) / float(avg))
 
918
 
 
919
 
 
920
def usage():
 
921
    print """bzr weave tool
 
922
 
 
923
Experimental tool for weave algorithm.
 
924
 
 
925
usage:
 
926
    weave init WEAVEFILE
 
927
        Create an empty weave file
 
928
    weave get WEAVEFILE VERSION
 
929
        Write out specified version.
 
930
    weave check WEAVEFILE
 
931
        Check consistency of all versions.
 
932
    weave toc WEAVEFILE
 
933
        Display table of contents.
 
934
    weave add WEAVEFILE NAME [BASE...] < NEWTEXT
 
935
        Add NEWTEXT, with specified parent versions.
 
936
    weave annotate WEAVEFILE VERSION
 
937
        Display origin of each line.
 
938
    weave mash WEAVEFILE VERSION...
 
939
        Display composite of all selected versions.
 
940
    weave merge WEAVEFILE VERSION1 VERSION2 > OUT
 
941
        Auto-merge two versions and display conflicts.
 
942
    weave diff WEAVEFILE VERSION1 VERSION2 
 
943
        Show differences between two versions.
 
944
 
 
945
example:
 
946
 
 
947
    % weave init foo.weave
 
948
    % vi foo.txt
 
949
    % weave add foo.weave ver0 < foo.txt
 
950
    added version 0
 
951
 
 
952
    (create updated version)
 
953
    % vi foo.txt
 
954
    % weave get foo.weave 0 | diff -u - foo.txt
 
955
    % weave add foo.weave ver1 0 < foo.txt
 
956
    added version 1
 
957
 
 
958
    % weave get foo.weave 0 > foo.txt       (create forked version)
 
959
    % vi foo.txt
 
960
    % weave add foo.weave ver2 0 < foo.txt
 
961
    added version 2
 
962
 
 
963
    % weave merge foo.weave 1 2 > foo.txt   (merge them)
 
964
    % vi foo.txt                            (resolve conflicts)
 
965
    % weave add foo.weave merged 1 2 < foo.txt     (commit merged version)     
 
966
    
 
967
"""
 
968
    
 
969
 
 
970
 
 
971
def main(argv):
 
972
    import sys
 
973
    import os
 
974
    try:
 
975
        import bzrlib
 
976
    except ImportError:
 
977
        # in case we're run directly from the subdirectory
 
978
        sys.path.append('..')
 
979
        import bzrlib
 
980
    from bzrlib.weavefile import write_weave, read_weave
 
981
    from bzrlib.progress import ProgressBar
 
982
 
 
983
    try:
 
984
        import psyco
 
985
        psyco.full()
 
986
    except ImportError:
 
987
        pass
 
988
 
 
989
    if len(argv) < 2:
 
990
        usage()
 
991
        return 0
 
992
 
 
993
    cmd = argv[1]
 
994
 
 
995
    def readit():
 
996
        return read_weave(file(argv[2], 'rb'))
 
997
    
 
998
    if cmd == 'help':
 
999
        usage()
 
1000
    elif cmd == 'add':
 
1001
        w = readit()
 
1002
        # at the moment, based on everything in the file
 
1003
        name = argv[3]
 
1004
        parents = map(int, argv[4:])
 
1005
        lines = sys.stdin.readlines()
 
1006
        ver = w.add(name, parents, lines)
 
1007
        write_weave(w, file(argv[2], 'wb'))
 
1008
        print 'added version %r %d' % (name, ver)
 
1009
    elif cmd == 'init':
 
1010
        fn = argv[2]
 
1011
        if os.path.exists(fn):
 
1012
            raise IOError("file exists")
 
1013
        w = Weave()
 
1014
        write_weave(w, file(fn, 'wb'))
 
1015
    elif cmd == 'get': # get one version
 
1016
        w = readit()
 
1017
        sys.stdout.writelines(w.get_iter(int(argv[3])))
 
1018
        
 
1019
    elif cmd == 'mash': # get composite
 
1020
        w = readit()
 
1021
        sys.stdout.writelines(w.mash_iter(map(int, argv[3:])))
 
1022
 
 
1023
    elif cmd == 'diff':
 
1024
        from difflib import unified_diff
 
1025
        w = readit()
 
1026
        fn = argv[2]
 
1027
        v1, v2 = map(int, argv[3:5])
 
1028
        lines1 = w.get(v1)
 
1029
        lines2 = w.get(v2)
 
1030
        diff_gen = unified_diff(lines1, lines2,
 
1031
                                '%s version %d' % (fn, v1),
 
1032
                                '%s version %d' % (fn, v2))
 
1033
        sys.stdout.writelines(diff_gen)
 
1034
            
 
1035
    elif cmd == 'annotate':
 
1036
        w = readit()
 
1037
        # newline is added to all lines regardless; too hard to get
 
1038
        # reasonable formatting otherwise
 
1039
        lasto = None
 
1040
        for origin, text in w.annotate(int(argv[3])):
 
1041
            text = text.rstrip('\r\n')
 
1042
            if origin == lasto:
 
1043
                print '      | %s' % (text)
 
1044
            else:
 
1045
                print '%5d | %s' % (origin, text)
 
1046
                lasto = origin
 
1047
                
 
1048
    elif cmd == 'toc':
 
1049
        weave_toc(readit())
 
1050
 
 
1051
    elif cmd == 'stats':
 
1052
        weave_stats(argv[2], ProgressBar())
 
1053
        
 
1054
    elif cmd == 'check':
 
1055
        w = readit()
 
1056
        pb = ProgressBar()
 
1057
        w.check(pb)
 
1058
        pb.clear()
 
1059
        print '%d versions ok' % w.numversions()
 
1060
 
 
1061
    elif cmd == 'inclusions':
 
1062
        w = readit()
 
1063
        print ' '.join(map(str, w.inclusions([int(argv[3])])))
 
1064
 
 
1065
    elif cmd == 'parents':
 
1066
        w = readit()
 
1067
        print ' '.join(map(str, w._parents[int(argv[3])]))
 
1068
 
 
1069
    elif cmd == 'plan-merge':
 
1070
        w = readit()
 
1071
        for state, line in w.plan_merge(int(argv[3]), int(argv[4])):
 
1072
            if line:
 
1073
                print '%14s | %s' % (state, line),
 
1074
 
 
1075
    elif cmd == 'merge':
 
1076
        w = readit()
 
1077
        p = w.plan_merge(int(argv[3]), int(argv[4]))
 
1078
        sys.stdout.writelines(w.weave_merge(p))
 
1079
            
 
1080
    elif cmd == 'mash-merge':
 
1081
        if len(argv) != 5:
 
1082
            usage()
 
1083
            return 1
 
1084
 
 
1085
        w = readit()
 
1086
        v1, v2 = map(int, argv[3:5])
 
1087
 
 
1088
        basis = w.inclusions([v1]).intersection(w.inclusions([v2]))
 
1089
 
 
1090
        base_lines = list(w.mash_iter(basis))
 
1091
        a_lines = list(w.get(v1))
 
1092
        b_lines = list(w.get(v2))
 
1093
 
 
1094
        from bzrlib.merge3 import Merge3
 
1095
        m3 = Merge3(base_lines, a_lines, b_lines)
 
1096
 
 
1097
        name_a = 'version %d' % v1
 
1098
        name_b = 'version %d' % v2
 
1099
        sys.stdout.writelines(m3.merge_lines(name_a=name_a, name_b=name_b))
 
1100
    else:
 
1101
        raise ValueError('unknown command %r' % cmd)
 
1102
    
 
1103
 
 
1104
 
 
1105
def profile_main(argv): 
 
1106
    import tempfile, hotshot, hotshot.stats
 
1107
 
 
1108
    prof_f = tempfile.NamedTemporaryFile()
 
1109
 
 
1110
    prof = hotshot.Profile(prof_f.name)
 
1111
 
 
1112
    ret = prof.runcall(main, argv)
 
1113
    prof.close()
 
1114
 
 
1115
    stats = hotshot.stats.load(prof_f.name)
 
1116
    #stats.strip_dirs()
 
1117
    stats.sort_stats('cumulative')
 
1118
    ## XXX: Might like to write to stderr or the trace file instead but
 
1119
    ## print_stats seems hardcoded to stdout
 
1120
    stats.print_stats(20)
 
1121
            
 
1122
    return ret
 
1123
 
 
1124
 
 
1125
if __name__ == '__main__':
 
1126
    import sys
 
1127
    if '--profile' in sys.argv:
 
1128
        args = sys.argv[:]
 
1129
        args.remove('--profile')
 
1130
        sys.exit(profile_main(args))
 
1131
    else:
 
1132
        sys.exit(main(sys.argv))
 
1133