/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/weave.py

Add .sconsign* to default ignore list

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
#! /usr/bin/python
 
2
 
 
3
# Copyright (C) 2005 Canonical Ltd
 
4
 
 
5
# This program is free software; you can redistribute it and/or modify
 
6
# it under the terms of the GNU General Public License as published by
 
7
# the Free Software Foundation; either version 2 of the License, or
 
8
# (at your option) any later version.
 
9
 
 
10
# This program is distributed in the hope that it will be useful,
 
11
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
12
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
13
# GNU General Public License for more details.
 
14
 
 
15
# You should have received a copy of the GNU General Public License
 
16
# along with this program; if not, write to the Free Software
 
17
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
18
 
 
19
# Author: Martin Pool <mbp@canonical.com>
 
20
 
 
21
 
 
22
"""Weave - storage of related text file versions"""
 
23
 
 
24
 
 
25
# XXX: If we do weaves this way, will a merge still behave the same
 
26
# way if it's done in a different order?  That's a pretty desirable
 
27
# property.
 
28
 
 
29
# TODO: Nothing here so far assumes the lines are really \n newlines,
 
30
# rather than being split up in some other way.  We could accomodate
 
31
# binaries, perhaps by naively splitting on \n or perhaps using
 
32
# something like a rolling checksum.
 
33
 
 
34
# TODO: End marker for each version so we can stop reading?
 
35
 
 
36
# TODO: Check that no insertion occurs inside a deletion that was
 
37
# active in the version of the insertion.
 
38
 
 
39
# TODO: In addition to the SHA-1 check, perhaps have some code that
 
40
# checks structural constraints of the weave: ie that insertions are
 
41
# properly nested, that there is no text outside of an insertion, that
 
42
# insertions or deletions are not repeated, etc.
 
43
 
 
44
# TODO: Parallel-extract that passes back each line along with a
 
45
# description of which revisions include it.  Nice for checking all
 
46
# shas or calculating stats in parallel.
 
47
 
 
48
# TODO: Using a single _extract routine and then processing the output
 
49
# is probably inefficient.  It's simple enough that we can afford to
 
50
# have slight specializations for different ways its used: annotate,
 
51
# basis for add, get, etc.
 
52
 
 
53
# TODO: Probably the API should work only in names to hide the integer
 
54
# indexes from the user.
 
55
 
 
56
# TODO: Is there any potential performance win by having an add()
 
57
# variant that is passed a pre-cooked version of the single basis
 
58
# version?
 
59
 
 
60
# TODO: Reweave can possibly be made faster by remembering diffs
 
61
# where the basis and destination are unchanged.
 
62
 
 
63
# FIXME: Sometimes we will be given a parents list for a revision
 
64
# that includes some redundant parents (i.e. already a parent of 
 
65
# something in the list.)  We should eliminate them.  This can 
 
66
# be done fairly efficiently because the sequence numbers constrain
 
67
# the possible relationships.
 
68
 
 
69
 
 
70
import sha
 
71
from difflib import SequenceMatcher
 
72
 
 
73
from bzrlib.trace import mutter
 
74
 
 
75
 
 
76
class WeaveError(Exception):
 
77
    """Exception in processing weave"""
 
78
 
 
79
 
 
80
class WeaveFormatError(WeaveError):
 
81
    """Weave invariant violated"""
 
82
 
 
83
 
 
84
class WeaveParentMismatch(WeaveError):
 
85
    """Parents are mismatched between two revisions."""
 
86
    
 
87
 
 
88
class Weave(object):
 
89
    """weave - versioned text file storage.
 
90
    
 
91
    A Weave manages versions of line-based text files, keeping track
 
92
    of the originating version for each line.
 
93
 
 
94
    To clients the "lines" of the file are represented as a list of strings.
 
95
    These strings  will typically have terminal newline characters, but
 
96
    this is not required.  In particular files commonly do not have a newline
 
97
    at the end of the file.
 
98
 
 
99
    Texts can be identified in either of two ways:
 
100
 
 
101
    * a nonnegative index number.
 
102
 
 
103
    * a version-id string.
 
104
 
 
105
    Typically the index number will be valid only inside this weave and
 
106
    the version-id is used to reference it in the larger world.
 
107
 
 
108
    The weave is represented as a list mixing edit instructions and
 
109
    literal text.  Each entry in _weave can be either a string (or
 
110
    unicode), or a tuple.  If a string, it means that the given line
 
111
    should be output in the currently active revisions.
 
112
 
 
113
    If a tuple, it gives a processing instruction saying in which
 
114
    revisions the enclosed lines are active.  The tuple has the form
 
115
    (instruction, version).
 
116
 
 
117
    The instruction can be '{' or '}' for an insertion block, and '['
 
118
    and ']' for a deletion block respectively.  The version is the
 
119
    integer version index.  There is no replace operator, only deletes
 
120
    and inserts.  For '}', the end of an insertion, there is no
 
121
    version parameter because it always closes the most recently
 
122
    opened insertion.
 
123
 
 
124
    Constraints/notes:
 
125
 
 
126
    * A later version can delete lines that were introduced by any
 
127
      number of ancestor versions; this implies that deletion
 
128
      instructions can span insertion blocks without regard to the
 
129
      insertion block's nesting.
 
130
 
 
131
    * Similarly, deletions need not be properly nested with regard to
 
132
      each other, because they might have been generated by
 
133
      independent revisions.
 
134
 
 
135
    * Insertions are always made by inserting a new bracketed block
 
136
      into a single point in the previous weave.  This implies they
 
137
      can nest but not overlap, and the nesting must always have later
 
138
      insertions on the inside.
 
139
 
 
140
    * It doesn't seem very useful to have an active insertion
 
141
      inside an inactive insertion, but it might happen.
 
142
      
 
143
    * Therefore, all instructions are always"considered"; that
 
144
      is passed onto and off the stack.  An outer inactive block
 
145
      doesn't disable an inner block.
 
146
 
 
147
    * Lines are enabled if the most recent enclosing insertion is
 
148
      active and none of the enclosing deletions are active.
 
149
 
 
150
    * There is no point having a deletion directly inside its own
 
151
      insertion; you might as well just not write it.  And there
 
152
      should be no way to get an earlier version deleting a later
 
153
      version.
 
154
 
 
155
    _weave
 
156
        Text of the weave; list of control instruction tuples and strings.
 
157
 
 
158
    _parents
 
159
        List of parents, indexed by version number.
 
160
        It is only necessary to store the minimal set of parents for
 
161
        each version; the parent's parents are implied.
 
162
 
 
163
    _sha1s
 
164
        List of hex SHA-1 of each version.
 
165
 
 
166
    _names
 
167
        List of symbolic names for each version.  Each should be unique.
 
168
 
 
169
    _name_map
 
170
        For each name, the version number.
 
171
 
 
172
    _weave_name
 
173
        Descriptive name of this weave; typically the filename if known.
 
174
        Set by read_weave.
 
175
    """
 
176
 
 
177
    __slots__ = ['_weave', '_parents', '_sha1s', '_names', '_name_map',
 
178
                 '_weave_name']
 
179
    
 
180
    def __init__(self, weave_name=None):
 
181
        self._weave = []
 
182
        self._parents = []
 
183
        self._sha1s = []
 
184
        self._names = []
 
185
        self._name_map = {}
 
186
        self._weave_name = weave_name
 
187
 
 
188
 
 
189
    def copy(self):
 
190
        """Return a deep copy of self.
 
191
        
 
192
        The copy can be modified without affecting the original weave."""
 
193
        other = Weave()
 
194
        other._weave = self._weave[:]
 
195
        other._parents = self._parents[:]
 
196
        other._sha1s = self._sha1s[:]
 
197
        other._names = self._names[:]
 
198
        other._name_map = self._name_map.copy()
 
199
        other._weave_name = self._weave_name
 
200
        return other
 
201
 
 
202
    def __eq__(self, other):
 
203
        if not isinstance(other, Weave):
 
204
            return False
 
205
        return self._parents == other._parents \
 
206
               and self._weave == other._weave \
 
207
               and self._sha1s == other._sha1s 
 
208
 
 
209
    
 
210
    def __ne__(self, other):
 
211
        return not self.__eq__(other)
 
212
 
 
213
 
 
214
    def maybe_lookup(self, name_or_index):
 
215
        """Convert possible symbolic name to index, or pass through indexes."""
 
216
        if isinstance(name_or_index, (int, long)):
 
217
            return name_or_index
 
218
        else:
 
219
            return self.lookup(name_or_index)
 
220
 
 
221
        
 
222
    def lookup(self, name):
 
223
        """Convert symbolic version name to index."""
 
224
        try:
 
225
            return self._name_map[name]
 
226
        except KeyError:
 
227
            raise WeaveError("name %r not present in weave %r" %
 
228
                             (name, self._weave_name))
 
229
 
 
230
    def names(self):
 
231
        return self._names[:]
 
232
 
 
233
    def iter_names(self):
 
234
        """Yield a list of all names in this weave."""
 
235
        return iter(self._names)
 
236
 
 
237
    def idx_to_name(self, version):
 
238
        return self._names[version]
 
239
 
 
240
    def _check_repeated_add(self, name, parents, text, sha1):
 
241
        """Check that a duplicated add is OK.
 
242
 
 
243
        If it is, return the (old) index; otherwise raise an exception.
 
244
        """
 
245
        idx = self.lookup(name)
 
246
        if sorted(self._parents[idx]) != sorted(parents):
 
247
            raise WeaveError("name \"%s\" already present in weave "
 
248
                             "with different parents" % name)
 
249
        if sha1 != self._sha1s[idx]:
 
250
            raise WeaveError("name \"%s\" already present in weave "
 
251
                             "with different text" % name)            
 
252
        return idx
 
253
        
 
254
    def add(self, name, parents, text, sha1=None):
 
255
        """Add a single text on top of the weave.
 
256
  
 
257
        Returns the index number of the newly added version.
 
258
 
 
259
        name
 
260
            Symbolic name for this version.
 
261
            (Typically the revision-id of the revision that added it.)
 
262
 
 
263
        parents
 
264
            List or set of direct parent version numbers.
 
265
            
 
266
        text
 
267
            Sequence of lines to be added in the new version.
 
268
 
 
269
        sha -- SHA-1 of the file, if known.  This is trusted to be
 
270
            correct if supplied.
 
271
        """
 
272
        from bzrlib.osutils import sha_strings
 
273
 
 
274
        assert isinstance(name, basestring)
 
275
        if sha1 is None:
 
276
            sha1 = sha_strings(text)
 
277
        if name in self._name_map:
 
278
            return self._check_repeated_add(name, parents, text, sha1)
 
279
 
 
280
        parents = map(self.maybe_lookup, parents)
 
281
        self._check_versions(parents)
 
282
        ## self._check_lines(text)
 
283
        new_version = len(self._parents)
 
284
 
 
285
 
 
286
        # if we abort after here the (in-memory) weave will be corrupt because only
 
287
        # some fields are updated
 
288
        self._parents.append(parents[:])
 
289
        self._sha1s.append(sha1)
 
290
        self._names.append(name)
 
291
        self._name_map[name] = new_version
 
292
 
 
293
            
 
294
        if not parents:
 
295
            # special case; adding with no parents revision; can do
 
296
            # this more quickly by just appending unconditionally.
 
297
            # even more specially, if we're adding an empty text we
 
298
            # need do nothing at all.
 
299
            if text:
 
300
                self._weave.append(('{', new_version))
 
301
                self._weave.extend(text)
 
302
                self._weave.append(('}', None))
 
303
        
 
304
            return new_version
 
305
 
 
306
        if len(parents) == 1:
 
307
            pv = list(parents)[0]
 
308
            if sha1 == self._sha1s[pv]:
 
309
                # special case: same as the single parent
 
310
                return new_version
 
311
            
 
312
 
 
313
        ancestors = self.inclusions(parents)
 
314
 
 
315
        l = self._weave
 
316
 
 
317
        # basis a list of (origin, lineno, line)
 
318
        basis_lineno = []
 
319
        basis_lines = []
 
320
        for origin, lineno, line in self._extract(ancestors):
 
321
            basis_lineno.append(lineno)
 
322
            basis_lines.append(line)
 
323
 
 
324
        # another small special case: a merge, producing the same text
 
325
        # as auto-merge
 
326
        if text == basis_lines:
 
327
            return new_version            
 
328
 
 
329
        # add a sentinal, because we can also match against the final line
 
330
        basis_lineno.append(len(self._weave))
 
331
 
 
332
        # XXX: which line of the weave should we really consider
 
333
        # matches the end of the file?  the current code says it's the
 
334
        # last line of the weave?
 
335
 
 
336
        #print 'basis_lines:', basis_lines
 
337
        #print 'new_lines:  ', lines
 
338
 
 
339
        s = SequenceMatcher(None, basis_lines, text)
 
340
 
 
341
        # offset gives the number of lines that have been inserted
 
342
        # into the weave up to the current point; if the original edit instruction
 
343
        # says to change line A then we actually change (A+offset)
 
344
        offset = 0
 
345
 
 
346
        for tag, i1, i2, j1, j2 in s.get_opcodes():
 
347
            # i1,i2 are given in offsets within basis_lines; we need to map them
 
348
            # back to offsets within the entire weave
 
349
            #print 'raw match', tag, i1, i2, j1, j2
 
350
            if tag == 'equal':
 
351
                continue
 
352
 
 
353
            i1 = basis_lineno[i1]
 
354
            i2 = basis_lineno[i2]
 
355
 
 
356
            assert 0 <= j1 <= j2 <= len(text)
 
357
 
 
358
            #print tag, i1, i2, j1, j2
 
359
 
 
360
            # the deletion and insertion are handled separately.
 
361
            # first delete the region.
 
362
            if i1 != i2:
 
363
                self._weave.insert(i1+offset, ('[', new_version))
 
364
                self._weave.insert(i2+offset+1, (']', new_version))
 
365
                offset += 2
 
366
 
 
367
            if j1 != j2:
 
368
                # there may have been a deletion spanning up to
 
369
                # i2; we want to insert after this region to make sure
 
370
                # we don't destroy ourselves
 
371
                i = i2 + offset
 
372
                self._weave[i:i] = ([('{', new_version)] 
 
373
                                    + text[j1:j2] 
 
374
                                    + [('}', None)])
 
375
                offset += 2 + (j2 - j1)
 
376
 
 
377
        return new_version
 
378
 
 
379
    def add_identical(self, old_rev_id, new_rev_id, parents):
 
380
        """Add an identical text to old_rev_id as new_rev_id."""
 
381
        old_lines = self.get(self.lookup(old_rev_id))
 
382
        self.add(new_rev_id, parents, old_lines)
 
383
 
 
384
    def inclusions(self, versions):
 
385
        """Return set of all ancestors of given version(s)."""
 
386
        i = set(versions)
 
387
        for v in xrange(max(versions), 0, -1):
 
388
            if v in i:
 
389
                # include all its parents
 
390
                i.update(self._parents[v])
 
391
        return i
 
392
        ## except IndexError:
 
393
        ##     raise ValueError("version %d not present in weave" % v)
 
394
 
 
395
 
 
396
    def parents(self, version):
 
397
        return self._parents[version]
 
398
 
 
399
 
 
400
    def parent_names(self, version):
 
401
        """Return version names for parents of a version."""
 
402
        return map(self.idx_to_name, self._parents[self.lookup(version)])
 
403
 
 
404
 
 
405
    def minimal_parents(self, version):
 
406
        """Find the minimal set of parents for the version."""
 
407
        included = self._parents[version]
 
408
        if not included:
 
409
            return []
 
410
        
 
411
        li = list(included)
 
412
        li.sort(reverse=True)
 
413
 
 
414
        mininc = []
 
415
        gotit = set()
 
416
 
 
417
        for pv in li:
 
418
            if pv not in gotit:
 
419
                mininc.append(pv)
 
420
                gotit.update(self.inclusions(pv))
 
421
 
 
422
        assert mininc[0] >= 0
 
423
        assert mininc[-1] < version
 
424
        return mininc
 
425
 
 
426
 
 
427
 
 
428
    def _check_lines(self, text):
 
429
        if not isinstance(text, list):
 
430
            raise ValueError("text should be a list, not %s" % type(text))
 
431
 
 
432
        for l in text:
 
433
            if not isinstance(l, basestring):
 
434
                raise ValueError("text line should be a string or unicode, not %s"
 
435
                                 % type(l))
 
436
        
 
437
 
 
438
 
 
439
    def _check_versions(self, indexes):
 
440
        """Check everything in the sequence of indexes is valid"""
 
441
        for i in indexes:
 
442
            try:
 
443
                self._parents[i]
 
444
            except IndexError:
 
445
                raise IndexError("invalid version number %r" % i)
 
446
 
 
447
    
 
448
    def annotate(self, name_or_index):
 
449
        return list(self.annotate_iter(name_or_index))
 
450
 
 
451
 
 
452
    def annotate_iter(self, name_or_index):
 
453
        """Yield list of (index-id, line) pairs for the specified version.
 
454
 
 
455
        The index indicates when the line originated in the weave."""
 
456
        incls = [self.maybe_lookup(name_or_index)]
 
457
        for origin, lineno, text in self._extract(incls):
 
458
            yield origin, text
 
459
 
 
460
    def _walk(self):
 
461
        """Walk the weave.
 
462
 
 
463
        Yields sequence of
 
464
        (lineno, insert, deletes, text)
 
465
        for each literal line.
 
466
        """
 
467
        
 
468
        istack = []
 
469
        dset = set()
 
470
 
 
471
        lineno = 0         # line of weave, 0-based
 
472
 
 
473
        for l in self._weave:
 
474
            if isinstance(l, tuple):
 
475
                c, v = l
 
476
                isactive = None
 
477
                if c == '{':
 
478
                    istack.append(v)
 
479
                elif c == '}':
 
480
                    istack.pop()
 
481
                elif c == '[':
 
482
                    assert v not in dset
 
483
                    dset.add(v)
 
484
                elif c == ']':
 
485
                    dset.remove(v)
 
486
                else:
 
487
                    raise WeaveFormatError('unexpected instruction %r'
 
488
                                           % v)
 
489
            else:
 
490
                assert isinstance(l, basestring)
 
491
                assert istack
 
492
                yield lineno, istack[-1], dset, l
 
493
            lineno += 1
 
494
 
 
495
 
 
496
 
 
497
    def _extract(self, versions):
 
498
        """Yield annotation of lines in included set.
 
499
 
 
500
        Yields a sequence of tuples (origin, lineno, text), where
 
501
        origin is the origin version, lineno the index in the weave,
 
502
        and text the text of the line.
 
503
 
 
504
        The set typically but not necessarily corresponds to a version.
 
505
        """
 
506
        for i in versions:
 
507
            if not isinstance(i, int):
 
508
                raise ValueError(i)
 
509
            
 
510
        included = self.inclusions(versions)
 
511
 
 
512
        istack = []
 
513
        dset = set()
 
514
 
 
515
        lineno = 0         # line of weave, 0-based
 
516
 
 
517
        isactive = None
 
518
 
 
519
        result = []
 
520
 
 
521
        WFE = WeaveFormatError
 
522
 
 
523
        for l in self._weave:
 
524
            if isinstance(l, tuple):
 
525
                c, v = l
 
526
                isactive = None
 
527
                if c == '{':
 
528
                    assert v not in istack
 
529
                    istack.append(v)
 
530
                elif c == '}':
 
531
                    istack.pop()
 
532
                elif c == '[':
 
533
                    if v in included:
 
534
                        assert v not in dset
 
535
                        dset.add(v)
 
536
                else:
 
537
                    assert c == ']'
 
538
                    if v in included:
 
539
                        assert v in dset
 
540
                        dset.remove(v)
 
541
            else:
 
542
                assert isinstance(l, basestring)
 
543
                if isactive is None:
 
544
                    isactive = (not dset) and istack and (istack[-1] in included)
 
545
                if isactive:
 
546
                    result.append((istack[-1], lineno, l))
 
547
            lineno += 1
 
548
 
 
549
        if istack:
 
550
            raise WFE("unclosed insertion blocks at end of weave",
 
551
                                   istack)
 
552
        if dset:
 
553
            raise WFE("unclosed deletion blocks at end of weave",
 
554
                                   dset)
 
555
 
 
556
        return result
 
557
    
 
558
 
 
559
 
 
560
    def get_iter(self, name_or_index):
 
561
        """Yield lines for the specified version."""
 
562
        incls = [self.maybe_lookup(name_or_index)]
 
563
        for origin, lineno, line in self._extract(incls):
 
564
            yield line
 
565
 
 
566
 
 
567
    def get_text(self, name_or_index):
 
568
        return ''.join(self.get_iter(name_or_index))
 
569
        assert isinstance(version, int)
 
570
 
 
571
 
 
572
    def get_lines(self, name_or_index):
 
573
        return list(self.get_iter(name_or_index))
 
574
 
 
575
 
 
576
    get = get_lines
 
577
 
 
578
 
 
579
    def mash_iter(self, included):
 
580
        """Return composed version of multiple included versions."""
 
581
        included = map(self.maybe_lookup, included)
 
582
        for origin, lineno, text in self._extract(included):
 
583
            yield text
 
584
 
 
585
 
 
586
    def dump(self, to_file):
 
587
        from pprint import pprint
 
588
        print >>to_file, "Weave._weave = ",
 
589
        pprint(self._weave, to_file)
 
590
        print >>to_file, "Weave._parents = ",
 
591
        pprint(self._parents, to_file)
 
592
 
 
593
 
 
594
 
 
595
    def numversions(self):
 
596
        l = len(self._parents)
 
597
        assert l == len(self._sha1s)
 
598
        return l
 
599
 
 
600
 
 
601
    def __len__(self):
 
602
        return self.numversions()
 
603
 
 
604
 
 
605
    def check(self, progress_bar=None):
 
606
        # check no circular inclusions
 
607
        for version in range(self.numversions()):
 
608
            inclusions = list(self._parents[version])
 
609
            if inclusions:
 
610
                inclusions.sort()
 
611
                if inclusions[-1] >= version:
 
612
                    raise WeaveFormatError("invalid included version %d for index %d"
 
613
                                           % (inclusions[-1], version))
 
614
 
 
615
        # try extracting all versions; this is a bit slow and parallel
 
616
        # extraction could be used
 
617
        nv = self.numversions()
 
618
        for version in range(nv):
 
619
            if progress_bar:
 
620
                progress_bar.update('checking text', version, nv)
 
621
            s = sha.new()
 
622
            for l in self.get_iter(version):
 
623
                s.update(l)
 
624
            hd = s.hexdigest()
 
625
            expected = self._sha1s[version]
 
626
            if hd != expected:
 
627
                raise WeaveError("mismatched sha1 for version %d; "
 
628
                                 "got %s, expected %s"
 
629
                                 % (version, hd, expected))
 
630
 
 
631
        # TODO: check insertions are properly nested, that there are
 
632
        # no lines outside of insertion blocks, that deletions are
 
633
        # properly paired, etc.
 
634
 
 
635
 
 
636
 
 
637
    def merge(self, merge_versions):
 
638
        """Automerge and mark conflicts between versions.
 
639
 
 
640
        This returns a sequence, each entry describing alternatives
 
641
        for a chunk of the file.  Each of the alternatives is given as
 
642
        a list of lines.
 
643
 
 
644
        If there is a chunk of the file where there's no diagreement,
 
645
        only one alternative is given.
 
646
        """
 
647
        # approach: find the included versions common to all the
 
648
        # merged versions
 
649
        raise NotImplementedError()
 
650
 
 
651
 
 
652
 
 
653
    def _delta(self, included, lines):
 
654
        """Return changes from basis to new revision.
 
655
 
 
656
        The old text for comparison is the union of included revisions.
 
657
 
 
658
        This is used in inserting a new text.
 
659
 
 
660
        Delta is returned as a sequence of
 
661
        (weave1, weave2, newlines).
 
662
 
 
663
        This indicates that weave1:weave2 of the old weave should be
 
664
        replaced by the sequence of lines in newlines.  Note that
 
665
        these line numbers are positions in the total weave and don't
 
666
        correspond to the lines in any extracted version, or even the
 
667
        extracted union of included versions.
 
668
 
 
669
        If line1=line2, this is a pure insert; if newlines=[] this is a
 
670
        pure delete.  (Similar to difflib.)
 
671
        """
 
672
        raise NotImplementedError()
 
673
 
 
674
            
 
675
    def plan_merge(self, ver_a, ver_b):
 
676
        """Return pseudo-annotation indicating how the two versions merge.
 
677
 
 
678
        This is computed between versions a and b and their common
 
679
        base.
 
680
 
 
681
        Weave lines present in none of them are skipped entirely.
 
682
        """
 
683
        inc_a = self.inclusions([ver_a])
 
684
        inc_b = self.inclusions([ver_b])
 
685
        inc_c = inc_a & inc_b
 
686
 
 
687
        for lineno, insert, deleteset, line in self._walk():
 
688
            if deleteset & inc_c:
 
689
                # killed in parent; can't be in either a or b
 
690
                # not relevant to our work
 
691
                yield 'killed-base', line
 
692
            elif insert in inc_c:
 
693
                # was inserted in base
 
694
                killed_a = bool(deleteset & inc_a)
 
695
                killed_b = bool(deleteset & inc_b)
 
696
                if killed_a and killed_b:
 
697
                    yield 'killed-both', line
 
698
                elif killed_a:
 
699
                    yield 'killed-a', line
 
700
                elif killed_b:
 
701
                    yield 'killed-b', line
 
702
                else:
 
703
                    yield 'unchanged', line
 
704
            elif insert in inc_a:
 
705
                if deleteset & inc_a:
 
706
                    yield 'ghost-a', line
 
707
                else:
 
708
                    # new in A; not in B
 
709
                    yield 'new-a', line
 
710
            elif insert in inc_b:
 
711
                if deleteset & inc_b:
 
712
                    yield 'ghost-b', line
 
713
                else:
 
714
                    yield 'new-b', line
 
715
            else:
 
716
                # not in either revision
 
717
                yield 'irrelevant', line
 
718
 
 
719
        yield 'unchanged', ''           # terminator
 
720
 
 
721
 
 
722
 
 
723
    def weave_merge(self, plan):
 
724
        lines_a = []
 
725
        lines_b = []
 
726
        ch_a = ch_b = False
 
727
 
 
728
        for state, line in plan:
 
729
            if state == 'unchanged' or state == 'killed-both':
 
730
                # resync and flush queued conflicts changes if any
 
731
                if not lines_a and not lines_b:
 
732
                    pass
 
733
                elif ch_a and not ch_b:
 
734
                    # one-sided change:                    
 
735
                    for l in lines_a: yield l
 
736
                elif ch_b and not ch_a:
 
737
                    for l in lines_b: yield l
 
738
                elif lines_a == lines_b:
 
739
                    for l in lines_a: yield l
 
740
                else:
 
741
                    yield '<<<<\n'
 
742
                    for l in lines_a: yield l
 
743
                    yield '====\n'
 
744
                    for l in lines_b: yield l
 
745
                    yield '>>>>\n'
 
746
 
 
747
                del lines_a[:]
 
748
                del lines_b[:]
 
749
                ch_a = ch_b = False
 
750
                
 
751
            if state == 'unchanged':
 
752
                if line:
 
753
                    yield line
 
754
            elif state == 'killed-a':
 
755
                ch_a = True
 
756
                lines_b.append(line)
 
757
            elif state == 'killed-b':
 
758
                ch_b = True
 
759
                lines_a.append(line)
 
760
            elif state == 'new-a':
 
761
                ch_a = True
 
762
                lines_a.append(line)
 
763
            elif state == 'new-b':
 
764
                ch_b = True
 
765
                lines_b.append(line)
 
766
            else:
 
767
                assert state in ('irrelevant', 'ghost-a', 'ghost-b', 'killed-base',
 
768
                                 'killed-both'), \
 
769
                       state
 
770
 
 
771
                
 
772
    def join(self, other):
 
773
        """Integrate versions from other into this weave.
 
774
 
 
775
        The resulting weave contains all the history of both weaves; 
 
776
        any version you could retrieve from either self or other can be 
 
777
        retrieved from self after this call.
 
778
 
 
779
        It is illegal for the two weaves to contain different values 
 
780
        or different parents for any version.  See also reweave().
 
781
        """
 
782
        if other.numversions() == 0:
 
783
            return          # nothing to update, easy
 
784
        # two loops so that we do not change ourselves before verifying it
 
785
        # will be ok
 
786
        # work through in index order to make sure we get all dependencies
 
787
        for other_idx, name in enumerate(other._names):
 
788
            if self._check_version_consistent(other, other_idx, name):
 
789
                continue
 
790
        for other_idx, name in enumerate(other._names):
 
791
            # TODO: If all the parents of the other version are already 
 
792
            # present then we can avoid some work by just taking the delta
 
793
            # and adjusting the offsets.
 
794
            new_parents = self._imported_parents(other, other_idx)
 
795
            lines = other.get_lines(other_idx)
 
796
            sha1 = other._sha1s[other_idx]
 
797
            self.add(name, new_parents, lines, sha1)
 
798
 
 
799
 
 
800
    def _imported_parents(self, other, other_idx):
 
801
        """Return list of parents in self corresponding to indexes in other."""
 
802
        new_parents = []
 
803
        for parent_idx in other._parents[other_idx]:
 
804
            parent_name = other._names[parent_idx]
 
805
            if parent_name not in self._names:
 
806
                # should not be possible
 
807
                raise WeaveError("missing parent {%s} of {%s} in %r" 
 
808
                                 % (parent_name, other._name_map[other_idx], self))
 
809
            new_parents.append(self._name_map[parent_name])
 
810
        return new_parents
 
811
 
 
812
    def _check_version_consistent(self, other, other_idx, name):
 
813
        """Check if a version in consistent in this and other.
 
814
 
 
815
        To be consistent it must have:
 
816
 
 
817
         * the same text
 
818
         * the same direct parents (by name, not index, and disregarding
 
819
           order)
 
820
        
 
821
        If present & correct return True;
 
822
        if not present in self return False; 
 
823
        if inconsistent raise error."""
 
824
        this_idx = self._name_map.get(name, -1)
 
825
        if this_idx != -1:
 
826
            if self._sha1s[this_idx] != other._sha1s[other_idx]:
 
827
                raise WeaveError("inconsistent texts for version {%s} "
 
828
                                 "when joining weaves"
 
829
                                 % (name))
 
830
            self_parents = self._parents[this_idx]
 
831
            other_parents = other._parents[other_idx]
 
832
            n1 = [self._names[i] for i in self_parents]
 
833
            n2 = [other._names[i] for i in other_parents]
 
834
            n1.sort()
 
835
            n2.sort()
 
836
            if n1 != n2:
 
837
                raise WeaveParentMismatch("inconsistent parents "
 
838
                    "for version {%s}: %s vs %s" % (name, n1, n2))
 
839
            else:
 
840
                return True         # ok!
 
841
        else:
 
842
            return False
 
843
 
 
844
    def reweave(self, other):
 
845
        """Reweave self with other."""
 
846
        new_weave = reweave(self, other)
 
847
        for attr in self.__slots__:
 
848
            setattr(self, attr, getattr(new_weave, attr))
 
849
 
 
850
 
 
851
def reweave(wa, wb):
 
852
    """Combine two weaves and return the result.
 
853
 
 
854
    This works even if a revision R has different parents in 
 
855
    wa and wb.  In the resulting weave all the parents are given.
 
856
 
 
857
    This is done by just building up a new weave, maintaining ordering 
 
858
    of the versions in the two inputs.  More efficient approaches
 
859
    might be possible but it should only be necessary to do 
 
860
    this operation rarely, when a new previously ghost version is 
 
861
    inserted.
 
862
    """
 
863
    wr = Weave()
 
864
    ia = ib = 0
 
865
    queue_a = range(wa.numversions())
 
866
    queue_b = range(wb.numversions())
 
867
    # first determine combined parents of all versions
 
868
    # map from version name -> all parent names
 
869
    combined_parents = _reweave_parent_graphs(wa, wb)
 
870
    mutter("combined parents: %r", combined_parents)
 
871
    order = _make_reweave_order(wa._names, wb._names, combined_parents)
 
872
    mutter("order to reweave: %r", order)
 
873
    for name in order:
 
874
        if name in wa._name_map:
 
875
            lines = wa.get_lines(name)
 
876
            if name in wb._name_map:
 
877
                assert lines == wb.get_lines(name)
 
878
        else:
 
879
            lines = wb.get_lines(name)
 
880
        wr.add(name, combined_parents[name], lines)
 
881
    return wr
 
882
 
 
883
 
 
884
def _reweave_parent_graphs(wa, wb):
 
885
    """Return combined parent ancestry for two weaves.
 
886
    
 
887
    Returned as a list of (version_name, set(parent_names))"""
 
888
    combined = {}
 
889
    for weave in [wa, wb]:
 
890
        for idx, name in enumerate(weave._names):
 
891
            p = combined.setdefault(name, set())
 
892
            p.update(map(weave.idx_to_name, weave._parents[idx]))
 
893
    return combined
 
894
 
 
895
 
 
896
def _make_reweave_order(wa_order, wb_order, combined_parents):
 
897
    """Return an order to reweave versions respecting parents."""
 
898
    done = set()
 
899
    result = []
 
900
    ia = ib = 0
 
901
    next_a = next_b = None
 
902
    len_a = len(wa_order)
 
903
    len_b = len(wb_order)
 
904
    while ia < len(wa_order) or ib < len(wb_order):
 
905
        if ia < len_a:
 
906
            next_a = wa_order[ia]
 
907
            if next_a in done:
 
908
                ia += 1
 
909
                continue
 
910
            if combined_parents[next_a].issubset(done):
 
911
                ia += 1
 
912
                result.append(next_a)
 
913
                done.add(next_a)
 
914
                continue
 
915
        if ib < len_b:
 
916
            next_b = wb_order[ib]
 
917
            if next_b in done:
 
918
                ib += 1
 
919
                continue
 
920
            elif combined_parents[next_b].issubset(done):
 
921
                ib += 1
 
922
                result.append(next_b)
 
923
                done.add(next_b)
 
924
                continue
 
925
        raise WeaveError("don't know how to reweave at {%s} and {%s}"
 
926
                         % (next_a, next_b))
 
927
    return result
 
928
 
 
929
 
 
930
def weave_toc(w):
 
931
    """Show the weave's table-of-contents"""
 
932
    print '%6s %50s %10s %10s' % ('ver', 'name', 'sha1', 'parents')
 
933
    for i in (6, 50, 10, 10):
 
934
        print '-' * i,
 
935
    print
 
936
    for i in range(w.numversions()):
 
937
        sha1 = w._sha1s[i]
 
938
        name = w._names[i]
 
939
        parent_str = ' '.join(map(str, w._parents[i]))
 
940
        print '%6d %-50.50s %10.10s %s' % (i, name, sha1, parent_str)
 
941
 
 
942
 
 
943
 
 
944
def weave_stats(weave_file, pb):
 
945
    from bzrlib.weavefile import read_weave
 
946
 
 
947
    wf = file(weave_file, 'rb')
 
948
    w = read_weave(wf)
 
949
    # FIXME: doesn't work on pipes
 
950
    weave_size = wf.tell()
 
951
 
 
952
    total = 0
 
953
    vers = len(w)
 
954
    for i in range(vers):
 
955
        pb.update('checking sizes', i, vers)
 
956
        for origin, lineno, line in w._extract([i]):
 
957
            total += len(line)
 
958
 
 
959
    pb.clear()
 
960
 
 
961
    print 'versions          %9d' % vers
 
962
    print 'weave file        %9d bytes' % weave_size
 
963
    print 'total contents    %9d bytes' % total
 
964
    print 'compression ratio %9.2fx' % (float(total) / float(weave_size))
 
965
    if vers:
 
966
        avg = total/vers
 
967
        print 'average size      %9d bytes' % avg
 
968
        print 'relative size     %9.2fx' % (float(weave_size) / float(avg))
 
969
 
 
970
 
 
971
def usage():
 
972
    print """bzr weave tool
 
973
 
 
974
Experimental tool for weave algorithm.
 
975
 
 
976
usage:
 
977
    weave init WEAVEFILE
 
978
        Create an empty weave file
 
979
    weave get WEAVEFILE VERSION
 
980
        Write out specified version.
 
981
    weave check WEAVEFILE
 
982
        Check consistency of all versions.
 
983
    weave toc WEAVEFILE
 
984
        Display table of contents.
 
985
    weave add WEAVEFILE NAME [BASE...] < NEWTEXT
 
986
        Add NEWTEXT, with specified parent versions.
 
987
    weave annotate WEAVEFILE VERSION
 
988
        Display origin of each line.
 
989
    weave mash WEAVEFILE VERSION...
 
990
        Display composite of all selected versions.
 
991
    weave merge WEAVEFILE VERSION1 VERSION2 > OUT
 
992
        Auto-merge two versions and display conflicts.
 
993
    weave diff WEAVEFILE VERSION1 VERSION2 
 
994
        Show differences between two versions.
 
995
 
 
996
example:
 
997
 
 
998
    % weave init foo.weave
 
999
    % vi foo.txt
 
1000
    % weave add foo.weave ver0 < foo.txt
 
1001
    added version 0
 
1002
 
 
1003
    (create updated version)
 
1004
    % vi foo.txt
 
1005
    % weave get foo.weave 0 | diff -u - foo.txt
 
1006
    % weave add foo.weave ver1 0 < foo.txt
 
1007
    added version 1
 
1008
 
 
1009
    % weave get foo.weave 0 > foo.txt       (create forked version)
 
1010
    % vi foo.txt
 
1011
    % weave add foo.weave ver2 0 < foo.txt
 
1012
    added version 2
 
1013
 
 
1014
    % weave merge foo.weave 1 2 > foo.txt   (merge them)
 
1015
    % vi foo.txt                            (resolve conflicts)
 
1016
    % weave add foo.weave merged 1 2 < foo.txt     (commit merged version)     
 
1017
    
 
1018
"""
 
1019
    
 
1020
 
 
1021
 
 
1022
def main(argv):
 
1023
    import sys
 
1024
    import os
 
1025
    try:
 
1026
        import bzrlib
 
1027
    except ImportError:
 
1028
        # in case we're run directly from the subdirectory
 
1029
        sys.path.append('..')
 
1030
        import bzrlib
 
1031
    from bzrlib.weavefile import write_weave, read_weave
 
1032
    from bzrlib.progress import ProgressBar
 
1033
 
 
1034
    try:
 
1035
        import psyco
 
1036
        psyco.full()
 
1037
    except ImportError:
 
1038
        pass
 
1039
 
 
1040
    if len(argv) < 2:
 
1041
        usage()
 
1042
        return 0
 
1043
 
 
1044
    cmd = argv[1]
 
1045
 
 
1046
    def readit():
 
1047
        return read_weave(file(argv[2], 'rb'))
 
1048
    
 
1049
    if cmd == 'help':
 
1050
        usage()
 
1051
    elif cmd == 'add':
 
1052
        w = readit()
 
1053
        # at the moment, based on everything in the file
 
1054
        name = argv[3]
 
1055
        parents = map(int, argv[4:])
 
1056
        lines = sys.stdin.readlines()
 
1057
        ver = w.add(name, parents, lines)
 
1058
        write_weave(w, file(argv[2], 'wb'))
 
1059
        print 'added version %r %d' % (name, ver)
 
1060
    elif cmd == 'init':
 
1061
        fn = argv[2]
 
1062
        if os.path.exists(fn):
 
1063
            raise IOError("file exists")
 
1064
        w = Weave()
 
1065
        write_weave(w, file(fn, 'wb'))
 
1066
    elif cmd == 'get': # get one version
 
1067
        w = readit()
 
1068
        sys.stdout.writelines(w.get_iter(int(argv[3])))
 
1069
        
 
1070
    elif cmd == 'mash': # get composite
 
1071
        w = readit()
 
1072
        sys.stdout.writelines(w.mash_iter(map(int, argv[3:])))
 
1073
 
 
1074
    elif cmd == 'diff':
 
1075
        from difflib import unified_diff
 
1076
        w = readit()
 
1077
        fn = argv[2]
 
1078
        v1, v2 = map(int, argv[3:5])
 
1079
        lines1 = w.get(v1)
 
1080
        lines2 = w.get(v2)
 
1081
        diff_gen = unified_diff(lines1, lines2,
 
1082
                                '%s version %d' % (fn, v1),
 
1083
                                '%s version %d' % (fn, v2))
 
1084
        sys.stdout.writelines(diff_gen)
 
1085
            
 
1086
    elif cmd == 'annotate':
 
1087
        w = readit()
 
1088
        # newline is added to all lines regardless; too hard to get
 
1089
        # reasonable formatting otherwise
 
1090
        lasto = None
 
1091
        for origin, text in w.annotate(int(argv[3])):
 
1092
            text = text.rstrip('\r\n')
 
1093
            if origin == lasto:
 
1094
                print '      | %s' % (text)
 
1095
            else:
 
1096
                print '%5d | %s' % (origin, text)
 
1097
                lasto = origin
 
1098
                
 
1099
    elif cmd == 'toc':
 
1100
        weave_toc(readit())
 
1101
 
 
1102
    elif cmd == 'stats':
 
1103
        weave_stats(argv[2], ProgressBar())
 
1104
        
 
1105
    elif cmd == 'check':
 
1106
        w = readit()
 
1107
        pb = ProgressBar()
 
1108
        w.check(pb)
 
1109
        pb.clear()
 
1110
        print '%d versions ok' % w.numversions()
 
1111
 
 
1112
    elif cmd == 'inclusions':
 
1113
        w = readit()
 
1114
        print ' '.join(map(str, w.inclusions([int(argv[3])])))
 
1115
 
 
1116
    elif cmd == 'parents':
 
1117
        w = readit()
 
1118
        print ' '.join(map(str, w._parents[int(argv[3])]))
 
1119
 
 
1120
    elif cmd == 'plan-merge':
 
1121
        w = readit()
 
1122
        for state, line in w.plan_merge(int(argv[3]), int(argv[4])):
 
1123
            if line:
 
1124
                print '%14s | %s' % (state, line),
 
1125
 
 
1126
    elif cmd == 'merge':
 
1127
        w = readit()
 
1128
        p = w.plan_merge(int(argv[3]), int(argv[4]))
 
1129
        sys.stdout.writelines(w.weave_merge(p))
 
1130
            
 
1131
    elif cmd == 'mash-merge':
 
1132
        if len(argv) != 5:
 
1133
            usage()
 
1134
            return 1
 
1135
 
 
1136
        w = readit()
 
1137
        v1, v2 = map(int, argv[3:5])
 
1138
 
 
1139
        basis = w.inclusions([v1]).intersection(w.inclusions([v2]))
 
1140
 
 
1141
        base_lines = list(w.mash_iter(basis))
 
1142
        a_lines = list(w.get(v1))
 
1143
        b_lines = list(w.get(v2))
 
1144
 
 
1145
        from bzrlib.merge3 import Merge3
 
1146
        m3 = Merge3(base_lines, a_lines, b_lines)
 
1147
 
 
1148
        name_a = 'version %d' % v1
 
1149
        name_b = 'version %d' % v2
 
1150
        sys.stdout.writelines(m3.merge_lines(name_a=name_a, name_b=name_b))
 
1151
    else:
 
1152
        raise ValueError('unknown command %r' % cmd)
 
1153
    
 
1154
 
 
1155
 
 
1156
def profile_main(argv): 
 
1157
    import tempfile, hotshot, hotshot.stats
 
1158
 
 
1159
    prof_f = tempfile.NamedTemporaryFile()
 
1160
 
 
1161
    prof = hotshot.Profile(prof_f.name)
 
1162
 
 
1163
    ret = prof.runcall(main, argv)
 
1164
    prof.close()
 
1165
 
 
1166
    stats = hotshot.stats.load(prof_f.name)
 
1167
    #stats.strip_dirs()
 
1168
    stats.sort_stats('cumulative')
 
1169
    ## XXX: Might like to write to stderr or the trace file instead but
 
1170
    ## print_stats seems hardcoded to stdout
 
1171
    stats.print_stats(20)
 
1172
            
 
1173
    return ret
 
1174
 
 
1175
 
 
1176
if __name__ == '__main__':
 
1177
    import sys
 
1178
    if '--profile' in sys.argv:
 
1179
        args = sys.argv[:]
 
1180
        args.remove('--profile')
 
1181
        sys.exit(profile_main(args))
 
1182
    else:
 
1183
        sys.exit(main(sys.argv))
 
1184