/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/weave.py

Added set_remove to get the set delete function to IntSet

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
#! /usr/bin/python
 
2
 
 
3
# Copyright (C) 2005 Canonical Ltd
 
4
 
 
5
# This program is free software; you can redistribute it and/or modify
 
6
# it under the terms of the GNU General Public License as published by
 
7
# the Free Software Foundation; either version 2 of the License, or
 
8
# (at your option) any later version.
 
9
 
 
10
# This program is distributed in the hope that it will be useful,
 
11
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
12
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
13
# GNU General Public License for more details.
 
14
 
 
15
# You should have received a copy of the GNU General Public License
 
16
# along with this program; if not, write to the Free Software
 
17
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
18
 
 
19
# Author: Martin Pool <mbp@canonical.com>
 
20
 
 
21
 
 
22
"""Weave - storage of related text file versions"""
 
23
 
 
24
 
 
25
# XXX: If we do weaves this way, will a merge still behave the same
 
26
# way if it's done in a different order?  That's a pretty desirable
 
27
# property.
 
28
 
 
29
# TODO: Nothing here so far assumes the lines are really \n newlines,
 
30
# rather than being split up in some other way.  We could accomodate
 
31
# binaries, perhaps by naively splitting on \n or perhaps using
 
32
# something like a rolling checksum.
 
33
 
 
34
# TODO: End marker for each version so we can stop reading?
 
35
 
 
36
# TODO: Check that no insertion occurs inside a deletion that was
 
37
# active in the version of the insertion.
 
38
 
 
39
# TODO: In addition to the SHA-1 check, perhaps have some code that
 
40
# checks structural constraints of the weave: ie that insertions are
 
41
# properly nested, that there is no text outside of an insertion, that
 
42
# insertions or deletions are not repeated, etc.
 
43
 
 
44
# TODO: Parallel-extract that passes back each line along with a
 
45
# description of which revisions include it.  Nice for checking all
 
46
# shas or calculating stats in parallel.
 
47
 
 
48
# TODO: Using a single _extract routine and then processing the output
 
49
# is probably inefficient.  It's simple enough that we can afford to
 
50
# have slight specializations for different ways its used: annotate,
 
51
# basis for add, get, etc.
 
52
 
 
53
# TODO: Probably the API should work only in names to hide the integer
 
54
# indexes from the user.
 
55
 
 
56
# TODO: Is there any potential performance win by having an add()
 
57
# variant that is passed a pre-cooked version of the single basis
 
58
# version?
 
59
 
 
60
# TODO: Reweave can possibly be made faster by remembering diffs
 
61
# where the basis and destination are unchanged.
 
62
 
 
63
# FIXME: Sometimes we will be given a parents list for a revision
 
64
# that includes some redundant parents (i.e. already a parent of 
 
65
# something in the list.)  We should eliminate them.  This can 
 
66
# be done fairly efficiently because the sequence numbers constrain
 
67
# the possible relationships.
 
68
 
 
69
 
 
70
import sha
 
71
from difflib import SequenceMatcher
 
72
 
 
73
from bzrlib.trace import mutter
 
74
from bzrlib.errors import (WeaveError, WeaveFormatError, WeaveParentMismatch,
 
75
        WeaveRevisionNotPresent, WeaveRevisionAlreadyPresent)
 
76
import bzrlib.errors as errors
 
77
from bzrlib.tsort import topo_sort
 
78
 
 
79
 
 
80
class Weave(object):
 
81
    """weave - versioned text file storage.
 
82
    
 
83
    A Weave manages versions of line-based text files, keeping track
 
84
    of the originating version for each line.
 
85
 
 
86
    To clients the "lines" of the file are represented as a list of strings.
 
87
    These strings  will typically have terminal newline characters, but
 
88
    this is not required.  In particular files commonly do not have a newline
 
89
    at the end of the file.
 
90
 
 
91
    Texts can be identified in either of two ways:
 
92
 
 
93
    * a nonnegative index number.
 
94
 
 
95
    * a version-id string.
 
96
 
 
97
    Typically the index number will be valid only inside this weave and
 
98
    the version-id is used to reference it in the larger world.
 
99
 
 
100
    The weave is represented as a list mixing edit instructions and
 
101
    literal text.  Each entry in _weave can be either a string (or
 
102
    unicode), or a tuple.  If a string, it means that the given line
 
103
    should be output in the currently active revisions.
 
104
 
 
105
    If a tuple, it gives a processing instruction saying in which
 
106
    revisions the enclosed lines are active.  The tuple has the form
 
107
    (instruction, version).
 
108
 
 
109
    The instruction can be '{' or '}' for an insertion block, and '['
 
110
    and ']' for a deletion block respectively.  The version is the
 
111
    integer version index.  There is no replace operator, only deletes
 
112
    and inserts.  For '}', the end of an insertion, there is no
 
113
    version parameter because it always closes the most recently
 
114
    opened insertion.
 
115
 
 
116
    Constraints/notes:
 
117
 
 
118
    * A later version can delete lines that were introduced by any
 
119
      number of ancestor versions; this implies that deletion
 
120
      instructions can span insertion blocks without regard to the
 
121
      insertion block's nesting.
 
122
 
 
123
    * Similarly, deletions need not be properly nested with regard to
 
124
      each other, because they might have been generated by
 
125
      independent revisions.
 
126
 
 
127
    * Insertions are always made by inserting a new bracketed block
 
128
      into a single point in the previous weave.  This implies they
 
129
      can nest but not overlap, and the nesting must always have later
 
130
      insertions on the inside.
 
131
 
 
132
    * It doesn't seem very useful to have an active insertion
 
133
      inside an inactive insertion, but it might happen.
 
134
      
 
135
    * Therefore, all instructions are always"considered"; that
 
136
      is passed onto and off the stack.  An outer inactive block
 
137
      doesn't disable an inner block.
 
138
 
 
139
    * Lines are enabled if the most recent enclosing insertion is
 
140
      active and none of the enclosing deletions are active.
 
141
 
 
142
    * There is no point having a deletion directly inside its own
 
143
      insertion; you might as well just not write it.  And there
 
144
      should be no way to get an earlier version deleting a later
 
145
      version.
 
146
 
 
147
    _weave
 
148
        Text of the weave; list of control instruction tuples and strings.
 
149
 
 
150
    _parents
 
151
        List of parents, indexed by version number.
 
152
        It is only necessary to store the minimal set of parents for
 
153
        each version; the parent's parents are implied.
 
154
 
 
155
    _sha1s
 
156
        List of hex SHA-1 of each version.
 
157
 
 
158
    _names
 
159
        List of symbolic names for each version.  Each should be unique.
 
160
 
 
161
    _name_map
 
162
        For each name, the version number.
 
163
 
 
164
    _weave_name
 
165
        Descriptive name of this weave; typically the filename if known.
 
166
        Set by read_weave.
 
167
    """
 
168
 
 
169
    __slots__ = ['_weave', '_parents', '_sha1s', '_names', '_name_map',
 
170
                 '_weave_name']
 
171
    
 
172
    def __init__(self, weave_name=None):
 
173
        self._weave = []
 
174
        self._parents = []
 
175
        self._sha1s = []
 
176
        self._names = []
 
177
        self._name_map = {}
 
178
        self._weave_name = weave_name
 
179
 
 
180
    def __repr__(self):
 
181
        return "Weave(%r)" % self._weave_name
 
182
 
 
183
 
 
184
    def copy(self):
 
185
        """Return a deep copy of self.
 
186
        
 
187
        The copy can be modified without affecting the original weave."""
 
188
        other = Weave()
 
189
        other._weave = self._weave[:]
 
190
        other._parents = self._parents[:]
 
191
        other._sha1s = self._sha1s[:]
 
192
        other._names = self._names[:]
 
193
        other._name_map = self._name_map.copy()
 
194
        other._weave_name = self._weave_name
 
195
        return other
 
196
 
 
197
    def __eq__(self, other):
 
198
        if not isinstance(other, Weave):
 
199
            return False
 
200
        return self._parents == other._parents \
 
201
               and self._weave == other._weave \
 
202
               and self._sha1s == other._sha1s 
 
203
 
 
204
    
 
205
    def __ne__(self, other):
 
206
        return not self.__eq__(other)
 
207
 
 
208
    def __contains__(self, name):
 
209
        return self._name_map.has_key(name)
 
210
 
 
211
    def maybe_lookup(self, name_or_index):
 
212
        """Convert possible symbolic name to index, or pass through indexes."""
 
213
        if isinstance(name_or_index, (int, long)):
 
214
            return name_or_index
 
215
        else:
 
216
            return self.lookup(name_or_index)
 
217
 
 
218
        
 
219
    def lookup(self, name):
 
220
        """Convert symbolic version name to index."""
 
221
        try:
 
222
            return self._name_map[name]
 
223
        except KeyError:
 
224
            raise WeaveRevisionNotPresent(name, self)
 
225
 
 
226
    def names(self):
 
227
        return self._names[:]
 
228
 
 
229
    def iter_names(self):
 
230
        """Yield a list of all names in this weave."""
 
231
        return iter(self._names)
 
232
 
 
233
    def idx_to_name(self, version):
 
234
        return self._names[version]
 
235
 
 
236
    def _check_repeated_add(self, name, parents, text, sha1):
 
237
        """Check that a duplicated add is OK.
 
238
 
 
239
        If it is, return the (old) index; otherwise raise an exception.
 
240
        """
 
241
        idx = self.lookup(name)
 
242
        if sorted(self._parents[idx]) != sorted(parents) \
 
243
            or sha1 != self._sha1s[idx]:
 
244
            raise WeaveRevisionAlreadyPresent(name, self)
 
245
        return idx
 
246
        
 
247
    def add(self, name, parents, text, sha1=None):
 
248
        """Add a single text on top of the weave.
 
249
  
 
250
        Returns the index number of the newly added version.
 
251
 
 
252
        name
 
253
            Symbolic name for this version.
 
254
            (Typically the revision-id of the revision that added it.)
 
255
 
 
256
        parents
 
257
            List or set of direct parent version numbers.
 
258
            
 
259
        text
 
260
            Sequence of lines to be added in the new version.
 
261
 
 
262
        sha -- SHA-1 of the file, if known.  This is trusted to be
 
263
            correct if supplied.
 
264
        """
 
265
        from bzrlib.osutils import sha_strings
 
266
 
 
267
        assert isinstance(name, basestring)
 
268
        if sha1 is None:
 
269
            sha1 = sha_strings(text)
 
270
        if name in self._name_map:
 
271
            return self._check_repeated_add(name, parents, text, sha1)
 
272
 
 
273
        parents = map(self.maybe_lookup, parents)
 
274
        self._check_versions(parents)
 
275
        ## self._check_lines(text)
 
276
        new_version = len(self._parents)
 
277
 
 
278
 
 
279
        # if we abort after here the (in-memory) weave will be corrupt because only
 
280
        # some fields are updated
 
281
        self._parents.append(parents[:])
 
282
        self._sha1s.append(sha1)
 
283
        self._names.append(name)
 
284
        self._name_map[name] = new_version
 
285
 
 
286
            
 
287
        if not parents:
 
288
            # special case; adding with no parents revision; can do
 
289
            # this more quickly by just appending unconditionally.
 
290
            # even more specially, if we're adding an empty text we
 
291
            # need do nothing at all.
 
292
            if text:
 
293
                self._weave.append(('{', new_version))
 
294
                self._weave.extend(text)
 
295
                self._weave.append(('}', None))
 
296
        
 
297
            return new_version
 
298
 
 
299
        if len(parents) == 1:
 
300
            pv = list(parents)[0]
 
301
            if sha1 == self._sha1s[pv]:
 
302
                # special case: same as the single parent
 
303
                return new_version
 
304
            
 
305
 
 
306
        ancestors = self.inclusions(parents)
 
307
 
 
308
        l = self._weave
 
309
 
 
310
        # basis a list of (origin, lineno, line)
 
311
        basis_lineno = []
 
312
        basis_lines = []
 
313
        for origin, lineno, line in self._extract(ancestors):
 
314
            basis_lineno.append(lineno)
 
315
            basis_lines.append(line)
 
316
 
 
317
        # another small special case: a merge, producing the same text
 
318
        # as auto-merge
 
319
        if text == basis_lines:
 
320
            return new_version            
 
321
 
 
322
        # add a sentinal, because we can also match against the final line
 
323
        basis_lineno.append(len(self._weave))
 
324
 
 
325
        # XXX: which line of the weave should we really consider
 
326
        # matches the end of the file?  the current code says it's the
 
327
        # last line of the weave?
 
328
 
 
329
        #print 'basis_lines:', basis_lines
 
330
        #print 'new_lines:  ', lines
 
331
 
 
332
        s = SequenceMatcher(None, basis_lines, text)
 
333
 
 
334
        # offset gives the number of lines that have been inserted
 
335
        # into the weave up to the current point; if the original edit instruction
 
336
        # says to change line A then we actually change (A+offset)
 
337
        offset = 0
 
338
 
 
339
        for tag, i1, i2, j1, j2 in s.get_opcodes():
 
340
            # i1,i2 are given in offsets within basis_lines; we need to map them
 
341
            # back to offsets within the entire weave
 
342
            #print 'raw match', tag, i1, i2, j1, j2
 
343
            if tag == 'equal':
 
344
                continue
 
345
 
 
346
            i1 = basis_lineno[i1]
 
347
            i2 = basis_lineno[i2]
 
348
 
 
349
            assert 0 <= j1 <= j2 <= len(text)
 
350
 
 
351
            #print tag, i1, i2, j1, j2
 
352
 
 
353
            # the deletion and insertion are handled separately.
 
354
            # first delete the region.
 
355
            if i1 != i2:
 
356
                self._weave.insert(i1+offset, ('[', new_version))
 
357
                self._weave.insert(i2+offset+1, (']', new_version))
 
358
                offset += 2
 
359
 
 
360
            if j1 != j2:
 
361
                # there may have been a deletion spanning up to
 
362
                # i2; we want to insert after this region to make sure
 
363
                # we don't destroy ourselves
 
364
                i = i2 + offset
 
365
                self._weave[i:i] = ([('{', new_version)] 
 
366
                                    + text[j1:j2] 
 
367
                                    + [('}', None)])
 
368
                offset += 2 + (j2 - j1)
 
369
 
 
370
        return new_version
 
371
 
 
372
    def add_identical(self, old_rev_id, new_rev_id, parents):
 
373
        """Add an identical text to old_rev_id as new_rev_id."""
 
374
        old_lines = self.get(self.lookup(old_rev_id))
 
375
        self.add(new_rev_id, parents, old_lines)
 
376
 
 
377
    def inclusions(self, versions):
 
378
        """Return set of all ancestors of given version(s)."""
 
379
        i = set(versions)
 
380
        for v in xrange(max(versions), 0, -1):
 
381
            if v in i:
 
382
                # include all its parents
 
383
                i.update(self._parents[v])
 
384
        return i
 
385
        ## except IndexError:
 
386
        ##     raise ValueError("version %d not present in weave" % v)
 
387
 
 
388
 
 
389
    def parents(self, version):
 
390
        return self._parents[version]
 
391
 
 
392
 
 
393
    def parent_names(self, version):
 
394
        """Return version names for parents of a version."""
 
395
        return map(self.idx_to_name, self._parents[self.lookup(version)])
 
396
 
 
397
 
 
398
    def minimal_parents(self, version):
 
399
        """Find the minimal set of parents for the version."""
 
400
        included = self._parents[version]
 
401
        if not included:
 
402
            return []
 
403
        
 
404
        li = list(included)
 
405
        li.sort(reverse=True)
 
406
 
 
407
        mininc = []
 
408
        gotit = set()
 
409
 
 
410
        for pv in li:
 
411
            if pv not in gotit:
 
412
                mininc.append(pv)
 
413
                gotit.update(self.inclusions(pv))
 
414
 
 
415
        assert mininc[0] >= 0
 
416
        assert mininc[-1] < version
 
417
        return mininc
 
418
 
 
419
 
 
420
 
 
421
    def _check_lines(self, text):
 
422
        if not isinstance(text, list):
 
423
            raise ValueError("text should be a list, not %s" % type(text))
 
424
 
 
425
        for l in text:
 
426
            if not isinstance(l, basestring):
 
427
                raise ValueError("text line should be a string or unicode, not %s"
 
428
                                 % type(l))
 
429
        
 
430
 
 
431
 
 
432
    def _check_versions(self, indexes):
 
433
        """Check everything in the sequence of indexes is valid"""
 
434
        for i in indexes:
 
435
            try:
 
436
                self._parents[i]
 
437
            except IndexError:
 
438
                raise IndexError("invalid version number %r" % i)
 
439
 
 
440
    
 
441
    def annotate(self, name_or_index):
 
442
        return list(self.annotate_iter(name_or_index))
 
443
 
 
444
 
 
445
    def annotate_iter(self, name_or_index):
 
446
        """Yield list of (index-id, line) pairs for the specified version.
 
447
 
 
448
        The index indicates when the line originated in the weave."""
 
449
        incls = [self.maybe_lookup(name_or_index)]
 
450
        for origin, lineno, text in self._extract(incls):
 
451
            yield origin, text
 
452
 
 
453
    def _walk(self):
 
454
        """Walk the weave.
 
455
 
 
456
        Yields sequence of
 
457
        (lineno, insert, deletes, text)
 
458
        for each literal line.
 
459
        """
 
460
        
 
461
        istack = []
 
462
        dset = set()
 
463
 
 
464
        lineno = 0         # line of weave, 0-based
 
465
 
 
466
        for l in self._weave:
 
467
            if isinstance(l, tuple):
 
468
                c, v = l
 
469
                isactive = None
 
470
                if c == '{':
 
471
                    istack.append(v)
 
472
                elif c == '}':
 
473
                    istack.pop()
 
474
                elif c == '[':
 
475
                    assert v not in dset
 
476
                    dset.add(v)
 
477
                elif c == ']':
 
478
                    dset.remove(v)
 
479
                else:
 
480
                    raise WeaveFormatError('unexpected instruction %r' % v)
 
481
            else:
 
482
                assert isinstance(l, basestring)
 
483
                assert istack
 
484
                yield lineno, istack[-1], dset, l
 
485
            lineno += 1
 
486
 
 
487
 
 
488
 
 
489
    def _extract(self, versions):
 
490
        """Yield annotation of lines in included set.
 
491
 
 
492
        Yields a sequence of tuples (origin, lineno, text), where
 
493
        origin is the origin version, lineno the index in the weave,
 
494
        and text the text of the line.
 
495
 
 
496
        The set typically but not necessarily corresponds to a version.
 
497
        """
 
498
        for i in versions:
 
499
            if not isinstance(i, int):
 
500
                raise ValueError(i)
 
501
            
 
502
        included = self.inclusions(versions)
 
503
 
 
504
        istack = []
 
505
        dset = set()
 
506
 
 
507
        lineno = 0         # line of weave, 0-based
 
508
 
 
509
        isactive = None
 
510
 
 
511
        result = []
 
512
 
 
513
        WFE = WeaveFormatError
 
514
 
 
515
        for l in self._weave:
 
516
            if isinstance(l, tuple):
 
517
                c, v = l
 
518
                isactive = None
 
519
                if c == '{':
 
520
                    assert v not in istack
 
521
                    istack.append(v)
 
522
                elif c == '}':
 
523
                    istack.pop()
 
524
                elif c == '[':
 
525
                    if v in included:
 
526
                        assert v not in dset
 
527
                        dset.add(v)
 
528
                else:
 
529
                    assert c == ']'
 
530
                    if v in included:
 
531
                        assert v in dset
 
532
                        dset.remove(v)
 
533
            else:
 
534
                assert isinstance(l, basestring)
 
535
                if isactive is None:
 
536
                    isactive = (not dset) and istack and (istack[-1] in included)
 
537
                if isactive:
 
538
                    result.append((istack[-1], lineno, l))
 
539
            lineno += 1
 
540
        if istack:
 
541
            raise WeaveFormatError("unclosed insertion blocks "
 
542
                    "at end of weave: %s" % istack)
 
543
        if dset:
 
544
            raise WeaveFormatError("unclosed deletion blocks at end of weave: %s"
 
545
                                   % dset)
 
546
        return result
 
547
 
 
548
 
 
549
    def get_iter(self, name_or_index):
 
550
        """Yield lines for the specified version."""
 
551
        incls = [self.maybe_lookup(name_or_index)]
 
552
        if len(incls) == 1:
 
553
            index= incls[0]
 
554
            s = sha.new()
 
555
        else:
 
556
            # We don't have sha1 sums for multiple entries
 
557
            s = None
 
558
        for origin, lineno, line in self._extract(incls):
 
559
            if s:
 
560
                s.update(line)
 
561
            yield line
 
562
        if s:
 
563
            expected_sha1 = self._sha1s[index]
 
564
            measured_sha1 = s.hexdigest() 
 
565
            if measured_sha1 != expected_sha1:
 
566
                raise errors.WeaveInvalidChecksum(
 
567
                        'file %s, revision %s, expected: %s, measured %s' 
 
568
                        % (self._weave_name, self._names[index],
 
569
                           expected_sha1, measured_sha1))
 
570
 
 
571
 
 
572
    def get_text(self, name_or_index):
 
573
        return ''.join(self.get_iter(name_or_index))
 
574
        assert isinstance(version, int)
 
575
 
 
576
 
 
577
    def get_lines(self, name_or_index):
 
578
        return list(self.get_iter(name_or_index))
 
579
 
 
580
 
 
581
    get = get_lines
 
582
 
 
583
 
 
584
    def mash_iter(self, included):
 
585
        """Return composed version of multiple included versions."""
 
586
        included = map(self.maybe_lookup, included)
 
587
        for origin, lineno, text in self._extract(included):
 
588
            yield text
 
589
 
 
590
 
 
591
    def dump(self, to_file):
 
592
        from pprint import pprint
 
593
        print >>to_file, "Weave._weave = ",
 
594
        pprint(self._weave, to_file)
 
595
        print >>to_file, "Weave._parents = ",
 
596
        pprint(self._parents, to_file)
 
597
 
 
598
 
 
599
 
 
600
    def numversions(self):
 
601
        l = len(self._parents)
 
602
        assert l == len(self._sha1s)
 
603
        return l
 
604
 
 
605
 
 
606
    def __len__(self):
 
607
        return self.numversions()
 
608
 
 
609
 
 
610
    def check(self, progress_bar=None):
 
611
        # check no circular inclusions
 
612
        for version in range(self.numversions()):
 
613
            inclusions = list(self._parents[version])
 
614
            if inclusions:
 
615
                inclusions.sort()
 
616
                if inclusions[-1] >= version:
 
617
                    raise WeaveFormatError("invalid included version %d for index %d"
 
618
                                           % (inclusions[-1], version))
 
619
 
 
620
        # try extracting all versions; this is a bit slow and parallel
 
621
        # extraction could be used
 
622
        nv = self.numversions()
 
623
        for version in range(nv):
 
624
            if progress_bar:
 
625
                progress_bar.update('checking text', version, nv)
 
626
            s = sha.new()
 
627
            for l in self.get_iter(version):
 
628
                s.update(l)
 
629
            hd = s.hexdigest()
 
630
            expected = self._sha1s[version]
 
631
            if hd != expected:
 
632
                raise WeaveError("mismatched sha1 for version %d; "
 
633
                                 "got %s, expected %s"
 
634
                                 % (version, hd, expected))
 
635
 
 
636
        # TODO: check insertions are properly nested, that there are
 
637
        # no lines outside of insertion blocks, that deletions are
 
638
        # properly paired, etc.
 
639
 
 
640
 
 
641
    def _delta(self, included, lines):
 
642
        """Return changes from basis to new revision.
 
643
 
 
644
        The old text for comparison is the union of included revisions.
 
645
 
 
646
        This is used in inserting a new text.
 
647
 
 
648
        Delta is returned as a sequence of
 
649
        (weave1, weave2, newlines).
 
650
 
 
651
        This indicates that weave1:weave2 of the old weave should be
 
652
        replaced by the sequence of lines in newlines.  Note that
 
653
        these line numbers are positions in the total weave and don't
 
654
        correspond to the lines in any extracted version, or even the
 
655
        extracted union of included versions.
 
656
 
 
657
        If line1=line2, this is a pure insert; if newlines=[] this is a
 
658
        pure delete.  (Similar to difflib.)
 
659
        """
 
660
        raise NotImplementedError()
 
661
 
 
662
            
 
663
    def plan_merge(self, ver_a, ver_b):
 
664
        """Return pseudo-annotation indicating how the two versions merge.
 
665
 
 
666
        This is computed between versions a and b and their common
 
667
        base.
 
668
 
 
669
        Weave lines present in none of them are skipped entirely.
 
670
        """
 
671
        inc_a = self.inclusions([ver_a])
 
672
        inc_b = self.inclusions([ver_b])
 
673
        inc_c = inc_a & inc_b
 
674
 
 
675
        for lineno, insert, deleteset, line in self._walk():
 
676
            if deleteset & inc_c:
 
677
                # killed in parent; can't be in either a or b
 
678
                # not relevant to our work
 
679
                yield 'killed-base', line
 
680
            elif insert in inc_c:
 
681
                # was inserted in base
 
682
                killed_a = bool(deleteset & inc_a)
 
683
                killed_b = bool(deleteset & inc_b)
 
684
                if killed_a and killed_b:
 
685
                    yield 'killed-both', line
 
686
                elif killed_a:
 
687
                    yield 'killed-a', line
 
688
                elif killed_b:
 
689
                    yield 'killed-b', line
 
690
                else:
 
691
                    yield 'unchanged', line
 
692
            elif insert in inc_a:
 
693
                if deleteset & inc_a:
 
694
                    yield 'ghost-a', line
 
695
                else:
 
696
                    # new in A; not in B
 
697
                    yield 'new-a', line
 
698
            elif insert in inc_b:
 
699
                if deleteset & inc_b:
 
700
                    yield 'ghost-b', line
 
701
                else:
 
702
                    yield 'new-b', line
 
703
            else:
 
704
                # not in either revision
 
705
                yield 'irrelevant', line
 
706
 
 
707
        yield 'unchanged', ''           # terminator
 
708
 
 
709
 
 
710
 
 
711
    def weave_merge(self, plan):
 
712
        lines_a = []
 
713
        lines_b = []
 
714
        ch_a = ch_b = False
 
715
        # TODO: Return a structured form of the conflicts (e.g. 2-tuples for
 
716
        # conflicted regions), rather than just inserting the markers.
 
717
        # 
 
718
        # TODO: Show some version information (e.g. author, date) on 
 
719
        # conflicted regions.
 
720
        for state, line in plan:
 
721
            if state == 'unchanged' or state == 'killed-both':
 
722
                # resync and flush queued conflicts changes if any
 
723
                if not lines_a and not lines_b:
 
724
                    pass
 
725
                elif ch_a and not ch_b:
 
726
                    # one-sided change:                    
 
727
                    for l in lines_a: yield l
 
728
                elif ch_b and not ch_a:
 
729
                    for l in lines_b: yield l
 
730
                elif lines_a == lines_b:
 
731
                    for l in lines_a: yield l
 
732
                else:
 
733
                    yield '<<<<<<<\n'
 
734
                    for l in lines_a: yield l
 
735
                    yield '=======\n'
 
736
                    for l in lines_b: yield l
 
737
                    yield '>>>>>>>\n'
 
738
 
 
739
                del lines_a[:]
 
740
                del lines_b[:]
 
741
                ch_a = ch_b = False
 
742
                
 
743
            if state == 'unchanged':
 
744
                if line:
 
745
                    yield line
 
746
            elif state == 'killed-a':
 
747
                ch_a = True
 
748
                lines_b.append(line)
 
749
            elif state == 'killed-b':
 
750
                ch_b = True
 
751
                lines_a.append(line)
 
752
            elif state == 'new-a':
 
753
                ch_a = True
 
754
                lines_a.append(line)
 
755
            elif state == 'new-b':
 
756
                ch_b = True
 
757
                lines_b.append(line)
 
758
            else:
 
759
                assert state in ('irrelevant', 'ghost-a', 'ghost-b', 'killed-base',
 
760
                                 'killed-both'), \
 
761
                       state
 
762
 
 
763
 
 
764
    def join(self, other):
 
765
        import sys, time
 
766
        """Integrate versions from other into this weave.
 
767
 
 
768
        The resulting weave contains all the history of both weaves; 
 
769
        any version you could retrieve from either self or other can be 
 
770
        retrieved from self after this call.
 
771
 
 
772
        It is illegal for the two weaves to contain different values 
 
773
        or different parents for any version.  See also reweave().
 
774
        """
 
775
        if other.numversions() == 0:
 
776
            return          # nothing to update, easy
 
777
        # two loops so that we do not change ourselves before verifying it
 
778
        # will be ok
 
779
        # work through in index order to make sure we get all dependencies
 
780
        for other_idx, name in enumerate(other._names):
 
781
            self._check_version_consistent(other, other_idx, name)
 
782
 
 
783
        merged = 0
 
784
        processed = 0
 
785
        time0 = time.time( )
 
786
        for other_idx, name in enumerate(other._names):
 
787
            # TODO: If all the parents of the other version are already
 
788
            # present then we can avoid some work by just taking the delta
 
789
            # and adjusting the offsets.
 
790
            new_parents = self._imported_parents(other, other_idx)
 
791
            sha1 = other._sha1s[other_idx]
 
792
 
 
793
            processed += 1
 
794
           
 
795
            if name in self._names:
 
796
                idx = self.lookup(name)
 
797
                n1 = map(other.idx_to_name, other._parents[other_idx] )
 
798
                n2 = map(self.idx_to_name, self._parents[other_idx] )
 
799
                if sha1 ==  self._sha1s[idx] and n1 == n2:
 
800
                        continue
 
801
 
 
802
            merged += 1
 
803
            lines = other.get_lines(other_idx)
 
804
            self.add(name, new_parents, lines, sha1)
 
805
 
 
806
        mutter("merged = %d, processed = %d, file_id=%s; deltat=%d"%(
 
807
                merged,processed,self._weave_name, time.time( )-time0))
 
808
 
 
809
 
 
810
 
 
811
 
 
812
    def _imported_parents(self, other, other_idx):
 
813
        """Return list of parents in self corresponding to indexes in other."""
 
814
        new_parents = []
 
815
        for parent_idx in other._parents[other_idx]:
 
816
            parent_name = other._names[parent_idx]
 
817
            if parent_name not in self._names:
 
818
                # should not be possible
 
819
                raise WeaveError("missing parent {%s} of {%s} in %r" 
 
820
                                 % (parent_name, other._name_map[other_idx], self))
 
821
            new_parents.append(self._name_map[parent_name])
 
822
        return new_parents
 
823
 
 
824
    def _check_version_consistent(self, other, other_idx, name):
 
825
        """Check if a version in consistent in this and other.
 
826
 
 
827
        To be consistent it must have:
 
828
 
 
829
         * the same text
 
830
         * the same direct parents (by name, not index, and disregarding
 
831
           order)
 
832
        
 
833
        If present & correct return True;
 
834
        if not present in self return False; 
 
835
        if inconsistent raise error."""
 
836
        this_idx = self._name_map.get(name, -1)
 
837
        if this_idx != -1:
 
838
            if self._sha1s[this_idx] != other._sha1s[other_idx]:
 
839
                raise WeaveError("inconsistent texts for version {%s} "
 
840
                                 "when joining weaves"
 
841
                                 % (name))
 
842
            self_parents = self._parents[this_idx]
 
843
            other_parents = other._parents[other_idx]
 
844
            n1 = [self._names[i] for i in self_parents]
 
845
            n2 = [other._names[i] for i in other_parents]
 
846
            n1.sort()
 
847
            n2.sort()
 
848
            if n1 != n2:
 
849
                raise WeaveParentMismatch("inconsistent parents "
 
850
                    "for version {%s}: %s vs %s" % (name, n1, n2))
 
851
            else:
 
852
                return True         # ok!
 
853
        else:
 
854
            return False
 
855
 
 
856
    def reweave(self, other):
 
857
        """Reweave self with other."""
 
858
        new_weave = reweave(self, other)
 
859
        for attr in self.__slots__:
 
860
            setattr(self, attr, getattr(new_weave, attr))
 
861
 
 
862
 
 
863
def reweave(wa, wb):
 
864
    """Combine two weaves and return the result.
 
865
 
 
866
    This works even if a revision R has different parents in 
 
867
    wa and wb.  In the resulting weave all the parents are given.
 
868
 
 
869
    This is done by just building up a new weave, maintaining ordering 
 
870
    of the versions in the two inputs.  More efficient approaches
 
871
    might be possible but it should only be necessary to do 
 
872
    this operation rarely, when a new previously ghost version is 
 
873
    inserted.
 
874
    """
 
875
    wr = Weave()
 
876
    ia = ib = 0
 
877
    queue_a = range(wa.numversions())
 
878
    queue_b = range(wb.numversions())
 
879
    # first determine combined parents of all versions
 
880
    # map from version name -> all parent names
 
881
    combined_parents = _reweave_parent_graphs(wa, wb)
 
882
    mutter("combined parents: %r", combined_parents)
 
883
    order = topo_sort(combined_parents.iteritems())
 
884
    mutter("order to reweave: %r", order)
 
885
    for name in order:
 
886
        if name in wa._name_map:
 
887
            lines = wa.get_lines(name)
 
888
            if name in wb._name_map:
 
889
                assert lines == wb.get_lines(name)
 
890
        else:
 
891
            lines = wb.get_lines(name)
 
892
        wr.add(name, combined_parents[name], lines)
 
893
    return wr
 
894
 
 
895
 
 
896
def _reweave_parent_graphs(wa, wb):
 
897
    """Return combined parent ancestry for two weaves.
 
898
    
 
899
    Returned as a list of (version_name, set(parent_names))"""
 
900
    combined = {}
 
901
    for weave in [wa, wb]:
 
902
        for idx, name in enumerate(weave._names):
 
903
            p = combined.setdefault(name, set())
 
904
            p.update(map(weave.idx_to_name, weave._parents[idx]))
 
905
    return combined
 
906
 
 
907
 
 
908
def weave_toc(w):
 
909
    """Show the weave's table-of-contents"""
 
910
    print '%6s %50s %10s %10s' % ('ver', 'name', 'sha1', 'parents')
 
911
    for i in (6, 50, 10, 10):
 
912
        print '-' * i,
 
913
    print
 
914
    for i in range(w.numversions()):
 
915
        sha1 = w._sha1s[i]
 
916
        name = w._names[i]
 
917
        parent_str = ' '.join(map(str, w._parents[i]))
 
918
        print '%6d %-50.50s %10.10s %s' % (i, name, sha1, parent_str)
 
919
 
 
920
 
 
921
 
 
922
def weave_stats(weave_file, pb):
 
923
    from bzrlib.weavefile import read_weave
 
924
 
 
925
    wf = file(weave_file, 'rb')
 
926
    w = read_weave(wf)
 
927
    # FIXME: doesn't work on pipes
 
928
    weave_size = wf.tell()
 
929
 
 
930
    total = 0
 
931
    vers = len(w)
 
932
    for i in range(vers):
 
933
        pb.update('checking sizes', i, vers)
 
934
        for origin, lineno, line in w._extract([i]):
 
935
            total += len(line)
 
936
 
 
937
    pb.clear()
 
938
 
 
939
    print 'versions          %9d' % vers
 
940
    print 'weave file        %9d bytes' % weave_size
 
941
    print 'total contents    %9d bytes' % total
 
942
    print 'compression ratio %9.2fx' % (float(total) / float(weave_size))
 
943
    if vers:
 
944
        avg = total/vers
 
945
        print 'average size      %9d bytes' % avg
 
946
        print 'relative size     %9.2fx' % (float(weave_size) / float(avg))
 
947
 
 
948
 
 
949
def usage():
 
950
    print """bzr weave tool
 
951
 
 
952
Experimental tool for weave algorithm.
 
953
 
 
954
usage:
 
955
    weave init WEAVEFILE
 
956
        Create an empty weave file
 
957
    weave get WEAVEFILE VERSION
 
958
        Write out specified version.
 
959
    weave check WEAVEFILE
 
960
        Check consistency of all versions.
 
961
    weave toc WEAVEFILE
 
962
        Display table of contents.
 
963
    weave add WEAVEFILE NAME [BASE...] < NEWTEXT
 
964
        Add NEWTEXT, with specified parent versions.
 
965
    weave annotate WEAVEFILE VERSION
 
966
        Display origin of each line.
 
967
    weave mash WEAVEFILE VERSION...
 
968
        Display composite of all selected versions.
 
969
    weave merge WEAVEFILE VERSION1 VERSION2 > OUT
 
970
        Auto-merge two versions and display conflicts.
 
971
    weave diff WEAVEFILE VERSION1 VERSION2 
 
972
        Show differences between two versions.
 
973
 
 
974
example:
 
975
 
 
976
    % weave init foo.weave
 
977
    % vi foo.txt
 
978
    % weave add foo.weave ver0 < foo.txt
 
979
    added version 0
 
980
 
 
981
    (create updated version)
 
982
    % vi foo.txt
 
983
    % weave get foo.weave 0 | diff -u - foo.txt
 
984
    % weave add foo.weave ver1 0 < foo.txt
 
985
    added version 1
 
986
 
 
987
    % weave get foo.weave 0 > foo.txt       (create forked version)
 
988
    % vi foo.txt
 
989
    % weave add foo.weave ver2 0 < foo.txt
 
990
    added version 2
 
991
 
 
992
    % weave merge foo.weave 1 2 > foo.txt   (merge them)
 
993
    % vi foo.txt                            (resolve conflicts)
 
994
    % weave add foo.weave merged 1 2 < foo.txt     (commit merged version)     
 
995
    
 
996
"""
 
997
    
 
998
 
 
999
 
 
1000
def main(argv):
 
1001
    import sys
 
1002
    import os
 
1003
    try:
 
1004
        import bzrlib
 
1005
    except ImportError:
 
1006
        # in case we're run directly from the subdirectory
 
1007
        sys.path.append('..')
 
1008
        import bzrlib
 
1009
    from bzrlib.weavefile import write_weave, read_weave
 
1010
    from bzrlib.progress import ProgressBar
 
1011
 
 
1012
    try:
 
1013
        import psyco
 
1014
        psyco.full()
 
1015
    except ImportError:
 
1016
        pass
 
1017
 
 
1018
    if len(argv) < 2:
 
1019
        usage()
 
1020
        return 0
 
1021
 
 
1022
    cmd = argv[1]
 
1023
 
 
1024
    def readit():
 
1025
        return read_weave(file(argv[2], 'rb'))
 
1026
    
 
1027
    if cmd == 'help':
 
1028
        usage()
 
1029
    elif cmd == 'add':
 
1030
        w = readit()
 
1031
        # at the moment, based on everything in the file
 
1032
        name = argv[3]
 
1033
        parents = map(int, argv[4:])
 
1034
        lines = sys.stdin.readlines()
 
1035
        ver = w.add(name, parents, lines)
 
1036
        write_weave(w, file(argv[2], 'wb'))
 
1037
        print 'added version %r %d' % (name, ver)
 
1038
    elif cmd == 'init':
 
1039
        fn = argv[2]
 
1040
        if os.path.exists(fn):
 
1041
            raise IOError("file exists")
 
1042
        w = Weave()
 
1043
        write_weave(w, file(fn, 'wb'))
 
1044
    elif cmd == 'get': # get one version
 
1045
        w = readit()
 
1046
        sys.stdout.writelines(w.get_iter(int(argv[3])))
 
1047
        
 
1048
    elif cmd == 'mash': # get composite
 
1049
        w = readit()
 
1050
        sys.stdout.writelines(w.mash_iter(map(int, argv[3:])))
 
1051
 
 
1052
    elif cmd == 'diff':
 
1053
        from difflib import unified_diff
 
1054
        w = readit()
 
1055
        fn = argv[2]
 
1056
        v1, v2 = map(int, argv[3:5])
 
1057
        lines1 = w.get(v1)
 
1058
        lines2 = w.get(v2)
 
1059
        diff_gen = unified_diff(lines1, lines2,
 
1060
                                '%s version %d' % (fn, v1),
 
1061
                                '%s version %d' % (fn, v2))
 
1062
        sys.stdout.writelines(diff_gen)
 
1063
            
 
1064
    elif cmd == 'annotate':
 
1065
        w = readit()
 
1066
        # newline is added to all lines regardless; too hard to get
 
1067
        # reasonable formatting otherwise
 
1068
        lasto = None
 
1069
        for origin, text in w.annotate(int(argv[3])):
 
1070
            text = text.rstrip('\r\n')
 
1071
            if origin == lasto:
 
1072
                print '      | %s' % (text)
 
1073
            else:
 
1074
                print '%5d | %s' % (origin, text)
 
1075
                lasto = origin
 
1076
                
 
1077
    elif cmd == 'toc':
 
1078
        weave_toc(readit())
 
1079
 
 
1080
    elif cmd == 'stats':
 
1081
        weave_stats(argv[2], ProgressBar())
 
1082
        
 
1083
    elif cmd == 'check':
 
1084
        w = readit()
 
1085
        pb = ProgressBar()
 
1086
        w.check(pb)
 
1087
        pb.clear()
 
1088
        print '%d versions ok' % w.numversions()
 
1089
 
 
1090
    elif cmd == 'inclusions':
 
1091
        w = readit()
 
1092
        print ' '.join(map(str, w.inclusions([int(argv[3])])))
 
1093
 
 
1094
    elif cmd == 'parents':
 
1095
        w = readit()
 
1096
        print ' '.join(map(str, w._parents[int(argv[3])]))
 
1097
 
 
1098
    elif cmd == 'plan-merge':
 
1099
        w = readit()
 
1100
        for state, line in w.plan_merge(int(argv[3]), int(argv[4])):
 
1101
            if line:
 
1102
                print '%14s | %s' % (state, line),
 
1103
 
 
1104
    elif cmd == 'merge':
 
1105
        w = readit()
 
1106
        p = w.plan_merge(int(argv[3]), int(argv[4]))
 
1107
        sys.stdout.writelines(w.weave_merge(p))
 
1108
            
 
1109
    elif cmd == 'mash-merge':
 
1110
        if len(argv) != 5:
 
1111
            usage()
 
1112
            return 1
 
1113
 
 
1114
        w = readit()
 
1115
        v1, v2 = map(int, argv[3:5])
 
1116
 
 
1117
        basis = w.inclusions([v1]).intersection(w.inclusions([v2]))
 
1118
 
 
1119
        base_lines = list(w.mash_iter(basis))
 
1120
        a_lines = list(w.get(v1))
 
1121
        b_lines = list(w.get(v2))
 
1122
 
 
1123
        from bzrlib.merge3 import Merge3
 
1124
        m3 = Merge3(base_lines, a_lines, b_lines)
 
1125
 
 
1126
        name_a = 'version %d' % v1
 
1127
        name_b = 'version %d' % v2
 
1128
        sys.stdout.writelines(m3.merge_lines(name_a=name_a, name_b=name_b))
 
1129
    else:
 
1130
        raise ValueError('unknown command %r' % cmd)
 
1131
    
 
1132
 
 
1133
 
 
1134
def profile_main(argv): 
 
1135
    import tempfile, hotshot, hotshot.stats
 
1136
 
 
1137
    prof_f = tempfile.NamedTemporaryFile()
 
1138
 
 
1139
    prof = hotshot.Profile(prof_f.name)
 
1140
 
 
1141
    ret = prof.runcall(main, argv)
 
1142
    prof.close()
 
1143
 
 
1144
    stats = hotshot.stats.load(prof_f.name)
 
1145
    #stats.strip_dirs()
 
1146
    stats.sort_stats('cumulative')
 
1147
    ## XXX: Might like to write to stderr or the trace file instead but
 
1148
    ## print_stats seems hardcoded to stdout
 
1149
    stats.print_stats(20)
 
1150
            
 
1151
    return ret
 
1152
 
 
1153
 
 
1154
def lsprofile_main(argv): 
 
1155
    from bzrlib.lsprof import profile
 
1156
    ret,stats = profile(main, argv)
 
1157
    stats.sort()
 
1158
    stats.pprint()
 
1159
    return ret
 
1160
 
 
1161
 
 
1162
if __name__ == '__main__':
 
1163
    import sys
 
1164
    if '--profile' in sys.argv:
 
1165
        args = sys.argv[:]
 
1166
        args.remove('--profile')
 
1167
        sys.exit(profile_main(args))
 
1168
    elif '--lsprof' in sys.argv:
 
1169
        args = sys.argv[:]
 
1170
        args.remove('--lsprof')
 
1171
        sys.exit(lsprofile_main(args))
 
1172
    else:
 
1173
        sys.exit(main(sys.argv))
 
1174