/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/versionedfile.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2006-11-16 18:33:33 UTC
  • mfrom: (2138.1.1 robuster.external.diff)
  • Revision ID: pqm@pqm.ubuntu.com-20061116183333-5f56523d7b44e564
(Dmitry Vasiliev) Robuster external diff output handling.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005 by Canonical Ltd
 
1
# Copyright (C) 2005, 2006 Canonical Ltd
2
2
#
3
3
# Authors:
4
4
#   Johan Rydberg <jrydberg@gnu.org>
7
7
# it under the terms of the GNU General Public License as published by
8
8
# the Free Software Foundation; either version 2 of the License, or
9
9
# (at your option) any later version.
10
 
 
 
10
#
11
11
# This program is distributed in the hope that it will be useful,
12
12
# but WITHOUT ANY WARRANTY; without even the implied warranty of
13
13
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14
14
# GNU General Public License for more details.
15
 
 
 
15
#
16
16
# You should have received a copy of the GNU General Public License
17
17
# along with this program; if not, write to the Free Software
18
18
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
19
19
 
20
 
# Remaing to do is to figure out if get_graph should return a simple
21
 
# map, or a graph object of some kind.
22
 
 
23
 
 
24
20
"""Versioned text file storage api."""
25
21
 
26
 
 
 
22
from bzrlib.lazy_import import lazy_import
 
23
lazy_import(globals(), """
27
24
from copy import deepcopy
28
 
from unittest import TestSuite
29
 
 
30
 
 
31
 
import bzrlib.errors as errors
 
25
import unittest
 
26
 
 
27
from bzrlib import (
 
28
    errors,
 
29
    tsort,
 
30
    ui,
 
31
    )
 
32
from bzrlib.transport.memory import MemoryTransport
 
33
""")
 
34
 
32
35
from bzrlib.inter import InterObject
33
 
from bzrlib.symbol_versioning import *
34
 
from bzrlib.transport.memory import MemoryTransport
35
 
from bzrlib.tsort import topo_sort
36
 
from bzrlib import ui
 
36
from bzrlib.textmerge import TextMerge
 
37
from bzrlib.symbol_versioning import (deprecated_function,
 
38
        deprecated_method,
 
39
        zero_eight,
 
40
        )
37
41
 
38
42
 
39
43
class VersionedFile(object):
57
61
    def copy_to(self, name, transport):
58
62
        """Copy this versioned file to name on transport."""
59
63
        raise NotImplementedError(self.copy_to)
60
 
    
 
64
 
61
65
    @deprecated_method(zero_eight)
62
66
    def names(self):
63
67
        """Return a list of all the versions in this versioned file.
154
158
        """Check the versioned file for integrity."""
155
159
        raise NotImplementedError(self.check)
156
160
 
 
161
    def _check_lines_not_unicode(self, lines):
 
162
        """Check that lines being added to a versioned file are not unicode."""
 
163
        for line in lines:
 
164
            if line.__class__ is not str:
 
165
                raise errors.BzrBadParameterUnicode("lines")
 
166
 
 
167
    def _check_lines_are_lines(self, lines):
 
168
        """Check that the lines really are full lines without inline EOL."""
 
169
        for line in lines:
 
170
            if '\n' in line[:-1]:
 
171
                raise errors.BzrBadParameterContainsNewline("lines")
 
172
 
157
173
    def _check_write_ok(self):
158
174
        """Is the versioned file marked as 'finished' ? Raise if it is."""
159
175
        if self.finished:
161
177
        if self._access_mode != 'w':
162
178
            raise errors.ReadOnlyObjectDirtiedError(self)
163
179
 
 
180
    def enable_cache(self):
 
181
        """Tell this versioned file that it should cache any data it reads.
 
182
        
 
183
        This is advisory, implementations do not have to support caching.
 
184
        """
 
185
        pass
 
186
    
164
187
    def clear_cache(self):
165
 
        """Remove any data cached in the versioned file object."""
 
188
        """Remove any data cached in the versioned file object.
 
189
 
 
190
        This only needs to be supported if caches are supported
 
191
        """
 
192
        pass
166
193
 
167
194
    def clone_text(self, new_version_id, old_version_id, parents):
168
195
        """Add an identical text to old_version_id as new_version_id.
223
250
            result[version] = self.get_delta(version)
224
251
        return result
225
252
 
 
253
    def get_sha1(self, version_id):
 
254
        """Get the stored sha1 sum for the given revision.
 
255
        
 
256
        :param name: The name of the version to lookup
 
257
        """
 
258
        raise NotImplementedError(self.get_sha1)
 
259
 
226
260
    def get_suffixes(self):
227
261
        """Return the file suffixes associated with this versioned file."""
228
262
        raise NotImplementedError(self.get_suffixes)
236
270
        return ''.join(self.get_lines(version_id))
237
271
    get_string = get_text
238
272
 
 
273
    def get_texts(self, version_ids):
 
274
        """Return the texts of listed versions as a list of strings.
 
275
 
 
276
        Raises RevisionNotPresent if version is not present in
 
277
        file history.
 
278
        """
 
279
        return [''.join(self.get_lines(v)) for v in version_ids]
 
280
 
239
281
    def get_lines(self, version_id):
240
282
        """Return version contents as a sequence of lines.
241
283
 
266
308
        """
267
309
        raise NotImplementedError(self.get_ancestry_with_ghosts)
268
310
        
269
 
    def get_graph(self):
270
 
        """Return a graph for the entire versioned file.
 
311
    def get_graph(self, version_ids=None):
 
312
        """Return a graph from the versioned file. 
271
313
        
272
314
        Ghosts are not listed or referenced in the graph.
 
315
        :param version_ids: Versions to select.
 
316
                            None means retrieve all versions.
273
317
        """
274
318
        result = {}
275
 
        for version in self.versions():
276
 
            result[version] = self.get_parents(version)
 
319
        if version_ids is None:
 
320
            for version in self.versions():
 
321
                result[version] = self.get_parents(version)
 
322
        else:
 
323
            pending = set(version_ids)
 
324
            while pending:
 
325
                version = pending.pop()
 
326
                if version in result:
 
327
                    continue
 
328
                parents = self.get_parents(version)
 
329
                for parent in parents:
 
330
                    if parent in result:
 
331
                        continue
 
332
                    pending.add(parent)
 
333
                result[version] = parents
277
334
        return result
278
335
 
279
336
    def get_graph_with_ghosts(self):
350
407
            version_ids,
351
408
            ignore_missing)
352
409
 
353
 
    def iter_lines_added_or_present_in_versions(self, version_ids=None):
 
410
    def iter_lines_added_or_present_in_versions(self, version_ids=None, 
 
411
                                                pb=None):
354
412
        """Iterate over the lines in the versioned file from version_ids.
355
413
 
356
414
        This may return lines from other versions, and does not return the
357
415
        specific version marker at this point. The api may be changed
358
416
        during development to include the version that the versioned file
359
417
        thinks is relevant, but given that such hints are just guesses,
360
 
        its better not to have it if we dont need it.
 
418
        its better not to have it if we don't need it.
 
419
 
 
420
        If a progress bar is supplied, it may be used to indicate progress.
 
421
        The caller is responsible for cleaning up progress bars (because this
 
422
        is an iterator).
361
423
 
362
424
        NOTES: Lines are normalised: they will all have \n terminators.
363
425
               Lines are returned in arbitrary order.
400
462
        base.
401
463
 
402
464
        Weave lines present in none of them are skipped entirely.
 
465
 
 
466
        Legend:
 
467
        killed-base Dead in base revision
 
468
        killed-both Killed in each revision
 
469
        killed-a    Killed in a
 
470
        killed-b    Killed in b
 
471
        unchanged   Alive in both a and b (possibly created in both)
 
472
        new-a       Created in a
 
473
        new-b       Created in b
 
474
        ghost-a     Killed in a, unborn in b    
 
475
        ghost-b     Killed in b, unborn in a
 
476
        irrelevant  Not in either revision
403
477
        """
404
 
        inc_a = set(self.get_ancestry([ver_a]))
405
 
        inc_b = set(self.get_ancestry([ver_b]))
406
 
        inc_c = inc_a & inc_b
407
 
 
408
 
        for lineno, insert, deleteset, line in self.walk([ver_a, ver_b]):
409
 
            if deleteset & inc_c:
410
 
                # killed in parent; can't be in either a or b
411
 
                # not relevant to our work
412
 
                yield 'killed-base', line
413
 
            elif insert in inc_c:
414
 
                # was inserted in base
415
 
                killed_a = bool(deleteset & inc_a)
416
 
                killed_b = bool(deleteset & inc_b)
417
 
                if killed_a and killed_b:
418
 
                    yield 'killed-both', line
419
 
                elif killed_a:
420
 
                    yield 'killed-a', line
421
 
                elif killed_b:
422
 
                    yield 'killed-b', line
423
 
                else:
424
 
                    yield 'unchanged', line
425
 
            elif insert in inc_a:
426
 
                if deleteset & inc_a:
427
 
                    yield 'ghost-a', line
428
 
                else:
429
 
                    # new in A; not in B
430
 
                    yield 'new-a', line
431
 
            elif insert in inc_b:
432
 
                if deleteset & inc_b:
433
 
                    yield 'ghost-b', line
434
 
                else:
435
 
                    yield 'new-b', line
436
 
            else:
437
 
                # not in either revision
438
 
                yield 'irrelevant', line
439
 
 
440
 
        yield 'unchanged', ''           # terminator
441
 
 
442
 
    def weave_merge(self, plan, a_marker='<<<<<<< \n', b_marker='>>>>>>> \n'):
 
478
        raise NotImplementedError(VersionedFile.plan_merge)
 
479
        
 
480
    def weave_merge(self, plan, a_marker=TextMerge.A_MARKER,
 
481
                    b_marker=TextMerge.B_MARKER):
 
482
        return PlanWeaveMerge(plan, a_marker, b_marker).merge_lines()[0]
 
483
 
 
484
 
 
485
class PlanWeaveMerge(TextMerge):
 
486
    """Weave merge that takes a plan as its input.
 
487
    
 
488
    This exists so that VersionedFile.plan_merge is implementable.
 
489
    Most callers will want to use WeaveMerge instead.
 
490
    """
 
491
 
 
492
    def __init__(self, plan, a_marker=TextMerge.A_MARKER,
 
493
                 b_marker=TextMerge.B_MARKER):
 
494
        TextMerge.__init__(self, a_marker, b_marker)
 
495
        self.plan = plan
 
496
 
 
497
    def _merge_struct(self):
443
498
        lines_a = []
444
499
        lines_b = []
445
500
        ch_a = ch_b = False
446
 
        # TODO: Return a structured form of the conflicts (e.g. 2-tuples for
447
 
        # conflicted regions), rather than just inserting the markers.
448
 
        # 
449
 
        # TODO: Show some version information (e.g. author, date) on 
450
 
        # conflicted regions.
451
 
        
 
501
 
 
502
        def outstanding_struct():
 
503
            if not lines_a and not lines_b:
 
504
                return
 
505
            elif ch_a and not ch_b:
 
506
                # one-sided change:
 
507
                yield(lines_a,)
 
508
            elif ch_b and not ch_a:
 
509
                yield (lines_b,)
 
510
            elif lines_a == lines_b:
 
511
                yield(lines_a,)
 
512
            else:
 
513
                yield (lines_a, lines_b)
 
514
       
452
515
        # We previously considered either 'unchanged' or 'killed-both' lines
453
516
        # to be possible places to resynchronize.  However, assuming agreement
454
 
        # on killed-both lines may be too agressive. -- mbp 20060324
455
 
        for state, line in plan:
 
517
        # on killed-both lines may be too aggressive. -- mbp 20060324
 
518
        for state, line in self.plan:
456
519
            if state == 'unchanged':
457
520
                # resync and flush queued conflicts changes if any
458
 
                if not lines_a and not lines_b:
459
 
                    pass
460
 
                elif ch_a and not ch_b:
461
 
                    # one-sided change:                    
462
 
                    for l in lines_a: yield l
463
 
                elif ch_b and not ch_a:
464
 
                    for l in lines_b: yield l
465
 
                elif lines_a == lines_b:
466
 
                    for l in lines_a: yield l
467
 
                else:
468
 
                    yield a_marker
469
 
                    for l in lines_a: yield l
470
 
                    yield '=======\n'
471
 
                    for l in lines_b: yield l
472
 
                    yield b_marker
473
 
 
474
 
                del lines_a[:]
475
 
                del lines_b[:]
 
521
                for struct in outstanding_struct():
 
522
                    yield struct
 
523
                lines_a = []
 
524
                lines_b = []
476
525
                ch_a = ch_b = False
477
526
                
478
527
            if state == 'unchanged':
479
528
                if line:
480
 
                    yield line
 
529
                    yield ([line],)
481
530
            elif state == 'killed-a':
482
531
                ch_a = True
483
532
                lines_b.append(line)
491
540
                ch_b = True
492
541
                lines_b.append(line)
493
542
            else:
494
 
                assert state in ('irrelevant', 'ghost-a', 'ghost-b', 'killed-base',
495
 
                                 'killed-both'), \
496
 
                       state
 
543
                assert state in ('irrelevant', 'ghost-a', 'ghost-b', 
 
544
                                 'killed-base', 'killed-both'), state
 
545
        for struct in outstanding_struct():
 
546
            yield struct
 
547
 
 
548
 
 
549
class WeaveMerge(PlanWeaveMerge):
 
550
    """Weave merge that takes a VersionedFile and two versions as its input"""
 
551
 
 
552
    def __init__(self, versionedfile, ver_a, ver_b, 
 
553
        a_marker=PlanWeaveMerge.A_MARKER, b_marker=PlanWeaveMerge.B_MARKER):
 
554
        plan = versionedfile.plan_merge(ver_a, ver_b)
 
555
        PlanWeaveMerge.__init__(self, plan, a_marker, b_marker)
497
556
 
498
557
 
499
558
class InterVersionedFile(InterObject):
508
567
    InterVersionedFile.get(other).method_name(parameters).
509
568
    """
510
569
 
511
 
    _optimisers = set()
 
570
    _optimisers = []
512
571
    """The available optimised InterVersionedFile types."""
513
572
 
514
573
    def join(self, pb=None, msg=None, version_ids=None, ignore_missing=False):
533
592
            # Make a new target-format versioned file. 
534
593
            temp_source = self.target.create_empty("temp", MemoryTransport())
535
594
            target = temp_source
536
 
        graph = self.source.get_graph()
537
 
        order = topo_sort(graph.items())
 
595
        version_ids = self._get_source_version_ids(version_ids, ignore_missing)
 
596
        graph = self.source.get_graph(version_ids)
 
597
        order = tsort.topo_sort(graph.items())
538
598
        pb = ui.ui_factory.nested_progress_bar()
539
599
        parent_texts = {}
540
600
        try:
578
638
        finally:
579
639
            pb.finished()
580
640
 
 
641
    def _get_source_version_ids(self, version_ids, ignore_missing):
 
642
        """Determine the version ids to be used from self.source.
 
643
 
 
644
        :param version_ids: The caller-supplied version ids to check. (None 
 
645
                            for all). If None is in version_ids, it is stripped.
 
646
        :param ignore_missing: if True, remove missing ids from the version 
 
647
                               list. If False, raise RevisionNotPresent on
 
648
                               a missing version id.
 
649
        :return: A set of version ids.
 
650
        """
 
651
        if version_ids is None:
 
652
            # None cannot be in source.versions
 
653
            return set(self.source.versions())
 
654
        else:
 
655
            if ignore_missing:
 
656
                return set(self.source.versions()).intersection(set(version_ids))
 
657
            else:
 
658
                new_version_ids = set()
 
659
                for version in version_ids:
 
660
                    if version is None:
 
661
                        continue
 
662
                    if not self.source.has_version(version):
 
663
                        raise errors.RevisionNotPresent(version, str(self.source))
 
664
                    else:
 
665
                        new_version_ids.add(version)
 
666
                return new_version_ids
 
667
 
581
668
 
582
669
class InterVersionedFileTestProviderAdapter(object):
583
670
    """A tool to generate a suite testing multiple inter versioned-file classes.
584
671
 
585
 
    This is done by copying the test once for each interversionedfile provider
 
672
    This is done by copying the test once for each InterVersionedFile provider
586
673
    and injecting the transport_server, transport_readonly_server,
587
674
    versionedfile_factory and versionedfile_factory_to classes into each copy.
588
675
    Each copy is also given a new id() to make it easy to identify.
594
681
        self._formats = formats
595
682
    
596
683
    def adapt(self, test):
597
 
        result = TestSuite()
 
684
        result = unittest.TestSuite()
598
685
        for (interversionedfile_class,
599
686
             versionedfile_factory,
600
687
             versionedfile_factory_to) in self._formats:
617
704
        from bzrlib.weave import WeaveFile
618
705
        from bzrlib.knit import KnitVersionedFile
619
706
        result = []
620
 
        # test the fallback InterVersionedFile from weave to annotated knits
 
707
        # test the fallback InterVersionedFile from annotated knits to weave
621
708
        result.append((InterVersionedFile, 
622
 
                       WeaveFile,
623
 
                       KnitVersionedFile))
 
709
                       KnitVersionedFile,
 
710
                       WeaveFile))
624
711
        for optimiser in InterVersionedFile._optimisers:
625
712
            result.append((optimiser,
626
 
                           optimiser._matching_file_factory,
627
 
                           optimiser._matching_file_factory
 
713
                           optimiser._matching_file_from_factory,
 
714
                           optimiser._matching_file_to_factory
628
715
                           ))
629
716
        # if there are specific combinations we want to use, we can add them 
630
717
        # here.