/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/tests/test_versionedfile.py

  • Committer: John Arbash Meinel
  • Date: 2009-06-02 19:56:24 UTC
  • mto: This revision was merged to the branch mainline in revision 4469.
  • Revision ID: john@arbash-meinel.com-20090602195624-utljsyz0qgmq63lg
Add a chunks_to_gzip function.
This allows the _record_to_data code to build up a list of chunks,
rather than requiring a single string.
It should be ~ the same performance when using a single string, since
we are only adding a for() loop over the chunks and an if check.
We could possibly just remove the if check and not worry about adding
some empty strings in there.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/tests/test_versionedfile.py
1
 
# Copyright (C) 2006-2010 Canonical Ltd
 
1
# Copyright (C) 2005, 2009 Canonical Ltd
2
2
#
3
3
# Authors:
4
4
#   Johan Rydberg <jrydberg@gnu.org>
26
26
 
27
27
from bzrlib import (
28
28
    errors,
29
 
    graph as _mod_graph,
30
29
    groupcompress,
31
30
    knit as _mod_knit,
32
31
    osutils,
33
32
    progress,
34
 
    ui,
35
33
    )
36
34
from bzrlib.errors import (
37
35
                           RevisionNotPresent,
734
732
        # the ordering here is to make a tree so that dumb searches have
735
733
        # more changes to muck up.
736
734
 
737
 
        class InstrumentedProgress(progress.ProgressTask):
 
735
        class InstrumentedProgress(progress.DummyProgress):
738
736
 
739
737
            def __init__(self):
740
 
                progress.ProgressTask.__init__(self)
 
738
 
 
739
                progress.DummyProgress.__init__(self)
741
740
                self.updates = []
742
741
 
743
742
            def update(self, msg=None, current=None, total=None):
1469
1468
            transport.mkdir('.')
1470
1469
        files = self.factory(transport)
1471
1470
        if self.cleanup is not None:
1472
 
            self.addCleanup(self.cleanup, files)
 
1471
            self.addCleanup(lambda:self.cleanup(files))
1473
1472
        return files
1474
1473
 
1475
 
    def get_simple_key(self, suffix):
1476
 
        """Return a key for the object under test."""
 
1474
    def test_add_lines(self):
 
1475
        f = self.get_versionedfiles()
1477
1476
        if self.key_length == 1:
1478
 
            return (suffix,)
 
1477
            key0 = ('r0',)
 
1478
            key1 = ('r1',)
 
1479
            key2 = ('r2',)
 
1480
            keyf = ('foo',)
1479
1481
        else:
1480
 
            return ('FileA',) + (suffix,)
1481
 
 
1482
 
    def test_add_lines(self):
1483
 
        f = self.get_versionedfiles()
1484
 
        key0 = self.get_simple_key('r0')
1485
 
        key1 = self.get_simple_key('r1')
1486
 
        key2 = self.get_simple_key('r2')
1487
 
        keyf = self.get_simple_key('foo')
 
1482
            key0 = ('fid', 'r0')
 
1483
            key1 = ('fid', 'r1')
 
1484
            key2 = ('fid', 'r2')
 
1485
            keyf = ('fid', 'foo')
1488
1486
        f.add_lines(key0, [], ['a\n', 'b\n'])
1489
1487
        if self.graph:
1490
1488
            f.add_lines(key1, [key0], ['b\n', 'c\n'])
1499
1497
        records.sort()
1500
1498
        self.assertEqual([(key0, 'a\nb\n'), (key1, 'b\nc\n')], records)
1501
1499
 
1502
 
    def test__add_text(self):
 
1500
    def test_add_text(self):
1503
1501
        f = self.get_versionedfiles()
1504
 
        key0 = self.get_simple_key('r0')
1505
 
        key1 = self.get_simple_key('r1')
1506
 
        key2 = self.get_simple_key('r2')
1507
 
        keyf = self.get_simple_key('foo')
1508
 
        f._add_text(key0, [], 'a\nb\n')
 
1502
        if self.key_length == 1:
 
1503
            key0 = ('r0',)
 
1504
            key1 = ('r1',)
 
1505
            key2 = ('r2',)
 
1506
            keyf = ('foo',)
 
1507
        else:
 
1508
            key0 = ('fid', 'r0')
 
1509
            key1 = ('fid', 'r1')
 
1510
            key2 = ('fid', 'r2')
 
1511
            keyf = ('fid', 'foo')
 
1512
        f.add_text(key0, [], 'a\nb\n')
1509
1513
        if self.graph:
1510
 
            f._add_text(key1, [key0], 'b\nc\n')
 
1514
            f.add_text(key1, [key0], 'b\nc\n')
1511
1515
        else:
1512
 
            f._add_text(key1, [], 'b\nc\n')
 
1516
            f.add_text(key1, [], 'b\nc\n')
1513
1517
        keys = f.keys()
1514
1518
        self.assertTrue(key0 in keys)
1515
1519
        self.assertTrue(key1 in keys)
1558
1562
        self.assertRaises(RevisionNotPresent,
1559
1563
            files.annotate, prefix + ('missing-key',))
1560
1564
 
1561
 
    def test_check_no_parameters(self):
1562
 
        files = self.get_versionedfiles()
1563
 
 
1564
 
    def test_check_progressbar_parameter(self):
1565
 
        """A progress bar can be supplied because check can be a generator."""
1566
 
        pb = ui.ui_factory.nested_progress_bar()
1567
 
        self.addCleanup(pb.finished)
1568
 
        files = self.get_versionedfiles()
1569
 
        files.check(progress_bar=pb)
1570
 
 
1571
 
    def test_check_with_keys_becomes_generator(self):
1572
 
        files = self.get_versionedfiles()
1573
 
        self.get_diamond_files(files)
1574
 
        keys = files.keys()
1575
 
        entries = files.check(keys=keys)
1576
 
        seen = set()
1577
 
        # Texts output should be fulltexts.
1578
 
        self.capture_stream(files, entries, seen.add,
1579
 
            files.get_parent_map(keys), require_fulltext=True)
1580
 
        # All texts should be output.
1581
 
        self.assertEqual(set(keys), seen)
1582
 
 
1583
 
    def test_clear_cache(self):
1584
 
        files = self.get_versionedfiles()
1585
 
        files.clear_cache()
1586
 
 
1587
1565
    def test_construct(self):
1588
1566
        """Each parameterised test can be constructed on a transport."""
1589
1567
        files = self.get_versionedfiles()
1594
1572
            trailing_eol=trailing_eol, nograph=not self.graph,
1595
1573
            left_only=left_only, nokeys=nokeys)
1596
1574
 
1597
 
    def _add_content_nostoresha(self, add_lines):
 
1575
    def test_add_lines_nostoresha(self):
1598
1576
        """When nostore_sha is supplied using old content raises."""
1599
1577
        vf = self.get_versionedfiles()
1600
1578
        empty_text = ('a', [])
1602
1580
        sample_text_no_nl = ('c', ["foo\n", "bar"])
1603
1581
        shas = []
1604
1582
        for version, lines in (empty_text, sample_text_nl, sample_text_no_nl):
1605
 
            if add_lines:
1606
 
                sha, _, _ = vf.add_lines(self.get_simple_key(version), [],
1607
 
                                         lines)
1608
 
            else:
1609
 
                sha, _, _ = vf._add_text(self.get_simple_key(version), [],
1610
 
                                         ''.join(lines))
 
1583
            sha, _, _ = vf.add_lines(self.get_simple_key(version), [], lines)
1611
1584
            shas.append(sha)
1612
1585
        # we now have a copy of all the lines in the vf.
1613
1586
        for sha, (version, lines) in zip(
1616
1589
            self.assertRaises(errors.ExistingContent,
1617
1590
                vf.add_lines, new_key, [], lines,
1618
1591
                nostore_sha=sha)
1619
 
            self.assertRaises(errors.ExistingContent,
1620
 
                vf._add_text, new_key, [], ''.join(lines),
1621
 
                nostore_sha=sha)
1622
1592
            # and no new version should have been added.
1623
1593
            record = vf.get_record_stream([new_key], 'unordered', True).next()
1624
1594
            self.assertEqual('absent', record.storage_kind)
1625
1595
 
1626
 
    def test_add_lines_nostoresha(self):
1627
 
        self._add_content_nostoresha(add_lines=True)
1628
 
 
1629
 
    def test__add_text_nostoresha(self):
1630
 
        self._add_content_nostoresha(add_lines=False)
1631
 
 
1632
1596
    def test_add_lines_return(self):
1633
1597
        files = self.get_versionedfiles()
1634
1598
        # save code by using the stock data insertion helper.
1741
1705
            f.get_record_stream([key_b], 'unordered', True
1742
1706
                ).next().get_bytes_as('fulltext'))
1743
1707
 
1744
 
    def test_get_known_graph_ancestry(self):
1745
 
        f = self.get_versionedfiles()
1746
 
        if not self.graph:
1747
 
            raise TestNotApplicable('ancestry info only relevant with graph.')
1748
 
        key_a = self.get_simple_key('a')
1749
 
        key_b = self.get_simple_key('b')
1750
 
        key_c = self.get_simple_key('c')
1751
 
        # A
1752
 
        # |\
1753
 
        # | B
1754
 
        # |/
1755
 
        # C
1756
 
        f.add_lines(key_a, [], ['\n'])
1757
 
        f.add_lines(key_b, [key_a], ['\n'])
1758
 
        f.add_lines(key_c, [key_a, key_b], ['\n'])
1759
 
        kg = f.get_known_graph_ancestry([key_c])
1760
 
        self.assertIsInstance(kg, _mod_graph.KnownGraph)
1761
 
        self.assertEqual([key_a, key_b, key_c], list(kg.topo_sort()))
1762
 
 
1763
 
    def test_known_graph_with_fallbacks(self):
1764
 
        f = self.get_versionedfiles('files')
1765
 
        if not self.graph:
1766
 
            raise TestNotApplicable('ancestry info only relevant with graph.')
1767
 
        if getattr(f, 'add_fallback_versioned_files', None) is None:
1768
 
            raise TestNotApplicable("%s doesn't support fallbacks"
1769
 
                                    % (f.__class__.__name__,))
1770
 
        key_a = self.get_simple_key('a')
1771
 
        key_b = self.get_simple_key('b')
1772
 
        key_c = self.get_simple_key('c')
1773
 
        # A     only in fallback
1774
 
        # |\
1775
 
        # | B
1776
 
        # |/
1777
 
        # C
1778
 
        g = self.get_versionedfiles('fallback')
1779
 
        g.add_lines(key_a, [], ['\n'])
1780
 
        f.add_fallback_versioned_files(g)
1781
 
        f.add_lines(key_b, [key_a], ['\n'])
1782
 
        f.add_lines(key_c, [key_a, key_b], ['\n'])
1783
 
        kg = f.get_known_graph_ancestry([key_c])
1784
 
        self.assertEqual([key_a, key_b, key_c], list(kg.topo_sort()))
1785
 
 
1786
1708
    def test_get_record_stream_empty(self):
1787
1709
        """An empty stream can be requested without error."""
1788
1710
        f = self.get_versionedfiles()
1799
1721
             'knit-delta-closure', 'knit-delta-closure-ref',
1800
1722
             'groupcompress-block', 'groupcompress-block-ref'])
1801
1723
 
1802
 
    def capture_stream(self, f, entries, on_seen, parents,
1803
 
        require_fulltext=False):
 
1724
    def capture_stream(self, f, entries, on_seen, parents):
1804
1725
        """Capture a stream for testing."""
1805
1726
        for factory in entries:
1806
1727
            on_seen(factory.key)
1811
1732
            self.assertEqual(parents[factory.key], factory.parents)
1812
1733
            self.assertIsInstance(factory.get_bytes_as(factory.storage_kind),
1813
1734
                str)
1814
 
            if require_fulltext:
1815
 
                factory.get_bytes_as('fulltext')
1816
1735
 
1817
1736
    def test_get_record_stream_interface(self):
1818
1737
        """each item in a stream has to provide a regular interface."""
1825
1744
        self.capture_stream(files, entries, seen.add, parent_map)
1826
1745
        self.assertEqual(set(keys), seen)
1827
1746
 
 
1747
    def get_simple_key(self, suffix):
 
1748
        """Return a key for the object under test."""
 
1749
        if self.key_length == 1:
 
1750
            return (suffix,)
 
1751
        else:
 
1752
            return ('FileA',) + (suffix,)
 
1753
 
1828
1754
    def get_keys_and_sort_order(self):
1829
1755
        """Get diamond test keys list, and their sort ordering."""
1830
1756
        if self.key_length == 1:
2193
2119
        else:
2194
2120
            return None
2195
2121
 
2196
 
    def test_get_annotator(self):
2197
 
        files = self.get_versionedfiles()
2198
 
        self.get_diamond_files(files)
2199
 
        origin_key = self.get_simple_key('origin')
2200
 
        base_key = self.get_simple_key('base')
2201
 
        left_key = self.get_simple_key('left')
2202
 
        right_key = self.get_simple_key('right')
2203
 
        merged_key = self.get_simple_key('merged')
2204
 
        # annotator = files.get_annotator()
2205
 
        # introduced full text
2206
 
        origins, lines = files.get_annotator().annotate(origin_key)
2207
 
        self.assertEqual([(origin_key,)], origins)
2208
 
        self.assertEqual(['origin\n'], lines)
2209
 
        # a delta
2210
 
        origins, lines = files.get_annotator().annotate(base_key)
2211
 
        self.assertEqual([(base_key,)], origins)
2212
 
        # a merge
2213
 
        origins, lines = files.get_annotator().annotate(merged_key)
2214
 
        if self.graph:
2215
 
            self.assertEqual([
2216
 
                (base_key,),
2217
 
                (left_key,),
2218
 
                (right_key,),
2219
 
                (merged_key,),
2220
 
                ], origins)
2221
 
        else:
2222
 
            # Without a graph everything is new.
2223
 
            self.assertEqual([
2224
 
                (merged_key,),
2225
 
                (merged_key,),
2226
 
                (merged_key,),
2227
 
                (merged_key,),
2228
 
                ], origins)
2229
 
        self.assertRaises(RevisionNotPresent,
2230
 
            files.get_annotator().annotate, self.get_simple_key('missing-key'))
2231
 
 
2232
2122
    def test_get_parent_map(self):
2233
2123
        files = self.get_versionedfiles()
2234
2124
        if self.key_length == 1:
2437
2327
        else:
2438
2328
            self.assertIdenticalVersionedFile(source, files)
2439
2329
 
2440
 
    def test_insert_record_stream_long_parent_chain_out_of_order(self):
2441
 
        """An out of order stream can either error or work."""
2442
 
        if not self.graph:
2443
 
            raise TestNotApplicable('ancestry info only relevant with graph.')
2444
 
        # Create a reasonably long chain of records based on each other, where
2445
 
        # most will be deltas.
2446
 
        source = self.get_versionedfiles('source')
2447
 
        parents = ()
2448
 
        keys = []
2449
 
        content = [('same same %d\n' % n) for n in range(500)]
2450
 
        for letter in 'abcdefghijklmnopqrstuvwxyz':
2451
 
            key = ('key-' + letter,)
2452
 
            if self.key_length == 2:
2453
 
                key = ('prefix',) + key
2454
 
            content.append('content for ' + letter + '\n')
2455
 
            source.add_lines(key, parents, content)
2456
 
            keys.append(key)
2457
 
            parents = (key,)
2458
 
        # Create a stream of these records, excluding the first record that the
2459
 
        # rest ultimately depend upon, and insert it into a new vf.
2460
 
        streams = []
2461
 
        for key in reversed(keys):
2462
 
            streams.append(source.get_record_stream([key], 'unordered', False))
2463
 
        deltas = chain(*streams[:-1])
2464
 
        files = self.get_versionedfiles()
2465
 
        try:
2466
 
            files.insert_record_stream(deltas)
2467
 
        except RevisionNotPresent:
2468
 
            # Must not have corrupted the file.
2469
 
            files.check()
2470
 
        else:
2471
 
            # Must only report either just the first key as a missing parent,
2472
 
            # no key as missing (for nodelta scenarios).
2473
 
            missing = set(files.get_missing_compression_parent_keys())
2474
 
            missing.discard(keys[0])
2475
 
            self.assertEqual(set(), missing)
2476
 
 
2477
2330
    def get_knit_delta_source(self):
2478
2331
        """Get a source that can produce a stream with knit delta records,
2479
2332
        regardless of this test's scenario.
2547
2400
        # the ordering here is to make a tree so that dumb searches have
2548
2401
        # more changes to muck up.
2549
2402
 
2550
 
        class InstrumentedProgress(progress.ProgressTask):
 
2403
        class InstrumentedProgress(progress.DummyProgress):
2551
2404
 
2552
2405
            def __init__(self):
2553
 
                progress.ProgressTask.__init__(self)
 
2406
 
 
2407
                progress.DummyProgress.__init__(self)
2554
2408
                self.updates = []
2555
2409
 
2556
2410
            def update(self, msg=None, current=None, total=None):
2745
2599
        self.assertRaises(NotImplementedError,
2746
2600
                self.texts.add_mpdiffs, [])
2747
2601
 
2748
 
    def test_check_noerrors(self):
2749
 
        self.texts.check()
 
2602
    def test_check(self):
 
2603
        self.assertTrue(self.texts.check())
2750
2604
 
2751
2605
    def test_insert_record_stream(self):
2752
2606
        self.assertRaises(NotImplementedError, self.texts.insert_record_stream,