/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to breezy/tests/test_pack.py

  • Committer: Jelmer Vernooij
  • Date: 2018-07-26 19:15:27 UTC
  • mto: This revision was merged to the branch mainline in revision 7055.
  • Revision ID: jelmer@jelmer.uk-20180726191527-wniq205k6tzfo1xx
Install fastimport from git.

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2007, 2009, 2011, 2012, 2016 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
"""Tests for breezy.pack."""
 
18
 
 
19
from .. import errors, tests
 
20
from ..bzr import (
 
21
    pack,
 
22
    )
 
23
from ..sixish import (
 
24
    BytesIO,
 
25
    )
 
26
 
 
27
 
 
28
class TestContainerSerialiser(tests.TestCase):
 
29
    """Tests for the ContainerSerialiser class."""
 
30
 
 
31
    def test_construct(self):
 
32
        """Test constructing a ContainerSerialiser."""
 
33
        pack.ContainerSerialiser()
 
34
 
 
35
    def test_begin(self):
 
36
        serialiser = pack.ContainerSerialiser()
 
37
        self.assertEqual(b'Bazaar pack format 1 (introduced in 0.18)\n',
 
38
                         serialiser.begin())
 
39
 
 
40
    def test_end(self):
 
41
        serialiser = pack.ContainerSerialiser()
 
42
        self.assertEqual(b'E', serialiser.end())
 
43
 
 
44
    def test_bytes_record_no_name(self):
 
45
        serialiser = pack.ContainerSerialiser()
 
46
        record = serialiser.bytes_record(b'bytes', [])
 
47
        self.assertEqual(b'B5\n\nbytes', record)
 
48
 
 
49
    def test_bytes_record_one_name_with_one_part(self):
 
50
        serialiser = pack.ContainerSerialiser()
 
51
        record = serialiser.bytes_record(b'bytes', [(b'name',)])
 
52
        self.assertEqual(b'B5\nname\n\nbytes', record)
 
53
 
 
54
    def test_bytes_record_one_name_with_two_parts(self):
 
55
        serialiser = pack.ContainerSerialiser()
 
56
        record = serialiser.bytes_record(b'bytes', [(b'part1', b'part2')])
 
57
        self.assertEqual(b'B5\npart1\x00part2\n\nbytes', record)
 
58
 
 
59
    def test_bytes_record_two_names(self):
 
60
        serialiser = pack.ContainerSerialiser()
 
61
        record = serialiser.bytes_record(b'bytes', [(b'name1',), (b'name2',)])
 
62
        self.assertEqual(b'B5\nname1\nname2\n\nbytes', record)
 
63
 
 
64
    def test_bytes_record_whitespace_in_name_part(self):
 
65
        serialiser = pack.ContainerSerialiser()
 
66
        self.assertRaises(
 
67
            errors.InvalidRecordError,
 
68
            serialiser.bytes_record, b'bytes', [(b'bad name',)])
 
69
 
 
70
    def test_bytes_record_header(self):
 
71
        serialiser = pack.ContainerSerialiser()
 
72
        record = serialiser.bytes_header(32, [(b'name1',), (b'name2',)])
 
73
        self.assertEqual(b'B32\nname1\nname2\n\n', record)
 
74
 
 
75
 
 
76
class TestContainerWriter(tests.TestCase):
 
77
 
 
78
    def setUp(self):
 
79
        super(TestContainerWriter, self).setUp()
 
80
        self.output = BytesIO()
 
81
        self.writer = pack.ContainerWriter(self.output.write)
 
82
 
 
83
    def assertOutput(self, expected_output):
 
84
        """Assert that the output of self.writer ContainerWriter is equal to
 
85
        expected_output.
 
86
        """
 
87
        self.assertEqual(expected_output, self.output.getvalue())
 
88
 
 
89
    def test_construct(self):
 
90
        """Test constructing a ContainerWriter.
 
91
 
 
92
        This uses None as the output stream to show that the constructor
 
93
        doesn't try to use the output stream.
 
94
        """
 
95
        writer = pack.ContainerWriter(None)
 
96
 
 
97
    def test_begin(self):
 
98
        """The begin() method writes the container format marker line."""
 
99
        self.writer.begin()
 
100
        self.assertOutput(b'Bazaar pack format 1 (introduced in 0.18)\n')
 
101
 
 
102
    def test_zero_records_written_after_begin(self):
 
103
        """After begin is written, 0 records have been written."""
 
104
        self.writer.begin()
 
105
        self.assertEqual(0, self.writer.records_written)
 
106
 
 
107
    def test_end(self):
 
108
        """The end() method writes an End Marker record."""
 
109
        self.writer.begin()
 
110
        self.writer.end()
 
111
        self.assertOutput(b'Bazaar pack format 1 (introduced in 0.18)\nE')
 
112
 
 
113
    def test_empty_end_does_not_add_a_record_to_records_written(self):
 
114
        """The end() method does not count towards the records written."""
 
115
        self.writer.begin()
 
116
        self.writer.end()
 
117
        self.assertEqual(0, self.writer.records_written)
 
118
 
 
119
    def test_non_empty_end_does_not_add_a_record_to_records_written(self):
 
120
        """The end() method does not count towards the records written."""
 
121
        self.writer.begin()
 
122
        self.writer.add_bytes_record(b'foo', names=[])
 
123
        self.writer.end()
 
124
        self.assertEqual(1, self.writer.records_written)
 
125
 
 
126
    def test_add_bytes_record_no_name(self):
 
127
        """Add a bytes record with no name."""
 
128
        self.writer.begin()
 
129
        offset, length = self.writer.add_bytes_record(b'abc', names=[])
 
130
        self.assertEqual((42, 7), (offset, length))
 
131
        self.assertOutput(
 
132
            b'Bazaar pack format 1 (introduced in 0.18)\nB3\n\nabc')
 
133
 
 
134
    def test_add_bytes_record_one_name(self):
 
135
        """Add a bytes record with one name."""
 
136
        self.writer.begin()
 
137
 
 
138
        offset, length = self.writer.add_bytes_record(
 
139
            b'abc', names=[(b'name1', )])
 
140
        self.assertEqual((42, 13), (offset, length))
 
141
        self.assertOutput(
 
142
            b'Bazaar pack format 1 (introduced in 0.18)\n'
 
143
            b'B3\nname1\n\nabc')
 
144
 
 
145
    def test_add_bytes_record_split_writes(self):
 
146
        """Write a large record which does multiple IOs"""
 
147
 
 
148
        writes = []
 
149
        real_write = self.writer.write_func
 
150
 
 
151
        def record_writes(data):
 
152
            writes.append(data)
 
153
            return real_write(data)
 
154
 
 
155
        self.writer.write_func = record_writes
 
156
        self.writer._JOIN_WRITES_THRESHOLD = 2
 
157
 
 
158
        self.writer.begin()
 
159
        offset, length = self.writer.add_bytes_record(
 
160
            b'abcabc', names=[(b'name1', )])
 
161
        self.assertEqual((42, 16), (offset, length))
 
162
        self.assertOutput(
 
163
            b'Bazaar pack format 1 (introduced in 0.18)\n'
 
164
            b'B6\nname1\n\nabcabc')
 
165
 
 
166
        self.assertEqual([
 
167
            b'Bazaar pack format 1 (introduced in 0.18)\n',
 
168
            b'B6\nname1\n\n',
 
169
            b'abcabc'],
 
170
            writes)
 
171
 
 
172
    def test_add_bytes_record_two_names(self):
 
173
        """Add a bytes record with two names."""
 
174
        self.writer.begin()
 
175
        offset, length = self.writer.add_bytes_record(
 
176
            b'abc', names=[(b'name1', ), (b'name2', )])
 
177
        self.assertEqual((42, 19), (offset, length))
 
178
        self.assertOutput(
 
179
            b'Bazaar pack format 1 (introduced in 0.18)\n'
 
180
            b'B3\nname1\nname2\n\nabc')
 
181
 
 
182
    def test_add_bytes_record_two_names(self):
 
183
        """Add a bytes record with two names."""
 
184
        self.writer.begin()
 
185
        offset, length = self.writer.add_bytes_record(
 
186
            b'abc', names=[(b'name1', ), (b'name2', )])
 
187
        self.assertEqual((42, 19), (offset, length))
 
188
        self.assertOutput(
 
189
            b'Bazaar pack format 1 (introduced in 0.18)\n'
 
190
            b'B3\nname1\nname2\n\nabc')
 
191
 
 
192
    def test_add_bytes_record_two_element_name(self):
 
193
        """Add a bytes record with a two-element name."""
 
194
        self.writer.begin()
 
195
        offset, length = self.writer.add_bytes_record(
 
196
            b'abc', names=[(b'name1', b'name2')])
 
197
        self.assertEqual((42, 19), (offset, length))
 
198
        self.assertOutput(
 
199
            b'Bazaar pack format 1 (introduced in 0.18)\n'
 
200
            b'B3\nname1\x00name2\n\nabc')
 
201
 
 
202
    def test_add_second_bytes_record_gets_higher_offset(self):
 
203
        self.writer.begin()
 
204
        self.writer.add_bytes_record(b'abc', names=[])
 
205
        offset, length = self.writer.add_bytes_record(b'abc', names=[])
 
206
        self.assertEqual((49, 7), (offset, length))
 
207
        self.assertOutput(
 
208
            b'Bazaar pack format 1 (introduced in 0.18)\n'
 
209
            b'B3\n\nabc'
 
210
            b'B3\n\nabc')
 
211
 
 
212
    def test_add_bytes_record_invalid_name(self):
 
213
        """Adding a Bytes record with a name with whitespace in it raises
 
214
        InvalidRecordError.
 
215
        """
 
216
        self.writer.begin()
 
217
        self.assertRaises(
 
218
            errors.InvalidRecordError,
 
219
            self.writer.add_bytes_record, b'abc', names=[(b'bad name', )])
 
220
 
 
221
    def test_add_bytes_records_add_to_records_written(self):
 
222
        """Adding a Bytes record increments the records_written counter."""
 
223
        self.writer.begin()
 
224
        self.writer.add_bytes_record(b'foo', names=[])
 
225
        self.assertEqual(1, self.writer.records_written)
 
226
        self.writer.add_bytes_record(b'foo', names=[])
 
227
        self.assertEqual(2, self.writer.records_written)
 
228
 
 
229
 
 
230
class TestContainerReader(tests.TestCase):
 
231
    """Tests for the ContainerReader.
 
232
 
 
233
    The ContainerReader reads format 1 containers, so these tests explicitly
 
234
    test how it reacts to format 1 data.  If a new version of the format is
 
235
    added, then separate tests for that format should be added.
 
236
    """
 
237
 
 
238
    def get_reader_for(self, data):
 
239
        stream = BytesIO(data)
 
240
        reader = pack.ContainerReader(stream)
 
241
        return reader
 
242
 
 
243
    def test_construct(self):
 
244
        """Test constructing a ContainerReader.
 
245
 
 
246
        This uses None as the output stream to show that the constructor
 
247
        doesn't try to use the input stream.
 
248
        """
 
249
        reader = pack.ContainerReader(None)
 
250
 
 
251
    def test_empty_container(self):
 
252
        """Read an empty container."""
 
253
        reader = self.get_reader_for(
 
254
            b"Bazaar pack format 1 (introduced in 0.18)\nE")
 
255
        self.assertEqual([], list(reader.iter_records()))
 
256
 
 
257
    def test_unknown_format(self):
 
258
        """Unrecognised container formats raise UnknownContainerFormatError."""
 
259
        reader = self.get_reader_for(b"unknown format\n")
 
260
        self.assertRaises(
 
261
            errors.UnknownContainerFormatError, reader.iter_records)
 
262
 
 
263
    def test_unexpected_end_of_container(self):
 
264
        """Containers that don't end with an End Marker record should cause
 
265
        UnexpectedEndOfContainerError to be raised.
 
266
        """
 
267
        reader = self.get_reader_for(
 
268
            b"Bazaar pack format 1 (introduced in 0.18)\n")
 
269
        iterator = reader.iter_records()
 
270
        self.assertRaises(
 
271
            errors.UnexpectedEndOfContainerError, next, iterator)
 
272
 
 
273
    def test_unknown_record_type(self):
 
274
        """Unknown record types cause UnknownRecordTypeError to be raised."""
 
275
        reader = self.get_reader_for(
 
276
            b"Bazaar pack format 1 (introduced in 0.18)\nX")
 
277
        iterator = reader.iter_records()
 
278
        self.assertRaises(
 
279
            errors.UnknownRecordTypeError, next, iterator)
 
280
 
 
281
    def test_container_with_one_unnamed_record(self):
 
282
        """Read a container with one Bytes record.
 
283
 
 
284
        Parsing Bytes records is more thoroughly exercised by
 
285
        TestBytesRecordReader.  This test is here to ensure that
 
286
        ContainerReader's integration with BytesRecordReader is working.
 
287
        """
 
288
        reader = self.get_reader_for(
 
289
            b"Bazaar pack format 1 (introduced in 0.18)\nB5\n\naaaaaE")
 
290
        expected_records = [([], b'aaaaa')]
 
291
        self.assertEqual(
 
292
            expected_records,
 
293
            [(names, read_bytes(None))
 
294
             for (names, read_bytes) in reader.iter_records()])
 
295
 
 
296
    def test_validate_empty_container(self):
 
297
        """validate does not raise an error for a container with no records."""
 
298
        reader = self.get_reader_for(
 
299
            b"Bazaar pack format 1 (introduced in 0.18)\nE")
 
300
        # No exception raised
 
301
        reader.validate()
 
302
 
 
303
    def test_validate_non_empty_valid_container(self):
 
304
        """validate does not raise an error for a container with a valid record.
 
305
        """
 
306
        reader = self.get_reader_for(
 
307
            b"Bazaar pack format 1 (introduced in 0.18)\nB3\nname\n\nabcE")
 
308
        # No exception raised
 
309
        reader.validate()
 
310
 
 
311
    def test_validate_bad_format(self):
 
312
        """validate raises an error for unrecognised format strings.
 
313
 
 
314
        It may raise either UnexpectedEndOfContainerError or
 
315
        UnknownContainerFormatError, depending on exactly what the string is.
 
316
        """
 
317
        inputs = [
 
318
            b"", b"x", b"Bazaar pack format 1 (introduced in 0.18)", b"bad\n"]
 
319
        for input in inputs:
 
320
            reader = self.get_reader_for(input)
 
321
            self.assertRaises(
 
322
                (errors.UnexpectedEndOfContainerError,
 
323
                 errors.UnknownContainerFormatError),
 
324
                reader.validate)
 
325
 
 
326
    def test_validate_bad_record_marker(self):
 
327
        """validate raises UnknownRecordTypeError for unrecognised record
 
328
        types.
 
329
        """
 
330
        reader = self.get_reader_for(
 
331
            b"Bazaar pack format 1 (introduced in 0.18)\nX")
 
332
        self.assertRaises(errors.UnknownRecordTypeError, reader.validate)
 
333
 
 
334
    def test_validate_data_after_end_marker(self):
 
335
        """validate raises ContainerHasExcessDataError if there are any bytes
 
336
        after the end of the container.
 
337
        """
 
338
        reader = self.get_reader_for(
 
339
            b"Bazaar pack format 1 (introduced in 0.18)\nEcrud")
 
340
        self.assertRaises(
 
341
            errors.ContainerHasExcessDataError, reader.validate)
 
342
 
 
343
    def test_validate_no_end_marker(self):
 
344
        """validate raises UnexpectedEndOfContainerError if there's no end of
 
345
        container marker, even if the container up to this point has been valid.
 
346
        """
 
347
        reader = self.get_reader_for(
 
348
            b"Bazaar pack format 1 (introduced in 0.18)\n")
 
349
        self.assertRaises(
 
350
            errors.UnexpectedEndOfContainerError, reader.validate)
 
351
 
 
352
    def test_validate_duplicate_name(self):
 
353
        """validate raises DuplicateRecordNameError if the same name occurs
 
354
        multiple times in the container.
 
355
        """
 
356
        reader = self.get_reader_for(
 
357
            b"Bazaar pack format 1 (introduced in 0.18)\n"
 
358
            b"B0\nname\n\n"
 
359
            b"B0\nname\n\n"
 
360
            b"E")
 
361
        self.assertRaises(errors.DuplicateRecordNameError, reader.validate)
 
362
 
 
363
    def test_validate_undecodeable_name(self):
 
364
        """Names that aren't valid UTF-8 cause validate to fail."""
 
365
        reader = self.get_reader_for(
 
366
            b"Bazaar pack format 1 (introduced in 0.18)\nB0\n\xcc\n\nE")
 
367
        self.assertRaises(errors.InvalidRecordError, reader.validate)
 
368
 
 
369
 
 
370
class TestBytesRecordReader(tests.TestCase):
 
371
    """Tests for reading and validating Bytes records with
 
372
    BytesRecordReader.
 
373
 
 
374
    Like TestContainerReader, this explicitly tests the reading of format 1
 
375
    data.  If a new version of the format is added, then a separate set of
 
376
    tests for reading that format should be added.
 
377
    """
 
378
 
 
379
    def get_reader_for(self, data):
 
380
        stream = BytesIO(data)
 
381
        reader = pack.BytesRecordReader(stream)
 
382
        return reader
 
383
 
 
384
    def test_record_with_no_name(self):
 
385
        """Reading a Bytes record with no name returns an empty list of
 
386
        names.
 
387
        """
 
388
        reader = self.get_reader_for(b"5\n\naaaaa")
 
389
        names, get_bytes = reader.read()
 
390
        self.assertEqual([], names)
 
391
        self.assertEqual(b'aaaaa', get_bytes(None))
 
392
 
 
393
    def test_record_with_one_name(self):
 
394
        """Reading a Bytes record with one name returns a list of just that
 
395
        name.
 
396
        """
 
397
        reader = self.get_reader_for(b"5\nname1\n\naaaaa")
 
398
        names, get_bytes = reader.read()
 
399
        self.assertEqual([(b'name1', )], names)
 
400
        self.assertEqual(b'aaaaa', get_bytes(None))
 
401
 
 
402
    def test_record_with_two_names(self):
 
403
        """Reading a Bytes record with two names returns a list of both names.
 
404
        """
 
405
        reader = self.get_reader_for(b"5\nname1\nname2\n\naaaaa")
 
406
        names, get_bytes = reader.read()
 
407
        self.assertEqual([(b'name1', ), (b'name2', )], names)
 
408
        self.assertEqual(b'aaaaa', get_bytes(None))
 
409
 
 
410
    def test_record_with_two_part_names(self):
 
411
        """Reading a Bytes record with a two_part name reads both."""
 
412
        reader = self.get_reader_for(b"5\nname1\x00name2\n\naaaaa")
 
413
        names, get_bytes = reader.read()
 
414
        self.assertEqual([(b'name1', b'name2', )], names)
 
415
        self.assertEqual(b'aaaaa', get_bytes(None))
 
416
 
 
417
    def test_invalid_length(self):
 
418
        """If the length-prefix is not a number, parsing raises
 
419
        InvalidRecordError.
 
420
        """
 
421
        reader = self.get_reader_for(b"not a number\n")
 
422
        self.assertRaises(errors.InvalidRecordError, reader.read)
 
423
 
 
424
    def test_early_eof(self):
 
425
        """Tests for premature EOF occuring during parsing Bytes records with
 
426
        BytesRecordReader.
 
427
 
 
428
        A incomplete container might be interrupted at any point.  The
 
429
        BytesRecordReader needs to cope with the input stream running out no
 
430
        matter where it is in the parsing process.
 
431
 
 
432
        In all cases, UnexpectedEndOfContainerError should be raised.
 
433
        """
 
434
        complete_record = b"6\nname\n\nabcdef"
 
435
        for count in range(0, len(complete_record)):
 
436
            incomplete_record = complete_record[:count]
 
437
            reader = self.get_reader_for(incomplete_record)
 
438
            # We don't use assertRaises to make diagnosing failures easier
 
439
            # (assertRaises doesn't allow a custom failure message).
 
440
            try:
 
441
                names, read_bytes = reader.read()
 
442
                read_bytes(None)
 
443
            except errors.UnexpectedEndOfContainerError:
 
444
                pass
 
445
            else:
 
446
                self.fail(
 
447
                    "UnexpectedEndOfContainerError not raised when parsing %r"
 
448
                    % (incomplete_record,))
 
449
 
 
450
    def test_initial_eof(self):
 
451
        """EOF before any bytes read at all."""
 
452
        reader = self.get_reader_for(b"")
 
453
        self.assertRaises(errors.UnexpectedEndOfContainerError, reader.read)
 
454
 
 
455
    def test_eof_after_length(self):
 
456
        """EOF after reading the length and before reading name(s)."""
 
457
        reader = self.get_reader_for(b"123\n")
 
458
        self.assertRaises(errors.UnexpectedEndOfContainerError, reader.read)
 
459
 
 
460
    def test_eof_during_name(self):
 
461
        """EOF during reading a name."""
 
462
        reader = self.get_reader_for(b"123\nname")
 
463
        self.assertRaises(errors.UnexpectedEndOfContainerError, reader.read)
 
464
 
 
465
    def test_read_invalid_name_whitespace(self):
 
466
        """Names must have no whitespace."""
 
467
        # A name with a space.
 
468
        reader = self.get_reader_for(b"0\nbad name\n\n")
 
469
        self.assertRaises(errors.InvalidRecordError, reader.read)
 
470
 
 
471
        # A name with a tab.
 
472
        reader = self.get_reader_for(b"0\nbad\tname\n\n")
 
473
        self.assertRaises(errors.InvalidRecordError, reader.read)
 
474
 
 
475
        # A name with a vertical tab.
 
476
        reader = self.get_reader_for(b"0\nbad\vname\n\n")
 
477
        self.assertRaises(errors.InvalidRecordError, reader.read)
 
478
 
 
479
    def test_validate_whitespace_in_name(self):
 
480
        """Names must have no whitespace."""
 
481
        reader = self.get_reader_for(b"0\nbad name\n\n")
 
482
        self.assertRaises(errors.InvalidRecordError, reader.validate)
 
483
 
 
484
    def test_validate_interrupted_prelude(self):
 
485
        """EOF during reading a record's prelude causes validate to fail."""
 
486
        reader = self.get_reader_for(b"")
 
487
        self.assertRaises(
 
488
            errors.UnexpectedEndOfContainerError, reader.validate)
 
489
 
 
490
    def test_validate_interrupted_body(self):
 
491
        """EOF during reading a record's body causes validate to fail."""
 
492
        reader = self.get_reader_for(b"1\n\n")
 
493
        self.assertRaises(
 
494
            errors.UnexpectedEndOfContainerError, reader.validate)
 
495
 
 
496
    def test_validate_unparseable_length(self):
 
497
        """An unparseable record length causes validate to fail."""
 
498
        reader = self.get_reader_for(b"\n\n")
 
499
        self.assertRaises(
 
500
            errors.InvalidRecordError, reader.validate)
 
501
 
 
502
    def test_validate_undecodeable_name(self):
 
503
        """Names that aren't valid UTF-8 cause validate to fail."""
 
504
        reader = self.get_reader_for(b"0\n\xcc\n\n")
 
505
        self.assertRaises(errors.InvalidRecordError, reader.validate)
 
506
 
 
507
    def test_read_max_length(self):
 
508
        """If the max_length passed to the callable returned by read is not
 
509
        None, then no more than that many bytes will be read.
 
510
        """
 
511
        reader = self.get_reader_for(b"6\n\nabcdef")
 
512
        names, get_bytes = reader.read()
 
513
        self.assertEqual(b'abc', get_bytes(3))
 
514
 
 
515
    def test_read_no_max_length(self):
 
516
        """If the max_length passed to the callable returned by read is None,
 
517
        then all the bytes in the record will be read.
 
518
        """
 
519
        reader = self.get_reader_for(b"6\n\nabcdef")
 
520
        names, get_bytes = reader.read()
 
521
        self.assertEqual(b'abcdef', get_bytes(None))
 
522
 
 
523
    def test_repeated_read_calls(self):
 
524
        """Repeated calls to the callable returned from BytesRecordReader.read
 
525
        will not read beyond the end of the record.
 
526
        """
 
527
        reader = self.get_reader_for(b"6\n\nabcdefB3\nnext-record\nXXX")
 
528
        names, get_bytes = reader.read()
 
529
        self.assertEqual(b'abcdef', get_bytes(None))
 
530
        self.assertEqual(b'', get_bytes(None))
 
531
        self.assertEqual(b'', get_bytes(99))
 
532
 
 
533
 
 
534
class TestMakeReadvReader(tests.TestCaseWithTransport):
 
535
 
 
536
    def test_read_skipping_records(self):
 
537
        pack_data = BytesIO()
 
538
        writer = pack.ContainerWriter(pack_data.write)
 
539
        writer.begin()
 
540
        memos = []
 
541
        memos.append(writer.add_bytes_record(b'abc', names=[]))
 
542
        memos.append(writer.add_bytes_record(b'def', names=[(b'name1', )]))
 
543
        memos.append(writer.add_bytes_record(b'ghi', names=[(b'name2', )]))
 
544
        memos.append(writer.add_bytes_record(b'jkl', names=[]))
 
545
        writer.end()
 
546
        transport = self.get_transport()
 
547
        transport.put_bytes('mypack', pack_data.getvalue())
 
548
        requested_records = [memos[0], memos[2]]
 
549
        reader = pack.make_readv_reader(transport, 'mypack', requested_records)
 
550
        result = []
 
551
        for names, reader_func in reader.iter_records():
 
552
            result.append((names, reader_func(None)))
 
553
        self.assertEqual([([], b'abc'), ([(b'name2', )], b'ghi')], result)
 
554
 
 
555
 
 
556
class TestReadvFile(tests.TestCaseWithTransport):
 
557
    """Tests of the ReadVFile class.
 
558
 
 
559
    Error cases are deliberately undefined: this code adapts the underlying
 
560
    transport interface to a single 'streaming read' interface as
 
561
    ContainerReader needs.
 
562
    """
 
563
 
 
564
    def test_read_bytes(self):
 
565
        """Test reading of both single bytes and all bytes in a hunk."""
 
566
        transport = self.get_transport()
 
567
        transport.put_bytes('sample', b'0123456789')
 
568
        f = pack.ReadVFile(transport.readv('sample', [(0, 1), (1, 2), (4, 1), (6, 2)]))
 
569
        results = []
 
570
        results.append(f.read(1))
 
571
        results.append(f.read(2))
 
572
        results.append(f.read(1))
 
573
        results.append(f.read(1))
 
574
        results.append(f.read(1))
 
575
        self.assertEqual([b'0', b'12', b'4', b'6', b'7'], results)
 
576
 
 
577
    def test_readline(self):
 
578
        """Test using readline() as ContainerReader does.
 
579
 
 
580
        This is always within a readv hunk, never across it.
 
581
        """
 
582
        transport = self.get_transport()
 
583
        transport.put_bytes('sample', b'0\n2\n4\n')
 
584
        f = pack.ReadVFile(transport.readv('sample', [(0, 2), (2, 4)]))
 
585
        results = []
 
586
        results.append(f.readline())
 
587
        results.append(f.readline())
 
588
        results.append(f.readline())
 
589
        self.assertEqual([b'0\n', b'2\n', b'4\n'], results)
 
590
 
 
591
    def test_readline_and_read(self):
 
592
        """Test exercising one byte reads, readline, and then read again."""
 
593
        transport = self.get_transport()
 
594
        transport.put_bytes('sample', b'0\n2\n4\n')
 
595
        f = pack.ReadVFile(transport.readv('sample', [(0, 6)]))
 
596
        results = []
 
597
        results.append(f.read(1))
 
598
        results.append(f.readline())
 
599
        results.append(f.read(4))
 
600
        self.assertEqual([b'0', b'\n', b'2\n4\n'], results)
 
601
 
 
602
 
 
603
class PushParserTestCase(tests.TestCase):
 
604
    """Base class for TestCases involving ContainerPushParser."""
 
605
 
 
606
    def make_parser_expecting_record_type(self):
 
607
        parser = pack.ContainerPushParser()
 
608
        parser.accept_bytes(b"Bazaar pack format 1 (introduced in 0.18)\n")
 
609
        return parser
 
610
 
 
611
    def make_parser_expecting_bytes_record(self):
 
612
        parser = pack.ContainerPushParser()
 
613
        parser.accept_bytes(b"Bazaar pack format 1 (introduced in 0.18)\nB")
 
614
        return parser
 
615
 
 
616
    def assertRecordParsing(self, expected_record, data):
 
617
        """Assert that 'bytes' is parsed as a given bytes record.
 
618
 
 
619
        :param expected_record: A tuple of (names, bytes).
 
620
        """
 
621
        parser = self.make_parser_expecting_bytes_record()
 
622
        parser.accept_bytes(data)
 
623
        parsed_records = parser.read_pending_records()
 
624
        self.assertEqual([expected_record], parsed_records)
 
625
 
 
626
 
 
627
class TestContainerPushParser(PushParserTestCase):
 
628
    """Tests for ContainerPushParser.
 
629
 
 
630
    The ContainerPushParser reads format 1 containers, so these tests
 
631
    explicitly test how it reacts to format 1 data.  If a new version of the
 
632
    format is added, then separate tests for that format should be added.
 
633
    """
 
634
 
 
635
    def test_construct(self):
 
636
        """ContainerPushParser can be constructed."""
 
637
        pack.ContainerPushParser()
 
638
 
 
639
    def test_multiple_records_at_once(self):
 
640
        """If multiple records worth of data are fed to the parser in one
 
641
        string, the parser will correctly parse all the records.
 
642
 
 
643
        (A naive implementation might stop after parsing the first record.)
 
644
        """
 
645
        parser = self.make_parser_expecting_record_type()
 
646
        parser.accept_bytes(b"B5\nname1\n\nbody1B5\nname2\n\nbody2")
 
647
        self.assertEqual(
 
648
            [([(b'name1',)], b'body1'), ([(b'name2',)], b'body2')],
 
649
            parser.read_pending_records())
 
650
 
 
651
    def test_multiple_empty_records_at_once(self):
 
652
        """If multiple empty records worth of data are fed to the parser in one
 
653
        string, the parser will correctly parse all the records.
 
654
 
 
655
        (A naive implementation might stop after parsing the first empty
 
656
        record, because the buffer size had not changed.)
 
657
        """
 
658
        parser = self.make_parser_expecting_record_type()
 
659
        parser.accept_bytes(b"B0\nname1\n\nB0\nname2\n\n")
 
660
        self.assertEqual(
 
661
            [([(b'name1',)], b''), ([(b'name2',)], b'')],
 
662
            parser.read_pending_records())
 
663
 
 
664
 
 
665
class TestContainerPushParserBytesParsing(PushParserTestCase):
 
666
    """Tests for reading Bytes records with ContainerPushParser.
 
667
 
 
668
    The ContainerPushParser reads format 1 containers, so these tests
 
669
    explicitly test how it reacts to format 1 data.  If a new version of the
 
670
    format is added, then separate tests for that format should be added.
 
671
    """
 
672
 
 
673
    def test_record_with_no_name(self):
 
674
        """Reading a Bytes record with no name returns an empty list of
 
675
        names.
 
676
        """
 
677
        self.assertRecordParsing(([], b'aaaaa'), b"5\n\naaaaa")
 
678
 
 
679
    def test_record_with_one_name(self):
 
680
        """Reading a Bytes record with one name returns a list of just that
 
681
        name.
 
682
        """
 
683
        self.assertRecordParsing(
 
684
            ([(b'name1', )], b'aaaaa'),
 
685
            b"5\nname1\n\naaaaa")
 
686
 
 
687
    def test_record_with_two_names(self):
 
688
        """Reading a Bytes record with two names returns a list of both names.
 
689
        """
 
690
        self.assertRecordParsing(
 
691
            ([(b'name1', ), (b'name2', )], b'aaaaa'),
 
692
            b"5\nname1\nname2\n\naaaaa")
 
693
 
 
694
    def test_record_with_two_part_names(self):
 
695
        """Reading a Bytes record with a two_part name reads both."""
 
696
        self.assertRecordParsing(
 
697
            ([(b'name1', b'name2')], b'aaaaa'),
 
698
            b"5\nname1\x00name2\n\naaaaa")
 
699
 
 
700
    def test_invalid_length(self):
 
701
        """If the length-prefix is not a number, parsing raises
 
702
        InvalidRecordError.
 
703
        """
 
704
        parser = self.make_parser_expecting_bytes_record()
 
705
        self.assertRaises(
 
706
            errors.InvalidRecordError, parser.accept_bytes, b"not a number\n")
 
707
 
 
708
    def test_incomplete_record(self):
 
709
        """If the bytes seen so far don't form a complete record, then there
 
710
        will be nothing returned by read_pending_records.
 
711
        """
 
712
        parser = self.make_parser_expecting_bytes_record()
 
713
        parser.accept_bytes(b"5\n\nabcd")
 
714
        self.assertEqual([], parser.read_pending_records())
 
715
 
 
716
    def test_accept_nothing(self):
 
717
        """The edge case of parsing an empty string causes no error."""
 
718
        parser = self.make_parser_expecting_bytes_record()
 
719
        parser.accept_bytes(b"")
 
720
 
 
721
    def assertInvalidRecord(self, data):
 
722
        """Assert that parsing the given bytes raises InvalidRecordError."""
 
723
        parser = self.make_parser_expecting_bytes_record()
 
724
        self.assertRaises(
 
725
            errors.InvalidRecordError, parser.accept_bytes, data)
 
726
 
 
727
    def test_read_invalid_name_whitespace(self):
 
728
        """Names must have no whitespace."""
 
729
        # A name with a space.
 
730
        self.assertInvalidRecord(b"0\nbad name\n\n")
 
731
 
 
732
        # A name with a tab.
 
733
        self.assertInvalidRecord(b"0\nbad\tname\n\n")
 
734
 
 
735
        # A name with a vertical tab.
 
736
        self.assertInvalidRecord(b"0\nbad\vname\n\n")
 
737
 
 
738
    def test_repeated_read_pending_records(self):
 
739
        """read_pending_records will not return the same record twice."""
 
740
        parser = self.make_parser_expecting_bytes_record()
 
741
        parser.accept_bytes(b"6\n\nabcdef")
 
742
        self.assertEqual([([], b'abcdef')], parser.read_pending_records())
 
743
        self.assertEqual([], parser.read_pending_records())