/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/repofmt/pack_repo.py

  • Committer: Robert Collins
  • Date: 2010-05-06 23:41:35 UTC
  • mto: This revision was merged to the branch mainline in revision 5223.
  • Revision ID: robertc@robertcollins.net-20100506234135-yivbzczw1sejxnxc
Lock methods on ``Tree``, ``Branch`` and ``Repository`` are now
expected to return an object which can be used to unlock them. This reduces
duplicate code when using cleanups. The previous 'tokens's returned by
``Branch.lock_write`` and ``Repository.lock_write`` are now attributes
on the result of the lock_write. ``repository.RepositoryWriteLockResult``
and ``branch.BranchWriteLockResult`` document this. (Robert Collins)

``log._get_info_for_log_files`` now takes an add_cleanup callable.
(Robert Collins)

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2007-2011 Canonical Ltd
 
1
# Copyright (C) 2007-2010 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
 
from __future__ import absolute_import
18
 
 
19
17
import re
20
18
import sys
21
19
 
22
 
from ..lazy_import import lazy_import
 
20
from bzrlib.lazy_import import lazy_import
23
21
lazy_import(globals(), """
 
22
from itertools import izip
24
23
import time
25
24
 
26
 
from breezy import (
 
25
from bzrlib import (
 
26
    chk_map,
27
27
    cleanup,
28
 
    config,
29
28
    debug,
30
29
    graph,
31
30
    osutils,
 
31
    pack,
32
32
    transactions,
33
33
    ui,
34
 
    )
35
 
from breezy.bzr import (
36
 
    pack,
37
 
    )
38
 
from breezy.bzr.index import (
 
34
    xml5,
 
35
    xml6,
 
36
    xml7,
 
37
    )
 
38
from bzrlib.index import (
39
39
    CombinedGraphIndex,
40
 
    )
 
40
    GraphIndexPrefixAdapter,
 
41
    )
 
42
from bzrlib.knit import (
 
43
    KnitPlainFactory,
 
44
    KnitVersionedFiles,
 
45
    _KnitGraphIndex,
 
46
    _DirectPackAccess,
 
47
    )
 
48
from bzrlib import tsort
41
49
""")
42
 
from .. import (
 
50
from bzrlib import (
 
51
    bzrdir,
43
52
    errors,
44
53
    lockable_files,
45
54
    lockdir,
46
 
    )
47
 
from ..bzr import (
48
 
    btree_index,
 
55
    revision as _mod_revision,
49
56
    )
50
57
 
51
 
from ..decorators import (
52
 
    only_raises,
53
 
    )
54
 
from ..lock import LogicalLockResult
55
 
from ..repository import (
56
 
    _LazyListJoin,
 
58
from bzrlib.decorators import needs_write_lock, only_raises
 
59
from bzrlib.btree_index import (
 
60
    BTreeGraphIndex,
 
61
    BTreeBuilder,
 
62
    )
 
63
from bzrlib.index import (
 
64
    GraphIndex,
 
65
    InMemoryGraphIndex,
 
66
    )
 
67
from bzrlib.repofmt.knitrepo import KnitRepository
 
68
from bzrlib.repository import (
 
69
    CommitBuilder,
 
70
    MetaDirRepositoryFormat,
 
71
    RepositoryFormat,
57
72
    RepositoryWriteLockResult,
58
 
    )
59
 
from ..bzr.repository import (
60
 
    MetaDirRepository,
61
 
    RepositoryFormatMetaDir,
62
 
    )
63
 
from ..sixish import (
64
 
    reraise,
65
 
    viewitems,
66
 
    )
67
 
from ..bzr.vf_repository import (
68
 
    MetaDirVersionedFileRepository,
69
 
    MetaDirVersionedFileRepositoryFormat,
70
 
    VersionedFileCommitBuilder,
71
 
    )
72
 
from ..trace import (
 
73
    RootCommitBuilder,
 
74
    StreamSource,
 
75
    )
 
76
from bzrlib.trace import (
73
77
    mutter,
74
78
    note,
75
79
    warning,
76
80
    )
77
81
 
78
82
 
79
 
class PackCommitBuilder(VersionedFileCommitBuilder):
80
 
    """Subclass of VersionedFileCommitBuilder to add texts with pack semantics.
81
 
 
82
 
    Specifically this uses one knit object rather than one knit object per
83
 
    added text, reducing memory and object pressure.
84
 
    """
85
 
 
86
 
    def __init__(self, repository, parents, config, timestamp=None,
87
 
                 timezone=None, committer=None, revprops=None,
88
 
                 revision_id=None, lossy=False):
89
 
        VersionedFileCommitBuilder.__init__(self, repository, parents, config,
90
 
                                            timestamp=timestamp, timezone=timezone, committer=committer,
91
 
                                            revprops=revprops, revision_id=revision_id, lossy=lossy)
92
 
        self._file_graph = graph.Graph(
93
 
            repository._pack_collection.text_index.combined_index)
94
 
 
95
 
    def _heads(self, file_id, revision_ids):
96
 
        keys = [(file_id, revision_id) for revision_id in revision_ids]
97
 
        return {key[1] for key in self._file_graph.heads(keys)}
 
83
class PackCommitBuilder(CommitBuilder):
 
84
    """A subclass of CommitBuilder to add texts with pack semantics.
 
85
 
 
86
    Specifically this uses one knit object rather than one knit object per
 
87
    added text, reducing memory and object pressure.
 
88
    """
 
89
 
 
90
    def __init__(self, repository, parents, config, timestamp=None,
 
91
                 timezone=None, committer=None, revprops=None,
 
92
                 revision_id=None):
 
93
        CommitBuilder.__init__(self, repository, parents, config,
 
94
            timestamp=timestamp, timezone=timezone, committer=committer,
 
95
            revprops=revprops, revision_id=revision_id)
 
96
        self._file_graph = graph.Graph(
 
97
            repository._pack_collection.text_index.combined_index)
 
98
 
 
99
    def _heads(self, file_id, revision_ids):
 
100
        keys = [(file_id, revision_id) for revision_id in revision_ids]
 
101
        return set([key[1] for key in self._file_graph.heads(keys)])
 
102
 
 
103
 
 
104
class PackRootCommitBuilder(RootCommitBuilder):
 
105
    """A subclass of RootCommitBuilder to add texts with pack semantics.
 
106
 
 
107
    Specifically this uses one knit object rather than one knit object per
 
108
    added text, reducing memory and object pressure.
 
109
    """
 
110
 
 
111
    def __init__(self, repository, parents, config, timestamp=None,
 
112
                 timezone=None, committer=None, revprops=None,
 
113
                 revision_id=None):
 
114
        CommitBuilder.__init__(self, repository, parents, config,
 
115
            timestamp=timestamp, timezone=timezone, committer=committer,
 
116
            revprops=revprops, revision_id=revision_id)
 
117
        self._file_graph = graph.Graph(
 
118
            repository._pack_collection.text_index.combined_index)
 
119
 
 
120
    def _heads(self, file_id, revision_ids):
 
121
        keys = [(file_id, revision_id) for revision_id in revision_ids]
 
122
        return set([key[1] for key in self._file_graph.heads(keys)])
98
123
 
99
124
 
100
125
class Pack(object):
115
140
        }
116
141
 
117
142
    def __init__(self, revision_index, inventory_index, text_index,
118
 
                 signature_index, chk_index=None):
 
143
        signature_index, chk_index=None):
119
144
        """Create a pack instance.
120
145
 
121
146
        :param revision_index: A GraphIndex for determining what revisions are
151
176
        """
152
177
        missing_items = {}
153
178
        for (index_name, external_refs, index) in [
154
 
                ('texts',
155
 
                    self._get_external_refs(self.text_index),
156
 
                    self._pack_collection.text_index.combined_index),
157
 
                ('inventories',
158
 
                    self._get_external_refs(self.inventory_index),
159
 
                    self._pack_collection.inventory_index.combined_index),
160
 
                ]:
 
179
            ('texts',
 
180
                self._get_external_refs(self.text_index),
 
181
                self._pack_collection.text_index.combined_index),
 
182
            ('inventories',
 
183
                self._get_external_refs(self.inventory_index),
 
184
                self._pack_collection.inventory_index.combined_index),
 
185
            ]:
161
186
            missing = external_refs.difference(
162
187
                k for (idx, k, v, r) in
163
188
                index.iter_entries(external_refs))
205
230
        unlimited_cache = False
206
231
        if index_type == 'chk':
207
232
            unlimited_cache = True
208
 
        index = self.index_class(self.index_transport,
209
 
                                 self.index_name(index_type, self.name),
210
 
                                 self.index_sizes[self.index_offset(
211
 
                                     index_type)],
212
 
                                 unlimited_cache=unlimited_cache)
213
 
        if index_type == 'chk':
214
 
            index._leaf_factory = btree_index._gcchk_factory
215
 
        setattr(self, index_type + '_index', index)
216
 
 
217
 
    def __lt__(self, other):
218
 
        if not isinstance(other, Pack):
219
 
            raise TypeError(other)
220
 
        return (id(self) < id(other))
221
 
 
222
 
    def __hash__(self):
223
 
        return hash((type(self), self.revision_index, self.inventory_index,
224
 
                     self.text_index, self.signature_index, self.chk_index))
 
233
        setattr(self, index_type + '_index',
 
234
            self.index_class(self.index_transport,
 
235
                self.index_name(index_type, self.name),
 
236
                self.index_sizes[self.index_offset(index_type)],
 
237
                unlimited_cache=unlimited_cache))
225
238
 
226
239
 
227
240
class ExistingPack(Pack):
228
241
    """An in memory proxy for an existing .pack and its disk indices."""
229
242
 
230
243
    def __init__(self, pack_transport, name, revision_index, inventory_index,
231
 
                 text_index, signature_index, chk_index=None):
 
244
        text_index, signature_index, chk_index=None):
232
245
        """Create an ExistingPack object.
233
246
 
234
247
        :param pack_transport: The transport where the pack file resides.
235
248
        :param name: The name of the pack on disk in the pack_transport.
236
249
        """
237
250
        Pack.__init__(self, revision_index, inventory_index, text_index,
238
 
                      signature_index, chk_index)
 
251
            signature_index, chk_index)
239
252
        self.name = name
240
253
        self.pack_transport = pack_transport
241
254
        if None in (revision_index, inventory_index, text_index,
242
 
                    signature_index, name, pack_transport):
 
255
                signature_index, name, pack_transport):
243
256
            raise AssertionError()
244
257
 
245
258
    def __eq__(self, other):
253
266
            self.__class__.__module__, self.__class__.__name__, id(self),
254
267
            self.pack_transport, self.name)
255
268
 
256
 
    def __hash__(self):
257
 
        return hash((type(self), self.name))
258
 
 
259
269
 
260
270
class ResumedPack(ExistingPack):
261
271
 
262
272
    def __init__(self, name, revision_index, inventory_index, text_index,
263
 
                 signature_index, upload_transport, pack_transport, index_transport,
264
 
                 pack_collection, chk_index=None):
 
273
        signature_index, upload_transport, pack_transport, index_transport,
 
274
        pack_collection, chk_index=None):
265
275
        """Create a ResumedPack object."""
266
276
        ExistingPack.__init__(self, pack_transport, name, revision_index,
267
 
                              inventory_index, text_index, signature_index,
268
 
                              chk_index=chk_index)
 
277
            inventory_index, text_index, signature_index,
 
278
            chk_index=chk_index)
269
279
        self.upload_transport = upload_transport
270
280
        self.index_transport = index_transport
271
281
        self.index_sizes = [None, None, None, None]
297
307
    def abort(self):
298
308
        self.upload_transport.delete(self.file_name())
299
309
        indices = [self.revision_index, self.inventory_index, self.text_index,
300
 
                   self.signature_index]
 
310
            self.signature_index]
301
311
        if self.chk_index is not None:
302
312
            indices.append(self.chk_index)
303
313
        for index in indices:
311
321
        for index_type in index_types:
312
322
            old_name = self.index_name(index_type, self.name)
313
323
            new_name = '../indices/' + old_name
314
 
            self.upload_transport.move(old_name, new_name)
 
324
            self.upload_transport.rename(old_name, new_name)
315
325
            self._replace_index_with_readonly(index_type)
316
326
        new_name = '../packs/' + self.file_name()
317
 
        self.upload_transport.move(self.file_name(), new_name)
 
327
        self.upload_transport.rename(self.file_name(), new_name)
318
328
        self._state = 'finished'
319
329
 
320
330
    def _get_external_refs(self, index):
345
355
        else:
346
356
            chk_index = None
347
357
        Pack.__init__(self,
348
 
                      # Revisions: parents list, no text compression.
349
 
                      index_builder_class(reference_lists=1),
350
 
                      # Inventory: We want to map compression only, but currently the
351
 
                      # knit code hasn't been updated enough to understand that, so we
352
 
                      # have a regular 2-list index giving parents and compression
353
 
                      # source.
354
 
                      index_builder_class(reference_lists=2),
355
 
                      # Texts: compression and per file graph, for all fileids - so two
356
 
                      # reference lists and two elements in the key tuple.
357
 
                      index_builder_class(reference_lists=2, key_elements=2),
358
 
                      # Signatures: Just blobs to store, no compression, no parents
359
 
                      # listing.
360
 
                      index_builder_class(reference_lists=0),
361
 
                      # CHK based storage - just blobs, no compression or parents.
362
 
                      chk_index=chk_index
363
 
                      )
 
358
            # Revisions: parents list, no text compression.
 
359
            index_builder_class(reference_lists=1),
 
360
            # Inventory: We want to map compression only, but currently the
 
361
            # knit code hasn't been updated enough to understand that, so we
 
362
            # have a regular 2-list index giving parents and compression
 
363
            # source.
 
364
            index_builder_class(reference_lists=2),
 
365
            # Texts: compression and per file graph, for all fileids - so two
 
366
            # reference lists and two elements in the key tuple.
 
367
            index_builder_class(reference_lists=2, key_elements=2),
 
368
            # Signatures: Just blobs to store, no compression, no parents
 
369
            # listing.
 
370
            index_builder_class(reference_lists=0),
 
371
            # CHK based storage - just blobs, no compression or parents.
 
372
            chk_index=chk_index
 
373
            )
364
374
        self._pack_collection = pack_collection
365
375
        # When we make readonly indices, we need this.
366
376
        self.index_class = pack_collection._index_class
391
401
            self.random_name, mode=self._file_mode)
392
402
        if 'pack' in debug.debug_flags:
393
403
            mutter('%s: create_pack: pack stream open: %s%s t+%6.3fs',
394
 
                   time.ctime(), self.upload_transport.base, self.random_name,
395
 
                   time.time() - self.start_time)
 
404
                time.ctime(), self.upload_transport.base, self.random_name,
 
405
                time.time() - self.start_time)
396
406
        # A list of byte sequences to be written to the new pack, and the
397
407
        # aggregate size of them.  Stored as a list rather than separate
398
408
        # variables so that the _write_data closure below can update them.
402
412
        # robertc says- this is a closure rather than a method on the object
403
413
        # so that the variables are locals, and faster than accessing object
404
414
        # members.
405
 
 
406
415
        def _write_data(bytes, flush=False, _buffer=self._buffer,
407
 
                        _write=self.write_stream.write, _update=self._hash.update):
 
416
            _write=self.write_stream.write, _update=self._hash.update):
408
417
            _buffer[0].append(bytes)
409
418
            _buffer[1] += len(bytes)
410
419
            # buffer cap
411
420
            if _buffer[1] > self._cache_limit or flush:
412
 
                bytes = b''.join(_buffer[0])
 
421
                bytes = ''.join(_buffer[0])
413
422
                _write(bytes)
414
423
                _update(bytes)
415
424
                _buffer[:] = [[], 0]
443
452
    def data_inserted(self):
444
453
        """True if data has been added to this pack."""
445
454
        return bool(self.get_revision_count() or
446
 
                    self.inventory_index.key_count() or
447
 
                    self.text_index.key_count() or
448
 
                    self.signature_index.key_count() or
449
 
                    (self.chk_index is not None and self.chk_index.key_count()))
 
455
            self.inventory_index.key_count() or
 
456
            self.text_index.key_count() or
 
457
            self.signature_index.key_count() or
 
458
            (self.chk_index is not None and self.chk_index.key_count()))
450
459
 
451
460
    def finish_content(self):
452
461
        if self.name is not None:
453
462
            return
454
463
        self._writer.end()
455
464
        if self._buffer[1]:
456
 
            self._write_data(b'', flush=True)
 
465
            self._write_data('', flush=True)
457
466
        self.name = self._hash.hexdigest()
458
467
 
459
468
    def finish(self, suspend=False):
476
485
        # visible is smaller.  On the other hand none will be seen until
477
486
        # they're in the names list.
478
487
        self.index_sizes = [None, None, None, None]
479
 
        self._write_index('revision', self.revision_index, 'revision',
480
 
                          suspend)
 
488
        self._write_index('revision', self.revision_index, 'revision', suspend)
481
489
        self._write_index('inventory', self.inventory_index, 'inventory',
482
 
                          suspend)
 
490
            suspend)
483
491
        self._write_index('text', self.text_index, 'file texts', suspend)
484
492
        self._write_index('signature', self.signature_index,
485
 
                          'revision signatures', suspend)
 
493
            'revision signatures', suspend)
486
494
        if self.chk_index is not None:
487
495
            self.index_sizes.append(None)
488
496
            self._write_index('chk', self.chk_index,
489
 
                              'content hash bytes', suspend)
490
 
        self.write_stream.close(
491
 
            want_fdatasync=self._pack_collection.config_stack.get('repository.fdatasync'))
 
497
                'content hash bytes', suspend)
 
498
        self.write_stream.close()
492
499
        # Note that this will clobber an existing pack with the same name,
493
500
        # without checking for hash collisions. While this is undesirable this
494
501
        # is something that can be rectified in a subsequent release. One way
503
510
        new_name = self.name + '.pack'
504
511
        if not suspend:
505
512
            new_name = '../packs/' + new_name
506
 
        self.upload_transport.move(self.random_name, new_name)
 
513
        self.upload_transport.rename(self.random_name, new_name)
507
514
        self._state = 'finished'
508
515
        if 'pack' in debug.debug_flags:
509
516
            # XXX: size might be interesting?
510
517
            mutter('%s: create_pack: pack finished: %s%s->%s t+%6.3fs',
511
 
                   time.ctime(), self.upload_transport.base, self.random_name,
512
 
                   new_name, time.time() - self.start_time)
 
518
                time.ctime(), self.upload_transport.base, self.random_name,
 
519
                new_name, time.time() - self.start_time)
513
520
 
514
521
    def flush(self):
515
522
        """Flush any current data."""
516
523
        if self._buffer[1]:
517
 
            bytes = b''.join(self._buffer[0])
 
524
            bytes = ''.join(self._buffer[0])
518
525
            self.write_stream.write(bytes)
519
526
            self._hash.update(bytes)
520
527
            self._buffer[:] = [[], 0]
537
544
            transport = self.upload_transport
538
545
        else:
539
546
            transport = self.index_transport
540
 
        index_tempfile = index.finish()
541
 
        index_bytes = index_tempfile.read()
542
 
        write_stream = transport.open_write_stream(index_name,
543
 
                                                   mode=self._file_mode)
544
 
        write_stream.write(index_bytes)
545
 
        write_stream.close(
546
 
            want_fdatasync=self._pack_collection.config_stack.get('repository.fdatasync'))
547
 
        self.index_sizes[self.index_offset(index_type)] = len(index_bytes)
 
547
        self.index_sizes[self.index_offset(index_type)] = transport.put_file(
 
548
            index_name, index.finish(), mode=self._file_mode)
548
549
        if 'pack' in debug.debug_flags:
549
550
            # XXX: size might be interesting?
550
551
            mutter('%s: create_pack: wrote %s index: %s%s t+%6.3fs',
551
 
                   time.ctime(), label, self.upload_transport.base,
552
 
                   self.random_name, time.time() - self.start_time)
 
552
                time.ctime(), label, self.upload_transport.base,
 
553
                self.random_name, time.time() - self.start_time)
553
554
        # Replace the writable index on this object with a readonly,
554
555
        # presently unloaded index. We should alter
555
556
        # the index layer to make its finish() error if add_node is
612
613
        """
613
614
        if self.add_callback is not None:
614
615
            raise AssertionError(
615
 
                "%s already has a writable index through %s" %
 
616
                "%s already has a writable index through %s" % \
616
617
                (self, self.add_callback))
617
618
        # allow writing: queue writes to a new index
618
619
        self.add_index(index, pack)
638
639
        del self.combined_index._indices[pos]
639
640
        del self.combined_index._index_names[pos]
640
641
        if (self.add_callback is not None and
641
 
                getattr(index, 'add_nodes', None) == self.add_callback):
 
642
            getattr(index, 'add_nodes', None) == self.add_callback):
642
643
            self.add_callback = None
643
644
            self.data_access.set_writer(None, None, (None, None))
644
645
 
672
673
        # What text keys to copy. None for 'all texts'. This is set by
673
674
        # _copy_inventory_texts
674
675
        self._text_filter = None
 
676
        self._extra_init()
 
677
 
 
678
    def _extra_init(self):
 
679
        """A template hook to allow extending the constructor trivially."""
 
680
 
 
681
    def _pack_map_and_index_list(self, index_attribute):
 
682
        """Convert a list of packs to an index pack map and index list.
 
683
 
 
684
        :param index_attribute: The attribute that the desired index is found
 
685
            on.
 
686
        :return: A tuple (map, list) where map contains the dict from
 
687
            index:pack_tuple, and list contains the indices in the preferred
 
688
            access order.
 
689
        """
 
690
        indices = []
 
691
        pack_map = {}
 
692
        for pack_obj in self.packs:
 
693
            index = getattr(pack_obj, index_attribute)
 
694
            indices.append(index)
 
695
            pack_map[index] = pack_obj
 
696
        return pack_map, indices
 
697
 
 
698
    def _index_contents(self, indices, key_filter=None):
 
699
        """Get an iterable of the index contents from a pack_map.
 
700
 
 
701
        :param indices: The list of indices to query
 
702
        :param key_filter: An optional filter to limit the keys returned.
 
703
        """
 
704
        all_index = CombinedGraphIndex(indices)
 
705
        if key_filter is None:
 
706
            return all_index.iter_all_entries()
 
707
        else:
 
708
            return all_index.iter_entries(key_filter)
675
709
 
676
710
    def pack(self, pb=None):
677
711
        """Create a new pack by reading data from other packs.
688
722
        :return: A Pack object, or None if nothing was copied.
689
723
        """
690
724
        # open a pack - using the same name as the last temporary file
691
 
        # - which has already been flushed, so it's safe.
 
725
        # - which has already been flushed, so its safe.
692
726
        # XXX: - duplicate code warning with start_write_group; fix before
693
727
        #      considering 'done'.
694
728
        if self._pack_collection._new_pack is not None:
702
736
            else:
703
737
                self.revision_ids = frozenset(self.revision_ids)
704
738
                self.revision_keys = frozenset((revid,) for revid in
705
 
                                               self.revision_ids)
 
739
                    self.revision_ids)
706
740
        if pb is None:
707
741
            self.pb = ui.ui_factory.nested_progress_bar()
708
742
        else:
716
750
    def open_pack(self):
717
751
        """Open a pack for the pack we are creating."""
718
752
        new_pack = self._pack_collection.pack_factory(self._pack_collection,
719
 
                                                      upload_suffix=self.suffix,
720
 
                                                      file_mode=self._pack_collection.repo.controldir._get_file_mode())
 
753
                upload_suffix=self.suffix,
 
754
                file_mode=self._pack_collection.repo.bzrdir._get_file_mode())
721
755
        # We know that we will process all nodes in order, and don't need to
722
756
        # query, so don't combine any indices spilled to disk until we are done
723
757
        new_pack.revision_index.set_optimize(combine_backing_indices=False)
726
760
        new_pack.signature_index.set_optimize(combine_backing_indices=False)
727
761
        return new_pack
728
762
 
 
763
    def _update_pack_order(self, entries, index_to_pack_map):
 
764
        """Determine how we want our packs to be ordered.
 
765
 
 
766
        This changes the sort order of the self.packs list so that packs unused
 
767
        by 'entries' will be at the end of the list, so that future requests
 
768
        can avoid probing them.  Used packs will be at the front of the
 
769
        self.packs list, in the order of their first use in 'entries'.
 
770
 
 
771
        :param entries: A list of (index, ...) tuples
 
772
        :param index_to_pack_map: A mapping from index objects to pack objects.
 
773
        """
 
774
        packs = []
 
775
        seen_indexes = set()
 
776
        for entry in entries:
 
777
            index = entry[0]
 
778
            if index not in seen_indexes:
 
779
                packs.append(index_to_pack_map[index])
 
780
                seen_indexes.add(index)
 
781
        if len(packs) == len(self.packs):
 
782
            if 'pack' in debug.debug_flags:
 
783
                mutter('Not changing pack list, all packs used.')
 
784
            return
 
785
        seen_packs = set(packs)
 
786
        for pack in self.packs:
 
787
            if pack not in seen_packs:
 
788
                packs.append(pack)
 
789
                seen_packs.add(pack)
 
790
        if 'pack' in debug.debug_flags:
 
791
            old_names = [p.access_tuple()[1] for p in self.packs]
 
792
            new_names = [p.access_tuple()[1] for p in packs]
 
793
            mutter('Reordering packs\nfrom: %s\n  to: %s',
 
794
                   old_names, new_names)
 
795
        self.packs = packs
 
796
 
729
797
    def _copy_revision_texts(self):
730
798
        """Copy revision data to the new pack."""
731
 
        raise NotImplementedError(self._copy_revision_texts)
 
799
        # select revisions
 
800
        if self.revision_ids:
 
801
            revision_keys = [(revision_id,) for revision_id in self.revision_ids]
 
802
        else:
 
803
            revision_keys = None
 
804
        # select revision keys
 
805
        revision_index_map, revision_indices = self._pack_map_and_index_list(
 
806
            'revision_index')
 
807
        revision_nodes = self._index_contents(revision_indices, revision_keys)
 
808
        revision_nodes = list(revision_nodes)
 
809
        self._update_pack_order(revision_nodes, revision_index_map)
 
810
        # copy revision keys and adjust values
 
811
        self.pb.update("Copying revision texts", 1)
 
812
        total_items, readv_group_iter = self._revision_node_readv(revision_nodes)
 
813
        list(self._copy_nodes_graph(revision_index_map, self.new_pack._writer,
 
814
            self.new_pack.revision_index, readv_group_iter, total_items))
 
815
        if 'pack' in debug.debug_flags:
 
816
            mutter('%s: create_pack: revisions copied: %s%s %d items t+%6.3fs',
 
817
                time.ctime(), self._pack_collection._upload_transport.base,
 
818
                self.new_pack.random_name,
 
819
                self.new_pack.revision_index.key_count(),
 
820
                time.time() - self.new_pack.start_time)
 
821
        self._revision_keys = revision_keys
732
822
 
733
823
    def _copy_inventory_texts(self):
734
824
        """Copy the inventory texts to the new pack.
737
827
 
738
828
        Sets self._text_filter appropriately.
739
829
        """
740
 
        raise NotImplementedError(self._copy_inventory_texts)
 
830
        # select inventory keys
 
831
        inv_keys = self._revision_keys # currently the same keyspace, and note that
 
832
        # querying for keys here could introduce a bug where an inventory item
 
833
        # is missed, so do not change it to query separately without cross
 
834
        # checking like the text key check below.
 
835
        inventory_index_map, inventory_indices = self._pack_map_and_index_list(
 
836
            'inventory_index')
 
837
        inv_nodes = self._index_contents(inventory_indices, inv_keys)
 
838
        # copy inventory keys and adjust values
 
839
        # XXX: Should be a helper function to allow different inv representation
 
840
        # at this point.
 
841
        self.pb.update("Copying inventory texts", 2)
 
842
        total_items, readv_group_iter = self._least_readv_node_readv(inv_nodes)
 
843
        # Only grab the output lines if we will be processing them
 
844
        output_lines = bool(self.revision_ids)
 
845
        inv_lines = self._copy_nodes_graph(inventory_index_map,
 
846
            self.new_pack._writer, self.new_pack.inventory_index,
 
847
            readv_group_iter, total_items, output_lines=output_lines)
 
848
        if self.revision_ids:
 
849
            self._process_inventory_lines(inv_lines)
 
850
        else:
 
851
            # eat the iterator to cause it to execute.
 
852
            list(inv_lines)
 
853
            self._text_filter = None
 
854
        if 'pack' in debug.debug_flags:
 
855
            mutter('%s: create_pack: inventories copied: %s%s %d items t+%6.3fs',
 
856
                time.ctime(), self._pack_collection._upload_transport.base,
 
857
                self.new_pack.random_name,
 
858
                self.new_pack.inventory_index.key_count(),
 
859
                time.time() - self.new_pack.start_time)
741
860
 
742
861
    def _copy_text_texts(self):
743
 
        raise NotImplementedError(self._copy_text_texts)
 
862
        # select text keys
 
863
        text_index_map, text_nodes = self._get_text_nodes()
 
864
        if self._text_filter is not None:
 
865
            # We could return the keys copied as part of the return value from
 
866
            # _copy_nodes_graph but this doesn't work all that well with the
 
867
            # need to get line output too, so we check separately, and as we're
 
868
            # going to buffer everything anyway, we check beforehand, which
 
869
            # saves reading knit data over the wire when we know there are
 
870
            # mising records.
 
871
            text_nodes = set(text_nodes)
 
872
            present_text_keys = set(_node[1] for _node in text_nodes)
 
873
            missing_text_keys = set(self._text_filter) - present_text_keys
 
874
            if missing_text_keys:
 
875
                # TODO: raise a specific error that can handle many missing
 
876
                # keys.
 
877
                mutter("missing keys during fetch: %r", missing_text_keys)
 
878
                a_missing_key = missing_text_keys.pop()
 
879
                raise errors.RevisionNotPresent(a_missing_key[1],
 
880
                    a_missing_key[0])
 
881
        # copy text keys and adjust values
 
882
        self.pb.update("Copying content texts", 3)
 
883
        total_items, readv_group_iter = self._least_readv_node_readv(text_nodes)
 
884
        list(self._copy_nodes_graph(text_index_map, self.new_pack._writer,
 
885
            self.new_pack.text_index, readv_group_iter, total_items))
 
886
        self._log_copied_texts()
744
887
 
745
888
    def _create_pack_from_packs(self):
746
 
        raise NotImplementedError(self._create_pack_from_packs)
 
889
        self.pb.update("Opening pack", 0, 5)
 
890
        self.new_pack = self.open_pack()
 
891
        new_pack = self.new_pack
 
892
        # buffer data - we won't be reading-back during the pack creation and
 
893
        # this makes a significant difference on sftp pushes.
 
894
        new_pack.set_write_cache_size(1024*1024)
 
895
        if 'pack' in debug.debug_flags:
 
896
            plain_pack_list = ['%s%s' % (a_pack.pack_transport.base, a_pack.name)
 
897
                for a_pack in self.packs]
 
898
            if self.revision_ids is not None:
 
899
                rev_count = len(self.revision_ids)
 
900
            else:
 
901
                rev_count = 'all'
 
902
            mutter('%s: create_pack: creating pack from source packs: '
 
903
                '%s%s %s revisions wanted %s t=0',
 
904
                time.ctime(), self._pack_collection._upload_transport.base, new_pack.random_name,
 
905
                plain_pack_list, rev_count)
 
906
        self._copy_revision_texts()
 
907
        self._copy_inventory_texts()
 
908
        self._copy_text_texts()
 
909
        # select signature keys
 
910
        signature_filter = self._revision_keys # same keyspace
 
911
        signature_index_map, signature_indices = self._pack_map_and_index_list(
 
912
            'signature_index')
 
913
        signature_nodes = self._index_contents(signature_indices,
 
914
            signature_filter)
 
915
        # copy signature keys and adjust values
 
916
        self.pb.update("Copying signature texts", 4)
 
917
        self._copy_nodes(signature_nodes, signature_index_map, new_pack._writer,
 
918
            new_pack.signature_index)
 
919
        if 'pack' in debug.debug_flags:
 
920
            mutter('%s: create_pack: revision signatures copied: %s%s %d items t+%6.3fs',
 
921
                time.ctime(), self._pack_collection._upload_transport.base, new_pack.random_name,
 
922
                new_pack.signature_index.key_count(),
 
923
                time.time() - new_pack.start_time)
 
924
        # copy chk contents
 
925
        # NB XXX: how to check CHK references are present? perhaps by yielding
 
926
        # the items? How should that interact with stacked repos?
 
927
        if new_pack.chk_index is not None:
 
928
            self._copy_chks()
 
929
            if 'pack' in debug.debug_flags:
 
930
                mutter('%s: create_pack: chk content copied: %s%s %d items t+%6.3fs',
 
931
                    time.ctime(), self._pack_collection._upload_transport.base,
 
932
                    new_pack.random_name,
 
933
                    new_pack.chk_index.key_count(),
 
934
                    time.time() - new_pack.start_time)
 
935
        new_pack._check_references()
 
936
        if not self._use_pack(new_pack):
 
937
            new_pack.abort()
 
938
            return None
 
939
        self.pb.update("Finishing pack", 5)
 
940
        new_pack.finish()
 
941
        self._pack_collection.allocate(new_pack)
 
942
        return new_pack
 
943
 
 
944
    def _copy_chks(self, refs=None):
 
945
        # XXX: Todo, recursive follow-pointers facility when fetching some
 
946
        # revisions only.
 
947
        chk_index_map, chk_indices = self._pack_map_and_index_list(
 
948
            'chk_index')
 
949
        chk_nodes = self._index_contents(chk_indices, refs)
 
950
        new_refs = set()
 
951
        # TODO: This isn't strictly tasteful as we are accessing some private
 
952
        #       variables (_serializer). Perhaps a better way would be to have
 
953
        #       Repository._deserialise_chk_node()
 
954
        search_key_func = chk_map.search_key_registry.get(
 
955
            self._pack_collection.repo._serializer.search_key_name)
 
956
        def accumlate_refs(lines):
 
957
            # XXX: move to a generic location
 
958
            # Yay mismatch:
 
959
            bytes = ''.join(lines)
 
960
            node = chk_map._deserialise(bytes, ("unknown",), search_key_func)
 
961
            new_refs.update(node.refs())
 
962
        self._copy_nodes(chk_nodes, chk_index_map, self.new_pack._writer,
 
963
            self.new_pack.chk_index, output_lines=accumlate_refs)
 
964
        return new_refs
 
965
 
 
966
    def _copy_nodes(self, nodes, index_map, writer, write_index,
 
967
        output_lines=None):
 
968
        """Copy knit nodes between packs with no graph references.
 
969
 
 
970
        :param output_lines: Output full texts of copied items.
 
971
        """
 
972
        pb = ui.ui_factory.nested_progress_bar()
 
973
        try:
 
974
            return self._do_copy_nodes(nodes, index_map, writer,
 
975
                write_index, pb, output_lines=output_lines)
 
976
        finally:
 
977
            pb.finished()
 
978
 
 
979
    def _do_copy_nodes(self, nodes, index_map, writer, write_index, pb,
 
980
        output_lines=None):
 
981
        # for record verification
 
982
        knit = KnitVersionedFiles(None, None)
 
983
        # plan a readv on each source pack:
 
984
        # group by pack
 
985
        nodes = sorted(nodes)
 
986
        # how to map this into knit.py - or knit.py into this?
 
987
        # we don't want the typical knit logic, we want grouping by pack
 
988
        # at this point - perhaps a helper library for the following code
 
989
        # duplication points?
 
990
        request_groups = {}
 
991
        for index, key, value in nodes:
 
992
            if index not in request_groups:
 
993
                request_groups[index] = []
 
994
            request_groups[index].append((key, value))
 
995
        record_index = 0
 
996
        pb.update("Copied record", record_index, len(nodes))
 
997
        for index, items in request_groups.iteritems():
 
998
            pack_readv_requests = []
 
999
            for key, value in items:
 
1000
                # ---- KnitGraphIndex.get_position
 
1001
                bits = value[1:].split(' ')
 
1002
                offset, length = int(bits[0]), int(bits[1])
 
1003
                pack_readv_requests.append((offset, length, (key, value[0])))
 
1004
            # linear scan up the pack
 
1005
            pack_readv_requests.sort()
 
1006
            # copy the data
 
1007
            pack_obj = index_map[index]
 
1008
            transport, path = pack_obj.access_tuple()
 
1009
            try:
 
1010
                reader = pack.make_readv_reader(transport, path,
 
1011
                    [offset[0:2] for offset in pack_readv_requests])
 
1012
            except errors.NoSuchFile:
 
1013
                if self._reload_func is not None:
 
1014
                    self._reload_func()
 
1015
                raise
 
1016
            for (names, read_func), (_1, _2, (key, eol_flag)) in \
 
1017
                izip(reader.iter_records(), pack_readv_requests):
 
1018
                raw_data = read_func(None)
 
1019
                # check the header only
 
1020
                if output_lines is not None:
 
1021
                    output_lines(knit._parse_record(key[-1], raw_data)[0])
 
1022
                else:
 
1023
                    df, _ = knit._parse_record_header(key, raw_data)
 
1024
                    df.close()
 
1025
                pos, size = writer.add_bytes_record(raw_data, names)
 
1026
                write_index.add_node(key, eol_flag + "%d %d" % (pos, size))
 
1027
                pb.update("Copied record", record_index)
 
1028
                record_index += 1
 
1029
 
 
1030
    def _copy_nodes_graph(self, index_map, writer, write_index,
 
1031
        readv_group_iter, total_items, output_lines=False):
 
1032
        """Copy knit nodes between packs.
 
1033
 
 
1034
        :param output_lines: Return lines present in the copied data as
 
1035
            an iterator of line,version_id.
 
1036
        """
 
1037
        pb = ui.ui_factory.nested_progress_bar()
 
1038
        try:
 
1039
            for result in self._do_copy_nodes_graph(index_map, writer,
 
1040
                write_index, output_lines, pb, readv_group_iter, total_items):
 
1041
                yield result
 
1042
        except Exception:
 
1043
            # Python 2.4 does not permit try:finally: in a generator.
 
1044
            pb.finished()
 
1045
            raise
 
1046
        else:
 
1047
            pb.finished()
 
1048
 
 
1049
    def _do_copy_nodes_graph(self, index_map, writer, write_index,
 
1050
        output_lines, pb, readv_group_iter, total_items):
 
1051
        # for record verification
 
1052
        knit = KnitVersionedFiles(None, None)
 
1053
        # for line extraction when requested (inventories only)
 
1054
        if output_lines:
 
1055
            factory = KnitPlainFactory()
 
1056
        record_index = 0
 
1057
        pb.update("Copied record", record_index, total_items)
 
1058
        for index, readv_vector, node_vector in readv_group_iter:
 
1059
            # copy the data
 
1060
            pack_obj = index_map[index]
 
1061
            transport, path = pack_obj.access_tuple()
 
1062
            try:
 
1063
                reader = pack.make_readv_reader(transport, path, readv_vector)
 
1064
            except errors.NoSuchFile:
 
1065
                if self._reload_func is not None:
 
1066
                    self._reload_func()
 
1067
                raise
 
1068
            for (names, read_func), (key, eol_flag, references) in \
 
1069
                izip(reader.iter_records(), node_vector):
 
1070
                raw_data = read_func(None)
 
1071
                if output_lines:
 
1072
                    # read the entire thing
 
1073
                    content, _ = knit._parse_record(key[-1], raw_data)
 
1074
                    if len(references[-1]) == 0:
 
1075
                        line_iterator = factory.get_fulltext_content(content)
 
1076
                    else:
 
1077
                        line_iterator = factory.get_linedelta_content(content)
 
1078
                    for line in line_iterator:
 
1079
                        yield line, key
 
1080
                else:
 
1081
                    # check the header only
 
1082
                    df, _ = knit._parse_record_header(key, raw_data)
 
1083
                    df.close()
 
1084
                pos, size = writer.add_bytes_record(raw_data, names)
 
1085
                write_index.add_node(key, eol_flag + "%d %d" % (pos, size), references)
 
1086
                pb.update("Copied record", record_index)
 
1087
                record_index += 1
 
1088
 
 
1089
    def _get_text_nodes(self):
 
1090
        text_index_map, text_indices = self._pack_map_and_index_list(
 
1091
            'text_index')
 
1092
        return text_index_map, self._index_contents(text_indices,
 
1093
            self._text_filter)
 
1094
 
 
1095
    def _least_readv_node_readv(self, nodes):
 
1096
        """Generate request groups for nodes using the least readv's.
 
1097
 
 
1098
        :param nodes: An iterable of graph index nodes.
 
1099
        :return: Total node count and an iterator of the data needed to perform
 
1100
            readvs to obtain the data for nodes. Each item yielded by the
 
1101
            iterator is a tuple with:
 
1102
            index, readv_vector, node_vector. readv_vector is a list ready to
 
1103
            hand to the transport readv method, and node_vector is a list of
 
1104
            (key, eol_flag, references) for the node retrieved by the
 
1105
            matching readv_vector.
 
1106
        """
 
1107
        # group by pack so we do one readv per pack
 
1108
        nodes = sorted(nodes)
 
1109
        total = len(nodes)
 
1110
        request_groups = {}
 
1111
        for index, key, value, references in nodes:
 
1112
            if index not in request_groups:
 
1113
                request_groups[index] = []
 
1114
            request_groups[index].append((key, value, references))
 
1115
        result = []
 
1116
        for index, items in request_groups.iteritems():
 
1117
            pack_readv_requests = []
 
1118
            for key, value, references in items:
 
1119
                # ---- KnitGraphIndex.get_position
 
1120
                bits = value[1:].split(' ')
 
1121
                offset, length = int(bits[0]), int(bits[1])
 
1122
                pack_readv_requests.append(
 
1123
                    ((offset, length), (key, value[0], references)))
 
1124
            # linear scan up the pack to maximum range combining.
 
1125
            pack_readv_requests.sort()
 
1126
            # split out the readv and the node data.
 
1127
            pack_readv = [readv for readv, node in pack_readv_requests]
 
1128
            node_vector = [node for readv, node in pack_readv_requests]
 
1129
            result.append((index, pack_readv, node_vector))
 
1130
        return total, result
747
1131
 
748
1132
    def _log_copied_texts(self):
749
1133
        if 'pack' in debug.debug_flags:
750
1134
            mutter('%s: create_pack: file texts copied: %s%s %d items t+%6.3fs',
751
 
                   time.ctime(), self._pack_collection._upload_transport.base,
752
 
                   self.new_pack.random_name,
753
 
                   self.new_pack.text_index.key_count(),
754
 
                   time.time() - self.new_pack.start_time)
 
1135
                time.ctime(), self._pack_collection._upload_transport.base,
 
1136
                self.new_pack.random_name,
 
1137
                self.new_pack.text_index.key_count(),
 
1138
                time.time() - self.new_pack.start_time)
 
1139
 
 
1140
    def _process_inventory_lines(self, inv_lines):
 
1141
        """Use up the inv_lines generator and setup a text key filter."""
 
1142
        repo = self._pack_collection.repo
 
1143
        fileid_revisions = repo._find_file_ids_from_xml_inventory_lines(
 
1144
            inv_lines, self.revision_keys)
 
1145
        text_filter = []
 
1146
        for fileid, file_revids in fileid_revisions.iteritems():
 
1147
            text_filter.extend([(fileid, file_revid) for file_revid in file_revids])
 
1148
        self._text_filter = text_filter
 
1149
 
 
1150
    def _revision_node_readv(self, revision_nodes):
 
1151
        """Return the total revisions and the readv's to issue.
 
1152
 
 
1153
        :param revision_nodes: The revision index contents for the packs being
 
1154
            incorporated into the new pack.
 
1155
        :return: As per _least_readv_node_readv.
 
1156
        """
 
1157
        return self._least_readv_node_readv(revision_nodes)
755
1158
 
756
1159
    def _use_pack(self, new_pack):
757
1160
        """Return True if new_pack should be used.
762
1165
        return new_pack.data_inserted()
763
1166
 
764
1167
 
 
1168
class OptimisingPacker(Packer):
 
1169
    """A packer which spends more time to create better disk layouts."""
 
1170
 
 
1171
    def _revision_node_readv(self, revision_nodes):
 
1172
        """Return the total revisions and the readv's to issue.
 
1173
 
 
1174
        This sort places revisions in topological order with the ancestors
 
1175
        after the children.
 
1176
 
 
1177
        :param revision_nodes: The revision index contents for the packs being
 
1178
            incorporated into the new pack.
 
1179
        :return: As per _least_readv_node_readv.
 
1180
        """
 
1181
        # build an ancestors dict
 
1182
        ancestors = {}
 
1183
        by_key = {}
 
1184
        for index, key, value, references in revision_nodes:
 
1185
            ancestors[key] = references[0]
 
1186
            by_key[key] = (index, value, references)
 
1187
        order = tsort.topo_sort(ancestors)
 
1188
        total = len(order)
 
1189
        # Single IO is pathological, but it will work as a starting point.
 
1190
        requests = []
 
1191
        for key in reversed(order):
 
1192
            index, value, references = by_key[key]
 
1193
            # ---- KnitGraphIndex.get_position
 
1194
            bits = value[1:].split(' ')
 
1195
            offset, length = int(bits[0]), int(bits[1])
 
1196
            requests.append(
 
1197
                (index, [(offset, length)], [(key, value[0], references)]))
 
1198
        # TODO: combine requests in the same index that are in ascending order.
 
1199
        return total, requests
 
1200
 
 
1201
    def open_pack(self):
 
1202
        """Open a pack for the pack we are creating."""
 
1203
        new_pack = super(OptimisingPacker, self).open_pack()
 
1204
        # Turn on the optimization flags for all the index builders.
 
1205
        new_pack.revision_index.set_optimize(for_size=True)
 
1206
        new_pack.inventory_index.set_optimize(for_size=True)
 
1207
        new_pack.text_index.set_optimize(for_size=True)
 
1208
        new_pack.signature_index.set_optimize(for_size=True)
 
1209
        return new_pack
 
1210
 
 
1211
 
 
1212
class ReconcilePacker(Packer):
 
1213
    """A packer which regenerates indices etc as it copies.
 
1214
 
 
1215
    This is used by ``bzr reconcile`` to cause parent text pointers to be
 
1216
    regenerated.
 
1217
    """
 
1218
 
 
1219
    def _extra_init(self):
 
1220
        self._data_changed = False
 
1221
 
 
1222
    def _process_inventory_lines(self, inv_lines):
 
1223
        """Generate a text key reference map rather for reconciling with."""
 
1224
        repo = self._pack_collection.repo
 
1225
        refs = repo._find_text_key_references_from_xml_inventory_lines(
 
1226
            inv_lines)
 
1227
        self._text_refs = refs
 
1228
        # during reconcile we:
 
1229
        #  - convert unreferenced texts to full texts
 
1230
        #  - correct texts which reference a text not copied to be full texts
 
1231
        #  - copy all others as-is but with corrected parents.
 
1232
        #  - so at this point we don't know enough to decide what becomes a full
 
1233
        #    text.
 
1234
        self._text_filter = None
 
1235
 
 
1236
    def _copy_text_texts(self):
 
1237
        """generate what texts we should have and then copy."""
 
1238
        self.pb.update("Copying content texts", 3)
 
1239
        # we have three major tasks here:
 
1240
        # 1) generate the ideal index
 
1241
        repo = self._pack_collection.repo
 
1242
        ancestors = dict([(key[0], tuple(ref[0] for ref in refs[0])) for
 
1243
            _1, key, _2, refs in
 
1244
            self.new_pack.revision_index.iter_all_entries()])
 
1245
        ideal_index = repo._generate_text_key_index(self._text_refs, ancestors)
 
1246
        # 2) generate a text_nodes list that contains all the deltas that can
 
1247
        #    be used as-is, with corrected parents.
 
1248
        ok_nodes = []
 
1249
        bad_texts = []
 
1250
        discarded_nodes = []
 
1251
        NULL_REVISION = _mod_revision.NULL_REVISION
 
1252
        text_index_map, text_nodes = self._get_text_nodes()
 
1253
        for node in text_nodes:
 
1254
            # 0 - index
 
1255
            # 1 - key
 
1256
            # 2 - value
 
1257
            # 3 - refs
 
1258
            try:
 
1259
                ideal_parents = tuple(ideal_index[node[1]])
 
1260
            except KeyError:
 
1261
                discarded_nodes.append(node)
 
1262
                self._data_changed = True
 
1263
            else:
 
1264
                if ideal_parents == (NULL_REVISION,):
 
1265
                    ideal_parents = ()
 
1266
                if ideal_parents == node[3][0]:
 
1267
                    # no change needed.
 
1268
                    ok_nodes.append(node)
 
1269
                elif ideal_parents[0:1] == node[3][0][0:1]:
 
1270
                    # the left most parent is the same, or there are no parents
 
1271
                    # today. Either way, we can preserve the representation as
 
1272
                    # long as we change the refs to be inserted.
 
1273
                    self._data_changed = True
 
1274
                    ok_nodes.append((node[0], node[1], node[2],
 
1275
                        (ideal_parents, node[3][1])))
 
1276
                    self._data_changed = True
 
1277
                else:
 
1278
                    # Reinsert this text completely
 
1279
                    bad_texts.append((node[1], ideal_parents))
 
1280
                    self._data_changed = True
 
1281
        # we're finished with some data.
 
1282
        del ideal_index
 
1283
        del text_nodes
 
1284
        # 3) bulk copy the ok data
 
1285
        total_items, readv_group_iter = self._least_readv_node_readv(ok_nodes)
 
1286
        list(self._copy_nodes_graph(text_index_map, self.new_pack._writer,
 
1287
            self.new_pack.text_index, readv_group_iter, total_items))
 
1288
        # 4) adhoc copy all the other texts.
 
1289
        # We have to topologically insert all texts otherwise we can fail to
 
1290
        # reconcile when parts of a single delta chain are preserved intact,
 
1291
        # and other parts are not. E.g. Discarded->d1->d2->d3. d1 will be
 
1292
        # reinserted, and if d3 has incorrect parents it will also be
 
1293
        # reinserted. If we insert d3 first, d2 is present (as it was bulk
 
1294
        # copied), so we will try to delta, but d2 is not currently able to be
 
1295
        # extracted because it's basis d1 is not present. Topologically sorting
 
1296
        # addresses this. The following generates a sort for all the texts that
 
1297
        # are being inserted without having to reference the entire text key
 
1298
        # space (we only topo sort the revisions, which is smaller).
 
1299
        topo_order = tsort.topo_sort(ancestors)
 
1300
        rev_order = dict(zip(topo_order, range(len(topo_order))))
 
1301
        bad_texts.sort(key=lambda key:rev_order.get(key[0][1], 0))
 
1302
        transaction = repo.get_transaction()
 
1303
        file_id_index = GraphIndexPrefixAdapter(
 
1304
            self.new_pack.text_index,
 
1305
            ('blank', ), 1,
 
1306
            add_nodes_callback=self.new_pack.text_index.add_nodes)
 
1307
        data_access = _DirectPackAccess(
 
1308
                {self.new_pack.text_index:self.new_pack.access_tuple()})
 
1309
        data_access.set_writer(self.new_pack._writer, self.new_pack.text_index,
 
1310
            self.new_pack.access_tuple())
 
1311
        output_texts = KnitVersionedFiles(
 
1312
            _KnitGraphIndex(self.new_pack.text_index,
 
1313
                add_callback=self.new_pack.text_index.add_nodes,
 
1314
                deltas=True, parents=True, is_locked=repo.is_locked),
 
1315
            data_access=data_access, max_delta_chain=200)
 
1316
        for key, parent_keys in bad_texts:
 
1317
            # We refer to the new pack to delta data being output.
 
1318
            # A possible improvement would be to catch errors on short reads
 
1319
            # and only flush then.
 
1320
            self.new_pack.flush()
 
1321
            parents = []
 
1322
            for parent_key in parent_keys:
 
1323
                if parent_key[0] != key[0]:
 
1324
                    # Graph parents must match the fileid
 
1325
                    raise errors.BzrError('Mismatched key parent %r:%r' %
 
1326
                        (key, parent_keys))
 
1327
                parents.append(parent_key[1])
 
1328
            text_lines = osutils.split_lines(repo.texts.get_record_stream(
 
1329
                [key], 'unordered', True).next().get_bytes_as('fulltext'))
 
1330
            output_texts.add_lines(key, parent_keys, text_lines,
 
1331
                random_id=True, check_content=False)
 
1332
        # 5) check that nothing inserted has a reference outside the keyspace.
 
1333
        missing_text_keys = self.new_pack.text_index._external_references()
 
1334
        if missing_text_keys:
 
1335
            raise errors.BzrCheckError('Reference to missing compression parents %r'
 
1336
                % (missing_text_keys,))
 
1337
        self._log_copied_texts()
 
1338
 
 
1339
    def _use_pack(self, new_pack):
 
1340
        """Override _use_pack to check for reconcile having changed content."""
 
1341
        # XXX: we might be better checking this at the copy time.
 
1342
        original_inventory_keys = set()
 
1343
        inv_index = self._pack_collection.inventory_index.combined_index
 
1344
        for entry in inv_index.iter_all_entries():
 
1345
            original_inventory_keys.add(entry[1])
 
1346
        new_inventory_keys = set()
 
1347
        for entry in new_pack.inventory_index.iter_all_entries():
 
1348
            new_inventory_keys.add(entry[1])
 
1349
        if new_inventory_keys != original_inventory_keys:
 
1350
            self._data_changed = True
 
1351
        return new_pack.data_inserted() and self._data_changed
 
1352
 
 
1353
 
765
1354
class RepositoryPackCollection(object):
766
1355
    """Management of packs within a repository.
767
1356
 
768
1357
    :ivar _names: map of {pack_name: (index_size,)}
769
1358
    """
770
1359
 
771
 
    pack_factory = None
772
 
    resumed_pack_factory = None
773
 
    normal_packer_class = None
774
 
    optimising_packer_class = None
 
1360
    pack_factory = NewPack
 
1361
    resumed_pack_factory = ResumedPack
775
1362
 
776
1363
    def __init__(self, repo, transport, index_transport, upload_transport,
777
1364
                 pack_transport, index_builder_class, index_class,
797
1384
        self._index_builder_class = index_builder_class
798
1385
        self._index_class = index_class
799
1386
        self._suffix_offsets = {'.rix': 0, '.iix': 1, '.tix': 2, '.six': 3,
800
 
                                '.cix': 4}
 
1387
            '.cix': 4}
801
1388
        self.packs = []
802
1389
        # name:Pack mapping
803
1390
        self._names = None
813
1400
        self.text_index = AggregateIndex(self.reload_pack_names, flush)
814
1401
        self.signature_index = AggregateIndex(self.reload_pack_names, flush)
815
1402
        all_indices = [self.revision_index, self.inventory_index,
816
 
                       self.text_index, self.signature_index]
 
1403
                self.text_index, self.signature_index]
817
1404
        if use_chk_index:
818
1405
            self.chk_index = AggregateIndex(self.reload_pack_names, flush)
819
1406
            all_indices.append(self.chk_index)
828
1415
                set(all_combined).difference([combined_idx]))
829
1416
        # resumed packs
830
1417
        self._resumed_packs = []
831
 
        self.config_stack = config.LocationStack(self.transport.base)
832
1418
 
833
1419
    def __repr__(self):
834
1420
        return '%s(%r)' % (self.__class__.__name__, self.repo)
916
1502
        num_old_packs = sum([len(po[1]) for po in pack_operations])
917
1503
        num_revs_affected = sum([po[0] for po in pack_operations])
918
1504
        mutter('Auto-packing repository %s, which has %d pack files, '
919
 
               'containing %d revisions. Packing %d files into %d affecting %d'
920
 
               ' revisions', str(
921
 
                   self), total_packs, total_revisions, num_old_packs,
922
 
               num_new_packs, num_revs_affected)
923
 
        result = self._execute_pack_operations(pack_operations, packer_class=self.normal_packer_class,
924
 
                                               reload_func=self._restart_autopack)
925
 
        mutter('Auto-packing repository %s completed', str(self))
 
1505
            'containing %d revisions. Packing %d files into %d affecting %d'
 
1506
            ' revisions', self, total_packs, total_revisions, num_old_packs,
 
1507
            num_new_packs, num_revs_affected)
 
1508
        result = self._execute_pack_operations(pack_operations,
 
1509
                                      reload_func=self._restart_autopack)
 
1510
        mutter('Auto-packing repository %s completed', self)
926
1511
        return result
927
1512
 
928
 
    def _execute_pack_operations(self, pack_operations, packer_class,
 
1513
    def _execute_pack_operations(self, pack_operations, _packer_class=Packer,
929
1514
                                 reload_func=None):
930
1515
        """Execute a series of pack operations.
931
1516
 
932
1517
        :param pack_operations: A list of [revision_count, packs_to_combine].
933
 
        :param packer_class: The class of packer to use
 
1518
        :param _packer_class: The class of packer to use (default: Packer).
934
1519
        :return: The new pack names.
935
1520
        """
936
1521
        for revision_count, packs in pack_operations:
937
1522
            # we may have no-ops from the setup logic
938
1523
            if len(packs) == 0:
939
1524
                continue
940
 
            packer = packer_class(self, packs, '.autopack',
941
 
                                  reload_func=reload_func)
 
1525
            packer = _packer_class(self, packs, '.autopack',
 
1526
                                   reload_func=reload_func)
942
1527
            try:
943
 
                result = packer.pack()
 
1528
                packer.pack()
944
1529
            except errors.RetryWithNewPacks:
945
1530
                # An exception is propagating out of this context, make sure
946
1531
                # this packer has cleaned up. Packer() doesn't set its new_pack
949
1534
                if packer.new_pack is not None:
950
1535
                    packer.new_pack.abort()
951
1536
                raise
952
 
            if result is None:
953
 
                return
954
1537
            for pack in packs:
955
1538
                self._remove_pack_from_memory(pack)
956
1539
        # record the newly available packs and stop advertising the old
988
1571
        # XXX: the following may want to be a class, to pack with a given
989
1572
        # policy.
990
1573
        mutter('Packing repository %s, which has %d pack files, '
991
 
               'containing %d revisions with hint %r.', str(self), total_packs,
992
 
               total_revisions, hint)
993
 
        while True:
994
 
            try:
995
 
                self._try_pack_operations(hint)
996
 
            except RetryPackOperations:
997
 
                continue
998
 
            break
999
 
 
1000
 
        if clean_obsolete_packs:
1001
 
            self._clear_obsolete_packs()
1002
 
 
1003
 
    def _try_pack_operations(self, hint):
1004
 
        """Calculate the pack operations based on the hint (if any), and
1005
 
        execute them.
1006
 
        """
 
1574
            'containing %d revisions with hint %r.', self, total_packs,
 
1575
            total_revisions, hint)
1007
1576
        # determine which packs need changing
1008
1577
        pack_operations = [[0, []]]
1009
1578
        for pack in self.all_packs():
1012
1581
                # or this pack was included in the hint.
1013
1582
                pack_operations[-1][0] += pack.get_revision_count()
1014
1583
                pack_operations[-1][1].append(pack)
1015
 
        self._execute_pack_operations(pack_operations,
1016
 
                                      packer_class=self.optimising_packer_class,
1017
 
                                      reload_func=self._restart_pack_operations)
 
1584
        self._execute_pack_operations(pack_operations, OptimisingPacker)
 
1585
 
 
1586
        if clean_obsolete_packs:
 
1587
            self._clear_obsolete_packs()
1018
1588
 
1019
1589
    def plan_autopack_combinations(self, existing_packs, pack_distribution):
1020
1590
        """Plan a pack operation.
1030
1600
        pack_operations = [[0, []]]
1031
1601
        # plan out what packs to keep, and what to reorganise
1032
1602
        while len(existing_packs):
1033
 
            # take the largest pack, and if it's less than the head of the
 
1603
            # take the largest pack, and if its less than the head of the
1034
1604
            # distribution chart we will include its contents in the new pack
1035
 
            # for that position. If it's larger, we remove its size from the
 
1605
            # for that position. If its larger, we remove its size from the
1036
1606
            # distribution chart
1037
1607
            next_pack_rev_count, next_pack = existing_packs.pop(0)
1038
1608
            if next_pack_rev_count >= pack_distribution[0]:
1064
1634
            final_pack_list.extend(pack_files)
1065
1635
        if len(final_pack_list) == 1:
1066
1636
            raise AssertionError('We somehow generated an autopack with a'
1067
 
                                 ' single pack file being moved.')
 
1637
                ' single pack file being moved.')
1068
1638
            return []
1069
1639
        return [[final_rev_count, final_pack_list]]
1070
1640
 
1073
1643
 
1074
1644
        :return: True if the disk names had not been previously read.
1075
1645
        """
1076
 
        # NB: if you see an assertion error here, it's probably access against
 
1646
        # NB: if you see an assertion error here, its probably access against
1077
1647
        # an unlocked repo. Naughty.
1078
1648
        if not self.repo.is_locked():
1079
1649
            raise errors.ObjectNotLocked(self.repo)
1081
1651
            self._names = {}
1082
1652
            self._packs_at_load = set()
1083
1653
            for index, key, value in self._iter_disk_pack_index():
1084
 
                name = key[0].decode('ascii')
 
1654
                name = key[0]
1085
1655
                self._names[name] = self._parse_index_sizes(value)
1086
 
                self._packs_at_load.add((name, value))
 
1656
                self._packs_at_load.add((key, value))
1087
1657
            result = True
1088
1658
        else:
1089
1659
            result = False
1093
1663
 
1094
1664
    def _parse_index_sizes(self, value):
1095
1665
        """Parse a string of index sizes."""
1096
 
        return tuple(int(digits) for digits in value.split(b' '))
 
1666
        return tuple([int(digits) for digits in value.split(' ')])
1097
1667
 
1098
1668
    def get_pack_by_name(self, name):
1099
1669
        """Get a Pack object by name.
1109
1679
            txt_index = self._make_index(name, '.tix')
1110
1680
            sig_index = self._make_index(name, '.six')
1111
1681
            if self.chk_index is not None:
1112
 
                chk_index = self._make_index(name, '.cix', is_chk=True)
 
1682
                chk_index = self._make_index(name, '.cix', unlimited_cache=True)
1113
1683
            else:
1114
1684
                chk_index = None
1115
1685
            result = ExistingPack(self._pack_transport, name, rev_index,
1116
 
                                  inv_index, txt_index, sig_index, chk_index)
 
1686
                inv_index, txt_index, sig_index, chk_index)
1117
1687
            self.add_pack_to_memory(result)
1118
1688
            return result
1119
1689
 
1135
1705
            sig_index = self._make_index(name, '.six', resume=True)
1136
1706
            if self.chk_index is not None:
1137
1707
                chk_index = self._make_index(name, '.cix', resume=True,
1138
 
                                             is_chk=True)
 
1708
                                             unlimited_cache=True)
1139
1709
            else:
1140
1710
                chk_index = None
1141
1711
            result = self.resumed_pack_factory(name, rev_index, inv_index,
1142
 
                                               txt_index, sig_index, self._upload_transport,
1143
 
                                               self._pack_transport, self._index_transport, self,
1144
 
                                               chk_index=chk_index)
1145
 
        except errors.NoSuchFile as e:
 
1712
                txt_index, sig_index, self._upload_transport,
 
1713
                self._pack_transport, self._index_transport, self,
 
1714
                chk_index=chk_index)
 
1715
        except errors.NoSuchFile, e:
1146
1716
            raise errors.UnresumableWriteGroup(self.repo, [name], str(e))
1147
1717
        self.add_pack_to_memory(result)
1148
1718
        self._resumed_packs.append(result)
1169
1739
        :return: An iterator of the index contents.
1170
1740
        """
1171
1741
        return self._index_class(self.transport, 'pack-names', None
1172
 
                                 ).iter_all_entries()
 
1742
                ).iter_all_entries()
1173
1743
 
1174
 
    def _make_index(self, name, suffix, resume=False, is_chk=False):
 
1744
    def _make_index(self, name, suffix, resume=False, unlimited_cache=False):
1175
1745
        size_offset = self._suffix_offsets[suffix]
1176
1746
        index_name = name + suffix
1177
1747
        if resume:
1180
1750
        else:
1181
1751
            transport = self._index_transport
1182
1752
            index_size = self._names[name][size_offset]
1183
 
        index = self._index_class(transport, index_name, index_size,
1184
 
                                  unlimited_cache=is_chk)
1185
 
        if is_chk and self._index_class is btree_index.BTreeGraphIndex:
1186
 
            index._leaf_factory = btree_index._gcchk_factory
1187
 
        return index
 
1753
        return self._index_class(transport, index_name, index_size,
 
1754
                                 unlimited_cache=unlimited_cache)
1188
1755
 
1189
1756
    def _max_pack_count(self, total_revisions):
1190
1757
        """Return the maximum number of packs to use for total revisions.
1219
1786
        """
1220
1787
        for pack in packs:
1221
1788
            try:
1222
 
                try:
1223
 
                    pack.pack_transport.move(pack.file_name(),
1224
 
                                             '../obsolete_packs/' + pack.file_name())
1225
 
                except errors.NoSuchFile:
1226
 
                    # perhaps obsolete_packs was removed? Let's create it and
1227
 
                    # try again
1228
 
                    try:
1229
 
                        pack.pack_transport.mkdir('../obsolete_packs/')
1230
 
                    except errors.FileExists:
1231
 
                        pass
1232
 
                    pack.pack_transport.move(pack.file_name(),
1233
 
                                             '../obsolete_packs/' + pack.file_name())
1234
 
            except (errors.PathError, errors.TransportError) as e:
 
1789
                pack.pack_transport.rename(pack.file_name(),
 
1790
                    '../obsolete_packs/' + pack.file_name())
 
1791
            except (errors.PathError, errors.TransportError), e:
1235
1792
                # TODO: Should these be warnings or mutters?
1236
1793
                mutter("couldn't rename obsolete pack, skipping it:\n%s"
1237
1794
                       % (e,))
1243
1800
                suffixes.append('.cix')
1244
1801
            for suffix in suffixes:
1245
1802
                try:
1246
 
                    self._index_transport.move(pack.name + suffix,
1247
 
                                               '../obsolete_packs/' + pack.name + suffix)
1248
 
                except (errors.PathError, errors.TransportError) as e:
 
1803
                    self._index_transport.rename(pack.name + suffix,
 
1804
                        '../obsolete_packs/' + pack.name + suffix)
 
1805
                except (errors.PathError, errors.TransportError), e:
1249
1806
                    mutter("couldn't rename obsolete index, skipping it:\n%s"
1250
1807
                           % (e,))
1251
1808
 
1281
1838
 
1282
1839
    def _remove_pack_indices(self, pack, ignore_missing=False):
1283
1840
        """Remove the indices for pack from the aggregated indices.
1284
 
 
 
1841
        
1285
1842
        :param ignore_missing: Suppress KeyErrors from calling remove_index.
1286
1843
        """
1287
 
        for index_type in Pack.index_definitions:
 
1844
        for index_type in Pack.index_definitions.keys():
1288
1845
            attr_name = index_type + '_index'
1289
1846
            aggregate_index = getattr(self, attr_name)
1290
1847
            if aggregate_index is not None:
1332
1889
        # load the disk nodes across
1333
1890
        disk_nodes = set()
1334
1891
        for index, key, value in self._iter_disk_pack_index():
1335
 
            disk_nodes.add((key[0].decode('ascii'), value))
 
1892
            disk_nodes.add((key, value))
1336
1893
        orig_disk_nodes = set(disk_nodes)
1337
1894
 
1338
1895
        # do a two-way diff against our original content
1339
1896
        current_nodes = set()
1340
 
        for name, sizes in viewitems(self._names):
 
1897
        for name, sizes in self._names.iteritems():
1341
1898
            current_nodes.add(
1342
 
                (name, b' '.join(b'%d' % size for size in sizes)))
 
1899
                ((name, ), ' '.join(str(size) for size in sizes)))
1343
1900
 
1344
1901
        # Packs no longer present in the repository, which were present when we
1345
1902
        # locked the repository
1369
1926
        new_names = dict(disk_nodes)
1370
1927
        # drop no longer present nodes
1371
1928
        for pack in self.all_packs():
1372
 
            if pack.name not in new_names:
 
1929
            if (pack.name,) not in new_names:
1373
1930
                removed.append(pack.name)
1374
1931
                self._remove_pack_from_memory(pack)
1375
1932
        # add new nodes/refresh existing ones
1376
 
        for name, value in disk_nodes:
 
1933
        for key, value in disk_nodes:
 
1934
            name = key[0]
1377
1935
            sizes = self._parse_index_sizes(value)
1378
1936
            if name in self._names:
1379
1937
                # existing
1385
1943
                    # disk index because the set values are the same, unless
1386
1944
                    # the only index shows up as deleted by the set difference
1387
1945
                    # - which it may. Until there is a specific test for this,
1388
 
                    # assume it's broken. RBC 20071017.
 
1946
                    # assume its broken. RBC 20071017.
1389
1947
                    self._remove_pack_from_memory(self.get_pack_by_name(name))
1390
1948
                    self._names[name] = sizes
1391
1949
                    self.get_pack_by_name(name)
1420
1978
            # TODO: handle same-name, index-size-changes here -
1421
1979
            # e.g. use the value from disk, not ours, *unless* we're the one
1422
1980
            # changing it.
1423
 
            for name, value in disk_nodes:
1424
 
                builder.add_node((name.encode('ascii'), ), value)
 
1981
            for key, value in disk_nodes:
 
1982
                builder.add_node(key, value)
1425
1983
            self.transport.put_file('pack-names', builder.finish(),
1426
 
                                    mode=self.repo.controldir._get_file_mode())
 
1984
                mode=self.repo.bzrdir._get_file_mode())
1427
1985
            self._packs_at_load = disk_nodes
1428
1986
            if clear_obsolete_packs:
1429
1987
                to_preserve = None
1430
1988
                if obsolete_packs:
1431
 
                    to_preserve = {o.name for o in obsolete_packs}
 
1989
                    to_preserve = set([o.name for o in obsolete_packs])
1432
1990
                already_obsolete = self._clear_obsolete_packs(to_preserve)
1433
1991
        finally:
1434
1992
            self._unlock_names()
1443
2001
            obsolete_packs = [o for o in obsolete_packs
1444
2002
                              if o.name not in already_obsolete]
1445
2003
            self._obsolete_packs(obsolete_packs)
1446
 
        return [new_node[0] for new_node in new_nodes]
 
2004
        return [new_node[0][0] for new_node in new_nodes]
1447
2005
 
1448
2006
    def reload_pack_names(self):
1449
2007
        """Sync our pack listing with what is present in the repository.
1455
2013
        :return: True if the in-memory list of packs has been altered at all.
1456
2014
        """
1457
2015
        # The ensure_loaded call is to handle the case where the first call
1458
 
        # made involving the collection was to reload_pack_names, where we
1459
 
        # don't have a view of disk contents. It's a bit of a bandaid, and
1460
 
        # causes two reads of pack-names, but it's a rare corner case not
1461
 
        # struck with regular push/pull etc.
 
2016
        # made involving the collection was to reload_pack_names, where we 
 
2017
        # don't have a view of disk contents. Its a bit of a bandaid, and
 
2018
        # causes two reads of pack-names, but its a rare corner case not struck
 
2019
        # with regular push/pull etc.
1462
2020
        first_read = self.ensure_loaded()
1463
2021
        if first_read:
1464
2022
            return True
1483
2041
            raise
1484
2042
        raise errors.RetryAutopack(self.repo, False, sys.exc_info())
1485
2043
 
1486
 
    def _restart_pack_operations(self):
1487
 
        """Reload the pack names list, and restart the autopack code."""
1488
 
        if not self.reload_pack_names():
1489
 
            # Re-raise the original exception, because something went missing
1490
 
            # and a restart didn't find it
1491
 
            raise
1492
 
        raise RetryPackOperations(self.repo, False, sys.exc_info())
1493
 
 
1494
2044
    def _clear_obsolete_packs(self, preserve=None):
1495
2045
        """Delete everything from the obsolete-packs directory.
1496
2046
 
1501
2051
        obsolete_pack_transport = self.transport.clone('obsolete_packs')
1502
2052
        if preserve is None:
1503
2053
            preserve = set()
1504
 
        try:
1505
 
            obsolete_pack_files = obsolete_pack_transport.list_dir('.')
1506
 
        except errors.NoSuchFile:
1507
 
            return found
1508
 
        for filename in obsolete_pack_files:
 
2054
        for filename in obsolete_pack_transport.list_dir('.'):
1509
2055
            name, ext = osutils.splitext(filename)
1510
2056
            if ext == '.pack':
1511
2057
                found.append(name)
1513
2059
                continue
1514
2060
            try:
1515
2061
                obsolete_pack_transport.delete(filename)
1516
 
            except (errors.PathError, errors.TransportError) as e:
 
2062
            except (errors.PathError, errors.TransportError), e:
1517
2063
                warning("couldn't delete obsolete pack, skipping it:\n%s"
1518
2064
                        % (e,))
1519
2065
        return found
1523
2069
        if not self.repo.is_write_locked():
1524
2070
            raise errors.NotWriteLocked(self)
1525
2071
        self._new_pack = self.pack_factory(self, upload_suffix='.pack',
1526
 
                                           file_mode=self.repo.controldir._get_file_mode())
 
2072
            file_mode=self.repo.bzrdir._get_file_mode())
1527
2073
        # allow writing: queue writes to a new index
1528
2074
        self.revision_index.add_writable_index(self._new_pack.revision_index,
1529
 
                                               self._new_pack)
 
2075
            self._new_pack)
1530
2076
        self.inventory_index.add_writable_index(self._new_pack.inventory_index,
1531
 
                                                self._new_pack)
 
2077
            self._new_pack)
1532
2078
        self.text_index.add_writable_index(self._new_pack.text_index,
1533
 
                                           self._new_pack)
 
2079
            self._new_pack)
1534
2080
        self._new_pack.text_index.set_optimize(combine_backing_indices=False)
1535
2081
        self.signature_index.add_writable_index(self._new_pack.signature_index,
1536
 
                                                self._new_pack)
 
2082
            self._new_pack)
1537
2083
        if self.chk_index is not None:
1538
2084
            self.chk_index.add_writable_index(self._new_pack.chk_index,
1539
 
                                              self._new_pack)
 
2085
                self._new_pack)
1540
2086
            self.repo.chk_bytes._index._add_callback = self.chk_index.add_callback
1541
 
            self._new_pack.chk_index.set_optimize(
1542
 
                combine_backing_indices=False)
 
2087
            self._new_pack.chk_index.set_optimize(combine_backing_indices=False)
1543
2088
 
1544
2089
        self.repo.inventories._index._add_callback = self.inventory_index.add_callback
1545
2090
        self.repo.revisions._index._add_callback = self.revision_index.add_callback
1550
2095
        # FIXME: just drop the transient index.
1551
2096
        # forget what names there are
1552
2097
        if self._new_pack is not None:
1553
 
            with cleanup.ExitStack() as stack:
1554
 
                stack.callback(setattr, self, '_new_pack', None)
1555
 
                # If we aborted while in the middle of finishing the write
1556
 
                # group, _remove_pack_indices could fail because the indexes are
1557
 
                # already gone.  But they're not there we shouldn't fail in this
1558
 
                # case, so we pass ignore_missing=True.
1559
 
                stack.callback(self._remove_pack_indices, self._new_pack,
1560
 
                               ignore_missing=True)
1561
 
                self._new_pack.abort()
 
2098
            operation = cleanup.OperationWithCleanups(self._new_pack.abort)
 
2099
            operation.add_cleanup(setattr, self, '_new_pack', None)
 
2100
            # If we aborted while in the middle of finishing the write
 
2101
            # group, _remove_pack_indices could fail because the indexes are
 
2102
            # already gone.  But they're not there we shouldn't fail in this
 
2103
            # case, so we pass ignore_missing=True.
 
2104
            operation.add_cleanup(self._remove_pack_indices, self._new_pack,
 
2105
                ignore_missing=True)
 
2106
            operation.run_simple()
1562
2107
        for resumed_pack in self._resumed_packs:
1563
 
            with cleanup.ExitStack() as stack:
1564
 
                # See comment in previous finally block.
1565
 
                stack.callback(self._remove_pack_indices, resumed_pack,
1566
 
                               ignore_missing=True)
1567
 
                resumed_pack.abort()
 
2108
            operation = cleanup.OperationWithCleanups(resumed_pack.abort)
 
2109
            # See comment in previous finally block.
 
2110
            operation.add_cleanup(self._remove_pack_indices, resumed_pack,
 
2111
                ignore_missing=True)
 
2112
            operation.run_simple()
1568
2113
        del self._resumed_packs[:]
1569
2114
 
1570
2115
    def _remove_resumed_pack_indices(self):
1581
2126
        # The base implementation does no checks.  GCRepositoryPackCollection
1582
2127
        # overrides this.
1583
2128
        return []
1584
 
 
 
2129
        
1585
2130
    def _commit_write_group(self):
1586
2131
        all_missing = set()
1587
2132
        for prefix, versioned_file in (
1595
2140
        if all_missing:
1596
2141
            raise errors.BzrCheckError(
1597
2142
                "Repository %s has missing compression parent(s) %r "
1598
 
                % (self.repo, sorted(all_missing)))
 
2143
                 % (self.repo, sorted(all_missing)))
1599
2144
        problems = self._check_new_inventories()
1600
2145
        if problems:
1601
2146
            problems_summary = '\n'.join(problems)
1649
2194
            self._resume_pack(token)
1650
2195
 
1651
2196
 
1652
 
class PackRepository(MetaDirVersionedFileRepository):
 
2197
class KnitPackRepository(KnitRepository):
1653
2198
    """Repository with knit objects stored inside pack containers.
1654
2199
 
1655
2200
    The layering for a KnitPackRepository is:
1658
2203
    ===================================================
1659
2204
    Tuple based apis below, string based, and key based apis above
1660
2205
    ---------------------------------------------------
1661
 
    VersionedFiles
 
2206
    KnitVersionedFiles
1662
2207
      Provides .texts, .revisions etc
1663
2208
      This adapts the N-tuple keys to physical knit records which only have a
1664
2209
      single string identifier (for historical reasons), which in older formats
1674
2219
 
1675
2220
    """
1676
2221
 
1677
 
    # These attributes are inherited from the Repository base class. Setting
1678
 
    # them to None ensures that if the constructor is changed to not initialize
1679
 
    # them, or a subclass fails to call the constructor, that an error will
1680
 
    # occur rather than the system working but generating incorrect data.
1681
 
    _commit_builder_class = None
1682
 
    _serializer = None
1683
 
 
1684
 
    def __init__(self, _format, a_controldir, control_files, _commit_builder_class,
1685
 
                 _serializer):
1686
 
        MetaDirRepository.__init__(self, _format, a_controldir, control_files)
1687
 
        self._commit_builder_class = _commit_builder_class
1688
 
        self._serializer = _serializer
 
2222
    def __init__(self, _format, a_bzrdir, control_files, _commit_builder_class,
 
2223
        _serializer):
 
2224
        KnitRepository.__init__(self, _format, a_bzrdir, control_files,
 
2225
            _commit_builder_class, _serializer)
 
2226
        index_transport = self._transport.clone('indices')
 
2227
        self._pack_collection = RepositoryPackCollection(self, self._transport,
 
2228
            index_transport,
 
2229
            self._transport.clone('upload'),
 
2230
            self._transport.clone('packs'),
 
2231
            _format.index_builder_class,
 
2232
            _format.index_class,
 
2233
            use_chk_index=self._format.supports_chks,
 
2234
            )
 
2235
        self.inventories = KnitVersionedFiles(
 
2236
            _KnitGraphIndex(self._pack_collection.inventory_index.combined_index,
 
2237
                add_callback=self._pack_collection.inventory_index.add_callback,
 
2238
                deltas=True, parents=True, is_locked=self.is_locked),
 
2239
            data_access=self._pack_collection.inventory_index.data_access,
 
2240
            max_delta_chain=200)
 
2241
        self.revisions = KnitVersionedFiles(
 
2242
            _KnitGraphIndex(self._pack_collection.revision_index.combined_index,
 
2243
                add_callback=self._pack_collection.revision_index.add_callback,
 
2244
                deltas=False, parents=True, is_locked=self.is_locked,
 
2245
                track_external_parent_refs=True),
 
2246
            data_access=self._pack_collection.revision_index.data_access,
 
2247
            max_delta_chain=0)
 
2248
        self.signatures = KnitVersionedFiles(
 
2249
            _KnitGraphIndex(self._pack_collection.signature_index.combined_index,
 
2250
                add_callback=self._pack_collection.signature_index.add_callback,
 
2251
                deltas=False, parents=False, is_locked=self.is_locked),
 
2252
            data_access=self._pack_collection.signature_index.data_access,
 
2253
            max_delta_chain=0)
 
2254
        self.texts = KnitVersionedFiles(
 
2255
            _KnitGraphIndex(self._pack_collection.text_index.combined_index,
 
2256
                add_callback=self._pack_collection.text_index.add_callback,
 
2257
                deltas=True, parents=True, is_locked=self.is_locked),
 
2258
            data_access=self._pack_collection.text_index.data_access,
 
2259
            max_delta_chain=200)
 
2260
        if _format.supports_chks:
 
2261
            # No graph, no compression:- references from chks are between
 
2262
            # different objects not temporal versions of the same; and without
 
2263
            # some sort of temporal structure knit compression will just fail.
 
2264
            self.chk_bytes = KnitVersionedFiles(
 
2265
                _KnitGraphIndex(self._pack_collection.chk_index.combined_index,
 
2266
                    add_callback=self._pack_collection.chk_index.add_callback,
 
2267
                    deltas=False, parents=False, is_locked=self.is_locked),
 
2268
                data_access=self._pack_collection.chk_index.data_access,
 
2269
                max_delta_chain=0)
 
2270
        else:
 
2271
            self.chk_bytes = None
 
2272
        # True when the repository object is 'write locked' (as opposed to the
 
2273
        # physical lock only taken out around changes to the pack-names list.)
 
2274
        # Another way to represent this would be a decorator around the control
 
2275
        # files object that presents logical locks as physical ones - if this
 
2276
        # gets ugly consider that alternative design. RBC 20071011
 
2277
        self._write_lock_count = 0
 
2278
        self._transaction = None
 
2279
        # for tests
 
2280
        self._reconcile_does_inventory_gc = True
1689
2281
        self._reconcile_fixes_text_parents = True
1690
 
        if self._format.supports_external_lookups:
1691
 
            self._unstacked_provider = graph.CachingParentsProvider(
1692
 
                self._make_parents_provider_unstacked())
1693
 
        else:
1694
 
            self._unstacked_provider = graph.CachingParentsProvider(self)
1695
 
        self._unstacked_provider.disable_cache()
 
2282
        self._reconcile_backsup_inventory = False
1696
2283
 
1697
 
    def _all_revision_ids(self):
1698
 
        """See Repository.all_revision_ids()."""
1699
 
        with self.lock_read():
1700
 
            return [key[0] for key in self.revisions.keys()]
 
2284
    def _warn_if_deprecated(self, branch=None):
 
2285
        # This class isn't deprecated, but one sub-format is
 
2286
        if isinstance(self._format, RepositoryFormatKnitPack5RichRootBroken):
 
2287
            super(KnitPackRepository, self)._warn_if_deprecated(branch)
1701
2288
 
1702
2289
    def _abort_write_group(self):
1703
2290
        self.revisions._index._key_dependencies.clear()
1704
2291
        self._pack_collection._abort_write_group()
1705
2292
 
 
2293
    def _get_source(self, to_format):
 
2294
        if to_format.network_name() == self._format.network_name():
 
2295
            return KnitPackStreamSource(self, to_format)
 
2296
        return super(KnitPackRepository, self)._get_source(to_format)
 
2297
 
1706
2298
    def _make_parents_provider(self):
1707
 
        if not self._format.supports_external_lookups:
1708
 
            return self._unstacked_provider
1709
 
        return graph.StackedParentsProvider(_LazyListJoin(
1710
 
            [self._unstacked_provider], self._fallback_repositories))
 
2299
        return graph.CachingParentsProvider(self)
1711
2300
 
1712
2301
    def _refresh_data(self):
1713
2302
        if not self.is_locked():
1714
2303
            return
1715
2304
        self._pack_collection.reload_pack_names()
1716
 
        self._unstacked_provider.disable_cache()
1717
 
        self._unstacked_provider.enable_cache()
1718
2305
 
1719
2306
    def _start_write_group(self):
1720
2307
        self._pack_collection._start_write_group()
1722
2309
    def _commit_write_group(self):
1723
2310
        hint = self._pack_collection._commit_write_group()
1724
2311
        self.revisions._index._key_dependencies.clear()
1725
 
        # The commit may have added keys that were previously cached as
1726
 
        # missing, so reset the cache.
1727
 
        self._unstacked_provider.disable_cache()
1728
 
        self._unstacked_provider.enable_cache()
1729
2312
        return hint
1730
2313
 
1731
2314
    def suspend_write_group(self):
1758
2341
        return self._write_lock_count
1759
2342
 
1760
2343
    def lock_write(self, token=None):
1761
 
        """Lock the repository for writes.
1762
 
 
1763
 
        :return: A breezy.repository.RepositoryWriteLockResult.
1764
 
        """
1765
2344
        locked = self.is_locked()
1766
2345
        if not self._write_lock_count and locked:
1767
2346
            raise errors.ReadOnlyError(self)
1772
2351
            if 'relock' in debug.debug_flags and self._prev_lock == 'w':
1773
2352
                note('%r was write locked again', self)
1774
2353
            self._prev_lock = 'w'
1775
 
            self._unstacked_provider.enable_cache()
1776
2354
            for repo in self._fallback_repositories:
1777
2355
                # Writes don't affect fallback repos
1778
2356
                repo.lock_read()
1780
2358
        return RepositoryWriteLockResult(self.unlock, None)
1781
2359
 
1782
2360
    def lock_read(self):
1783
 
        """Lock the repository for reads.
1784
 
 
1785
 
        :return: A breezy.lock.LogicalLockResult.
1786
 
        """
1787
2361
        locked = self.is_locked()
1788
2362
        if self._write_lock_count:
1789
2363
            self._write_lock_count += 1
1793
2367
            if 'relock' in debug.debug_flags and self._prev_lock == 'r':
1794
2368
                note('%r was read locked again', self)
1795
2369
            self._prev_lock = 'r'
1796
 
            self._unstacked_provider.enable_cache()
1797
2370
            for repo in self._fallback_repositories:
1798
2371
                repo.lock_read()
1799
2372
            self._refresh_data()
1800
 
        return LogicalLockResult(self.unlock)
 
2373
        return self
1801
2374
 
1802
2375
    def leave_lock_in_place(self):
1803
2376
        # not supported - raise an error
1807
2380
        # not supported - raise an error
1808
2381
        raise NotImplementedError(self.dont_leave_lock_in_place)
1809
2382
 
 
2383
    @needs_write_lock
1810
2384
    def pack(self, hint=None, clean_obsolete_packs=False):
1811
2385
        """Compress the data within the repository.
1812
2386
 
1813
2387
        This will pack all the data to a single pack. In future it may
1814
2388
        recompress deltas or do other such expensive operations.
1815
2389
        """
1816
 
        with self.lock_write():
1817
 
            self._pack_collection.pack(
1818
 
                hint=hint, clean_obsolete_packs=clean_obsolete_packs)
 
2390
        self._pack_collection.pack(hint=hint, clean_obsolete_packs=clean_obsolete_packs)
1819
2391
 
 
2392
    @needs_write_lock
1820
2393
    def reconcile(self, other=None, thorough=False):
1821
2394
        """Reconcile this repository."""
1822
 
        from .reconcile import PackReconciler
1823
 
        with self.lock_write():
1824
 
            reconciler = PackReconciler(self, thorough=thorough)
1825
 
            return reconciler.reconcile()
 
2395
        from bzrlib.reconcile import PackReconciler
 
2396
        reconciler = PackReconciler(self, thorough=thorough)
 
2397
        reconciler.reconcile()
 
2398
        return reconciler
1826
2399
 
1827
2400
    def _reconcile_pack(self, collection, packs, extension, revs, pb):
1828
 
        raise NotImplementedError(self._reconcile_pack)
 
2401
        packer = ReconcilePacker(collection, packs, extension, revs)
 
2402
        return packer.pack(pb)
1829
2403
 
1830
2404
    @only_raises(errors.LockNotHeld, errors.LockBroken)
1831
2405
    def unlock(self):
1832
2406
        if self._write_lock_count == 1 and self._write_group is not None:
1833
2407
            self.abort_write_group()
1834
 
            self._unstacked_provider.disable_cache()
1835
2408
            self._transaction = None
1836
2409
            self._write_lock_count = 0
1837
2410
            raise errors.BzrError(
1847
2420
            self.control_files.unlock()
1848
2421
 
1849
2422
        if not self.is_locked():
1850
 
            self._unstacked_provider.disable_cache()
1851
2423
            for repo in self._fallback_repositories:
1852
2424
                repo.unlock()
1853
2425
 
1854
2426
 
1855
 
class RepositoryFormatPack(MetaDirVersionedFileRepositoryFormat):
 
2427
class KnitPackStreamSource(StreamSource):
 
2428
    """A StreamSource used to transfer data between same-format KnitPack repos.
 
2429
 
 
2430
    This source assumes:
 
2431
        1) Same serialization format for all objects
 
2432
        2) Same root information
 
2433
        3) XML format inventories
 
2434
        4) Atomic inserts (so we can stream inventory texts before text
 
2435
           content)
 
2436
        5) No chk_bytes
 
2437
    """
 
2438
 
 
2439
    def __init__(self, from_repository, to_format):
 
2440
        super(KnitPackStreamSource, self).__init__(from_repository, to_format)
 
2441
        self._text_keys = None
 
2442
        self._text_fetch_order = 'unordered'
 
2443
 
 
2444
    def _get_filtered_inv_stream(self, revision_ids):
 
2445
        from_repo = self.from_repository
 
2446
        parent_ids = from_repo._find_parent_ids_of_revisions(revision_ids)
 
2447
        parent_keys = [(p,) for p in parent_ids]
 
2448
        find_text_keys = from_repo._find_text_key_references_from_xml_inventory_lines
 
2449
        parent_text_keys = set(find_text_keys(
 
2450
            from_repo._inventory_xml_lines_for_keys(parent_keys)))
 
2451
        content_text_keys = set()
 
2452
        knit = KnitVersionedFiles(None, None)
 
2453
        factory = KnitPlainFactory()
 
2454
        def find_text_keys_from_content(record):
 
2455
            if record.storage_kind not in ('knit-delta-gz', 'knit-ft-gz'):
 
2456
                raise ValueError("Unknown content storage kind for"
 
2457
                    " inventory text: %s" % (record.storage_kind,))
 
2458
            # It's a knit record, it has a _raw_record field (even if it was
 
2459
            # reconstituted from a network stream).
 
2460
            raw_data = record._raw_record
 
2461
            # read the entire thing
 
2462
            revision_id = record.key[-1]
 
2463
            content, _ = knit._parse_record(revision_id, raw_data)
 
2464
            if record.storage_kind == 'knit-delta-gz':
 
2465
                line_iterator = factory.get_linedelta_content(content)
 
2466
            elif record.storage_kind == 'knit-ft-gz':
 
2467
                line_iterator = factory.get_fulltext_content(content)
 
2468
            content_text_keys.update(find_text_keys(
 
2469
                [(line, revision_id) for line in line_iterator]))
 
2470
        revision_keys = [(r,) for r in revision_ids]
 
2471
        def _filtered_inv_stream():
 
2472
            source_vf = from_repo.inventories
 
2473
            stream = source_vf.get_record_stream(revision_keys,
 
2474
                                                 'unordered', False)
 
2475
            for record in stream:
 
2476
                if record.storage_kind == 'absent':
 
2477
                    raise errors.NoSuchRevision(from_repo, record.key)
 
2478
                find_text_keys_from_content(record)
 
2479
                yield record
 
2480
            self._text_keys = content_text_keys - parent_text_keys
 
2481
        return ('inventories', _filtered_inv_stream())
 
2482
 
 
2483
    def _get_text_stream(self):
 
2484
        # Note: We know we don't have to handle adding root keys, because both
 
2485
        # the source and target are the identical network name.
 
2486
        text_stream = self.from_repository.texts.get_record_stream(
 
2487
                        self._text_keys, self._text_fetch_order, False)
 
2488
        return ('texts', text_stream)
 
2489
 
 
2490
    def get_stream(self, search):
 
2491
        revision_ids = search.get_keys()
 
2492
        for stream_info in self._fetch_revision_texts(revision_ids):
 
2493
            yield stream_info
 
2494
        self._revision_keys = [(rev_id,) for rev_id in revision_ids]
 
2495
        yield self._get_filtered_inv_stream(revision_ids)
 
2496
        yield self._get_text_stream()
 
2497
 
 
2498
 
 
2499
 
 
2500
class RepositoryFormatPack(MetaDirRepositoryFormat):
1856
2501
    """Format logic for pack structured repositories.
1857
2502
 
1858
2503
    This repository format has:
1888
2533
    index_class = None
1889
2534
    _fetch_uses_deltas = True
1890
2535
    fast_deltas = False
1891
 
    supports_funky_characters = True
1892
 
    revision_graph_can_have_wrong_parents = True
1893
2536
 
1894
 
    def initialize(self, a_controldir, shared=False):
 
2537
    def initialize(self, a_bzrdir, shared=False):
1895
2538
        """Create a pack based repository.
1896
2539
 
1897
 
        :param a_controldir: bzrdir to contain the new repository; must already
 
2540
        :param a_bzrdir: bzrdir to contain the new repository; must already
1898
2541
            be initialized.
1899
2542
        :param shared: If true the repository will be initialized as a shared
1900
2543
                       repository.
1901
2544
        """
1902
 
        mutter('creating repository in %s.', a_controldir.transport.base)
 
2545
        mutter('creating repository in %s.', a_bzrdir.transport.base)
1903
2546
        dirs = ['indices', 'obsolete_packs', 'packs', 'upload']
1904
2547
        builder = self.index_builder_class()
1905
2548
        files = [('pack-names', builder.finish())]
1906
2549
        utf8_files = [('format', self.get_format_string())]
1907
2550
 
1908
 
        self._upload_blank_content(
1909
 
            a_controldir, dirs, files, utf8_files, shared)
1910
 
        repository = self.open(a_controldir=a_controldir, _found=True)
1911
 
        self._run_post_repo_init_hooks(repository, a_controldir, shared)
 
2551
        self._upload_blank_content(a_bzrdir, dirs, files, utf8_files, shared)
 
2552
        repository = self.open(a_bzrdir=a_bzrdir, _found=True)
 
2553
        self._run_post_repo_init_hooks(repository, a_bzrdir, shared)
1912
2554
        return repository
1913
2555
 
1914
 
    def open(self, a_controldir, _found=False, _override_transport=None):
 
2556
    def open(self, a_bzrdir, _found=False, _override_transport=None):
1915
2557
        """See RepositoryFormat.open().
1916
2558
 
1917
2559
        :param _override_transport: INTERNAL USE ONLY. Allows opening the
1919
2561
                                    than normal. I.e. during 'upgrade'.
1920
2562
        """
1921
2563
        if not _found:
1922
 
            format = RepositoryFormatMetaDir.find_format(a_controldir)
 
2564
            format = RepositoryFormat.find_format(a_bzrdir)
1923
2565
        if _override_transport is not None:
1924
2566
            repo_transport = _override_transport
1925
2567
        else:
1926
 
            repo_transport = a_controldir.get_repository_transport(None)
 
2568
            repo_transport = a_bzrdir.get_repository_transport(None)
1927
2569
        control_files = lockable_files.LockableFiles(repo_transport,
1928
 
                                                     'lock', lockdir.LockDir)
 
2570
                                'lock', lockdir.LockDir)
1929
2571
        return self.repository_class(_format=self,
1930
 
                                     a_controldir=a_controldir,
1931
 
                                     control_files=control_files,
1932
 
                                     _commit_builder_class=self._commit_builder_class,
1933
 
                                     _serializer=self._serializer)
1934
 
 
1935
 
 
1936
 
class RetryPackOperations(errors.RetryWithNewPacks):
1937
 
    """Raised when we are packing and we find a missing file.
1938
 
 
1939
 
    Meant as a signaling exception, to tell the RepositoryPackCollection.pack
1940
 
    code it should try again.
1941
 
    """
1942
 
 
1943
 
    internal_error = True
1944
 
 
1945
 
    _fmt = ("Pack files have changed, reload and try pack again."
1946
 
            " context: %(context)s %(orig_error)s")
1947
 
 
1948
 
 
1949
 
class _DirectPackAccess(object):
1950
 
    """Access to data in one or more packs with less translation."""
1951
 
 
1952
 
    def __init__(self, index_to_packs, reload_func=None, flush_func=None):
1953
 
        """Create a _DirectPackAccess object.
1954
 
 
1955
 
        :param index_to_packs: A dict mapping index objects to the transport
1956
 
            and file names for obtaining data.
1957
 
        :param reload_func: A function to call if we determine that the pack
1958
 
            files have moved and we need to reload our caches. See
1959
 
            breezy.repo_fmt.pack_repo.AggregateIndex for more details.
1960
 
        """
1961
 
        self._container_writer = None
1962
 
        self._write_index = None
1963
 
        self._indices = index_to_packs
1964
 
        self._reload_func = reload_func
1965
 
        self._flush_func = flush_func
1966
 
 
1967
 
    def add_raw_record(self, key, size, raw_data):
1968
 
        """Add raw knit bytes to a storage area.
1969
 
 
1970
 
        The data is spooled to the container writer in one bytes-record per
1971
 
        raw data item.
1972
 
 
1973
 
        :param key: key of the data segment
1974
 
        :param size: length of the data segment
1975
 
        :param raw_data: A bytestring containing the data.
1976
 
        :return: An opaque index memo For _DirectPackAccess the memo is
1977
 
            (index, pos, length), where the index field is the write_index
1978
 
            object supplied to the PackAccess object.
1979
 
        """
1980
 
        p_offset, p_length = self._container_writer.add_bytes_record(
1981
 
            raw_data, size, [])
1982
 
        return (self._write_index, p_offset, p_length)
1983
 
 
1984
 
    def add_raw_records(self, key_sizes, raw_data):
1985
 
        """Add raw knit bytes to a storage area.
1986
 
 
1987
 
        The data is spooled to the container writer in one bytes-record per
1988
 
        raw data item.
1989
 
 
1990
 
        :param sizes: An iterable of tuples containing the key and size of each
1991
 
            raw data segment.
1992
 
        :param raw_data: A bytestring containing the data.
1993
 
        :return: A list of memos to retrieve the record later. Each memo is an
1994
 
            opaque index memo. For _DirectPackAccess the memo is (index, pos,
1995
 
            length), where the index field is the write_index object supplied
1996
 
            to the PackAccess object.
1997
 
        """
1998
 
        raw_data = b''.join(raw_data)
1999
 
        if not isinstance(raw_data, bytes):
2000
 
            raise AssertionError(
2001
 
                'data must be plain bytes was %s' % type(raw_data))
2002
 
        result = []
2003
 
        offset = 0
2004
 
        for key, size in key_sizes:
2005
 
            result.append(
2006
 
                self.add_raw_record(key, size, [raw_data[offset:offset + size]]))
2007
 
            offset += size
2008
 
        return result
2009
 
 
2010
 
    def flush(self):
2011
 
        """Flush pending writes on this access object.
2012
 
 
2013
 
        This will flush any buffered writes to a NewPack.
2014
 
        """
2015
 
        if self._flush_func is not None:
2016
 
            self._flush_func()
2017
 
 
2018
 
    def get_raw_records(self, memos_for_retrieval):
2019
 
        """Get the raw bytes for a records.
2020
 
 
2021
 
        :param memos_for_retrieval: An iterable containing the (index, pos,
2022
 
            length) memo for retrieving the bytes. The Pack access method
2023
 
            looks up the pack to use for a given record in its index_to_pack
2024
 
            map.
2025
 
        :return: An iterator over the bytes of the records.
2026
 
        """
2027
 
        # first pass, group into same-index requests
2028
 
        request_lists = []
2029
 
        current_index = None
2030
 
        for (index, offset, length) in memos_for_retrieval:
2031
 
            if current_index == index:
2032
 
                current_list.append((offset, length))
2033
 
            else:
2034
 
                if current_index is not None:
2035
 
                    request_lists.append((current_index, current_list))
2036
 
                current_index = index
2037
 
                current_list = [(offset, length)]
2038
 
        # handle the last entry
2039
 
        if current_index is not None:
2040
 
            request_lists.append((current_index, current_list))
2041
 
        for index, offsets in request_lists:
2042
 
            try:
2043
 
                transport, path = self._indices[index]
2044
 
            except KeyError:
2045
 
                # A KeyError here indicates that someone has triggered an index
2046
 
                # reload, and this index has gone missing, we need to start
2047
 
                # over.
2048
 
                if self._reload_func is None:
2049
 
                    # If we don't have a _reload_func there is nothing that can
2050
 
                    # be done
2051
 
                    raise
2052
 
                raise errors.RetryWithNewPacks(index,
2053
 
                                               reload_occurred=True,
2054
 
                                               exc_info=sys.exc_info())
2055
 
            try:
2056
 
                reader = pack.make_readv_reader(transport, path, offsets)
2057
 
                for names, read_func in reader.iter_records():
2058
 
                    yield read_func(None)
2059
 
            except errors.NoSuchFile:
2060
 
                # A NoSuchFile error indicates that a pack file has gone
2061
 
                # missing on disk, we need to trigger a reload, and start over.
2062
 
                if self._reload_func is None:
2063
 
                    raise
2064
 
                raise errors.RetryWithNewPacks(transport.abspath(path),
2065
 
                                               reload_occurred=False,
2066
 
                                               exc_info=sys.exc_info())
2067
 
 
2068
 
    def set_writer(self, writer, index, transport_packname):
2069
 
        """Set a writer to use for adding data."""
2070
 
        if index is not None:
2071
 
            self._indices[index] = transport_packname
2072
 
        self._container_writer = writer
2073
 
        self._write_index = index
2074
 
 
2075
 
    def reload_or_raise(self, retry_exc):
2076
 
        """Try calling the reload function, or re-raise the original exception.
2077
 
 
2078
 
        This should be called after _DirectPackAccess raises a
2079
 
        RetryWithNewPacks exception. This function will handle the common logic
2080
 
        of determining when the error is fatal versus being temporary.
2081
 
        It will also make sure that the original exception is raised, rather
2082
 
        than the RetryWithNewPacks exception.
2083
 
 
2084
 
        If this function returns, then the calling function should retry
2085
 
        whatever operation was being performed. Otherwise an exception will
2086
 
        be raised.
2087
 
 
2088
 
        :param retry_exc: A RetryWithNewPacks exception.
2089
 
        """
2090
 
        is_error = False
2091
 
        if self._reload_func is None:
2092
 
            is_error = True
2093
 
        elif not self._reload_func():
2094
 
            # The reload claimed that nothing changed
2095
 
            if not retry_exc.reload_occurred:
2096
 
                # If there wasn't an earlier reload, then we really were
2097
 
                # expecting to find changes. We didn't find them, so this is a
2098
 
                # hard error
2099
 
                is_error = True
2100
 
        if is_error:
2101
 
            # GZ 2017-03-27: No real reason this needs the original traceback.
2102
 
            reraise(*retry_exc.exc_info)
 
2572
                              a_bzrdir=a_bzrdir,
 
2573
                              control_files=control_files,
 
2574
                              _commit_builder_class=self._commit_builder_class,
 
2575
                              _serializer=self._serializer)
 
2576
 
 
2577
 
 
2578
class RepositoryFormatKnitPack1(RepositoryFormatPack):
 
2579
    """A no-subtrees parameterized Pack repository.
 
2580
 
 
2581
    This format was introduced in 0.92.
 
2582
    """
 
2583
 
 
2584
    repository_class = KnitPackRepository
 
2585
    _commit_builder_class = PackCommitBuilder
 
2586
    @property
 
2587
    def _serializer(self):
 
2588
        return xml5.serializer_v5
 
2589
    # What index classes to use
 
2590
    index_builder_class = InMemoryGraphIndex
 
2591
    index_class = GraphIndex
 
2592
 
 
2593
    def _get_matching_bzrdir(self):
 
2594
        return bzrdir.format_registry.make_bzrdir('pack-0.92')
 
2595
 
 
2596
    def _ignore_setting_bzrdir(self, format):
 
2597
        pass
 
2598
 
 
2599
    _matchingbzrdir = property(_get_matching_bzrdir, _ignore_setting_bzrdir)
 
2600
 
 
2601
    def get_format_string(self):
 
2602
        """See RepositoryFormat.get_format_string()."""
 
2603
        return "Bazaar pack repository format 1 (needs bzr 0.92)\n"
 
2604
 
 
2605
    def get_format_description(self):
 
2606
        """See RepositoryFormat.get_format_description()."""
 
2607
        return "Packs containing knits without subtree support"
 
2608
 
 
2609
 
 
2610
class RepositoryFormatKnitPack3(RepositoryFormatPack):
 
2611
    """A subtrees parameterized Pack repository.
 
2612
 
 
2613
    This repository format uses the xml7 serializer to get:
 
2614
     - support for recording full info about the tree root
 
2615
     - support for recording tree-references
 
2616
 
 
2617
    This format was introduced in 0.92.
 
2618
    """
 
2619
 
 
2620
    repository_class = KnitPackRepository
 
2621
    _commit_builder_class = PackRootCommitBuilder
 
2622
    rich_root_data = True
 
2623
    experimental = True
 
2624
    supports_tree_reference = True
 
2625
    @property
 
2626
    def _serializer(self):
 
2627
        return xml7.serializer_v7
 
2628
    # What index classes to use
 
2629
    index_builder_class = InMemoryGraphIndex
 
2630
    index_class = GraphIndex
 
2631
 
 
2632
    def _get_matching_bzrdir(self):
 
2633
        return bzrdir.format_registry.make_bzrdir(
 
2634
            'pack-0.92-subtree')
 
2635
 
 
2636
    def _ignore_setting_bzrdir(self, format):
 
2637
        pass
 
2638
 
 
2639
    _matchingbzrdir = property(_get_matching_bzrdir, _ignore_setting_bzrdir)
 
2640
 
 
2641
    def get_format_string(self):
 
2642
        """See RepositoryFormat.get_format_string()."""
 
2643
        return "Bazaar pack repository format 1 with subtree support (needs bzr 0.92)\n"
 
2644
 
 
2645
    def get_format_description(self):
 
2646
        """See RepositoryFormat.get_format_description()."""
 
2647
        return "Packs containing knits with subtree support\n"
 
2648
 
 
2649
 
 
2650
class RepositoryFormatKnitPack4(RepositoryFormatPack):
 
2651
    """A rich-root, no subtrees parameterized Pack repository.
 
2652
 
 
2653
    This repository format uses the xml6 serializer to get:
 
2654
     - support for recording full info about the tree root
 
2655
 
 
2656
    This format was introduced in 1.0.
 
2657
    """
 
2658
 
 
2659
    repository_class = KnitPackRepository
 
2660
    _commit_builder_class = PackRootCommitBuilder
 
2661
    rich_root_data = True
 
2662
    supports_tree_reference = False
 
2663
    @property
 
2664
    def _serializer(self):
 
2665
        return xml6.serializer_v6
 
2666
    # What index classes to use
 
2667
    index_builder_class = InMemoryGraphIndex
 
2668
    index_class = GraphIndex
 
2669
 
 
2670
    def _get_matching_bzrdir(self):
 
2671
        return bzrdir.format_registry.make_bzrdir(
 
2672
            'rich-root-pack')
 
2673
 
 
2674
    def _ignore_setting_bzrdir(self, format):
 
2675
        pass
 
2676
 
 
2677
    _matchingbzrdir = property(_get_matching_bzrdir, _ignore_setting_bzrdir)
 
2678
 
 
2679
    def get_format_string(self):
 
2680
        """See RepositoryFormat.get_format_string()."""
 
2681
        return ("Bazaar pack repository format 1 with rich root"
 
2682
                " (needs bzr 1.0)\n")
 
2683
 
 
2684
    def get_format_description(self):
 
2685
        """See RepositoryFormat.get_format_description()."""
 
2686
        return "Packs containing knits with rich root support\n"
 
2687
 
 
2688
 
 
2689
class RepositoryFormatKnitPack5(RepositoryFormatPack):
 
2690
    """Repository that supports external references to allow stacking.
 
2691
 
 
2692
    New in release 1.6.
 
2693
 
 
2694
    Supports external lookups, which results in non-truncated ghosts after
 
2695
    reconcile compared to pack-0.92 formats.
 
2696
    """
 
2697
 
 
2698
    repository_class = KnitPackRepository
 
2699
    _commit_builder_class = PackCommitBuilder
 
2700
    supports_external_lookups = True
 
2701
    # What index classes to use
 
2702
    index_builder_class = InMemoryGraphIndex
 
2703
    index_class = GraphIndex
 
2704
 
 
2705
    @property
 
2706
    def _serializer(self):
 
2707
        return xml5.serializer_v5
 
2708
 
 
2709
    def _get_matching_bzrdir(self):
 
2710
        return bzrdir.format_registry.make_bzrdir('1.6')
 
2711
 
 
2712
    def _ignore_setting_bzrdir(self, format):
 
2713
        pass
 
2714
 
 
2715
    _matchingbzrdir = property(_get_matching_bzrdir, _ignore_setting_bzrdir)
 
2716
 
 
2717
    def get_format_string(self):
 
2718
        """See RepositoryFormat.get_format_string()."""
 
2719
        return "Bazaar RepositoryFormatKnitPack5 (bzr 1.6)\n"
 
2720
 
 
2721
    def get_format_description(self):
 
2722
        """See RepositoryFormat.get_format_description()."""
 
2723
        return "Packs 5 (adds stacking support, requires bzr 1.6)"
 
2724
 
 
2725
 
 
2726
class RepositoryFormatKnitPack5RichRoot(RepositoryFormatPack):
 
2727
    """A repository with rich roots and stacking.
 
2728
 
 
2729
    New in release 1.6.1.
 
2730
 
 
2731
    Supports stacking on other repositories, allowing data to be accessed
 
2732
    without being stored locally.
 
2733
    """
 
2734
 
 
2735
    repository_class = KnitPackRepository
 
2736
    _commit_builder_class = PackRootCommitBuilder
 
2737
    rich_root_data = True
 
2738
    supports_tree_reference = False # no subtrees
 
2739
    supports_external_lookups = True
 
2740
    # What index classes to use
 
2741
    index_builder_class = InMemoryGraphIndex
 
2742
    index_class = GraphIndex
 
2743
 
 
2744
    @property
 
2745
    def _serializer(self):
 
2746
        return xml6.serializer_v6
 
2747
 
 
2748
    def _get_matching_bzrdir(self):
 
2749
        return bzrdir.format_registry.make_bzrdir(
 
2750
            '1.6.1-rich-root')
 
2751
 
 
2752
    def _ignore_setting_bzrdir(self, format):
 
2753
        pass
 
2754
 
 
2755
    _matchingbzrdir = property(_get_matching_bzrdir, _ignore_setting_bzrdir)
 
2756
 
 
2757
    def get_format_string(self):
 
2758
        """See RepositoryFormat.get_format_string()."""
 
2759
        return "Bazaar RepositoryFormatKnitPack5RichRoot (bzr 1.6.1)\n"
 
2760
 
 
2761
    def get_format_description(self):
 
2762
        return "Packs 5 rich-root (adds stacking support, requires bzr 1.6.1)"
 
2763
 
 
2764
 
 
2765
class RepositoryFormatKnitPack5RichRootBroken(RepositoryFormatPack):
 
2766
    """A repository with rich roots and external references.
 
2767
 
 
2768
    New in release 1.6.
 
2769
 
 
2770
    Supports external lookups, which results in non-truncated ghosts after
 
2771
    reconcile compared to pack-0.92 formats.
 
2772
 
 
2773
    This format was deprecated because the serializer it uses accidentally
 
2774
    supported subtrees, when the format was not intended to. This meant that
 
2775
    someone could accidentally fetch from an incorrect repository.
 
2776
    """
 
2777
 
 
2778
    repository_class = KnitPackRepository
 
2779
    _commit_builder_class = PackRootCommitBuilder
 
2780
    rich_root_data = True
 
2781
    supports_tree_reference = False # no subtrees
 
2782
 
 
2783
    supports_external_lookups = True
 
2784
    # What index classes to use
 
2785
    index_builder_class = InMemoryGraphIndex
 
2786
    index_class = GraphIndex
 
2787
 
 
2788
    @property
 
2789
    def _serializer(self):
 
2790
        return xml7.serializer_v7
 
2791
 
 
2792
    def _get_matching_bzrdir(self):
 
2793
        matching = bzrdir.format_registry.make_bzrdir(
 
2794
            '1.6.1-rich-root')
 
2795
        matching.repository_format = self
 
2796
        return matching
 
2797
 
 
2798
    def _ignore_setting_bzrdir(self, format):
 
2799
        pass
 
2800
 
 
2801
    _matchingbzrdir = property(_get_matching_bzrdir, _ignore_setting_bzrdir)
 
2802
 
 
2803
    def get_format_string(self):
 
2804
        """See RepositoryFormat.get_format_string()."""
 
2805
        return "Bazaar RepositoryFormatKnitPack5RichRoot (bzr 1.6)\n"
 
2806
 
 
2807
    def get_format_description(self):
 
2808
        return ("Packs 5 rich-root (adds stacking support, requires bzr 1.6)"
 
2809
                " (deprecated)")
 
2810
 
 
2811
 
 
2812
class RepositoryFormatKnitPack6(RepositoryFormatPack):
 
2813
    """A repository with stacking and btree indexes,
 
2814
    without rich roots or subtrees.
 
2815
 
 
2816
    This is equivalent to pack-1.6 with B+Tree indices.
 
2817
    """
 
2818
 
 
2819
    repository_class = KnitPackRepository
 
2820
    _commit_builder_class = PackCommitBuilder
 
2821
    supports_external_lookups = True
 
2822
    # What index classes to use
 
2823
    index_builder_class = BTreeBuilder
 
2824
    index_class = BTreeGraphIndex
 
2825
 
 
2826
    @property
 
2827
    def _serializer(self):
 
2828
        return xml5.serializer_v5
 
2829
 
 
2830
    def _get_matching_bzrdir(self):
 
2831
        return bzrdir.format_registry.make_bzrdir('1.9')
 
2832
 
 
2833
    def _ignore_setting_bzrdir(self, format):
 
2834
        pass
 
2835
 
 
2836
    _matchingbzrdir = property(_get_matching_bzrdir, _ignore_setting_bzrdir)
 
2837
 
 
2838
    def get_format_string(self):
 
2839
        """See RepositoryFormat.get_format_string()."""
 
2840
        return "Bazaar RepositoryFormatKnitPack6 (bzr 1.9)\n"
 
2841
 
 
2842
    def get_format_description(self):
 
2843
        """See RepositoryFormat.get_format_description()."""
 
2844
        return "Packs 6 (uses btree indexes, requires bzr 1.9)"
 
2845
 
 
2846
 
 
2847
class RepositoryFormatKnitPack6RichRoot(RepositoryFormatPack):
 
2848
    """A repository with rich roots, no subtrees, stacking and btree indexes.
 
2849
 
 
2850
    1.6-rich-root with B+Tree indices.
 
2851
    """
 
2852
 
 
2853
    repository_class = KnitPackRepository
 
2854
    _commit_builder_class = PackRootCommitBuilder
 
2855
    rich_root_data = True
 
2856
    supports_tree_reference = False # no subtrees
 
2857
    supports_external_lookups = True
 
2858
    # What index classes to use
 
2859
    index_builder_class = BTreeBuilder
 
2860
    index_class = BTreeGraphIndex
 
2861
 
 
2862
    @property
 
2863
    def _serializer(self):
 
2864
        return xml6.serializer_v6
 
2865
 
 
2866
    def _get_matching_bzrdir(self):
 
2867
        return bzrdir.format_registry.make_bzrdir(
 
2868
            '1.9-rich-root')
 
2869
 
 
2870
    def _ignore_setting_bzrdir(self, format):
 
2871
        pass
 
2872
 
 
2873
    _matchingbzrdir = property(_get_matching_bzrdir, _ignore_setting_bzrdir)
 
2874
 
 
2875
    def get_format_string(self):
 
2876
        """See RepositoryFormat.get_format_string()."""
 
2877
        return "Bazaar RepositoryFormatKnitPack6RichRoot (bzr 1.9)\n"
 
2878
 
 
2879
    def get_format_description(self):
 
2880
        return "Packs 6 rich-root (uses btree indexes, requires bzr 1.9)"
 
2881
 
 
2882
 
 
2883
class RepositoryFormatPackDevelopment2Subtree(RepositoryFormatPack):
 
2884
    """A subtrees development repository.
 
2885
 
 
2886
    This format should be retained until the second release after bzr 1.7.
 
2887
 
 
2888
    1.6.1-subtree[as it might have been] with B+Tree indices.
 
2889
 
 
2890
    This is [now] retained until we have a CHK based subtree format in
 
2891
    development.
 
2892
    """
 
2893
 
 
2894
    repository_class = KnitPackRepository
 
2895
    _commit_builder_class = PackRootCommitBuilder
 
2896
    rich_root_data = True
 
2897
    experimental = True
 
2898
    supports_tree_reference = True
 
2899
    supports_external_lookups = True
 
2900
    # What index classes to use
 
2901
    index_builder_class = BTreeBuilder
 
2902
    index_class = BTreeGraphIndex
 
2903
 
 
2904
    @property
 
2905
    def _serializer(self):
 
2906
        return xml7.serializer_v7
 
2907
 
 
2908
    def _get_matching_bzrdir(self):
 
2909
        return bzrdir.format_registry.make_bzrdir(
 
2910
            'development-subtree')
 
2911
 
 
2912
    def _ignore_setting_bzrdir(self, format):
 
2913
        pass
 
2914
 
 
2915
    _matchingbzrdir = property(_get_matching_bzrdir, _ignore_setting_bzrdir)
 
2916
 
 
2917
    def get_format_string(self):
 
2918
        """See RepositoryFormat.get_format_string()."""
 
2919
        return ("Bazaar development format 2 with subtree support "
 
2920
            "(needs bzr.dev from before 1.8)\n")
 
2921
 
 
2922
    def get_format_description(self):
 
2923
        """See RepositoryFormat.get_format_description()."""
 
2924
        return ("Development repository format, currently the same as "
 
2925
            "1.6.1-subtree with B+Tree indices.\n")
 
2926