/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/repofmt/knitrepo.py

  • Committer: John Arbash Meinel
  • Date: 2008-07-08 14:55:19 UTC
  • mfrom: (3530 +trunk)
  • mto: This revision was merged to the branch mainline in revision 3532.
  • Revision ID: john@arbash-meinel.com-20080708145519-paqg4kjwbpgs2xmq
Merge bzr.dev 3530

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/repofmt/knitrepo.py
24
24
""")
25
25
from bzrlib import (
26
26
    bzrdir,
27
 
    deprecated_graph,
28
27
    errors,
29
28
    knit,
30
29
    lockable_files,
36
35
    xml6,
37
36
    xml7,
38
37
    )
39
 
 
40
38
from bzrlib.decorators import needs_read_lock, needs_write_lock
 
39
from bzrlib.knit import KnitVersionedFiles, _KndxIndex, _KnitKeyAccess
41
40
from bzrlib.repository import (
42
41
    CommitBuilder,
43
42
    MetaDirRepository,
49
48
from bzrlib.store.versioned import VersionedFileStore
50
49
from bzrlib.trace import mutter, mutter_callsite
51
50
from bzrlib.util import bencode
 
51
from bzrlib.versionedfile import ConstantMapper, HashEscapedPrefixMapper
52
52
 
53
53
 
54
54
class _KnitParentsProvider(object):
69
69
        """See graph._StackedParentsProvider.get_parent_map"""
70
70
        parent_map = {}
71
71
        for revision_id in keys:
 
72
            if revision_id is None:
 
73
                raise ValueError('get_parent_map(None) is not valid')
72
74
            if revision_id == _mod_revision.NULL_REVISION:
73
75
                parent_map[revision_id] = ()
74
76
            else:
84
86
        return parent_map
85
87
 
86
88
 
 
89
class _KnitsParentsProvider(object):
 
90
 
 
91
    def __init__(self, knit, prefix=()):
 
92
        """Create a parent provider for string keys mapped to tuple keys."""
 
93
        self._knit = knit
 
94
        self._prefix = prefix
 
95
 
 
96
    def __repr__(self):
 
97
        return 'KnitsParentsProvider(%r)' % self._knit
 
98
 
 
99
    def get_parent_map(self, keys):
 
100
        """See graph._StackedParentsProvider.get_parent_map"""
 
101
        parent_map = self._knit.get_parent_map(
 
102
            [self._prefix + (key,) for key in keys])
 
103
        result = {}
 
104
        for key, parents in parent_map.items():
 
105
            revid = key[-1]
 
106
            if len(parents) == 0:
 
107
                parents = (_mod_revision.NULL_REVISION,)
 
108
            else:
 
109
                parents = tuple(parent[-1] for parent in parents)
 
110
            result[revid] = parents
 
111
        for revision_id in keys:
 
112
            if revision_id == _mod_revision.NULL_REVISION:
 
113
                result[revision_id] = ()
 
114
        return result
 
115
 
 
116
 
87
117
class KnitRepository(MetaDirRepository):
88
118
    """Knit format repository."""
89
119
 
94
124
    _commit_builder_class = None
95
125
    _serializer = None
96
126
 
97
 
    def __init__(self, _format, a_bzrdir, control_files, _revision_store,
98
 
        control_store, text_store, _commit_builder_class, _serializer):
99
 
        MetaDirRepository.__init__(self, _format, a_bzrdir, control_files,
100
 
            _revision_store, control_store, text_store)
 
127
    def __init__(self, _format, a_bzrdir, control_files, _commit_builder_class,
 
128
        _serializer):
 
129
        MetaDirRepository.__init__(self, _format, a_bzrdir, control_files)
101
130
        self._commit_builder_class = _commit_builder_class
102
131
        self._serializer = _serializer
103
132
        self._reconcile_fixes_text_parents = True
106
135
        # This class isn't deprecated
107
136
        pass
108
137
 
109
 
    def _inventory_add_lines(self, inv_vf, revid, parents, lines, check_content):
110
 
        return inv_vf.add_lines_with_ghosts(revid, parents, lines,
111
 
            check_content=check_content)[0]
112
 
 
113
138
    @needs_read_lock
114
139
    def _all_revision_ids(self):
115
140
        """See Repository.all_revision_ids()."""
116
 
        # Knits get the revision graph from the index of the revision knit, so
117
 
        # it's always possible even if they're on an unlistable transport.
118
 
        return self._revision_store.all_revision_ids(self.get_transaction())
 
141
        return [key[0] for key in self.revisions.keys()]
 
142
 
 
143
    def _activate_new_inventory(self):
 
144
        """Put a replacement inventory.new into use as inventories."""
 
145
        # Copy the content across
 
146
        t = self._transport
 
147
        t.copy('inventory.new.kndx', 'inventory.kndx')
 
148
        try:
 
149
            t.copy('inventory.new.knit', 'inventory.knit')
 
150
        except errors.NoSuchFile:
 
151
            # empty inventories knit
 
152
            t.delete('inventory.knit')
 
153
        # delete the temp inventory
 
154
        t.delete('inventory.new.kndx')
 
155
        try:
 
156
            t.delete('inventory.new.knit')
 
157
        except errors.NoSuchFile:
 
158
            # empty inventories knit
 
159
            pass
 
160
        # Force index reload (sanity check)
 
161
        self.inventories._index._reset_cache()
 
162
        self.inventories.keys()
 
163
 
 
164
    def _backup_inventory(self):
 
165
        t = self._transport
 
166
        t.copy('inventory.kndx', 'inventory.backup.kndx')
 
167
        t.copy('inventory.knit', 'inventory.backup.knit')
 
168
 
 
169
    def _move_file_id(self, from_id, to_id):
 
170
        t = self._transport.clone('knits')
 
171
        from_rel_url = self.texts._index._mapper.map((from_id, None))
 
172
        to_rel_url = self.texts._index._mapper.map((to_id, None))
 
173
        # We expect both files to always exist in this case.
 
174
        for suffix in ('.knit', '.kndx'):
 
175
            t.rename(from_rel_url + suffix, to_rel_url + suffix)
 
176
 
 
177
    def _remove_file_id(self, file_id):
 
178
        t = self._transport.clone('knits')
 
179
        rel_url = self.texts._index._mapper.map((file_id, None))
 
180
        for suffix in ('.kndx', '.knit'):
 
181
            try:
 
182
                t.delete(rel_url + suffix)
 
183
            except errors.NoSuchFile:
 
184
                pass
 
185
 
 
186
    def _temp_inventories(self):
 
187
        result = self._format._get_inventories(self._transport, self,
 
188
            'inventory.new')
 
189
        # Reconciling when the output has no revisions would result in no
 
190
        # writes - but we want to ensure there is an inventory for
 
191
        # compatibility with older clients that don't lazy-load.
 
192
        result.get_parent_map([('A',)])
 
193
        return result
119
194
 
120
195
    def fileid_involved_between_revs(self, from_revid, to_revid):
121
196
        """Find file_id(s) which are involved in the changes between revisions.
143
218
        return self._fileid_involved_by_set(changed)
144
219
 
145
220
    @needs_read_lock
146
 
    def get_ancestry(self, revision_id, topo_sorted=True):
147
 
        """Return a list of revision-ids integrated by a revision.
148
 
        
149
 
        This is topologically sorted, unless 'topo_sorted' is specified as
150
 
        False.
151
 
        """
152
 
        if _mod_revision.is_null(revision_id):
153
 
            return [None]
154
 
        vf = self._get_revision_vf()
155
 
        try:
156
 
            return [None] + vf.get_ancestry(revision_id, topo_sorted)
157
 
        except errors.RevisionNotPresent:
158
 
            raise errors.NoSuchRevision(self, revision_id)
159
 
 
160
 
    @symbol_versioning.deprecated_method(symbol_versioning.one_two)
161
 
    @needs_read_lock
162
 
    def get_data_stream(self, revision_ids):
163
 
        """See Repository.get_data_stream.
164
 
        
165
 
        Deprecated in 1.2 for get_data_stream_for_search.
166
 
        """
167
 
        search_result = self.revision_ids_to_search_result(set(revision_ids))
168
 
        return self.get_data_stream_for_search(search_result)
169
 
 
170
 
    @needs_read_lock
171
 
    def get_data_stream_for_search(self, search):
172
 
        """See Repository.get_data_stream_for_search."""
173
 
        item_keys = self.item_keys_introduced_by(search.get_keys())
174
 
        for knit_kind, file_id, versions in item_keys:
175
 
            name = (knit_kind,)
176
 
            if knit_kind == 'file':
177
 
                name = ('file', file_id)
178
 
                knit = self.weave_store.get_weave_or_empty(
179
 
                    file_id, self.get_transaction())
180
 
            elif knit_kind == 'inventory':
181
 
                knit = self.get_inventory_weave()
182
 
            elif knit_kind == 'revisions':
183
 
                knit = self._revision_store.get_revision_file(
184
 
                    self.get_transaction())
185
 
            elif knit_kind == 'signatures':
186
 
                knit = self._revision_store.get_signature_file(
187
 
                    self.get_transaction())
188
 
            else:
189
 
                raise AssertionError('Unknown knit kind %r' % (knit_kind,))
190
 
            yield name, _get_stream_as_bytes(knit, versions)
191
 
 
192
 
    @needs_read_lock
193
221
    def get_revision(self, revision_id):
194
222
        """Return the Revision object for a named revision"""
195
223
        revision_id = osutils.safe_revision_id(revision_id)
196
224
        return self.get_revision_reconcile(revision_id)
197
225
 
198
 
    @needs_read_lock
199
 
    def get_revision_graph(self, revision_id=None):
200
 
        """Return a dictionary containing the revision graph.
201
 
 
202
 
        :param revision_id: The revision_id to get a graph from. If None, then
203
 
        the entire revision graph is returned. This is a deprecated mode of
204
 
        operation and will be removed in the future.
205
 
        :return: a dictionary of revision_id->revision_parents_list.
206
 
        """
207
 
        if 'evil' in debug.debug_flags:
208
 
            mutter_callsite(3,
209
 
                "get_revision_graph scales with size of history.")
210
 
        # special case NULL_REVISION
211
 
        if revision_id == _mod_revision.NULL_REVISION:
212
 
            return {}
213
 
        a_weave = self._get_revision_vf()
214
 
        if revision_id is None:
215
 
            return a_weave.get_graph()
216
 
        if revision_id not in a_weave:
217
 
            raise errors.NoSuchRevision(self, revision_id)
218
 
        else:
219
 
            # add what can be reached from revision_id
220
 
            return a_weave.get_graph([revision_id])
221
 
 
222
 
    @needs_read_lock
223
 
    @symbol_versioning.deprecated_method(symbol_versioning.one_three)
224
 
    def get_revision_graph_with_ghosts(self, revision_ids=None):
225
 
        """Return a graph of the revisions with ghosts marked as applicable.
226
 
 
227
 
        :param revision_ids: an iterable of revisions to graph or None for all.
228
 
        :return: a Graph object with the graph reachable from revision_ids.
229
 
        """
230
 
        if 'evil' in debug.debug_flags:
231
 
            mutter_callsite(3,
232
 
                "get_revision_graph_with_ghosts scales with size of history.")
233
 
        result = deprecated_graph.Graph()
234
 
        vf = self._get_revision_vf()
235
 
        versions = set(vf.versions())
236
 
        if not revision_ids:
237
 
            pending = set(self.all_revision_ids())
238
 
            required = set([])
239
 
        else:
240
 
            pending = set(revision_ids)
241
 
            # special case NULL_REVISION
242
 
            if _mod_revision.NULL_REVISION in pending:
243
 
                pending.remove(_mod_revision.NULL_REVISION)
244
 
            required = set(pending)
245
 
        done = set([])
246
 
        while len(pending):
247
 
            revision_id = pending.pop()
248
 
            if not revision_id in versions:
249
 
                if revision_id in required:
250
 
                    raise errors.NoSuchRevision(self, revision_id)
251
 
                # a ghost
252
 
                result.add_ghost(revision_id)
253
 
                # mark it as done so we don't try for it again.
254
 
                done.add(revision_id)
255
 
                continue
256
 
            parent_ids = vf.get_parents_with_ghosts(revision_id)
257
 
            for parent_id in parent_ids:
258
 
                # is this queued or done ?
259
 
                if (parent_id not in pending and
260
 
                    parent_id not in done):
261
 
                    # no, queue it.
262
 
                    pending.add(parent_id)
263
 
            result.add_node(revision_id, parent_ids)
264
 
            done.add(revision_id)
265
 
        return result
266
 
 
267
 
    def _get_revision_vf(self):
268
 
        """:return: a versioned file containing the revisions."""
269
 
        vf = self._revision_store.get_revision_file(self.get_transaction())
270
 
        return vf
271
 
 
272
 
    def _get_history_vf(self):
273
 
        """Get a versionedfile whose history graph reflects all revisions.
274
 
 
275
 
        For knit repositories, this is the revision knit.
276
 
        """
277
 
        return self._get_revision_vf()
278
 
 
279
 
    def has_revisions(self, revision_ids):
280
 
        """See Repository.has_revisions()."""
281
 
        result = set()
282
 
        transaction = self.get_transaction()
283
 
        for revision_id in revision_ids:
284
 
            if self._revision_store.has_revision_id(revision_id, transaction):
285
 
                result.add(revision_id)
286
 
        return result
287
 
 
288
226
    @needs_write_lock
289
227
    def reconcile(self, other=None, thorough=False):
290
228
        """Reconcile this repository."""
293
231
        reconciler.reconcile()
294
232
        return reconciler
295
233
    
296
 
    def revision_parents(self, revision_id):
297
 
        return self._get_revision_vf().get_parents(revision_id)
298
 
 
299
234
    def _make_parents_provider(self):
300
 
        return _KnitParentsProvider(self._get_revision_vf())
 
235
        return _KnitsParentsProvider(self.revisions)
301
236
 
302
237
    def _find_inconsistent_revision_parents(self):
303
238
        """Find revisions with different parent lists in the revision object
306
241
        :returns: an iterator yielding tuples of (revison-id, parents-in-index,
307
242
            parents-in-revision).
308
243
        """
309
 
        assert self.is_locked()
310
 
        vf = self._get_revision_vf()
311
 
        for index_version in vf.versions():
312
 
            parents_according_to_index = tuple(vf.get_parents_with_ghosts(
313
 
                index_version))
314
 
            revision = self.get_revision(index_version)
 
244
        if not self.is_locked():
 
245
            raise AssertionError()
 
246
        vf = self.revisions
 
247
        for index_version in vf.keys():
 
248
            parent_map = vf.get_parent_map([index_version])
 
249
            parents_according_to_index = tuple(parent[-1] for parent in
 
250
                parent_map[index_version])
 
251
            revision = self.get_revision(index_version[-1])
315
252
            parents_according_to_revision = tuple(revision.parent_ids)
316
253
            if parents_according_to_index != parents_according_to_revision:
317
 
                yield (index_version, parents_according_to_index,
 
254
                yield (index_version[-1], parents_according_to_index,
318
255
                    parents_according_to_revision)
319
256
 
320
257
    def _check_for_inconsistent_revision_parents(self):
358
295
    # External lookups are not supported in this format.
359
296
    supports_external_lookups = False
360
297
 
361
 
    def _get_control_store(self, repo_transport, control_files):
362
 
        """Return the control store for this repository."""
363
 
        return VersionedFileStore(
364
 
            repo_transport,
365
 
            prefixed=False,
366
 
            file_mode=control_files._file_mode,
367
 
            versionedfile_class=knit.KnitVersionedFile,
368
 
            versionedfile_kwargs={'factory':knit.KnitPlainFactory()},
369
 
            )
370
 
 
371
 
    def _get_revision_store(self, repo_transport, control_files):
372
 
        """See RepositoryFormat._get_revision_store()."""
373
 
        versioned_file_store = VersionedFileStore(
374
 
            repo_transport,
375
 
            file_mode=control_files._file_mode,
376
 
            prefixed=False,
377
 
            precious=True,
378
 
            versionedfile_class=knit.KnitVersionedFile,
379
 
            versionedfile_kwargs={'delta':False,
380
 
                                  'factory':knit.KnitPlainFactory(),
381
 
                                 },
382
 
            escaped=True,
383
 
            )
384
 
        return KnitRevisionStore(versioned_file_store)
385
 
 
386
 
    def _get_text_store(self, transport, control_files):
387
 
        """See RepositoryFormat._get_text_store()."""
388
 
        return self._get_versioned_file_store('knits',
389
 
                                  transport,
390
 
                                  control_files,
391
 
                                  versionedfile_class=knit.KnitVersionedFile,
392
 
                                  versionedfile_kwargs={
393
 
                                      'create_parent_dir':True,
394
 
                                      'delay_create':True,
395
 
                                      'dir_mode':control_files._dir_mode,
396
 
                                  },
397
 
                                  escaped=True)
 
298
    def _get_inventories(self, repo_transport, repo, name='inventory'):
 
299
        mapper = ConstantMapper(name)
 
300
        index = _KndxIndex(repo_transport, mapper, repo.get_transaction,
 
301
            repo.is_write_locked, repo.is_locked)
 
302
        access = _KnitKeyAccess(repo_transport, mapper)
 
303
        return KnitVersionedFiles(index, access, annotated=False)
 
304
 
 
305
    def _get_revisions(self, repo_transport, repo):
 
306
        mapper = ConstantMapper('revisions')
 
307
        index = _KndxIndex(repo_transport, mapper, repo.get_transaction,
 
308
            repo.is_write_locked, repo.is_locked)
 
309
        access = _KnitKeyAccess(repo_transport, mapper)
 
310
        return KnitVersionedFiles(index, access, max_delta_chain=0,
 
311
            annotated=False)
 
312
 
 
313
    def _get_signatures(self, repo_transport, repo):
 
314
        mapper = ConstantMapper('signatures')
 
315
        index = _KndxIndex(repo_transport, mapper, repo.get_transaction,
 
316
            repo.is_write_locked, repo.is_locked)
 
317
        access = _KnitKeyAccess(repo_transport, mapper)
 
318
        return KnitVersionedFiles(index, access, max_delta_chain=0,
 
319
            annotated=False)
 
320
 
 
321
    def _get_texts(self, repo_transport, repo):
 
322
        mapper = HashEscapedPrefixMapper()
 
323
        base_transport = repo_transport.clone('knits')
 
324
        index = _KndxIndex(base_transport, mapper, repo.get_transaction,
 
325
            repo.is_write_locked, repo.is_locked)
 
326
        access = _KnitKeyAccess(base_transport, mapper)
 
327
        return KnitVersionedFiles(index, access, max_delta_chain=200,
 
328
            annotated=True)
398
329
 
399
330
    def initialize(self, a_bzrdir, shared=False):
400
331
        """Create a knit format 1 repository.
413
344
        repo_transport = a_bzrdir.get_repository_transport(None)
414
345
        control_files = lockable_files.LockableFiles(repo_transport,
415
346
                                'lock', lockdir.LockDir)
416
 
        control_store = self._get_control_store(repo_transport, control_files)
417
347
        transaction = transactions.WriteTransaction()
418
 
        # trigger a write of the inventory store.
419
 
        control_store.get_weave_or_empty('inventory', transaction)
420
 
        _revision_store = self._get_revision_store(repo_transport, control_files)
 
348
        result = self.open(a_bzrdir=a_bzrdir, _found=True)
 
349
        result.lock_write()
421
350
        # the revision id here is irrelevant: it will not be stored, and cannot
422
 
        # already exist.
423
 
        _revision_store.has_revision_id('A', transaction)
424
 
        _revision_store.get_signature_file(transaction)
425
 
        return self.open(a_bzrdir=a_bzrdir, _found=True)
 
351
        # already exist, we do this to create files on disk for older clients.
 
352
        result.inventories.get_parent_map([('A',)])
 
353
        result.revisions.get_parent_map([('A',)])
 
354
        result.signatures.get_parent_map([('A',)])
 
355
        result.unlock()
 
356
        return result
426
357
 
427
358
    def open(self, a_bzrdir, _found=False, _override_transport=None):
428
359
        """See RepositoryFormat.open().
433
364
        """
434
365
        if not _found:
435
366
            format = RepositoryFormat.find_format(a_bzrdir)
436
 
            assert format.__class__ ==  self.__class__
437
367
        if _override_transport is not None:
438
368
            repo_transport = _override_transport
439
369
        else:
440
370
            repo_transport = a_bzrdir.get_repository_transport(None)
441
371
        control_files = lockable_files.LockableFiles(repo_transport,
442
372
                                'lock', lockdir.LockDir)
443
 
        text_store = self._get_text_store(repo_transport, control_files)
444
 
        control_store = self._get_control_store(repo_transport, control_files)
445
 
        _revision_store = self._get_revision_store(repo_transport, control_files)
446
 
        return self.repository_class(_format=self,
 
373
        repo = self.repository_class(_format=self,
447
374
                              a_bzrdir=a_bzrdir,
448
375
                              control_files=control_files,
449
 
                              _revision_store=_revision_store,
450
 
                              control_store=control_store,
451
 
                              text_store=text_store,
452
376
                              _commit_builder_class=self._commit_builder_class,
453
377
                              _serializer=self._serializer)
 
378
        repo.revisions = self._get_revisions(repo_transport, repo)
 
379
        repo.signatures = self._get_signatures(repo_transport, repo)
 
380
        repo.inventories = self._get_inventories(repo_transport, repo)
 
381
        repo.texts = self._get_texts(repo_transport, repo)
 
382
        repo._transport = repo_transport
 
383
        return repo
454
384
 
455
385
 
456
386
class RepositoryFormatKnit1(RepositoryFormatKnit):
577
507
    def get_format_description(self):
578
508
        """See RepositoryFormat.get_format_description()."""
579
509
        return "Knit repository format 4"
580
 
 
581
 
 
582
 
def _get_stream_as_bytes(knit, required_versions):
583
 
    """Generate a serialised data stream.
584
 
 
585
 
    The format is a bencoding of a list.  The first element of the list is a
586
 
    string of the format signature, then each subsequent element is a list
587
 
    corresponding to a record.  Those lists contain:
588
 
 
589
 
      * a version id
590
 
      * a list of options
591
 
      * a list of parents
592
 
      * the bytes
593
 
 
594
 
    :returns: a bencoded list.
595
 
    """
596
 
    knit_stream = knit.get_data_stream(required_versions)
597
 
    format_signature, data_list, callable = knit_stream
598
 
    data = []
599
 
    data.append(format_signature)
600
 
    for version, options, length, parents in data_list:
601
 
        data.append([version, options, parents, callable(length)])
602
 
    return bencode.bencode(data)