1
# Copyright (C) 2005, 2006, 2007 Canonical Ltd
 
 
3
# This program is free software; you can redistribute it and/or modify
 
 
4
# it under the terms of the GNU General Public License as published by
 
 
5
# the Free Software Foundation; either version 2 of the License, or
 
 
6
# (at your option) any later version.
 
 
8
# This program is distributed in the hope that it will be useful,
 
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
 
11
# GNU General Public License for more details.
 
 
13
# You should have received a copy of the GNU General Public License
 
 
14
# along with this program; if not, write to the Free Software
 
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
 
17
from bzrlib.lazy_import import lazy_import
 
 
18
lazy_import(globals(), """
 
 
22
from bzrlib.store import revision
 
 
23
from bzrlib.store.revision.knit import KnitRevisionStore
 
 
40
from bzrlib.decorators import needs_read_lock, needs_write_lock
 
 
41
from bzrlib.repository import (
 
 
44
    MetaDirRepositoryFormat,
 
 
48
import bzrlib.revision as _mod_revision
 
 
49
from bzrlib.store.versioned import VersionedFileStore
 
 
50
from bzrlib.trace import mutter, mutter_callsite
 
 
51
from bzrlib.util import bencode
 
 
54
class _KnitParentsProvider(object):
 
 
56
    def __init__(self, knit):
 
 
60
        return 'KnitParentsProvider(%r)' % self._knit
 
 
62
    @symbol_versioning.deprecated_method(symbol_versioning.one_one)
 
 
63
    def get_parents(self, revision_ids):
 
 
64
        """See graph._StackedParentsProvider.get_parents"""
 
 
65
        parent_map = self.get_parent_map(revision_ids)
 
 
66
        return [parent_map.get(r, None) for r in revision_ids]
 
 
68
    def get_parent_map(self, keys):
 
 
69
        """See graph._StackedParentsProvider.get_parent_map"""
 
 
71
        for revision_id in keys:
 
 
72
            if revision_id == _mod_revision.NULL_REVISION:
 
 
73
                parent_map[revision_id] = ()
 
 
77
                        self._knit.get_parents_with_ghosts(revision_id))
 
 
78
                except errors.RevisionNotPresent:
 
 
82
                        parents = (_mod_revision.NULL_REVISION,)
 
 
83
                parent_map[revision_id] = parents
 
 
87
class KnitRepository(MetaDirRepository):
 
 
88
    """Knit format repository."""
 
 
90
    # These attributes are inherited from the Repository base class. Setting
 
 
91
    # them to None ensures that if the constructor is changed to not initialize
 
 
92
    # them, or a subclass fails to call the constructor, that an error will
 
 
93
    # occur rather than the system working but generating incorrect data.
 
 
94
    _commit_builder_class = None
 
 
97
    def __init__(self, _format, a_bzrdir, control_files, _revision_store,
 
 
98
        control_store, text_store, _commit_builder_class, _serializer):
 
 
99
        MetaDirRepository.__init__(self, _format, a_bzrdir, control_files,
 
 
100
            _revision_store, control_store, text_store)
 
 
101
        self._commit_builder_class = _commit_builder_class
 
 
102
        self._serializer = _serializer
 
 
103
        self._reconcile_fixes_text_parents = True
 
 
105
    def _warn_if_deprecated(self):
 
 
106
        # This class isn't deprecated
 
 
109
    def _inventory_add_lines(self, inv_vf, revid, parents, lines, check_content):
 
 
110
        return inv_vf.add_lines_with_ghosts(revid, parents, lines,
 
 
111
            check_content=check_content)[0]
 
 
114
    def _all_revision_ids(self):
 
 
115
        """See Repository.all_revision_ids()."""
 
 
116
        # Knits get the revision graph from the index of the revision knit, so
 
 
117
        # it's always possible even if they're on an unlistable transport.
 
 
118
        return self._revision_store.all_revision_ids(self.get_transaction())
 
 
120
    def fileid_involved_between_revs(self, from_revid, to_revid):
 
 
121
        """Find file_id(s) which are involved in the changes between revisions.
 
 
123
        This determines the set of revisions which are involved, and then
 
 
124
        finds all file ids affected by those revisions.
 
 
126
        vf = self._get_revision_vf()
 
 
127
        from_set = set(vf.get_ancestry(from_revid))
 
 
128
        to_set = set(vf.get_ancestry(to_revid))
 
 
129
        changed = to_set.difference(from_set)
 
 
130
        return self._fileid_involved_by_set(changed)
 
 
132
    def fileid_involved(self, last_revid=None):
 
 
133
        """Find all file_ids modified in the ancestry of last_revid.
 
 
135
        :param last_revid: If None, last_revision() will be used.
 
 
138
            changed = set(self.all_revision_ids())
 
 
140
            changed = set(self.get_ancestry(last_revid))
 
 
143
        return self._fileid_involved_by_set(changed)
 
 
146
    def get_ancestry(self, revision_id, topo_sorted=True):
 
 
147
        """Return a list of revision-ids integrated by a revision.
 
 
149
        This is topologically sorted, unless 'topo_sorted' is specified as
 
 
152
        if _mod_revision.is_null(revision_id):
 
 
154
        vf = self._get_revision_vf()
 
 
156
            return [None] + vf.get_ancestry(revision_id, topo_sorted)
 
 
157
        except errors.RevisionNotPresent:
 
 
158
            raise errors.NoSuchRevision(self, revision_id)
 
 
160
    @symbol_versioning.deprecated_method(symbol_versioning.one_two)
 
 
162
    def get_data_stream(self, revision_ids):
 
 
163
        """See Repository.get_data_stream.
 
 
165
        Deprecated in 1.2 for get_data_stream_for_search.
 
 
167
        search_result = self.revision_ids_to_search_result(set(revision_ids))
 
 
168
        return self.get_data_stream_for_search(search_result)
 
 
171
    def get_data_stream_for_search(self, search):
 
 
172
        """See Repository.get_data_stream_for_search."""
 
 
173
        item_keys = self.item_keys_introduced_by(search.get_keys())
 
 
174
        for knit_kind, file_id, versions in item_keys:
 
 
176
            if knit_kind == 'file':
 
 
177
                name = ('file', file_id)
 
 
178
                knit = self.weave_store.get_weave_or_empty(
 
 
179
                    file_id, self.get_transaction())
 
 
180
            elif knit_kind == 'inventory':
 
 
181
                knit = self.get_inventory_weave()
 
 
182
            elif knit_kind == 'revisions':
 
 
183
                knit = self._revision_store.get_revision_file(
 
 
184
                    self.get_transaction())
 
 
185
            elif knit_kind == 'signatures':
 
 
186
                knit = self._revision_store.get_signature_file(
 
 
187
                    self.get_transaction())
 
 
189
                raise AssertionError('Unknown knit kind %r' % (knit_kind,))
 
 
190
            yield name, _get_stream_as_bytes(knit, versions)
 
 
193
    def get_revision(self, revision_id):
 
 
194
        """Return the Revision object for a named revision"""
 
 
195
        revision_id = osutils.safe_revision_id(revision_id)
 
 
196
        return self.get_revision_reconcile(revision_id)
 
 
199
    def get_revision_graph(self, revision_id=None):
 
 
200
        """Return a dictionary containing the revision graph.
 
 
202
        :param revision_id: The revision_id to get a graph from. If None, then
 
 
203
        the entire revision graph is returned. This is a deprecated mode of
 
 
204
        operation and will be removed in the future.
 
 
205
        :return: a dictionary of revision_id->revision_parents_list.
 
 
207
        if 'evil' in debug.debug_flags:
 
 
209
                "get_revision_graph scales with size of history.")
 
 
210
        # special case NULL_REVISION
 
 
211
        if revision_id == _mod_revision.NULL_REVISION:
 
 
213
        a_weave = self._get_revision_vf()
 
 
214
        if revision_id is None:
 
 
215
            return a_weave.get_graph()
 
 
216
        if revision_id not in a_weave:
 
 
217
            raise errors.NoSuchRevision(self, revision_id)
 
 
219
            # add what can be reached from revision_id
 
 
220
            return a_weave.get_graph([revision_id])
 
 
223
    def get_revision_graph_with_ghosts(self, revision_ids=None):
 
 
224
        """Return a graph of the revisions with ghosts marked as applicable.
 
 
226
        :param revision_ids: an iterable of revisions to graph or None for all.
 
 
227
        :return: a Graph object with the graph reachable from revision_ids.
 
 
229
        if 'evil' in debug.debug_flags:
 
 
231
                "get_revision_graph_with_ghosts scales with size of history.")
 
 
232
        result = deprecated_graph.Graph()
 
 
233
        vf = self._get_revision_vf()
 
 
234
        versions = set(vf.versions())
 
 
236
            pending = set(self.all_revision_ids())
 
 
239
            pending = set(revision_ids)
 
 
240
            # special case NULL_REVISION
 
 
241
            if _mod_revision.NULL_REVISION in pending:
 
 
242
                pending.remove(_mod_revision.NULL_REVISION)
 
 
243
            required = set(pending)
 
 
246
            revision_id = pending.pop()
 
 
247
            if not revision_id in versions:
 
 
248
                if revision_id in required:
 
 
249
                    raise errors.NoSuchRevision(self, revision_id)
 
 
251
                result.add_ghost(revision_id)
 
 
252
                # mark it as done so we don't try for it again.
 
 
253
                done.add(revision_id)
 
 
255
            parent_ids = vf.get_parents_with_ghosts(revision_id)
 
 
256
            for parent_id in parent_ids:
 
 
257
                # is this queued or done ?
 
 
258
                if (parent_id not in pending and
 
 
259
                    parent_id not in done):
 
 
261
                    pending.add(parent_id)
 
 
262
            result.add_node(revision_id, parent_ids)
 
 
263
            done.add(revision_id)
 
 
266
    def _get_revision_vf(self):
 
 
267
        """:return: a versioned file containing the revisions."""
 
 
268
        vf = self._revision_store.get_revision_file(self.get_transaction())
 
 
271
    def _get_history_vf(self):
 
 
272
        """Get a versionedfile whose history graph reflects all revisions.
 
 
274
        For knit repositories, this is the revision knit.
 
 
276
        return self._get_revision_vf()
 
 
278
    def has_revisions(self, revision_ids):
 
 
279
        """See Repository.has_revisions()."""
 
 
281
        transaction = self.get_transaction()
 
 
282
        for revision_id in revision_ids:
 
 
283
            if self._revision_store.has_revision_id(revision_id, transaction):
 
 
284
                result.add(revision_id)
 
 
288
    def reconcile(self, other=None, thorough=False):
 
 
289
        """Reconcile this repository."""
 
 
290
        from bzrlib.reconcile import KnitReconciler
 
 
291
        reconciler = KnitReconciler(self, thorough=thorough)
 
 
292
        reconciler.reconcile()
 
 
295
    def revision_parents(self, revision_id):
 
 
296
        return self._get_revision_vf().get_parents(revision_id)
 
 
298
    def _make_parents_provider(self):
 
 
299
        return _KnitParentsProvider(self._get_revision_vf())
 
 
301
    def _find_inconsistent_revision_parents(self):
 
 
302
        """Find revisions with different parent lists in the revision object
 
 
303
        and in the index graph.
 
 
305
        :returns: an iterator yielding tuples of (revison-id, parents-in-index,
 
 
306
            parents-in-revision).
 
 
308
        assert self.is_locked()
 
 
309
        vf = self._get_revision_vf()
 
 
310
        for index_version in vf.versions():
 
 
311
            parents_according_to_index = tuple(vf.get_parents_with_ghosts(
 
 
313
            revision = self.get_revision(index_version)
 
 
314
            parents_according_to_revision = tuple(revision.parent_ids)
 
 
315
            if parents_according_to_index != parents_according_to_revision:
 
 
316
                yield (index_version, parents_according_to_index,
 
 
317
                    parents_according_to_revision)
 
 
319
    def _check_for_inconsistent_revision_parents(self):
 
 
320
        inconsistencies = list(self._find_inconsistent_revision_parents())
 
 
322
            raise errors.BzrCheckError(
 
 
323
                "Revision knit has inconsistent parents.")
 
 
325
    def revision_graph_can_have_wrong_parents(self):
 
 
326
        # The revision.kndx could potentially claim a revision has a different
 
 
327
        # parent to the revision text.
 
 
331
class RepositoryFormatKnit(MetaDirRepositoryFormat):
 
 
332
    """Bzr repository knit format (generalized). 
 
 
334
    This repository format has:
 
 
335
     - knits for file texts and inventory
 
 
336
     - hash subdirectory based stores.
 
 
337
     - knits for revisions and signatures
 
 
338
     - TextStores for revisions and signatures.
 
 
339
     - a format marker of its own
 
 
340
     - an optional 'shared-storage' flag
 
 
341
     - an optional 'no-working-trees' flag
 
 
345
    # Set this attribute in derived classes to control the repository class
 
 
346
    # created by open and initialize.
 
 
347
    repository_class = None
 
 
348
    # Set this attribute in derived classes to control the
 
 
349
    # _commit_builder_class that the repository objects will have passed to
 
 
351
    _commit_builder_class = None
 
 
352
    # Set this attribute in derived clases to control the _serializer that the
 
 
353
    # repository objects will have passed to their constructor.
 
 
354
    _serializer = xml5.serializer_v5
 
 
355
    # Knit based repositories handle ghosts reasonably well.
 
 
356
    supports_ghosts = True
 
 
358
    def _get_control_store(self, repo_transport, control_files):
 
 
359
        """Return the control store for this repository."""
 
 
360
        return VersionedFileStore(
 
 
363
            file_mode=control_files._file_mode,
 
 
364
            versionedfile_class=knit.KnitVersionedFile,
 
 
365
            versionedfile_kwargs={'factory':knit.KnitPlainFactory()},
 
 
368
    def _get_revision_store(self, repo_transport, control_files):
 
 
369
        """See RepositoryFormat._get_revision_store()."""
 
 
370
        versioned_file_store = VersionedFileStore(
 
 
372
            file_mode=control_files._file_mode,
 
 
375
            versionedfile_class=knit.KnitVersionedFile,
 
 
376
            versionedfile_kwargs={'delta':False,
 
 
377
                                  'factory':knit.KnitPlainFactory(),
 
 
381
        return KnitRevisionStore(versioned_file_store)
 
 
383
    def _get_text_store(self, transport, control_files):
 
 
384
        """See RepositoryFormat._get_text_store()."""
 
 
385
        return self._get_versioned_file_store('knits',
 
 
388
                                  versionedfile_class=knit.KnitVersionedFile,
 
 
389
                                  versionedfile_kwargs={
 
 
390
                                      'create_parent_dir':True,
 
 
392
                                      'dir_mode':control_files._dir_mode,
 
 
396
    def initialize(self, a_bzrdir, shared=False):
 
 
397
        """Create a knit format 1 repository.
 
 
399
        :param a_bzrdir: bzrdir to contain the new repository; must already
 
 
401
        :param shared: If true the repository will be initialized as a shared
 
 
404
        mutter('creating repository in %s.', a_bzrdir.transport.base)
 
 
407
        utf8_files = [('format', self.get_format_string())]
 
 
409
        self._upload_blank_content(a_bzrdir, dirs, files, utf8_files, shared)
 
 
410
        repo_transport = a_bzrdir.get_repository_transport(None)
 
 
411
        control_files = lockable_files.LockableFiles(repo_transport,
 
 
412
                                'lock', lockdir.LockDir)
 
 
413
        control_store = self._get_control_store(repo_transport, control_files)
 
 
414
        transaction = transactions.WriteTransaction()
 
 
415
        # trigger a write of the inventory store.
 
 
416
        control_store.get_weave_or_empty('inventory', transaction)
 
 
417
        _revision_store = self._get_revision_store(repo_transport, control_files)
 
 
418
        # the revision id here is irrelevant: it will not be stored, and cannot
 
 
420
        _revision_store.has_revision_id('A', transaction)
 
 
421
        _revision_store.get_signature_file(transaction)
 
 
422
        return self.open(a_bzrdir=a_bzrdir, _found=True)
 
 
424
    def open(self, a_bzrdir, _found=False, _override_transport=None):
 
 
425
        """See RepositoryFormat.open().
 
 
427
        :param _override_transport: INTERNAL USE ONLY. Allows opening the
 
 
428
                                    repository at a slightly different url
 
 
429
                                    than normal. I.e. during 'upgrade'.
 
 
432
            format = RepositoryFormat.find_format(a_bzrdir)
 
 
433
            assert format.__class__ ==  self.__class__
 
 
434
        if _override_transport is not None:
 
 
435
            repo_transport = _override_transport
 
 
437
            repo_transport = a_bzrdir.get_repository_transport(None)
 
 
438
        control_files = lockable_files.LockableFiles(repo_transport,
 
 
439
                                'lock', lockdir.LockDir)
 
 
440
        text_store = self._get_text_store(repo_transport, control_files)
 
 
441
        control_store = self._get_control_store(repo_transport, control_files)
 
 
442
        _revision_store = self._get_revision_store(repo_transport, control_files)
 
 
443
        return self.repository_class(_format=self,
 
 
445
                              control_files=control_files,
 
 
446
                              _revision_store=_revision_store,
 
 
447
                              control_store=control_store,
 
 
448
                              text_store=text_store,
 
 
449
                              _commit_builder_class=self._commit_builder_class,
 
 
450
                              _serializer=self._serializer)
 
 
453
class RepositoryFormatKnit1(RepositoryFormatKnit):
 
 
454
    """Bzr repository knit format 1.
 
 
456
    This repository format has:
 
 
457
     - knits for file texts and inventory
 
 
458
     - hash subdirectory based stores.
 
 
459
     - knits for revisions and signatures
 
 
460
     - TextStores for revisions and signatures.
 
 
461
     - a format marker of its own
 
 
462
     - an optional 'shared-storage' flag
 
 
463
     - an optional 'no-working-trees' flag
 
 
466
    This format was introduced in bzr 0.8.
 
 
469
    repository_class = KnitRepository
 
 
470
    _commit_builder_class = CommitBuilder
 
 
471
    _serializer = xml5.serializer_v5
 
 
473
    def __ne__(self, other):
 
 
474
        return self.__class__ is not other.__class__
 
 
476
    def get_format_string(self):
 
 
477
        """See RepositoryFormat.get_format_string()."""
 
 
478
        return "Bazaar-NG Knit Repository Format 1"
 
 
480
    def get_format_description(self):
 
 
481
        """See RepositoryFormat.get_format_description()."""
 
 
482
        return "Knit repository format 1"
 
 
484
    def check_conversion_target(self, target_format):
 
 
488
class RepositoryFormatKnit3(RepositoryFormatKnit):
 
 
489
    """Bzr repository knit format 3.
 
 
491
    This repository format has:
 
 
492
     - knits for file texts and inventory
 
 
493
     - hash subdirectory based stores.
 
 
494
     - knits for revisions and signatures
 
 
495
     - TextStores for revisions and signatures.
 
 
496
     - a format marker of its own
 
 
497
     - an optional 'shared-storage' flag
 
 
498
     - an optional 'no-working-trees' flag
 
 
500
     - support for recording full info about the tree root
 
 
501
     - support for recording tree-references
 
 
504
    repository_class = KnitRepository
 
 
505
    _commit_builder_class = RootCommitBuilder
 
 
506
    rich_root_data = True
 
 
507
    supports_tree_reference = True
 
 
508
    _serializer = xml7.serializer_v7
 
 
510
    def _get_matching_bzrdir(self):
 
 
511
        return bzrdir.format_registry.make_bzrdir('dirstate-with-subtree')
 
 
513
    def _ignore_setting_bzrdir(self, format):
 
 
516
    _matchingbzrdir = property(_get_matching_bzrdir, _ignore_setting_bzrdir)
 
 
518
    def check_conversion_target(self, target_format):
 
 
519
        if not target_format.rich_root_data:
 
 
520
            raise errors.BadConversionTarget(
 
 
521
                'Does not support rich root data.', target_format)
 
 
522
        if not getattr(target_format, 'supports_tree_reference', False):
 
 
523
            raise errors.BadConversionTarget(
 
 
524
                'Does not support nested trees', target_format)
 
 
526
    def get_format_string(self):
 
 
527
        """See RepositoryFormat.get_format_string()."""
 
 
528
        return "Bazaar Knit Repository Format 3 (bzr 0.15)\n"
 
 
530
    def get_format_description(self):
 
 
531
        """See RepositoryFormat.get_format_description()."""
 
 
532
        return "Knit repository format 3"
 
 
535
class RepositoryFormatKnit4(RepositoryFormatKnit):
 
 
536
    """Bzr repository knit format 4.
 
 
538
    This repository format has everything in format 3, except for
 
 
540
     - knits for file texts and inventory
 
 
541
     - hash subdirectory based stores.
 
 
542
     - knits for revisions and signatures
 
 
543
     - TextStores for revisions and signatures.
 
 
544
     - a format marker of its own
 
 
545
     - an optional 'shared-storage' flag
 
 
546
     - an optional 'no-working-trees' flag
 
 
548
     - support for recording full info about the tree root
 
 
551
    repository_class = KnitRepository
 
 
552
    _commit_builder_class = RootCommitBuilder
 
 
553
    rich_root_data = True
 
 
554
    supports_tree_reference = False
 
 
555
    _serializer = xml6.serializer_v6
 
 
557
    def _get_matching_bzrdir(self):
 
 
558
        return bzrdir.format_registry.make_bzrdir('rich-root')
 
 
560
    def _ignore_setting_bzrdir(self, format):
 
 
563
    _matchingbzrdir = property(_get_matching_bzrdir, _ignore_setting_bzrdir)
 
 
565
    def check_conversion_target(self, target_format):
 
 
566
        if not target_format.rich_root_data:
 
 
567
            raise errors.BadConversionTarget(
 
 
568
                'Does not support rich root data.', target_format)
 
 
570
    def get_format_string(self):
 
 
571
        """See RepositoryFormat.get_format_string()."""
 
 
572
        return 'Bazaar Knit Repository Format 4 (bzr 1.0)\n'
 
 
574
    def get_format_description(self):
 
 
575
        """See RepositoryFormat.get_format_description()."""
 
 
576
        return "Knit repository format 4"
 
 
579
def _get_stream_as_bytes(knit, required_versions):
 
 
580
    """Generate a serialised data stream.
 
 
582
    The format is a bencoding of a list.  The first element of the list is a
 
 
583
    string of the format signature, then each subsequent element is a list
 
 
584
    corresponding to a record.  Those lists contain:
 
 
591
    :returns: a bencoded list.
 
 
593
    knit_stream = knit.get_data_stream(required_versions)
 
 
594
    format_signature, data_list, callable = knit_stream
 
 
596
    data.append(format_signature)
 
 
597
    for version, options, length, parents in data_list:
 
 
598
        data.append([version, options, parents, callable(length)])
 
 
599
    return bencode.bencode(data)