1
# Copyright (C) 2005, 2006, 2007 Canonical Ltd
 
 
3
# This program is free software; you can redistribute it and/or modify
 
 
4
# it under the terms of the GNU General Public License as published by
 
 
5
# the Free Software Foundation; either version 2 of the License, or
 
 
6
# (at your option) any later version.
 
 
8
# This program is distributed in the hope that it will be useful,
 
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
 
11
# GNU General Public License for more details.
 
 
13
# You should have received a copy of the GNU General Public License
 
 
14
# along with this program; if not, write to the Free Software
 
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
 
17
"""Deprecated weave-based repository formats.
 
 
19
Weave based formats scaled linearly with history size and could not represent
 
 
23
from StringIO import StringIO
 
 
32
    revision as _mod_revision,
 
 
37
from bzrlib.decorators import needs_read_lock, needs_write_lock
 
 
38
from bzrlib.repository import (
 
 
40
    MetaDirVersionedFileRepository,
 
 
41
    MetaDirRepositoryFormat,
 
 
45
from bzrlib.store.text import TextStore
 
 
46
from bzrlib.trace import mutter
 
 
49
class AllInOneRepository(Repository):
 
 
50
    """Legacy support - the repository behaviour for all-in-one branches."""
 
 
52
    _serializer = xml5.serializer_v5
 
 
54
    def __init__(self, _format, a_bzrdir, _revision_store, control_store, text_store):
 
 
55
        # we reuse one control files instance.
 
 
56
        dir_mode = a_bzrdir._control_files._dir_mode
 
 
57
        file_mode = a_bzrdir._control_files._file_mode
 
 
59
        def get_store(name, compressed=True, prefixed=False):
 
 
60
            # FIXME: This approach of assuming stores are all entirely compressed
 
 
61
            # or entirely uncompressed is tidy, but breaks upgrade from 
 
 
62
            # some existing branches where there's a mixture; we probably 
 
 
63
            # still want the option to look for both.
 
 
64
            relpath = a_bzrdir._control_files._escape(name)
 
 
65
            store = TextStore(a_bzrdir._control_files._transport.clone(relpath),
 
 
66
                              prefixed=prefixed, compressed=compressed,
 
 
71
        # not broken out yet because the controlweaves|inventory_store
 
 
72
        # and text_store | weave_store bits are still different.
 
 
73
        if isinstance(_format, RepositoryFormat4):
 
 
74
            # cannot remove these - there is still no consistent api 
 
 
75
            # which allows access to this old info.
 
 
76
            self.inventory_store = get_store('inventory-store')
 
 
77
            text_store = get_store('text-store')
 
 
78
        super(AllInOneRepository, self).__init__(_format, a_bzrdir, a_bzrdir._control_files, _revision_store, control_store, text_store)
 
 
79
        if control_store is not None:
 
 
80
            control_store.get_scope = self.get_transaction
 
 
81
        text_store.get_scope = self.get_transaction
 
 
84
    def _all_possible_ids(self):
 
 
85
        """Return all the possible revisions that we could find."""
 
 
86
        if 'evil' in debug.debug_flags:
 
 
87
            mutter_callsite(3, "_all_possible_ids scales with size of history.")
 
 
88
        return self.get_inventory_weave().versions()
 
 
91
    def _all_revision_ids(self):
 
 
92
        """Returns a list of all the revision ids in the repository. 
 
 
94
        These are in as much topological order as the underlying store can 
 
 
95
        present: for weaves ghosts may lead to a lack of correctness until
 
 
96
        the reweave updates the parents list.
 
 
98
        if self._revision_store.text_store.listable():
 
 
99
            return self._revision_store.all_revision_ids(self.get_transaction())
 
 
100
        result = self._all_possible_ids()
 
 
101
        # TODO: jam 20070210 Ensure that _all_possible_ids returns non-unicode
 
 
102
        #       ids. (It should, since _revision_store's API should change to
 
 
103
        #       return utf8 revision_ids)
 
 
104
        return self._eliminate_revisions_not_present(result)
 
 
106
    def _check_revision_parents(self, revision, inventory):
 
 
107
        """Private to Repository and Fetch.
 
 
109
        This checks the parentage of revision in an inventory weave for 
 
 
110
        consistency and is only applicable to inventory-weave-for-ancestry
 
 
111
        using repository formats & fetchers.
 
 
113
        weave_parents = inventory.get_parent_map(
 
 
114
            [revision.revision_id])[revision.revision_id]
 
 
115
        parent_map = inventory.get_parent_map(revision.parent_ids)
 
 
116
        for parent_id in revision.parent_ids:
 
 
117
            if parent_id in parent_map:
 
 
118
                # this parent must not be a ghost.
 
 
119
                if not parent_id in weave_parents:
 
 
121
                    raise errors.CorruptRepository(self)
 
 
123
    def get_commit_builder(self, branch, parents, config, timestamp=None,
 
 
124
                           timezone=None, committer=None, revprops=None,
 
 
126
        self._check_ascii_revisionid(revision_id, self.get_commit_builder)
 
 
127
        result = WeaveCommitBuilder(self, parents, config, timestamp, timezone,
 
 
128
                              committer, revprops, revision_id)
 
 
129
        self.start_write_group()
 
 
133
    def get_revisions(self, revision_ids):
 
 
134
        revs = self._get_revisions(revision_ids)
 
 
135
        # weave corruption can lead to absent revision markers that should be
 
 
137
        # the following test is reasonably cheap (it needs a single weave read)
 
 
138
        # and the weave is cached in read transactions. In write transactions
 
 
139
        # it is not cached but typically we only read a small number of
 
 
140
        # revisions. For knits when they are introduced we will probably want
 
 
141
        # to ensure that caching write transactions are in use.
 
 
142
        inv = self.get_inventory_weave()
 
 
144
            self._check_revision_parents(rev, inv)
 
 
147
    def has_revisions(self, revision_ids):
 
 
148
        """See Repository.has_revisions()."""
 
 
150
        transaction = self.get_transaction()
 
 
151
        for revision_id in revision_ids:
 
 
152
            if self._revision_store.has_revision_id(revision_id, transaction):
 
 
153
                result.add(revision_id)
 
 
158
        """AllInOne repositories cannot be shared."""
 
 
162
    def set_make_working_trees(self, new_value):
 
 
163
        """Set the policy flag for making working trees when creating branches.
 
 
165
        This only applies to branches that use this repository.
 
 
167
        The default is 'True'.
 
 
168
        :param new_value: True to restore the default, False to disable making
 
 
171
        raise errors.RepositoryUpgradeRequired(self.bzrdir.root_transport.base)
 
 
173
    def make_working_trees(self):
 
 
174
        """Returns the policy for making working trees on new branches."""
 
 
177
    def revision_graph_can_have_wrong_parents(self):
 
 
178
        # XXX: This is an old format that we don't support full checking on, so
 
 
179
        # just claim that checking for this inconsistency is not required.
 
 
183
class WeaveMetaDirRepository(MetaDirVersionedFileRepository):
 
 
184
    """A subclass of MetaDirRepository to set weave specific policy."""
 
 
186
    _serializer = xml5.serializer_v5
 
 
189
    def _all_possible_ids(self):
 
 
190
        """Return all the possible revisions that we could find."""
 
 
191
        if 'evil' in debug.debug_flags:
 
 
192
            mutter_callsite(3, "_all_possible_ids scales with size of history.")
 
 
193
        return self.get_inventory_weave().versions()
 
 
196
    def _all_revision_ids(self):
 
 
197
        """Returns a list of all the revision ids in the repository. 
 
 
199
        These are in as much topological order as the underlying store can 
 
 
200
        present: for weaves ghosts may lead to a lack of correctness until
 
 
201
        the reweave updates the parents list.
 
 
203
        if self._revision_store.text_store.listable():
 
 
204
            return self._revision_store.all_revision_ids(self.get_transaction())
 
 
205
        result = self._all_possible_ids()
 
 
206
        # TODO: jam 20070210 Ensure that _all_possible_ids returns non-unicode
 
 
207
        #       ids. (It should, since _revision_store's API should change to
 
 
208
        #       return utf8 revision_ids)
 
 
209
        return self._eliminate_revisions_not_present(result)
 
 
211
    def _check_revision_parents(self, revision, inventory):
 
 
212
        """Private to Repository and Fetch.
 
 
214
        This checks the parentage of revision in an inventory weave for 
 
 
215
        consistency and is only applicable to inventory-weave-for-ancestry
 
 
216
        using repository formats & fetchers.
 
 
218
        weave_parents = inventory.get_parent_map(
 
 
219
            [revision.revision_id])[revision.revision_id]
 
 
220
        parent_map = inventory.get_parent_map(revision.parent_ids)
 
 
221
        for parent_id in revision.parent_ids:
 
 
222
            if parent_id in parent_map:
 
 
223
                # this parent must not be a ghost.
 
 
224
                if not parent_id in weave_parents:
 
 
226
                    raise errors.CorruptRepository(self)
 
 
228
    def get_commit_builder(self, branch, parents, config, timestamp=None,
 
 
229
                           timezone=None, committer=None, revprops=None,
 
 
231
        self._check_ascii_revisionid(revision_id, self.get_commit_builder)
 
 
232
        result = WeaveCommitBuilder(self, parents, config, timestamp, timezone,
 
 
233
                              committer, revprops, revision_id)
 
 
234
        self.start_write_group()
 
 
238
    def get_revision(self, revision_id):
 
 
239
        """Return the Revision object for a named revision"""
 
 
240
        # TODO: jam 20070210 get_revision_reconcile should do this for us
 
 
241
        r = self.get_revision_reconcile(revision_id)
 
 
242
        # weave corruption can lead to absent revision markers that should be
 
 
244
        # the following test is reasonably cheap (it needs a single weave read)
 
 
245
        # and the weave is cached in read transactions. In write transactions
 
 
246
        # it is not cached but typically we only read a small number of
 
 
247
        # revisions. For knits when they are introduced we will probably want
 
 
248
        # to ensure that caching write transactions are in use.
 
 
249
        inv = self.get_inventory_weave()
 
 
250
        self._check_revision_parents(r, inv)
 
 
253
    def has_revisions(self, revision_ids):
 
 
254
        """See Repository.has_revisions()."""
 
 
256
        transaction = self.get_transaction()
 
 
257
        for revision_id in revision_ids:
 
 
258
            if self._revision_store.has_revision_id(revision_id, transaction):
 
 
259
                result.add(revision_id)
 
 
262
    def revision_graph_can_have_wrong_parents(self):
 
 
263
        # XXX: This is an old format that we don't support full checking on, so
 
 
264
        # just claim that checking for this inconsistency is not required.
 
 
268
class PreSplitOutRepositoryFormat(RepositoryFormat):
 
 
269
    """Base class for the pre split out repository formats."""
 
 
271
    rich_root_data = False
 
 
272
    supports_tree_reference = False
 
 
273
    supports_ghosts = False
 
 
274
    supports_external_lookups = False
 
 
276
    def initialize(self, a_bzrdir, shared=False, _internal=False):
 
 
277
        """Create a weave repository."""
 
 
279
            raise errors.IncompatibleFormat(self, a_bzrdir._format)
 
 
282
            # always initialized when the bzrdir is.
 
 
283
            return self.open(a_bzrdir, _found=True)
 
 
285
        # Create an empty weave
 
 
287
        weavefile.write_weave_v5(weave.Weave(), sio)
 
 
288
        empty_weave = sio.getvalue()
 
 
290
        mutter('creating repository in %s.', a_bzrdir.transport.base)
 
 
291
        dirs = ['revision-store', 'weaves']
 
 
292
        files = [('inventory.weave', StringIO(empty_weave)),
 
 
295
        # FIXME: RBC 20060125 don't peek under the covers
 
 
296
        # NB: no need to escape relative paths that are url safe.
 
 
297
        control_files = lockable_files.LockableFiles(a_bzrdir.transport,
 
 
298
                                'branch-lock', lockable_files.TransportLock)
 
 
299
        control_files.create_lock()
 
 
300
        control_files.lock_write()
 
 
301
        control_files._transport.mkdir_multi(dirs,
 
 
302
                mode=control_files._dir_mode)
 
 
304
            for file, content in files:
 
 
305
                control_files.put(file, content)
 
 
307
            control_files.unlock()
 
 
308
        return self.open(a_bzrdir, _found=True)
 
 
310
    def _get_control_store(self, repo_transport, control_files):
 
 
311
        """Return the control store for this repository."""
 
 
312
        return self._get_versioned_file_store('',
 
 
317
    def _get_text_store(self, transport, control_files):
 
 
318
        """Get a store for file texts for this format."""
 
 
319
        raise NotImplementedError(self._get_text_store)
 
 
321
    def open(self, a_bzrdir, _found=False):
 
 
322
        """See RepositoryFormat.open()."""
 
 
324
            # we are being called directly and must probe.
 
 
325
            raise NotImplementedError
 
 
327
        repo_transport = a_bzrdir.get_repository_transport(None)
 
 
328
        control_files = a_bzrdir._control_files
 
 
329
        text_store = self._get_text_store(repo_transport, control_files)
 
 
330
        control_store = self._get_control_store(repo_transport, control_files)
 
 
331
        _revision_store = self._get_revision_store(repo_transport, control_files)
 
 
332
        return AllInOneRepository(_format=self,
 
 
334
                                  _revision_store=_revision_store,
 
 
335
                                  control_store=control_store,
 
 
336
                                  text_store=text_store)
 
 
338
    def check_conversion_target(self, target_format):
 
 
342
class RepositoryFormat4(PreSplitOutRepositoryFormat):
 
 
343
    """Bzr repository format 4.
 
 
345
    This repository format has:
 
 
347
     - TextStores for texts, inventories,revisions.
 
 
349
    This format is deprecated: it indexes texts using a text id which is
 
 
350
    removed in format 5; initialization and write support for this format
 
 
354
    _matchingbzrdir = bzrdir.BzrDirFormat4()
 
 
357
        super(RepositoryFormat4, self).__init__()
 
 
359
    def get_format_description(self):
 
 
360
        """See RepositoryFormat.get_format_description()."""
 
 
361
        return "Repository format 4"
 
 
363
    def initialize(self, url, shared=False, _internal=False):
 
 
364
        """Format 4 branches cannot be created."""
 
 
365
        raise errors.UninitializableFormat(self)
 
 
367
    def is_supported(self):
 
 
368
        """Format 4 is not supported.
 
 
370
        It is not supported because the model changed from 4 to 5 and the
 
 
371
        conversion logic is expensive - so doing it on the fly was not 
 
 
376
    def _get_control_store(self, repo_transport, control_files):
 
 
377
        """Format 4 repositories have no formal control store at this point.
 
 
379
        This will cause any control-file-needing apis to fail - this is desired.
 
 
383
    def _get_revision_store(self, repo_transport, control_files):
 
 
384
        """See RepositoryFormat._get_revision_store()."""
 
 
385
        from bzrlib.xml4 import serializer_v4
 
 
386
        return self._get_text_rev_store(repo_transport,
 
 
389
                                        serializer=serializer_v4)
 
 
391
    def _get_text_store(self, transport, control_files):
 
 
392
        """See RepositoryFormat._get_text_store()."""
 
 
395
class RepositoryFormat5(PreSplitOutRepositoryFormat):
 
 
396
    """Bzr control format 5.
 
 
398
    This repository format has:
 
 
399
     - weaves for file texts and inventory
 
 
401
     - TextStores for revisions and signatures.
 
 
404
    _versionedfile_class = weave.WeaveFile
 
 
405
    _matchingbzrdir = bzrdir.BzrDirFormat5()
 
 
408
        super(RepositoryFormat5, self).__init__()
 
 
410
    def get_format_description(self):
 
 
411
        """See RepositoryFormat.get_format_description()."""
 
 
412
        return "Weave repository format 5"
 
 
414
    def _get_revision_store(self, repo_transport, control_files):
 
 
415
        """See RepositoryFormat._get_revision_store()."""
 
 
416
        """Return the revision store object for this a_bzrdir."""
 
 
417
        return self._get_text_rev_store(repo_transport,
 
 
422
    def _get_text_store(self, transport, control_files):
 
 
423
        """See RepositoryFormat._get_text_store()."""
 
 
424
        return self._get_versioned_file_store('weaves', transport, control_files, prefixed=False)
 
 
427
class RepositoryFormat6(PreSplitOutRepositoryFormat):
 
 
428
    """Bzr control format 6.
 
 
430
    This repository format has:
 
 
431
     - weaves for file texts and inventory
 
 
432
     - hash subdirectory based stores.
 
 
433
     - TextStores for revisions and signatures.
 
 
436
    _versionedfile_class = weave.WeaveFile
 
 
437
    _matchingbzrdir = bzrdir.BzrDirFormat6()
 
 
440
        super(RepositoryFormat6, self).__init__()
 
 
442
    def get_format_description(self):
 
 
443
        """See RepositoryFormat.get_format_description()."""
 
 
444
        return "Weave repository format 6"
 
 
446
    def _get_revision_store(self, repo_transport, control_files):
 
 
447
        """See RepositoryFormat._get_revision_store()."""
 
 
448
        return self._get_text_rev_store(repo_transport,
 
 
454
    def _get_text_store(self, transport, control_files):
 
 
455
        """See RepositoryFormat._get_text_store()."""
 
 
456
        return self._get_versioned_file_store('weaves', transport, control_files)
 
 
458
class RepositoryFormat7(MetaDirRepositoryFormat):
 
 
461
    This repository format has:
 
 
462
     - weaves for file texts and inventory
 
 
463
     - hash subdirectory based stores.
 
 
464
     - TextStores for revisions and signatures.
 
 
465
     - a format marker of its own
 
 
466
     - an optional 'shared-storage' flag
 
 
467
     - an optional 'no-working-trees' flag
 
 
470
    _versionedfile_class = weave.WeaveFile
 
 
471
    supports_ghosts = False
 
 
473
    def _get_control_store(self, repo_transport, control_files):
 
 
474
        """Return the control store for this repository."""
 
 
475
        return self._get_versioned_file_store('',
 
 
480
    def get_format_string(self):
 
 
481
        """See RepositoryFormat.get_format_string()."""
 
 
482
        return "Bazaar-NG Repository format 7"
 
 
484
    def get_format_description(self):
 
 
485
        """See RepositoryFormat.get_format_description()."""
 
 
486
        return "Weave repository format 7"
 
 
488
    def check_conversion_target(self, target_format):
 
 
491
    def _get_revision_store(self, repo_transport, control_files):
 
 
492
        """See RepositoryFormat._get_revision_store()."""
 
 
493
        return self._get_text_rev_store(repo_transport,
 
 
500
    def _get_text_store(self, transport, control_files):
 
 
501
        """See RepositoryFormat._get_text_store()."""
 
 
502
        return self._get_versioned_file_store('weaves',
 
 
506
    def initialize(self, a_bzrdir, shared=False):
 
 
507
        """Create a weave repository.
 
 
509
        :param shared: If true the repository will be initialized as a shared
 
 
512
        # Create an empty weave
 
 
514
        weavefile.write_weave_v5(weave.Weave(), sio)
 
 
515
        empty_weave = sio.getvalue()
 
 
517
        mutter('creating repository in %s.', a_bzrdir.transport.base)
 
 
518
        dirs = ['revision-store', 'weaves']
 
 
519
        files = [('inventory.weave', StringIO(empty_weave)), 
 
 
521
        utf8_files = [('format', self.get_format_string())]
 
 
523
        self._upload_blank_content(a_bzrdir, dirs, files, utf8_files, shared)
 
 
524
        return self.open(a_bzrdir=a_bzrdir, _found=True)
 
 
526
    def open(self, a_bzrdir, _found=False, _override_transport=None):
 
 
527
        """See RepositoryFormat.open().
 
 
529
        :param _override_transport: INTERNAL USE ONLY. Allows opening the
 
 
530
                                    repository at a slightly different url
 
 
531
                                    than normal. I.e. during 'upgrade'.
 
 
534
            format = RepositoryFormat.find_format(a_bzrdir)
 
 
535
        if _override_transport is not None:
 
 
536
            repo_transport = _override_transport
 
 
538
            repo_transport = a_bzrdir.get_repository_transport(None)
 
 
539
        control_files = lockable_files.LockableFiles(repo_transport,
 
 
540
                                'lock', lockdir.LockDir)
 
 
541
        text_store = self._get_text_store(repo_transport, control_files)
 
 
542
        control_store = self._get_control_store(repo_transport, control_files)
 
 
543
        _revision_store = self._get_revision_store(repo_transport, control_files)
 
 
544
        return WeaveMetaDirRepository(_format=self,
 
 
546
            control_files=control_files,
 
 
547
            _revision_store=_revision_store,
 
 
548
            control_store=control_store,
 
 
549
            text_store=text_store)
 
 
552
class WeaveCommitBuilder(CommitBuilder):
 
 
553
    """A builder for weave based repos that don't support ghosts."""
 
 
555
    def _add_text_to_weave(self, file_id, new_lines, parents, nostore_sha):
 
 
556
        versionedfile = self.repository.weave_store.get_weave_or_empty(
 
 
557
            file_id, self.repository.get_transaction())
 
 
558
        result = versionedfile.add_lines(
 
 
559
            self._new_revision_id, parents, new_lines,
 
 
560
            nostore_sha=nostore_sha)[0:2]
 
 
564
_legacy_formats = [RepositoryFormat4(),