/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/repofmt/weaverepo.py

  • Committer: Andrew Bennetts
  • Date: 2008-04-02 00:14:00 UTC
  • mfrom: (3324 +trunk)
  • mto: This revision was merged to the branch mainline in revision 3756.
  • Revision ID: andrew.bennetts@canonical.com-20080402001400-r1pqse38i03dl97w
Merge from bzr.dev.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2007-2010 Canonical Ltd
 
1
# Copyright (C) 2005, 2006, 2007 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
"""Deprecated weave-based repository formats.
18
18
 
20
20
ghosts.
21
21
"""
22
22
 
23
 
import os
24
 
from cStringIO import StringIO
25
 
import urllib
 
23
from StringIO import StringIO
26
24
 
27
25
from bzrlib.lazy_import import lazy_import
28
26
lazy_import(globals(), """
29
27
from bzrlib import (
30
28
    xml5,
31
 
    graph as _mod_graph,
32
29
    )
33
30
""")
34
31
from bzrlib import (
39
36
    lockdir,
40
37
    osutils,
41
38
    revision as _mod_revision,
42
 
    trace,
43
 
    urlutils,
44
 
    versionedfile,
45
39
    weave,
46
40
    weavefile,
47
41
    )
48
42
from bzrlib.decorators import needs_read_lock, needs_write_lock
49
43
from bzrlib.repository import (
50
44
    CommitBuilder,
51
 
    MetaDirVersionedFileRepository,
 
45
    MetaDirRepository,
52
46
    MetaDirRepositoryFormat,
53
47
    Repository,
54
48
    RepositoryFormat,
55
49
    )
56
50
from bzrlib.store.text import TextStore
57
 
from bzrlib.tuned_gzip import GzipFile, bytes_to_gzip
58
 
from bzrlib.versionedfile import (
59
 
    AbsentContentFactory,
60
 
    FulltextContentFactory,
61
 
    VersionedFiles,
62
 
    )
 
51
from bzrlib.symbol_versioning import deprecated_method, one_four
 
52
from bzrlib.trace import mutter
63
53
 
64
54
 
65
55
class AllInOneRepository(Repository):
69
59
    def _serializer(self):
70
60
        return xml5.serializer_v5
71
61
 
72
 
    def _escape(self, file_or_path):
73
 
        if not isinstance(file_or_path, basestring):
74
 
            file_or_path = '/'.join(file_or_path)
75
 
        if file_or_path == '':
76
 
            return u''
77
 
        return urlutils.escape(osutils.safe_unicode(file_or_path))
78
 
 
79
 
    def __init__(self, _format, a_bzrdir):
 
62
    def __init__(self, _format, a_bzrdir, _revision_store, control_store, text_store):
80
63
        # we reuse one control files instance.
81
 
        dir_mode = a_bzrdir._get_dir_mode()
82
 
        file_mode = a_bzrdir._get_file_mode()
 
64
        dir_mode = a_bzrdir._control_files._dir_mode
 
65
        file_mode = a_bzrdir._control_files._file_mode
83
66
 
84
67
        def get_store(name, compressed=True, prefixed=False):
85
68
            # FIXME: This approach of assuming stores are all entirely compressed
86
 
            # or entirely uncompressed is tidy, but breaks upgrade from
87
 
            # some existing branches where there's a mixture; we probably
 
69
            # or entirely uncompressed is tidy, but breaks upgrade from 
 
70
            # some existing branches where there's a mixture; we probably 
88
71
            # still want the option to look for both.
89
 
            relpath = self._escape(name)
90
 
            store = TextStore(a_bzrdir.transport.clone(relpath),
 
72
            relpath = a_bzrdir._control_files._escape(name)
 
73
            store = TextStore(a_bzrdir._control_files._transport.clone(relpath),
91
74
                              prefixed=prefixed, compressed=compressed,
92
75
                              dir_mode=dir_mode,
93
76
                              file_mode=file_mode)
94
77
            return store
95
78
 
96
79
        # not broken out yet because the controlweaves|inventory_store
97
 
        # and texts bits are still different.
 
80
        # and text_store | weave_store bits are still different.
98
81
        if isinstance(_format, RepositoryFormat4):
99
 
            # cannot remove these - there is still no consistent api
 
82
            # cannot remove these - there is still no consistent api 
100
83
            # which allows access to this old info.
101
84
            self.inventory_store = get_store('inventory-store')
102
 
            self._text_store = get_store('text-store')
103
 
        super(AllInOneRepository, self).__init__(_format, a_bzrdir, a_bzrdir._control_files)
 
85
            text_store = get_store('text-store')
 
86
        super(AllInOneRepository, self).__init__(_format, a_bzrdir, a_bzrdir._control_files, _revision_store, control_store, text_store)
104
87
 
105
88
    @needs_read_lock
106
89
    def _all_possible_ids(self):
107
90
        """Return all the possible revisions that we could find."""
108
91
        if 'evil' in debug.debug_flags:
109
 
            trace.mutter_callsite(
110
 
                3, "_all_possible_ids scales with size of history.")
111
 
        return [key[-1] for key in self.inventories.keys()]
 
92
            mutter_callsite(3, "_all_possible_ids scales with size of history.")
 
93
        return self.get_inventory_weave().versions()
112
94
 
113
95
    @needs_read_lock
114
96
    def _all_revision_ids(self):
115
 
        """Returns a list of all the revision ids in the repository.
 
97
        """Returns a list of all the revision ids in the repository. 
116
98
 
117
 
        These are in as much topological order as the underlying store can
 
99
        These are in as much topological order as the underlying store can 
118
100
        present: for weaves ghosts may lead to a lack of correctness until
119
101
        the reweave updates the parents list.
120
102
        """
121
 
        return [key[-1] for key in self.revisions.keys()]
122
 
 
123
 
    def _activate_new_inventory(self):
124
 
        """Put a replacement inventory.new into use as inventories."""
125
 
        # Copy the content across
126
 
        t = self.bzrdir._control_files._transport
127
 
        t.copy('inventory.new.weave', 'inventory.weave')
128
 
        # delete the temp inventory
129
 
        t.delete('inventory.new.weave')
130
 
        # Check we can parse the new weave properly as a sanity check
131
 
        self.inventories.keys()
132
 
 
133
 
    def _backup_inventory(self):
134
 
        t = self.bzrdir._control_files._transport
135
 
        t.copy('inventory.weave', 'inventory.backup.weave')
136
 
 
137
 
    def _temp_inventories(self):
138
 
        t = self.bzrdir._control_files._transport
139
 
        return self._format._get_inventories(t, self, 'inventory.new')
 
103
        if self._revision_store.text_store.listable():
 
104
            return self._revision_store.all_revision_ids(self.get_transaction())
 
105
        result = self._all_possible_ids()
 
106
        # TODO: jam 20070210 Ensure that _all_possible_ids returns non-unicode
 
107
        #       ids. (It should, since _revision_store's API should change to
 
108
        #       return utf8 revision_ids)
 
109
        return self._eliminate_revisions_not_present(result)
 
110
 
 
111
    def _check_revision_parents(self, revision, inventory):
 
112
        """Private to Repository and Fetch.
 
113
        
 
114
        This checks the parentage of revision in an inventory weave for 
 
115
        consistency and is only applicable to inventory-weave-for-ancestry
 
116
        using repository formats & fetchers.
 
117
        """
 
118
        weave_parents = inventory.get_parent_map(
 
119
            [revision.revision_id])[revision.revision_id]
 
120
        parent_map = inventory.get_parent_map(revision.parent_ids)
 
121
        for parent_id in revision.parent_ids:
 
122
            if parent_id in parent_map:
 
123
                # this parent must not be a ghost.
 
124
                if not parent_id in weave_parents:
 
125
                    # but it is a ghost
 
126
                    raise errors.CorruptRepository(self)
140
127
 
141
128
    def get_commit_builder(self, branch, parents, config, timestamp=None,
142
129
                           timezone=None, committer=None, revprops=None,
143
130
                           revision_id=None):
144
131
        self._check_ascii_revisionid(revision_id, self.get_commit_builder)
145
 
        result = CommitBuilder(self, parents, config, timestamp, timezone,
 
132
        result = WeaveCommitBuilder(self, parents, config, timestamp, timezone,
146
133
                              committer, revprops, revision_id)
147
134
        self.start_write_group()
148
135
        return result
150
137
    @needs_read_lock
151
138
    def get_revisions(self, revision_ids):
152
139
        revs = self._get_revisions(revision_ids)
 
140
        # weave corruption can lead to absent revision markers that should be
 
141
        # present.
 
142
        # the following test is reasonably cheap (it needs a single weave read)
 
143
        # and the weave is cached in read transactions. In write transactions
 
144
        # it is not cached but typically we only read a small number of
 
145
        # revisions. For knits when they are introduced we will probably want
 
146
        # to ensure that caching write transactions are in use.
 
147
        inv = self.get_inventory_weave()
 
148
        for rev in revs:
 
149
            self._check_revision_parents(rev, inv)
153
150
        return revs
154
151
 
155
 
    def _inventory_add_lines(self, revision_id, parents, lines,
156
 
        check_content=True):
157
 
        """Store lines in inv_vf and return the sha1 of the inventory."""
158
 
        present_parents = self.get_graph().get_parent_map(parents)
159
 
        final_parents = []
160
 
        for parent in parents:
161
 
            if parent in present_parents:
162
 
                final_parents.append((parent,))
163
 
        return self.inventories.add_lines((revision_id,), final_parents, lines,
164
 
            check_content=check_content)[0]
165
 
 
 
152
    @deprecated_method(one_four)
 
153
    @needs_read_lock
 
154
    def get_revision_graph(self, revision_id=None):
 
155
        """Return a dictionary containing the revision graph.
 
156
        
 
157
        :param revision_id: The revision_id to get a graph from. If None, then
 
158
        the entire revision graph is returned. This is a deprecated mode of
 
159
        operation and will be removed in the future.
 
160
        :return: a dictionary of revision_id->revision_parents_list.
 
161
        """
 
162
        if 'evil' in debug.debug_flags:
 
163
            mutter_callsite(2,
 
164
                "get_revision_graph scales with size of history.")
 
165
        # special case NULL_REVISION
 
166
        if revision_id == _mod_revision.NULL_REVISION:
 
167
            return {}
 
168
        a_weave = self.get_inventory_weave()
 
169
        all_revisions = self._eliminate_revisions_not_present(
 
170
                                a_weave.versions())
 
171
        entire_graph = a_weave.get_parent_map(all_revisions)
 
172
        if revision_id is None:
 
173
            return entire_graph
 
174
        elif revision_id not in entire_graph:
 
175
            raise errors.NoSuchRevision(self, revision_id)
 
176
        else:
 
177
            # add what can be reached from revision_id
 
178
            result = {}
 
179
            pending = set([revision_id])
 
180
            while len(pending) > 0:
 
181
                node = pending.pop()
 
182
                result[node] = entire_graph[node]
 
183
                for revision_id in result[node]:
 
184
                    if revision_id not in result:
 
185
                        pending.add(revision_id)
 
186
            return result
 
187
 
 
188
    def has_revisions(self, revision_ids):
 
189
        """See Repository.has_revisions()."""
 
190
        result = set()
 
191
        transaction = self.get_transaction()
 
192
        for revision_id in revision_ids:
 
193
            if self._revision_store.has_revision_id(revision_id, transaction):
 
194
                result.add(revision_id)
 
195
        return result
 
196
 
 
197
    @needs_read_lock
166
198
    def is_shared(self):
167
199
        """AllInOne repositories cannot be shared."""
168
200
        return False
177
209
        :param new_value: True to restore the default, False to disable making
178
210
                          working trees.
179
211
        """
180
 
        raise errors.RepositoryUpgradeRequired(self.user_url)
181
 
 
 
212
        raise NotImplementedError(self.set_make_working_trees)
 
213
    
182
214
    def make_working_trees(self):
183
215
        """Returns the policy for making working trees on new branches."""
184
216
        return True
189
221
        return False
190
222
 
191
223
 
192
 
class WeaveMetaDirRepository(MetaDirVersionedFileRepository):
 
224
class WeaveMetaDirRepository(MetaDirRepository):
193
225
    """A subclass of MetaDirRepository to set weave specific policy."""
194
226
 
195
 
    def __init__(self, _format, a_bzrdir, control_files):
196
 
        super(WeaveMetaDirRepository, self).__init__(_format, a_bzrdir, control_files)
197
 
        self._serializer = _format._serializer
 
227
    @property
 
228
    def _serializer(self):
 
229
        return xml5.serializer_v5
198
230
 
199
231
    @needs_read_lock
200
232
    def _all_possible_ids(self):
201
233
        """Return all the possible revisions that we could find."""
202
234
        if 'evil' in debug.debug_flags:
203
 
            trace.mutter_callsite(
204
 
                3, "_all_possible_ids scales with size of history.")
205
 
        return [key[-1] for key in self.inventories.keys()]
 
235
            mutter_callsite(3, "_all_possible_ids scales with size of history.")
 
236
        return self.get_inventory_weave().versions()
206
237
 
207
238
    @needs_read_lock
208
239
    def _all_revision_ids(self):
209
 
        """Returns a list of all the revision ids in the repository.
 
240
        """Returns a list of all the revision ids in the repository. 
210
241
 
211
 
        These are in as much topological order as the underlying store can
 
242
        These are in as much topological order as the underlying store can 
212
243
        present: for weaves ghosts may lead to a lack of correctness until
213
244
        the reweave updates the parents list.
214
245
        """
215
 
        return [key[-1] for key in self.revisions.keys()]
216
 
 
217
 
    def _activate_new_inventory(self):
218
 
        """Put a replacement inventory.new into use as inventories."""
219
 
        # Copy the content across
220
 
        t = self._transport
221
 
        t.copy('inventory.new.weave', 'inventory.weave')
222
 
        # delete the temp inventory
223
 
        t.delete('inventory.new.weave')
224
 
        # Check we can parse the new weave properly as a sanity check
225
 
        self.inventories.keys()
226
 
 
227
 
    def _backup_inventory(self):
228
 
        t = self._transport
229
 
        t.copy('inventory.weave', 'inventory.backup.weave')
230
 
 
231
 
    def _temp_inventories(self):
232
 
        t = self._transport
233
 
        return self._format._get_inventories(t, self, 'inventory.new')
 
246
        if self._revision_store.text_store.listable():
 
247
            return self._revision_store.all_revision_ids(self.get_transaction())
 
248
        result = self._all_possible_ids()
 
249
        # TODO: jam 20070210 Ensure that _all_possible_ids returns non-unicode
 
250
        #       ids. (It should, since _revision_store's API should change to
 
251
        #       return utf8 revision_ids)
 
252
        return self._eliminate_revisions_not_present(result)
 
253
 
 
254
    def _check_revision_parents(self, revision, inventory):
 
255
        """Private to Repository and Fetch.
 
256
        
 
257
        This checks the parentage of revision in an inventory weave for 
 
258
        consistency and is only applicable to inventory-weave-for-ancestry
 
259
        using repository formats & fetchers.
 
260
        """
 
261
        weave_parents = inventory.get_parent_map(
 
262
            [revision.revision_id])[revision.revision_id]
 
263
        parent_map = inventory.get_parent_map(revision.parent_ids)
 
264
        for parent_id in revision.parent_ids:
 
265
            if parent_id in parent_map:
 
266
                # this parent must not be a ghost.
 
267
                if not parent_id in weave_parents:
 
268
                    # but it is a ghost
 
269
                    raise errors.CorruptRepository(self)
234
270
 
235
271
    def get_commit_builder(self, branch, parents, config, timestamp=None,
236
272
                           timezone=None, committer=None, revprops=None,
237
273
                           revision_id=None):
238
274
        self._check_ascii_revisionid(revision_id, self.get_commit_builder)
239
 
        result = CommitBuilder(self, parents, config, timestamp, timezone,
 
275
        result = WeaveCommitBuilder(self, parents, config, timestamp, timezone,
240
276
                              committer, revprops, revision_id)
241
277
        self.start_write_group()
242
278
        return result
244
280
    @needs_read_lock
245
281
    def get_revision(self, revision_id):
246
282
        """Return the Revision object for a named revision"""
 
283
        # TODO: jam 20070210 get_revision_reconcile should do this for us
247
284
        r = self.get_revision_reconcile(revision_id)
 
285
        # weave corruption can lead to absent revision markers that should be
 
286
        # present.
 
287
        # the following test is reasonably cheap (it needs a single weave read)
 
288
        # and the weave is cached in read transactions. In write transactions
 
289
        # it is not cached but typically we only read a small number of
 
290
        # revisions. For knits when they are introduced we will probably want
 
291
        # to ensure that caching write transactions are in use.
 
292
        inv = self.get_inventory_weave()
 
293
        self._check_revision_parents(r, inv)
248
294
        return r
249
295
 
250
 
    def _inventory_add_lines(self, revision_id, parents, lines,
251
 
        check_content=True):
252
 
        """Store lines in inv_vf and return the sha1 of the inventory."""
253
 
        present_parents = self.get_graph().get_parent_map(parents)
254
 
        final_parents = []
255
 
        for parent in parents:
256
 
            if parent in present_parents:
257
 
                final_parents.append((parent,))
258
 
        return self.inventories.add_lines((revision_id,), final_parents, lines,
259
 
            check_content=check_content)[0]
 
296
    @deprecated_method(one_four)
 
297
    @needs_read_lock
 
298
    def get_revision_graph(self, revision_id=None):
 
299
        """Return a dictionary containing the revision graph.
 
300
        
 
301
        :param revision_id: The revision_id to get a graph from. If None, then
 
302
        the entire revision graph is returned. This is a deprecated mode of
 
303
        operation and will be removed in the future.
 
304
        :return: a dictionary of revision_id->revision_parents_list.
 
305
        """
 
306
        if 'evil' in debug.debug_flags:
 
307
            mutter_callsite(3,
 
308
                "get_revision_graph scales with size of history.")
 
309
        # special case NULL_REVISION
 
310
        if revision_id == _mod_revision.NULL_REVISION:
 
311
            return {}
 
312
        a_weave = self.get_inventory_weave()
 
313
        all_revisions = self._eliminate_revisions_not_present(
 
314
                                a_weave.versions())
 
315
        entire_graph = a_weave.get_parent_map(all_revisions)
 
316
        if revision_id is None:
 
317
            return entire_graph
 
318
        elif revision_id not in entire_graph:
 
319
            raise errors.NoSuchRevision(self, revision_id)
 
320
        else:
 
321
            # add what can be reached from revision_id
 
322
            result = {}
 
323
            pending = set([revision_id])
 
324
            while len(pending) > 0:
 
325
                node = pending.pop()
 
326
                result[node] = entire_graph[node]
 
327
                for revision_id in result[node]:
 
328
                    if revision_id not in result:
 
329
                        pending.add(revision_id)
 
330
            return result
 
331
 
 
332
    def has_revisions(self, revision_ids):
 
333
        """See Repository.has_revisions()."""
 
334
        result = set()
 
335
        transaction = self.get_transaction()
 
336
        for revision_id in revision_ids:
 
337
            if self._revision_store.has_revision_id(revision_id, transaction):
 
338
                result.add(revision_id)
 
339
        return result
260
340
 
261
341
    def revision_graph_can_have_wrong_parents(self):
 
342
        # XXX: This is an old format that we don't support full checking on, so
 
343
        # just claim that checking for this inconsistency is not required.
262
344
        return False
263
345
 
264
346
 
269
351
    supports_tree_reference = False
270
352
    supports_ghosts = False
271
353
    supports_external_lookups = False
272
 
    supports_chks = False
273
 
    _fetch_order = 'topological'
274
 
    _fetch_reconcile = True
275
 
    fast_deltas = False
276
354
 
277
355
    def initialize(self, a_bzrdir, shared=False, _internal=False):
278
356
        """Create a weave repository."""
282
360
        if not _internal:
283
361
            # always initialized when the bzrdir is.
284
362
            return self.open(a_bzrdir, _found=True)
285
 
 
 
363
        
286
364
        # Create an empty weave
287
365
        sio = StringIO()
288
366
        weavefile.write_weave_v5(weave.Weave(), sio)
289
367
        empty_weave = sio.getvalue()
290
368
 
291
 
        trace.mutter('creating repository in %s.', a_bzrdir.transport.base)
292
 
 
 
369
        mutter('creating repository in %s.', a_bzrdir.transport.base)
 
370
        dirs = ['revision-store', 'weaves']
 
371
        files = [('inventory.weave', StringIO(empty_weave)),
 
372
                 ]
 
373
        
293
374
        # FIXME: RBC 20060125 don't peek under the covers
294
375
        # NB: no need to escape relative paths that are url safe.
295
376
        control_files = lockable_files.LockableFiles(a_bzrdir.transport,
296
 
            'branch-lock', lockable_files.TransportLock)
 
377
                                'branch-lock', lockable_files.TransportLock)
297
378
        control_files.create_lock()
298
379
        control_files.lock_write()
299
 
        transport = a_bzrdir.transport
 
380
        control_files._transport.mkdir_multi(dirs,
 
381
                mode=control_files._dir_mode)
300
382
        try:
301
 
            transport.mkdir_multi(['revision-store', 'weaves'],
302
 
                mode=a_bzrdir._get_dir_mode())
303
 
            transport.put_bytes_non_atomic('inventory.weave', empty_weave,
304
 
                mode=a_bzrdir._get_file_mode())
 
383
            for file, content in files:
 
384
                control_files.put(file, content)
305
385
        finally:
306
386
            control_files.unlock()
307
 
        repository = self.open(a_bzrdir, _found=True)
308
 
        self._run_post_repo_init_hooks(repository, a_bzrdir, shared)
309
 
        return repository
 
387
        return self.open(a_bzrdir, _found=True)
 
388
 
 
389
    def _get_control_store(self, repo_transport, control_files):
 
390
        """Return the control store for this repository."""
 
391
        return self._get_versioned_file_store('',
 
392
                                              repo_transport,
 
393
                                              control_files,
 
394
                                              prefixed=False)
 
395
 
 
396
    def _get_text_store(self, transport, control_files):
 
397
        """Get a store for file texts for this format."""
 
398
        raise NotImplementedError(self._get_text_store)
310
399
 
311
400
    def open(self, a_bzrdir, _found=False):
312
401
        """See RepositoryFormat.open()."""
316
405
 
317
406
        repo_transport = a_bzrdir.get_repository_transport(None)
318
407
        control_files = a_bzrdir._control_files
319
 
        result = AllInOneRepository(_format=self, a_bzrdir=a_bzrdir)
320
 
        result.revisions = self._get_revisions(repo_transport, result)
321
 
        result.signatures = self._get_signatures(repo_transport, result)
322
 
        result.inventories = self._get_inventories(repo_transport, result)
323
 
        result.texts = self._get_texts(repo_transport, result)
324
 
        result.chk_bytes = None
325
 
        return result
 
408
        text_store = self._get_text_store(repo_transport, control_files)
 
409
        control_store = self._get_control_store(repo_transport, control_files)
 
410
        _revision_store = self._get_revision_store(repo_transport, control_files)
 
411
        return AllInOneRepository(_format=self,
 
412
                                  a_bzrdir=a_bzrdir,
 
413
                                  _revision_store=_revision_store,
 
414
                                  control_store=control_store,
 
415
                                  text_store=text_store)
 
416
 
 
417
    def check_conversion_target(self, target_format):
 
418
        pass
326
419
 
327
420
 
328
421
class RepositoryFormat4(PreSplitOutRepositoryFormat):
339
432
 
340
433
    _matchingbzrdir = bzrdir.BzrDirFormat4()
341
434
 
 
435
    def __init__(self):
 
436
        super(RepositoryFormat4, self).__init__()
 
437
 
342
438
    def get_format_description(self):
343
439
        """See RepositoryFormat.get_format_description()."""
344
440
        return "Repository format 4"
351
447
        """Format 4 is not supported.
352
448
 
353
449
        It is not supported because the model changed from 4 to 5 and the
354
 
        conversion logic is expensive - so doing it on the fly was not
 
450
        conversion logic is expensive - so doing it on the fly was not 
355
451
        feasible.
356
452
        """
357
453
        return False
358
454
 
359
 
    def _get_inventories(self, repo_transport, repo, name='inventory'):
360
 
        # No inventories store written so far.
 
455
    def _get_control_store(self, repo_transport, control_files):
 
456
        """Format 4 repositories have no formal control store at this point.
 
457
        
 
458
        This will cause any control-file-needing apis to fail - this is desired.
 
459
        """
361
460
        return None
362
 
 
363
 
    def _get_revisions(self, repo_transport, repo):
 
461
    
 
462
    def _get_revision_store(self, repo_transport, control_files):
 
463
        """See RepositoryFormat._get_revision_store()."""
364
464
        from bzrlib.xml4 import serializer_v4
365
 
        return RevisionTextStore(repo_transport.clone('revision-store'),
366
 
            serializer_v4, True, versionedfile.PrefixMapper(),
367
 
            repo.is_locked, repo.is_write_locked)
368
 
 
369
 
    def _get_signatures(self, repo_transport, repo):
370
 
        return SignatureTextStore(repo_transport.clone('revision-store'),
371
 
            False, versionedfile.PrefixMapper(),
372
 
            repo.is_locked, repo.is_write_locked)
373
 
 
374
 
    def _get_texts(self, repo_transport, repo):
375
 
        return None
 
465
        return self._get_text_rev_store(repo_transport,
 
466
                                        control_files,
 
467
                                        'revision-store',
 
468
                                        serializer=serializer_v4)
 
469
 
 
470
    def _get_text_store(self, transport, control_files):
 
471
        """See RepositoryFormat._get_text_store()."""
376
472
 
377
473
 
378
474
class RepositoryFormat5(PreSplitOutRepositoryFormat):
386
482
 
387
483
    _versionedfile_class = weave.WeaveFile
388
484
    _matchingbzrdir = bzrdir.BzrDirFormat5()
389
 
    @property
390
 
    def _serializer(self):
391
 
        return xml5.serializer_v5
 
485
 
 
486
    def __init__(self):
 
487
        super(RepositoryFormat5, self).__init__()
392
488
 
393
489
    def get_format_description(self):
394
490
        """See RepositoryFormat.get_format_description()."""
395
491
        return "Weave repository format 5"
396
492
 
397
 
    def network_name(self):
398
 
        """The network name for this format is the control dirs disk label."""
399
 
        return self._matchingbzrdir.get_format_string()
400
 
 
401
 
    def _get_inventories(self, repo_transport, repo, name='inventory'):
402
 
        mapper = versionedfile.ConstantMapper(name)
403
 
        return versionedfile.ThunkedVersionedFiles(repo_transport,
404
 
            weave.WeaveFile, mapper, repo.is_locked)
405
 
 
406
 
    def _get_revisions(self, repo_transport, repo):
407
 
        return RevisionTextStore(repo_transport.clone('revision-store'),
408
 
            xml5.serializer_v5, False, versionedfile.PrefixMapper(),
409
 
            repo.is_locked, repo.is_write_locked)
410
 
 
411
 
    def _get_signatures(self, repo_transport, repo):
412
 
        return SignatureTextStore(repo_transport.clone('revision-store'),
413
 
            False, versionedfile.PrefixMapper(),
414
 
            repo.is_locked, repo.is_write_locked)
415
 
 
416
 
    def _get_texts(self, repo_transport, repo):
417
 
        mapper = versionedfile.PrefixMapper()
418
 
        base_transport = repo_transport.clone('weaves')
419
 
        return versionedfile.ThunkedVersionedFiles(base_transport,
420
 
            weave.WeaveFile, mapper, repo.is_locked)
 
493
    def _get_revision_store(self, repo_transport, control_files):
 
494
        """See RepositoryFormat._get_revision_store()."""
 
495
        """Return the revision store object for this a_bzrdir."""
 
496
        return self._get_text_rev_store(repo_transport,
 
497
                                        control_files,
 
498
                                        'revision-store',
 
499
                                        compressed=False)
 
500
 
 
501
    def _get_text_store(self, transport, control_files):
 
502
        """See RepositoryFormat._get_text_store()."""
 
503
        return self._get_versioned_file_store('weaves', transport, control_files, prefixed=False)
421
504
 
422
505
 
423
506
class RepositoryFormat6(PreSplitOutRepositoryFormat):
431
514
 
432
515
    _versionedfile_class = weave.WeaveFile
433
516
    _matchingbzrdir = bzrdir.BzrDirFormat6()
434
 
    @property
435
 
    def _serializer(self):
436
 
        return xml5.serializer_v5
 
517
 
 
518
    def __init__(self):
 
519
        super(RepositoryFormat6, self).__init__()
437
520
 
438
521
    def get_format_description(self):
439
522
        """See RepositoryFormat.get_format_description()."""
440
523
        return "Weave repository format 6"
441
524
 
442
 
    def network_name(self):
443
 
        """The network name for this format is the control dirs disk label."""
444
 
        return self._matchingbzrdir.get_format_string()
445
 
 
446
 
    def _get_inventories(self, repo_transport, repo, name='inventory'):
447
 
        mapper = versionedfile.ConstantMapper(name)
448
 
        return versionedfile.ThunkedVersionedFiles(repo_transport,
449
 
            weave.WeaveFile, mapper, repo.is_locked)
450
 
 
451
 
    def _get_revisions(self, repo_transport, repo):
452
 
        return RevisionTextStore(repo_transport.clone('revision-store'),
453
 
            xml5.serializer_v5, False, versionedfile.HashPrefixMapper(),
454
 
            repo.is_locked, repo.is_write_locked)
455
 
 
456
 
    def _get_signatures(self, repo_transport, repo):
457
 
        return SignatureTextStore(repo_transport.clone('revision-store'),
458
 
            False, versionedfile.HashPrefixMapper(),
459
 
            repo.is_locked, repo.is_write_locked)
460
 
 
461
 
    def _get_texts(self, repo_transport, repo):
462
 
        mapper = versionedfile.HashPrefixMapper()
463
 
        base_transport = repo_transport.clone('weaves')
464
 
        return versionedfile.ThunkedVersionedFiles(base_transport,
465
 
            weave.WeaveFile, mapper, repo.is_locked)
466
 
 
 
525
    def _get_revision_store(self, repo_transport, control_files):
 
526
        """See RepositoryFormat._get_revision_store()."""
 
527
        return self._get_text_rev_store(repo_transport,
 
528
                                        control_files,
 
529
                                        'revision-store',
 
530
                                        compressed=False,
 
531
                                        prefixed=True)
 
532
 
 
533
    def _get_text_store(self, transport, control_files):
 
534
        """See RepositoryFormat._get_text_store()."""
 
535
        return self._get_versioned_file_store('weaves', transport, control_files)
467
536
 
468
537
class RepositoryFormat7(MetaDirRepositoryFormat):
469
538
    """Bzr repository 7.
479
548
 
480
549
    _versionedfile_class = weave.WeaveFile
481
550
    supports_ghosts = False
482
 
    supports_chks = False
483
551
 
484
 
    _fetch_order = 'topological'
485
 
    _fetch_reconcile = True
486
 
    fast_deltas = False
487
 
    @property
488
 
    def _serializer(self):
489
 
        return xml5.serializer_v5
 
552
    def _get_control_store(self, repo_transport, control_files):
 
553
        """Return the control store for this repository."""
 
554
        return self._get_versioned_file_store('',
 
555
                                              repo_transport,
 
556
                                              control_files,
 
557
                                              prefixed=False)
490
558
 
491
559
    def get_format_string(self):
492
560
        """See RepositoryFormat.get_format_string()."""
496
564
        """See RepositoryFormat.get_format_description()."""
497
565
        return "Weave repository format 7"
498
566
 
499
 
    def _get_inventories(self, repo_transport, repo, name='inventory'):
500
 
        mapper = versionedfile.ConstantMapper(name)
501
 
        return versionedfile.ThunkedVersionedFiles(repo_transport,
502
 
            weave.WeaveFile, mapper, repo.is_locked)
503
 
 
504
 
    def _get_revisions(self, repo_transport, repo):
505
 
        return RevisionTextStore(repo_transport.clone('revision-store'),
506
 
            xml5.serializer_v5, True, versionedfile.HashPrefixMapper(),
507
 
            repo.is_locked, repo.is_write_locked)
508
 
 
509
 
    def _get_signatures(self, repo_transport, repo):
510
 
        return SignatureTextStore(repo_transport.clone('revision-store'),
511
 
            True, versionedfile.HashPrefixMapper(),
512
 
            repo.is_locked, repo.is_write_locked)
513
 
 
514
 
    def _get_texts(self, repo_transport, repo):
515
 
        mapper = versionedfile.HashPrefixMapper()
516
 
        base_transport = repo_transport.clone('weaves')
517
 
        return versionedfile.ThunkedVersionedFiles(base_transport,
518
 
            weave.WeaveFile, mapper, repo.is_locked)
 
567
    def check_conversion_target(self, target_format):
 
568
        pass
 
569
 
 
570
    def _get_revision_store(self, repo_transport, control_files):
 
571
        """See RepositoryFormat._get_revision_store()."""
 
572
        return self._get_text_rev_store(repo_transport,
 
573
                                        control_files,
 
574
                                        'revision-store',
 
575
                                        compressed=False,
 
576
                                        prefixed=True,
 
577
                                        )
 
578
 
 
579
    def _get_text_store(self, transport, control_files):
 
580
        """See RepositoryFormat._get_text_store()."""
 
581
        return self._get_versioned_file_store('weaves',
 
582
                                              transport,
 
583
                                              control_files)
519
584
 
520
585
    def initialize(self, a_bzrdir, shared=False):
521
586
        """Create a weave repository.
528
593
        weavefile.write_weave_v5(weave.Weave(), sio)
529
594
        empty_weave = sio.getvalue()
530
595
 
531
 
        trace.mutter('creating repository in %s.', a_bzrdir.transport.base)
 
596
        mutter('creating repository in %s.', a_bzrdir.transport.base)
532
597
        dirs = ['revision-store', 'weaves']
533
 
        files = [('inventory.weave', StringIO(empty_weave)),
 
598
        files = [('inventory.weave', StringIO(empty_weave)), 
534
599
                 ]
535
600
        utf8_files = [('format', self.get_format_string())]
536
 
 
 
601
 
537
602
        self._upload_blank_content(a_bzrdir, dirs, files, utf8_files, shared)
538
603
        return self.open(a_bzrdir=a_bzrdir, _found=True)
539
604
 
540
605
    def open(self, a_bzrdir, _found=False, _override_transport=None):
541
606
        """See RepositoryFormat.open().
542
 
 
 
607
        
543
608
        :param _override_transport: INTERNAL USE ONLY. Allows opening the
544
609
                                    repository at a slightly different url
545
610
                                    than normal. I.e. during 'upgrade'.
546
611
        """
547
612
        if not _found:
548
613
            format = RepositoryFormat.find_format(a_bzrdir)
 
614
            assert format.__class__ ==  self.__class__
549
615
        if _override_transport is not None:
550
616
            repo_transport = _override_transport
551
617
        else:
552
618
            repo_transport = a_bzrdir.get_repository_transport(None)
553
619
        control_files = lockable_files.LockableFiles(repo_transport,
554
620
                                'lock', lockdir.LockDir)
555
 
        result = WeaveMetaDirRepository(_format=self, a_bzrdir=a_bzrdir,
556
 
            control_files=control_files)
557
 
        result.revisions = self._get_revisions(repo_transport, result)
558
 
        result.signatures = self._get_signatures(repo_transport, result)
559
 
        result.inventories = self._get_inventories(repo_transport, result)
560
 
        result.texts = self._get_texts(repo_transport, result)
561
 
        result.chk_bytes = None
562
 
        result._transport = repo_transport
563
 
        return result
564
 
 
565
 
 
566
 
class TextVersionedFiles(VersionedFiles):
567
 
    """Just-a-bunch-of-files based VersionedFile stores."""
568
 
 
569
 
    def __init__(self, transport, compressed, mapper, is_locked, can_write):
570
 
        self._compressed = compressed
571
 
        self._transport = transport
572
 
        self._mapper = mapper
573
 
        if self._compressed:
574
 
            self._ext = '.gz'
575
 
        else:
576
 
            self._ext = ''
577
 
        self._is_locked = is_locked
578
 
        self._can_write = can_write
579
 
 
580
 
    def add_lines(self, key, parents, lines):
581
 
        """Add a revision to the store."""
582
 
        if not self._is_locked():
583
 
            raise errors.ObjectNotLocked(self)
584
 
        if not self._can_write():
585
 
            raise errors.ReadOnlyError(self)
586
 
        if '/' in key[-1]:
587
 
            raise ValueError('bad idea to put / in %r' % (key,))
588
 
        text = ''.join(lines)
589
 
        if self._compressed:
590
 
            text = bytes_to_gzip(text)
591
 
        path = self._map(key)
592
 
        self._transport.put_bytes_non_atomic(path, text, create_parent_dir=True)
593
 
 
594
 
    def insert_record_stream(self, stream):
595
 
        adapters = {}
596
 
        for record in stream:
597
 
            # Raise an error when a record is missing.
598
 
            if record.storage_kind == 'absent':
599
 
                raise errors.RevisionNotPresent([record.key[0]], self)
600
 
            # adapt to non-tuple interface
601
 
            if record.storage_kind == 'fulltext':
602
 
                self.add_lines(record.key, None,
603
 
                    osutils.split_lines(record.get_bytes_as('fulltext')))
604
 
            else:
605
 
                adapter_key = record.storage_kind, 'fulltext'
606
 
                try:
607
 
                    adapter = adapters[adapter_key]
608
 
                except KeyError:
609
 
                    adapter_factory = adapter_registry.get(adapter_key)
610
 
                    adapter = adapter_factory(self)
611
 
                    adapters[adapter_key] = adapter
612
 
                lines = osutils.split_lines(adapter.get_bytes(
613
 
                    record, record.get_bytes_as(record.storage_kind)))
614
 
                try:
615
 
                    self.add_lines(record.key, None, lines)
616
 
                except RevisionAlreadyPresent:
617
 
                    pass
618
 
 
619
 
    def _load_text(self, key):
620
 
        if not self._is_locked():
621
 
            raise errors.ObjectNotLocked(self)
622
 
        path = self._map(key)
623
 
        try:
624
 
            text = self._transport.get_bytes(path)
625
 
            compressed = self._compressed
626
 
        except errors.NoSuchFile:
627
 
            if self._compressed:
628
 
                # try without the .gz
629
 
                path = path[:-3]
630
 
                try:
631
 
                    text = self._transport.get_bytes(path)
632
 
                    compressed = False
633
 
                except errors.NoSuchFile:
634
 
                    return None
635
 
            else:
636
 
                return None
637
 
        if compressed:
638
 
            text = GzipFile(mode='rb', fileobj=StringIO(text)).read()
639
 
        return text
640
 
 
641
 
    def _map(self, key):
642
 
        return self._mapper.map(key) + self._ext
643
 
 
644
 
 
645
 
class RevisionTextStore(TextVersionedFiles):
646
 
    """Legacy thunk for format 4 repositories."""
647
 
 
648
 
    def __init__(self, transport, serializer, compressed, mapper, is_locked,
649
 
        can_write):
650
 
        """Create a RevisionTextStore at transport with serializer."""
651
 
        TextVersionedFiles.__init__(self, transport, compressed, mapper,
652
 
            is_locked, can_write)
653
 
        self._serializer = serializer
654
 
 
655
 
    def _load_text_parents(self, key):
656
 
        text = self._load_text(key)
657
 
        if text is None:
658
 
            return None, None
659
 
        parents = self._serializer.read_revision_from_string(text).parent_ids
660
 
        return text, tuple((parent,) for parent in parents)
661
 
 
662
 
    def get_parent_map(self, keys):
663
 
        result = {}
664
 
        for key in keys:
665
 
            parents = self._load_text_parents(key)[1]
666
 
            if parents is None:
667
 
                continue
668
 
            result[key] = parents
669
 
        return result
670
 
 
671
 
    def get_known_graph_ancestry(self, keys):
672
 
        """Get a KnownGraph instance with the ancestry of keys."""
673
 
        keys = self.keys()
674
 
        parent_map = self.get_parent_map(keys)
675
 
        kg = _mod_graph.KnownGraph(parent_map)
676
 
        return kg
677
 
 
678
 
    def get_record_stream(self, keys, sort_order, include_delta_closure):
679
 
        for key in keys:
680
 
            text, parents = self._load_text_parents(key)
681
 
            if text is None:
682
 
                yield AbsentContentFactory(key)
683
 
            else:
684
 
                yield FulltextContentFactory(key, parents, None, text)
685
 
 
686
 
    def keys(self):
687
 
        if not self._is_locked():
688
 
            raise errors.ObjectNotLocked(self)
689
 
        relpaths = set()
690
 
        for quoted_relpath in self._transport.iter_files_recursive():
691
 
            relpath = urllib.unquote(quoted_relpath)
692
 
            path, ext = os.path.splitext(relpath)
693
 
            if ext == '.gz':
694
 
                relpath = path
695
 
            if not relpath.endswith('.sig'):
696
 
                relpaths.add(relpath)
697
 
        paths = list(relpaths)
698
 
        return set([self._mapper.unmap(path) for path in paths])
699
 
 
700
 
 
701
 
class SignatureTextStore(TextVersionedFiles):
702
 
    """Legacy thunk for format 4-7 repositories."""
703
 
 
704
 
    def __init__(self, transport, compressed, mapper, is_locked, can_write):
705
 
        TextVersionedFiles.__init__(self, transport, compressed, mapper,
706
 
            is_locked, can_write)
707
 
        self._ext = '.sig' + self._ext
708
 
 
709
 
    def get_parent_map(self, keys):
710
 
        result = {}
711
 
        for key in keys:
712
 
            text = self._load_text(key)
713
 
            if text is None:
714
 
                continue
715
 
            result[key] = None
716
 
        return result
717
 
 
718
 
    def get_record_stream(self, keys, sort_order, include_delta_closure):
719
 
        for key in keys:
720
 
            text = self._load_text(key)
721
 
            if text is None:
722
 
                yield AbsentContentFactory(key)
723
 
            else:
724
 
                yield FulltextContentFactory(key, None, None, text)
725
 
 
726
 
    def keys(self):
727
 
        if not self._is_locked():
728
 
            raise errors.ObjectNotLocked(self)
729
 
        relpaths = set()
730
 
        for quoted_relpath in self._transport.iter_files_recursive():
731
 
            relpath = urllib.unquote(quoted_relpath)
732
 
            path, ext = os.path.splitext(relpath)
733
 
            if ext == '.gz':
734
 
                relpath = path
735
 
            if not relpath.endswith('.sig'):
736
 
                continue
737
 
            relpaths.add(relpath[:-4])
738
 
        paths = list(relpaths)
739
 
        return set([self._mapper.unmap(path) for path in paths])
 
621
        text_store = self._get_text_store(repo_transport, control_files)
 
622
        control_store = self._get_control_store(repo_transport, control_files)
 
623
        _revision_store = self._get_revision_store(repo_transport, control_files)
 
624
        return WeaveMetaDirRepository(_format=self,
 
625
            a_bzrdir=a_bzrdir,
 
626
            control_files=control_files,
 
627
            _revision_store=_revision_store,
 
628
            control_store=control_store,
 
629
            text_store=text_store)
 
630
 
 
631
 
 
632
class WeaveCommitBuilder(CommitBuilder):
 
633
    """A builder for weave based repos that don't support ghosts."""
 
634
 
 
635
    def _add_text_to_weave(self, file_id, new_lines, parents, nostore_sha):
 
636
        versionedfile = self.repository.weave_store.get_weave_or_empty(
 
637
            file_id, self.repository.get_transaction())
 
638
        result = versionedfile.add_lines(
 
639
            self._new_revision_id, parents, new_lines,
 
640
            nostore_sha=nostore_sha)[0:2]
 
641
        versionedfile.clear_cache()
 
642
        return result
 
643
 
740
644
 
741
645
_legacy_formats = [RepositoryFormat4(),
742
646
                   RepositoryFormat5(),