/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/repository.py

  • Committer: Robert Collins
  • Date: 2007-09-23 19:12:42 UTC
  • mto: This revision was merged to the branch mainline in revision 2849.
  • Revision ID: robertc@robertcollins.net-20070923191242-zhem9hyu4s3iv0is
Review feedback.

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005, 2006, 2007 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
from cStringIO import StringIO
 
18
 
 
19
from bzrlib.lazy_import import lazy_import
 
20
lazy_import(globals(), """
 
21
import re
 
22
import time
 
23
 
 
24
from bzrlib import (
 
25
    bzrdir,
 
26
    check,
 
27
    debug,
 
28
    deprecated_graph,
 
29
    errors,
 
30
    generate_ids,
 
31
    gpg,
 
32
    graph,
 
33
    lazy_regex,
 
34
    lockable_files,
 
35
    lockdir,
 
36
    osutils,
 
37
    registry,
 
38
    remote,
 
39
    revision as _mod_revision,
 
40
    symbol_versioning,
 
41
    transactions,
 
42
    ui,
 
43
    )
 
44
from bzrlib.bundle import serializer
 
45
from bzrlib.revisiontree import RevisionTree
 
46
from bzrlib.store.versioned import VersionedFileStore
 
47
from bzrlib.store.text import TextStore
 
48
from bzrlib.testament import Testament
 
49
""")
 
50
 
 
51
from bzrlib.decorators import needs_read_lock, needs_write_lock
 
52
from bzrlib.inter import InterObject
 
53
from bzrlib.inventory import Inventory, InventoryDirectory, ROOT_ID
 
54
from bzrlib.symbol_versioning import (
 
55
        deprecated_method,
 
56
        )
 
57
from bzrlib.trace import mutter, mutter_callsite, note, warning
 
58
 
 
59
 
 
60
# Old formats display a warning, but only once
 
61
_deprecation_warning_done = False
 
62
 
 
63
 
 
64
######################################################################
 
65
# Repositories
 
66
 
 
67
class Repository(object):
 
68
    """Repository holding history for one or more branches.
 
69
 
 
70
    The repository holds and retrieves historical information including
 
71
    revisions and file history.  It's normally accessed only by the Branch,
 
72
    which views a particular line of development through that history.
 
73
 
 
74
    The Repository builds on top of Stores and a Transport, which respectively 
 
75
    describe the disk data format and the way of accessing the (possibly 
 
76
    remote) disk.
 
77
    """
 
78
 
 
79
    _file_ids_altered_regex = lazy_regex.lazy_compile(
 
80
        r'file_id="(?P<file_id>[^"]+)"'
 
81
        r'.* revision="(?P<revision_id>[^"]+)"'
 
82
        )
 
83
 
 
84
    def abort_write_group(self):
 
85
        """Commit the contents accrued within the current write group.
 
86
 
 
87
        :seealso: start_write_group.
 
88
        """
 
89
        if self._write_group is not self.get_transaction():
 
90
            # has an unlock or relock occured ?
 
91
            raise errors.BzrError('mismatched lock context and write group.')
 
92
        self._abort_write_group()
 
93
        self._write_group = None
 
94
 
 
95
    def _abort_write_group(self):
 
96
        """Template method for per-repository write group cleanup.
 
97
        
 
98
        This is called during abort before the write group is considered to be 
 
99
        finished and should cleanup any internal state accrued during the write
 
100
        group. There is no requirement that data handed to the repository be
 
101
        *not* made available - this is not a rollback - but neither should any
 
102
        attempt be made to ensure that data added is fully commited. Abort is
 
103
        invoked when an error has occured so futher disk or network operations
 
104
        may not be possible or may error and if possible should not be
 
105
        attempted.
 
106
        """
 
107
 
 
108
    @needs_write_lock
 
109
    def add_inventory(self, revision_id, inv, parents):
 
110
        """Add the inventory inv to the repository as revision_id.
 
111
        
 
112
        :param parents: The revision ids of the parents that revision_id
 
113
                        is known to have and are in the repository already.
 
114
 
 
115
        returns the sha1 of the serialized inventory.
 
116
        """
 
117
        revision_id = osutils.safe_revision_id(revision_id)
 
118
        _mod_revision.check_not_reserved_id(revision_id)
 
119
        assert inv.revision_id is None or inv.revision_id == revision_id, \
 
120
            "Mismatch between inventory revision" \
 
121
            " id and insertion revid (%r, %r)" % (inv.revision_id, revision_id)
 
122
        assert inv.root is not None
 
123
        inv_text = self.serialise_inventory(inv)
 
124
        inv_sha1 = osutils.sha_string(inv_text)
 
125
        inv_vf = self.control_weaves.get_weave('inventory',
 
126
                                               self.get_transaction())
 
127
        self._inventory_add_lines(inv_vf, revision_id, parents,
 
128
            osutils.split_lines(inv_text), check_content=False)
 
129
        return inv_sha1
 
130
 
 
131
    def _inventory_add_lines(self, inv_vf, revision_id, parents, lines,
 
132
        check_content=True):
 
133
        final_parents = []
 
134
        for parent in parents:
 
135
            if parent in inv_vf:
 
136
                final_parents.append(parent)
 
137
        inv_vf.add_lines(revision_id, final_parents, lines,
 
138
            check_content=check_content)
 
139
 
 
140
    @needs_write_lock
 
141
    def add_revision(self, revision_id, rev, inv=None, config=None):
 
142
        """Add rev to the revision store as revision_id.
 
143
 
 
144
        :param revision_id: the revision id to use.
 
145
        :param rev: The revision object.
 
146
        :param inv: The inventory for the revision. if None, it will be looked
 
147
                    up in the inventory storer
 
148
        :param config: If None no digital signature will be created.
 
149
                       If supplied its signature_needed method will be used
 
150
                       to determine if a signature should be made.
 
151
        """
 
152
        revision_id = osutils.safe_revision_id(revision_id)
 
153
        # TODO: jam 20070210 Shouldn't we check rev.revision_id and
 
154
        #       rev.parent_ids?
 
155
        _mod_revision.check_not_reserved_id(revision_id)
 
156
        if config is not None and config.signature_needed():
 
157
            if inv is None:
 
158
                inv = self.get_inventory(revision_id)
 
159
            plaintext = Testament(rev, inv).as_short_text()
 
160
            self.store_revision_signature(
 
161
                gpg.GPGStrategy(config), plaintext, revision_id)
 
162
        if not revision_id in self.get_inventory_weave():
 
163
            if inv is None:
 
164
                raise errors.WeaveRevisionNotPresent(revision_id,
 
165
                                                     self.get_inventory_weave())
 
166
            else:
 
167
                # yes, this is not suitable for adding with ghosts.
 
168
                self.add_inventory(revision_id, inv, rev.parent_ids)
 
169
        self._revision_store.add_revision(rev, self.get_transaction())
 
170
 
 
171
    def _add_revision_text(self, revision_id, text):
 
172
        revision = self._revision_store._serializer.read_revision_from_string(
 
173
            text)
 
174
        self._revision_store._add_revision(revision, StringIO(text),
 
175
                                           self.get_transaction())
 
176
 
 
177
    @needs_read_lock
 
178
    def _all_possible_ids(self):
 
179
        """Return all the possible revisions that we could find."""
 
180
        return self.get_inventory_weave().versions()
 
181
 
 
182
    def all_revision_ids(self):
 
183
        """Returns a list of all the revision ids in the repository. 
 
184
 
 
185
        This is deprecated because code should generally work on the graph
 
186
        reachable from a particular revision, and ignore any other revisions
 
187
        that might be present.  There is no direct replacement method.
 
188
        """
 
189
        return self._all_revision_ids()
 
190
 
 
191
    @needs_read_lock
 
192
    def _all_revision_ids(self):
 
193
        """Returns a list of all the revision ids in the repository. 
 
194
 
 
195
        These are in as much topological order as the underlying store can 
 
196
        present: for weaves ghosts may lead to a lack of correctness until
 
197
        the reweave updates the parents list.
 
198
        """
 
199
        if self._revision_store.text_store.listable():
 
200
            return self._revision_store.all_revision_ids(self.get_transaction())
 
201
        result = self._all_possible_ids()
 
202
        # TODO: jam 20070210 Ensure that _all_possible_ids returns non-unicode
 
203
        #       ids. (It should, since _revision_store's API should change to
 
204
        #       return utf8 revision_ids)
 
205
        return self._eliminate_revisions_not_present(result)
 
206
 
 
207
    def break_lock(self):
 
208
        """Break a lock if one is present from another instance.
 
209
 
 
210
        Uses the ui factory to ask for confirmation if the lock may be from
 
211
        an active process.
 
212
        """
 
213
        self.control_files.break_lock()
 
214
 
 
215
    @needs_read_lock
 
216
    def _eliminate_revisions_not_present(self, revision_ids):
 
217
        """Check every revision id in revision_ids to see if we have it.
 
218
 
 
219
        Returns a set of the present revisions.
 
220
        """
 
221
        result = []
 
222
        for id in revision_ids:
 
223
            if self.has_revision(id):
 
224
               result.append(id)
 
225
        return result
 
226
 
 
227
    @staticmethod
 
228
    def create(a_bzrdir):
 
229
        """Construct the current default format repository in a_bzrdir."""
 
230
        return RepositoryFormat.get_default_format().initialize(a_bzrdir)
 
231
 
 
232
    def __init__(self, _format, a_bzrdir, control_files, _revision_store, control_store, text_store):
 
233
        """instantiate a Repository.
 
234
 
 
235
        :param _format: The format of the repository on disk.
 
236
        :param a_bzrdir: The BzrDir of the repository.
 
237
 
 
238
        In the future we will have a single api for all stores for
 
239
        getting file texts, inventories and revisions, then
 
240
        this construct will accept instances of those things.
 
241
        """
 
242
        super(Repository, self).__init__()
 
243
        self._format = _format
 
244
        # the following are part of the public API for Repository:
 
245
        self.bzrdir = a_bzrdir
 
246
        self.control_files = control_files
 
247
        self._revision_store = _revision_store
 
248
        # backwards compatibility
 
249
        self.weave_store = text_store
 
250
        # for tests
 
251
        self._reconcile_does_inventory_gc = True
 
252
        # not right yet - should be more semantically clear ? 
 
253
        # 
 
254
        self.control_store = control_store
 
255
        self.control_weaves = control_store
 
256
        # TODO: make sure to construct the right store classes, etc, depending
 
257
        # on whether escaping is required.
 
258
        self._warn_if_deprecated()
 
259
        self._write_group = None
 
260
 
 
261
    def __repr__(self):
 
262
        return '%s(%r)' % (self.__class__.__name__, 
 
263
                           self.bzrdir.transport.base)
 
264
 
 
265
    def has_same_location(self, other):
 
266
        """Returns a boolean indicating if this repository is at the same
 
267
        location as another repository.
 
268
 
 
269
        This might return False even when two repository objects are accessing
 
270
        the same physical repository via different URLs.
 
271
        """
 
272
        if self.__class__ is not other.__class__:
 
273
            return False
 
274
        return (self.control_files._transport.base ==
 
275
                other.control_files._transport.base)
 
276
 
 
277
    def is_in_write_group(self):
 
278
        """Return True if there is an open write group.
 
279
 
 
280
        :seealso: start_write_group.
 
281
        """
 
282
        return self._write_group is not None
 
283
 
 
284
    def is_locked(self):
 
285
        return self.control_files.is_locked()
 
286
 
 
287
    def lock_write(self, token=None):
 
288
        """Lock this repository for writing.
 
289
 
 
290
        This causes caching within the repository obejct to start accumlating
 
291
        data during reads, and allows a 'write_group' to be obtained. Write
 
292
        groups must be used for actual data insertion.
 
293
        
 
294
        :param token: if this is already locked, then lock_write will fail
 
295
            unless the token matches the existing lock.
 
296
        :returns: a token if this instance supports tokens, otherwise None.
 
297
        :raises TokenLockingNotSupported: when a token is given but this
 
298
            instance doesn't support using token locks.
 
299
        :raises MismatchedToken: if the specified token doesn't match the token
 
300
            of the existing lock.
 
301
        :seealso: start_write_group.
 
302
 
 
303
        A token should be passed in if you know that you have locked the object
 
304
        some other way, and need to synchronise this object's state with that
 
305
        fact.
 
306
 
 
307
        XXX: this docstring is duplicated in many places, e.g. lockable_files.py
 
308
        """
 
309
        result = self.control_files.lock_write(token=token)
 
310
        self._refresh_data()
 
311
        return result
 
312
 
 
313
    def lock_read(self):
 
314
        self.control_files.lock_read()
 
315
        self._refresh_data()
 
316
 
 
317
    def get_physical_lock_status(self):
 
318
        return self.control_files.get_physical_lock_status()
 
319
 
 
320
    def leave_lock_in_place(self):
 
321
        """Tell this repository not to release the physical lock when this
 
322
        object is unlocked.
 
323
        
 
324
        If lock_write doesn't return a token, then this method is not supported.
 
325
        """
 
326
        self.control_files.leave_in_place()
 
327
 
 
328
    def dont_leave_lock_in_place(self):
 
329
        """Tell this repository to release the physical lock when this
 
330
        object is unlocked, even if it didn't originally acquire it.
 
331
 
 
332
        If lock_write doesn't return a token, then this method is not supported.
 
333
        """
 
334
        self.control_files.dont_leave_in_place()
 
335
 
 
336
    @needs_read_lock
 
337
    def gather_stats(self, revid=None, committers=None):
 
338
        """Gather statistics from a revision id.
 
339
 
 
340
        :param revid: The revision id to gather statistics from, if None, then
 
341
            no revision specific statistics are gathered.
 
342
        :param committers: Optional parameter controlling whether to grab
 
343
            a count of committers from the revision specific statistics.
 
344
        :return: A dictionary of statistics. Currently this contains:
 
345
            committers: The number of committers if requested.
 
346
            firstrev: A tuple with timestamp, timezone for the penultimate left
 
347
                most ancestor of revid, if revid is not the NULL_REVISION.
 
348
            latestrev: A tuple with timestamp, timezone for revid, if revid is
 
349
                not the NULL_REVISION.
 
350
            revisions: The total revision count in the repository.
 
351
            size: An estimate disk size of the repository in bytes.
 
352
        """
 
353
        result = {}
 
354
        if revid and committers:
 
355
            result['committers'] = 0
 
356
        if revid and revid != _mod_revision.NULL_REVISION:
 
357
            if committers:
 
358
                all_committers = set()
 
359
            revisions = self.get_ancestry(revid)
 
360
            # pop the leading None
 
361
            revisions.pop(0)
 
362
            first_revision = None
 
363
            if not committers:
 
364
                # ignore the revisions in the middle - just grab first and last
 
365
                revisions = revisions[0], revisions[-1]
 
366
            for revision in self.get_revisions(revisions):
 
367
                if not first_revision:
 
368
                    first_revision = revision
 
369
                if committers:
 
370
                    all_committers.add(revision.committer)
 
371
            last_revision = revision
 
372
            if committers:
 
373
                result['committers'] = len(all_committers)
 
374
            result['firstrev'] = (first_revision.timestamp,
 
375
                first_revision.timezone)
 
376
            result['latestrev'] = (last_revision.timestamp,
 
377
                last_revision.timezone)
 
378
 
 
379
        # now gather global repository information
 
380
        if self.bzrdir.root_transport.listable():
 
381
            c, t = self._revision_store.total_size(self.get_transaction())
 
382
            result['revisions'] = c
 
383
            result['size'] = t
 
384
        return result
 
385
 
 
386
    @needs_read_lock
 
387
    def missing_revision_ids(self, other, revision_id=None):
 
388
        """Return the revision ids that other has that this does not.
 
389
        
 
390
        These are returned in topological order.
 
391
 
 
392
        revision_id: only return revision ids included by revision_id.
 
393
        """
 
394
        revision_id = osutils.safe_revision_id(revision_id)
 
395
        return InterRepository.get(other, self).missing_revision_ids(revision_id)
 
396
 
 
397
    @staticmethod
 
398
    def open(base):
 
399
        """Open the repository rooted at base.
 
400
 
 
401
        For instance, if the repository is at URL/.bzr/repository,
 
402
        Repository.open(URL) -> a Repository instance.
 
403
        """
 
404
        control = bzrdir.BzrDir.open(base)
 
405
        return control.open_repository()
 
406
 
 
407
    def copy_content_into(self, destination, revision_id=None):
 
408
        """Make a complete copy of the content in self into destination.
 
409
        
 
410
        This is a destructive operation! Do not use it on existing 
 
411
        repositories.
 
412
        """
 
413
        revision_id = osutils.safe_revision_id(revision_id)
 
414
        return InterRepository.get(self, destination).copy_content(revision_id)
 
415
 
 
416
    def commit_write_group(self):
 
417
        """Commit the contents accrued within the current write group.
 
418
 
 
419
        :seealso: start_write_group.
 
420
        """
 
421
        if self._write_group is not self.get_transaction():
 
422
            # has an unlock or relock occured ?
 
423
            raise errors.BzrError('mismatched lock context and write group.')
 
424
        self._commit_write_group()
 
425
        self._write_group = None
 
426
 
 
427
    def _commit_write_group(self):
 
428
        """Template method for per-repository write group cleanup.
 
429
        
 
430
        This is called before the write group is considered to be 
 
431
        finished and should ensure that all data handed to the repository
 
432
        for writing during the write group is safely committed (to the 
 
433
        extent possible considering file system caching etc).
 
434
        """
 
435
 
 
436
    def fetch(self, source, revision_id=None, pb=None):
 
437
        """Fetch the content required to construct revision_id from source.
 
438
 
 
439
        If revision_id is None all content is copied.
 
440
        """
 
441
        revision_id = osutils.safe_revision_id(revision_id)
 
442
        inter = InterRepository.get(source, self)
 
443
        try:
 
444
            return inter.fetch(revision_id=revision_id, pb=pb)
 
445
        except NotImplementedError:
 
446
            raise errors.IncompatibleRepositories(source, self)
 
447
 
 
448
    def create_bundle(self, target, base, fileobj, format=None):
 
449
        return serializer.write_bundle(self, target, base, fileobj, format)
 
450
 
 
451
    def get_commit_builder(self, branch, parents, config, timestamp=None,
 
452
                           timezone=None, committer=None, revprops=None,
 
453
                           revision_id=None):
 
454
        """Obtain a CommitBuilder for this repository.
 
455
        
 
456
        :param branch: Branch to commit to.
 
457
        :param parents: Revision ids of the parents of the new revision.
 
458
        :param config: Configuration to use.
 
459
        :param timestamp: Optional timestamp recorded for commit.
 
460
        :param timezone: Optional timezone for timestamp.
 
461
        :param committer: Optional committer to set for commit.
 
462
        :param revprops: Optional dictionary of revision properties.
 
463
        :param revision_id: Optional revision id.
 
464
        """
 
465
        revision_id = osutils.safe_revision_id(revision_id)
 
466
        result = CommitBuilder(self, parents, config, timestamp, timezone,
 
467
                              committer, revprops, revision_id)
 
468
        self.start_write_group()
 
469
        return result
 
470
 
 
471
    def unlock(self):
 
472
        if (self.control_files._lock_count == 1 and
 
473
            self.control_files._lock_mode == 'w'):
 
474
            if self._write_group is not None:
 
475
                raise errors.BzrError(
 
476
                    'Must end write groups before releasing write locks.')
 
477
        self.control_files.unlock()
 
478
 
 
479
    @needs_read_lock
 
480
    def clone(self, a_bzrdir, revision_id=None):
 
481
        """Clone this repository into a_bzrdir using the current format.
 
482
 
 
483
        Currently no check is made that the format of this repository and
 
484
        the bzrdir format are compatible. FIXME RBC 20060201.
 
485
 
 
486
        :return: The newly created destination repository.
 
487
        """
 
488
        # TODO: deprecate after 0.16; cloning this with all its settings is
 
489
        # probably not very useful -- mbp 20070423
 
490
        dest_repo = self._create_sprouting_repo(a_bzrdir, shared=self.is_shared())
 
491
        self.copy_content_into(dest_repo, revision_id)
 
492
        return dest_repo
 
493
 
 
494
    def start_write_group(self):
 
495
        """Start a write group in the repository.
 
496
 
 
497
        Write groups are used by repositories which do not have a 1:1 mapping
 
498
        between file ids and backend store to manage the insertion of data from
 
499
        both fetch and commit operations.
 
500
 
 
501
        A write lock is required around the start_write_group/commit_write_group
 
502
        for the support of lock-requiring repository formats.
 
503
 
 
504
        One can only insert data into a repository inside a write group.
 
505
 
 
506
        :return: None.
 
507
        """
 
508
        if not self.is_locked() or self.control_files._lock_mode != 'w':
 
509
            raise errors.NotWriteLocked(self)
 
510
        if self._write_group:
 
511
            raise errors.BzrError('already in a write group')
 
512
        self._start_write_group()
 
513
        # so we can detect unlock/relock - the write group is now entered.
 
514
        self._write_group = self.get_transaction()
 
515
 
 
516
    def _start_write_group(self):
 
517
        """Template method for per-repository write group startup.
 
518
        
 
519
        This is called before the write group is considered to be 
 
520
        entered.
 
521
        """
 
522
 
 
523
    @needs_read_lock
 
524
    def sprout(self, to_bzrdir, revision_id=None):
 
525
        """Create a descendent repository for new development.
 
526
 
 
527
        Unlike clone, this does not copy the settings of the repository.
 
528
        """
 
529
        dest_repo = self._create_sprouting_repo(to_bzrdir, shared=False)
 
530
        dest_repo.fetch(self, revision_id=revision_id)
 
531
        return dest_repo
 
532
 
 
533
    def _create_sprouting_repo(self, a_bzrdir, shared):
 
534
        if not isinstance(a_bzrdir._format, self.bzrdir._format.__class__):
 
535
            # use target default format.
 
536
            dest_repo = a_bzrdir.create_repository()
 
537
        else:
 
538
            # Most control formats need the repository to be specifically
 
539
            # created, but on some old all-in-one formats it's not needed
 
540
            try:
 
541
                dest_repo = self._format.initialize(a_bzrdir, shared=shared)
 
542
            except errors.UninitializableFormat:
 
543
                dest_repo = a_bzrdir.open_repository()
 
544
        return dest_repo
 
545
 
 
546
    @needs_read_lock
 
547
    def has_revision(self, revision_id):
 
548
        """True if this repository has a copy of the revision."""
 
549
        if 'evil' in debug.debug_flags:
 
550
            mutter_callsite(2, "has_revision is a LBYL symptom.")
 
551
        revision_id = osutils.safe_revision_id(revision_id)
 
552
        return self._revision_store.has_revision_id(revision_id,
 
553
                                                    self.get_transaction())
 
554
 
 
555
    @needs_read_lock
 
556
    def get_revision_reconcile(self, revision_id):
 
557
        """'reconcile' helper routine that allows access to a revision always.
 
558
        
 
559
        This variant of get_revision does not cross check the weave graph
 
560
        against the revision one as get_revision does: but it should only
 
561
        be used by reconcile, or reconcile-alike commands that are correcting
 
562
        or testing the revision graph.
 
563
        """
 
564
        if not revision_id or not isinstance(revision_id, basestring):
 
565
            raise errors.InvalidRevisionId(revision_id=revision_id,
 
566
                                           branch=self)
 
567
        return self.get_revisions([revision_id])[0]
 
568
 
 
569
    @needs_read_lock
 
570
    def get_revisions(self, revision_ids):
 
571
        revision_ids = [osutils.safe_revision_id(r) for r in revision_ids]
 
572
        revs = self._revision_store.get_revisions(revision_ids,
 
573
                                                  self.get_transaction())
 
574
        for rev in revs:
 
575
            assert not isinstance(rev.revision_id, unicode)
 
576
            for parent_id in rev.parent_ids:
 
577
                assert not isinstance(parent_id, unicode)
 
578
        return revs
 
579
 
 
580
    @needs_read_lock
 
581
    def get_revision_xml(self, revision_id):
 
582
        # TODO: jam 20070210 This shouldn't be necessary since get_revision
 
583
        #       would have already do it.
 
584
        # TODO: jam 20070210 Just use _serializer.write_revision_to_string()
 
585
        revision_id = osutils.safe_revision_id(revision_id)
 
586
        rev = self.get_revision(revision_id)
 
587
        rev_tmp = StringIO()
 
588
        # the current serializer..
 
589
        self._revision_store._serializer.write_revision(rev, rev_tmp)
 
590
        rev_tmp.seek(0)
 
591
        return rev_tmp.getvalue()
 
592
 
 
593
    @needs_read_lock
 
594
    def get_revision(self, revision_id):
 
595
        """Return the Revision object for a named revision"""
 
596
        # TODO: jam 20070210 get_revision_reconcile should do this for us
 
597
        revision_id = osutils.safe_revision_id(revision_id)
 
598
        r = self.get_revision_reconcile(revision_id)
 
599
        # weave corruption can lead to absent revision markers that should be
 
600
        # present.
 
601
        # the following test is reasonably cheap (it needs a single weave read)
 
602
        # and the weave is cached in read transactions. In write transactions
 
603
        # it is not cached but typically we only read a small number of
 
604
        # revisions. For knits when they are introduced we will probably want
 
605
        # to ensure that caching write transactions are in use.
 
606
        inv = self.get_inventory_weave()
 
607
        self._check_revision_parents(r, inv)
 
608
        return r
 
609
 
 
610
    @needs_read_lock
 
611
    def get_deltas_for_revisions(self, revisions):
 
612
        """Produce a generator of revision deltas.
 
613
        
 
614
        Note that the input is a sequence of REVISIONS, not revision_ids.
 
615
        Trees will be held in memory until the generator exits.
 
616
        Each delta is relative to the revision's lefthand predecessor.
 
617
        """
 
618
        required_trees = set()
 
619
        for revision in revisions:
 
620
            required_trees.add(revision.revision_id)
 
621
            required_trees.update(revision.parent_ids[:1])
 
622
        trees = dict((t.get_revision_id(), t) for 
 
623
                     t in self.revision_trees(required_trees))
 
624
        for revision in revisions:
 
625
            if not revision.parent_ids:
 
626
                old_tree = self.revision_tree(None)
 
627
            else:
 
628
                old_tree = trees[revision.parent_ids[0]]
 
629
            yield trees[revision.revision_id].changes_from(old_tree)
 
630
 
 
631
    @needs_read_lock
 
632
    def get_revision_delta(self, revision_id):
 
633
        """Return the delta for one revision.
 
634
 
 
635
        The delta is relative to the left-hand predecessor of the
 
636
        revision.
 
637
        """
 
638
        r = self.get_revision(revision_id)
 
639
        return list(self.get_deltas_for_revisions([r]))[0]
 
640
 
 
641
    def _check_revision_parents(self, revision, inventory):
 
642
        """Private to Repository and Fetch.
 
643
        
 
644
        This checks the parentage of revision in an inventory weave for 
 
645
        consistency and is only applicable to inventory-weave-for-ancestry
 
646
        using repository formats & fetchers.
 
647
        """
 
648
        weave_parents = inventory.get_parents(revision.revision_id)
 
649
        weave_names = inventory.versions()
 
650
        for parent_id in revision.parent_ids:
 
651
            if parent_id in weave_names:
 
652
                # this parent must not be a ghost.
 
653
                if not parent_id in weave_parents:
 
654
                    # but it is a ghost
 
655
                    raise errors.CorruptRepository(self)
 
656
 
 
657
    @needs_write_lock
 
658
    def store_revision_signature(self, gpg_strategy, plaintext, revision_id):
 
659
        revision_id = osutils.safe_revision_id(revision_id)
 
660
        signature = gpg_strategy.sign(plaintext)
 
661
        self._revision_store.add_revision_signature_text(revision_id,
 
662
                                                         signature,
 
663
                                                         self.get_transaction())
 
664
 
 
665
    def fileids_altered_by_revision_ids(self, revision_ids):
 
666
        """Find the file ids and versions affected by revisions.
 
667
 
 
668
        :param revisions: an iterable containing revision ids.
 
669
        :return: a dictionary mapping altered file-ids to an iterable of
 
670
        revision_ids. Each altered file-ids has the exact revision_ids that
 
671
        altered it listed explicitly.
 
672
        """
 
673
        assert self._serializer.support_altered_by_hack, \
 
674
            ("fileids_altered_by_revision_ids only supported for branches " 
 
675
             "which store inventory as unnested xml, not on %r" % self)
 
676
        selected_revision_ids = set(osutils.safe_revision_id(r)
 
677
                                    for r in revision_ids)
 
678
        w = self.get_inventory_weave()
 
679
        result = {}
 
680
 
 
681
        # this code needs to read every new line in every inventory for the
 
682
        # inventories [revision_ids]. Seeing a line twice is ok. Seeing a line
 
683
        # not present in one of those inventories is unnecessary but not 
 
684
        # harmful because we are filtering by the revision id marker in the
 
685
        # inventory lines : we only select file ids altered in one of those  
 
686
        # revisions. We don't need to see all lines in the inventory because
 
687
        # only those added in an inventory in rev X can contain a revision=X
 
688
        # line.
 
689
        unescape_revid_cache = {}
 
690
        unescape_fileid_cache = {}
 
691
 
 
692
        # jam 20061218 In a big fetch, this handles hundreds of thousands
 
693
        # of lines, so it has had a lot of inlining and optimizing done.
 
694
        # Sorry that it is a little bit messy.
 
695
        # Move several functions to be local variables, since this is a long
 
696
        # running loop.
 
697
        search = self._file_ids_altered_regex.search
 
698
        unescape = _unescape_xml
 
699
        setdefault = result.setdefault
 
700
        pb = ui.ui_factory.nested_progress_bar()
 
701
        try:
 
702
            for line in w.iter_lines_added_or_present_in_versions(
 
703
                                        selected_revision_ids, pb=pb):
 
704
                match = search(line)
 
705
                if match is None:
 
706
                    continue
 
707
                # One call to match.group() returning multiple items is quite a
 
708
                # bit faster than 2 calls to match.group() each returning 1
 
709
                file_id, revision_id = match.group('file_id', 'revision_id')
 
710
 
 
711
                # Inlining the cache lookups helps a lot when you make 170,000
 
712
                # lines and 350k ids, versus 8.4 unique ids.
 
713
                # Using a cache helps in 2 ways:
 
714
                #   1) Avoids unnecessary decoding calls
 
715
                #   2) Re-uses cached strings, which helps in future set and
 
716
                #      equality checks.
 
717
                # (2) is enough that removing encoding entirely along with
 
718
                # the cache (so we are using plain strings) results in no
 
719
                # performance improvement.
 
720
                try:
 
721
                    revision_id = unescape_revid_cache[revision_id]
 
722
                except KeyError:
 
723
                    unescaped = unescape(revision_id)
 
724
                    unescape_revid_cache[revision_id] = unescaped
 
725
                    revision_id = unescaped
 
726
 
 
727
                if revision_id in selected_revision_ids:
 
728
                    try:
 
729
                        file_id = unescape_fileid_cache[file_id]
 
730
                    except KeyError:
 
731
                        unescaped = unescape(file_id)
 
732
                        unescape_fileid_cache[file_id] = unescaped
 
733
                        file_id = unescaped
 
734
                    setdefault(file_id, set()).add(revision_id)
 
735
        finally:
 
736
            pb.finished()
 
737
        return result
 
738
 
 
739
    def iter_files_bytes(self, desired_files):
 
740
        """Iterate through file versions.
 
741
 
 
742
        Files will not necessarily be returned in the order they occur in
 
743
        desired_files.  No specific order is guaranteed.
 
744
 
 
745
        Yields pairs of identifier, bytes_iterator.  identifier is an opaque
 
746
        value supplied by the caller as part of desired_files.  It should
 
747
        uniquely identify the file version in the caller's context.  (Examples:
 
748
        an index number or a TreeTransform trans_id.)
 
749
 
 
750
        bytes_iterator is an iterable of bytestrings for the file.  The
 
751
        kind of iterable and length of the bytestrings are unspecified, but for
 
752
        this implementation, it is a list of lines produced by
 
753
        VersionedFile.get_lines().
 
754
 
 
755
        :param desired_files: a list of (file_id, revision_id, identifier)
 
756
            triples
 
757
        """
 
758
        transaction = self.get_transaction()
 
759
        for file_id, revision_id, callable_data in desired_files:
 
760
            try:
 
761
                weave = self.weave_store.get_weave(file_id, transaction)
 
762
            except errors.NoSuchFile:
 
763
                raise errors.NoSuchIdInRepository(self, file_id)
 
764
            yield callable_data, weave.get_lines(revision_id)
 
765
 
 
766
    def item_keys_introduced_by(self, revision_ids, _files_pb=None):
 
767
        """Get an iterable listing the keys of all the data introduced by a set
 
768
        of revision IDs.
 
769
 
 
770
        The keys will be ordered so that the corresponding items can be safely
 
771
        fetched and inserted in that order.
 
772
 
 
773
        :returns: An iterable producing tuples of (knit-kind, file-id,
 
774
            versions).  knit-kind is one of 'file', 'inventory', 'signatures',
 
775
            'revisions'.  file-id is None unless knit-kind is 'file'.
 
776
        """
 
777
        # XXX: it's a bit weird to control the inventory weave caching in this
 
778
        # generator.  Ideally the caching would be done in fetch.py I think.  Or
 
779
        # maybe this generator should explicitly have the contract that it
 
780
        # should not be iterated until the previously yielded item has been
 
781
        # processed?
 
782
        inv_w = self.get_inventory_weave()
 
783
        inv_w.enable_cache()
 
784
 
 
785
        # file ids that changed
 
786
        file_ids = self.fileids_altered_by_revision_ids(revision_ids)
 
787
        count = 0
 
788
        num_file_ids = len(file_ids)
 
789
        for file_id, altered_versions in file_ids.iteritems():
 
790
            if _files_pb is not None:
 
791
                _files_pb.update("fetch texts", count, num_file_ids)
 
792
            count += 1
 
793
            yield ("file", file_id, altered_versions)
 
794
        # We're done with the files_pb.  Note that it finished by the caller,
 
795
        # just as it was created by the caller.
 
796
        del _files_pb
 
797
 
 
798
        # inventory
 
799
        yield ("inventory", None, revision_ids)
 
800
        inv_w.clear_cache()
 
801
 
 
802
        # signatures
 
803
        revisions_with_signatures = set()
 
804
        for rev_id in revision_ids:
 
805
            try:
 
806
                self.get_signature_text(rev_id)
 
807
            except errors.NoSuchRevision:
 
808
                # not signed.
 
809
                pass
 
810
            else:
 
811
                revisions_with_signatures.add(rev_id)
 
812
        yield ("signatures", None, revisions_with_signatures)
 
813
 
 
814
        # revisions
 
815
        yield ("revisions", None, revision_ids)
 
816
 
 
817
    @needs_read_lock
 
818
    def get_inventory_weave(self):
 
819
        return self.control_weaves.get_weave('inventory',
 
820
            self.get_transaction())
 
821
 
 
822
    @needs_read_lock
 
823
    def get_inventory(self, revision_id):
 
824
        """Get Inventory object by hash."""
 
825
        # TODO: jam 20070210 Technically we don't need to sanitize, since all
 
826
        #       called functions must sanitize.
 
827
        revision_id = osutils.safe_revision_id(revision_id)
 
828
        return self.deserialise_inventory(
 
829
            revision_id, self.get_inventory_xml(revision_id))
 
830
 
 
831
    def deserialise_inventory(self, revision_id, xml):
 
832
        """Transform the xml into an inventory object. 
 
833
 
 
834
        :param revision_id: The expected revision id of the inventory.
 
835
        :param xml: A serialised inventory.
 
836
        """
 
837
        revision_id = osutils.safe_revision_id(revision_id)
 
838
        result = self._serializer.read_inventory_from_string(xml)
 
839
        result.root.revision = revision_id
 
840
        return result
 
841
 
 
842
    def serialise_inventory(self, inv):
 
843
        return self._serializer.write_inventory_to_string(inv)
 
844
 
 
845
    def get_serializer_format(self):
 
846
        return self._serializer.format_num
 
847
 
 
848
    @needs_read_lock
 
849
    def get_inventory_xml(self, revision_id):
 
850
        """Get inventory XML as a file object."""
 
851
        revision_id = osutils.safe_revision_id(revision_id)
 
852
        try:
 
853
            assert isinstance(revision_id, str), type(revision_id)
 
854
            iw = self.get_inventory_weave()
 
855
            return iw.get_text(revision_id)
 
856
        except IndexError:
 
857
            raise errors.HistoryMissing(self, 'inventory', revision_id)
 
858
 
 
859
    @needs_read_lock
 
860
    def get_inventory_sha1(self, revision_id):
 
861
        """Return the sha1 hash of the inventory entry
 
862
        """
 
863
        # TODO: jam 20070210 Shouldn't this be deprecated / removed?
 
864
        revision_id = osutils.safe_revision_id(revision_id)
 
865
        return self.get_revision(revision_id).inventory_sha1
 
866
 
 
867
    @needs_read_lock
 
868
    def get_revision_graph(self, revision_id=None):
 
869
        """Return a dictionary containing the revision graph.
 
870
        
 
871
        :param revision_id: The revision_id to get a graph from. If None, then
 
872
        the entire revision graph is returned. This is a deprecated mode of
 
873
        operation and will be removed in the future.
 
874
        :return: a dictionary of revision_id->revision_parents_list.
 
875
        """
 
876
        if 'evil' in debug.debug_flags:
 
877
            mutter_callsite(2,
 
878
                "get_revision_graph scales with size of history.")
 
879
        # special case NULL_REVISION
 
880
        if revision_id == _mod_revision.NULL_REVISION:
 
881
            return {}
 
882
        revision_id = osutils.safe_revision_id(revision_id)
 
883
        a_weave = self.get_inventory_weave()
 
884
        all_revisions = self._eliminate_revisions_not_present(
 
885
                                a_weave.versions())
 
886
        entire_graph = dict([(node, tuple(a_weave.get_parents(node))) for 
 
887
                             node in all_revisions])
 
888
        if revision_id is None:
 
889
            return entire_graph
 
890
        elif revision_id not in entire_graph:
 
891
            raise errors.NoSuchRevision(self, revision_id)
 
892
        else:
 
893
            # add what can be reached from revision_id
 
894
            result = {}
 
895
            pending = set([revision_id])
 
896
            while len(pending) > 0:
 
897
                node = pending.pop()
 
898
                result[node] = entire_graph[node]
 
899
                for revision_id in result[node]:
 
900
                    if revision_id not in result:
 
901
                        pending.add(revision_id)
 
902
            return result
 
903
 
 
904
    @needs_read_lock
 
905
    def get_revision_graph_with_ghosts(self, revision_ids=None):
 
906
        """Return a graph of the revisions with ghosts marked as applicable.
 
907
 
 
908
        :param revision_ids: an iterable of revisions to graph or None for all.
 
909
        :return: a Graph object with the graph reachable from revision_ids.
 
910
        """
 
911
        if 'evil' in debug.debug_flags:
 
912
            mutter_callsite(2,
 
913
                "get_revision_graph_with_ghosts scales with size of history.")
 
914
        result = deprecated_graph.Graph()
 
915
        if not revision_ids:
 
916
            pending = set(self.all_revision_ids())
 
917
            required = set([])
 
918
        else:
 
919
            pending = set(osutils.safe_revision_id(r) for r in revision_ids)
 
920
            # special case NULL_REVISION
 
921
            if _mod_revision.NULL_REVISION in pending:
 
922
                pending.remove(_mod_revision.NULL_REVISION)
 
923
            required = set(pending)
 
924
        done = set([])
 
925
        while len(pending):
 
926
            revision_id = pending.pop()
 
927
            try:
 
928
                rev = self.get_revision(revision_id)
 
929
            except errors.NoSuchRevision:
 
930
                if revision_id in required:
 
931
                    raise
 
932
                # a ghost
 
933
                result.add_ghost(revision_id)
 
934
                continue
 
935
            for parent_id in rev.parent_ids:
 
936
                # is this queued or done ?
 
937
                if (parent_id not in pending and
 
938
                    parent_id not in done):
 
939
                    # no, queue it.
 
940
                    pending.add(parent_id)
 
941
            result.add_node(revision_id, rev.parent_ids)
 
942
            done.add(revision_id)
 
943
        return result
 
944
 
 
945
    def _get_history_vf(self):
 
946
        """Get a versionedfile whose history graph reflects all revisions.
 
947
 
 
948
        For weave repositories, this is the inventory weave.
 
949
        """
 
950
        return self.get_inventory_weave()
 
951
 
 
952
    def iter_reverse_revision_history(self, revision_id):
 
953
        """Iterate backwards through revision ids in the lefthand history
 
954
 
 
955
        :param revision_id: The revision id to start with.  All its lefthand
 
956
            ancestors will be traversed.
 
957
        """
 
958
        revision_id = osutils.safe_revision_id(revision_id)
 
959
        if revision_id in (None, _mod_revision.NULL_REVISION):
 
960
            return
 
961
        next_id = revision_id
 
962
        versionedfile = self._get_history_vf()
 
963
        while True:
 
964
            yield next_id
 
965
            parents = versionedfile.get_parents(next_id)
 
966
            if len(parents) == 0:
 
967
                return
 
968
            else:
 
969
                next_id = parents[0]
 
970
 
 
971
    @needs_read_lock
 
972
    def get_revision_inventory(self, revision_id):
 
973
        """Return inventory of a past revision."""
 
974
        # TODO: Unify this with get_inventory()
 
975
        # bzr 0.0.6 and later imposes the constraint that the inventory_id
 
976
        # must be the same as its revision, so this is trivial.
 
977
        if revision_id is None:
 
978
            # This does not make sense: if there is no revision,
 
979
            # then it is the current tree inventory surely ?!
 
980
            # and thus get_root_id() is something that looks at the last
 
981
            # commit on the branch, and the get_root_id is an inventory check.
 
982
            raise NotImplementedError
 
983
            # return Inventory(self.get_root_id())
 
984
        else:
 
985
            return self.get_inventory(revision_id)
 
986
 
 
987
    @needs_read_lock
 
988
    def is_shared(self):
 
989
        """Return True if this repository is flagged as a shared repository."""
 
990
        raise NotImplementedError(self.is_shared)
 
991
 
 
992
    @needs_write_lock
 
993
    def reconcile(self, other=None, thorough=False):
 
994
        """Reconcile this repository."""
 
995
        from bzrlib.reconcile import RepoReconciler
 
996
        reconciler = RepoReconciler(self, thorough=thorough)
 
997
        reconciler.reconcile()
 
998
        return reconciler
 
999
 
 
1000
    def _refresh_data(self):
 
1001
        """Helper called from lock_* to ensure coherency with disk.
 
1002
 
 
1003
        The default implementation does nothing; it is however possible
 
1004
        for repositories to maintain loaded indices across multiple locks
 
1005
        by checking inside their implementation of this method to see
 
1006
        whether their indices are still valid. This depends of course on
 
1007
        the disk format being validatable in this manner.
 
1008
        """
 
1009
 
 
1010
    @needs_read_lock
 
1011
    def revision_tree(self, revision_id):
 
1012
        """Return Tree for a revision on this branch.
 
1013
 
 
1014
        `revision_id` may be None for the empty tree revision.
 
1015
        """
 
1016
        # TODO: refactor this to use an existing revision object
 
1017
        # so we don't need to read it in twice.
 
1018
        if revision_id is None or revision_id == _mod_revision.NULL_REVISION:
 
1019
            return RevisionTree(self, Inventory(root_id=None), 
 
1020
                                _mod_revision.NULL_REVISION)
 
1021
        else:
 
1022
            revision_id = osutils.safe_revision_id(revision_id)
 
1023
            inv = self.get_revision_inventory(revision_id)
 
1024
            return RevisionTree(self, inv, revision_id)
 
1025
 
 
1026
    @needs_read_lock
 
1027
    def revision_trees(self, revision_ids):
 
1028
        """Return Tree for a revision on this branch.
 
1029
 
 
1030
        `revision_id` may not be None or 'null:'"""
 
1031
        assert None not in revision_ids
 
1032
        assert _mod_revision.NULL_REVISION not in revision_ids
 
1033
        texts = self.get_inventory_weave().get_texts(revision_ids)
 
1034
        for text, revision_id in zip(texts, revision_ids):
 
1035
            inv = self.deserialise_inventory(revision_id, text)
 
1036
            yield RevisionTree(self, inv, revision_id)
 
1037
 
 
1038
    @needs_read_lock
 
1039
    def get_ancestry(self, revision_id, topo_sorted=True):
 
1040
        """Return a list of revision-ids integrated by a revision.
 
1041
 
 
1042
        The first element of the list is always None, indicating the origin 
 
1043
        revision.  This might change when we have history horizons, or 
 
1044
        perhaps we should have a new API.
 
1045
        
 
1046
        This is topologically sorted.
 
1047
        """
 
1048
        if _mod_revision.is_null(revision_id):
 
1049
            return [None]
 
1050
        revision_id = osutils.safe_revision_id(revision_id)
 
1051
        if not self.has_revision(revision_id):
 
1052
            raise errors.NoSuchRevision(self, revision_id)
 
1053
        w = self.get_inventory_weave()
 
1054
        candidates = w.get_ancestry(revision_id, topo_sorted)
 
1055
        return [None] + candidates # self._eliminate_revisions_not_present(candidates)
 
1056
 
 
1057
    def pack(self):
 
1058
        """Compress the data within the repository.
 
1059
 
 
1060
        This operation only makes sense for some repository types. For other
 
1061
        types it should be a no-op that just returns.
 
1062
 
 
1063
        This stub method does not require a lock, but subclasses should use
 
1064
        @needs_write_lock as this is a long running call its reasonable to 
 
1065
        implicitly lock for the user.
 
1066
        """
 
1067
 
 
1068
    @needs_read_lock
 
1069
    def print_file(self, file, revision_id):
 
1070
        """Print `file` to stdout.
 
1071
        
 
1072
        FIXME RBC 20060125 as John Meinel points out this is a bad api
 
1073
        - it writes to stdout, it assumes that that is valid etc. Fix
 
1074
        by creating a new more flexible convenience function.
 
1075
        """
 
1076
        revision_id = osutils.safe_revision_id(revision_id)
 
1077
        tree = self.revision_tree(revision_id)
 
1078
        # use inventory as it was in that revision
 
1079
        file_id = tree.inventory.path2id(file)
 
1080
        if not file_id:
 
1081
            # TODO: jam 20060427 Write a test for this code path
 
1082
            #       it had a bug in it, and was raising the wrong
 
1083
            #       exception.
 
1084
            raise errors.BzrError("%r is not present in revision %s" % (file, revision_id))
 
1085
        tree.print_file(file_id)
 
1086
 
 
1087
    def get_transaction(self):
 
1088
        return self.control_files.get_transaction()
 
1089
 
 
1090
    def revision_parents(self, revision_id):
 
1091
        revision_id = osutils.safe_revision_id(revision_id)
 
1092
        return self.get_inventory_weave().parent_names(revision_id)
 
1093
 
 
1094
    def get_parents(self, revision_ids):
 
1095
        """See StackedParentsProvider.get_parents"""
 
1096
        parents_list = []
 
1097
        for revision_id in revision_ids:
 
1098
            if revision_id == _mod_revision.NULL_REVISION:
 
1099
                parents = []
 
1100
            else:
 
1101
                try:
 
1102
                    parents = self.get_revision(revision_id).parent_ids
 
1103
                except errors.NoSuchRevision:
 
1104
                    parents = None
 
1105
                else:
 
1106
                    if len(parents) == 0:
 
1107
                        parents = [_mod_revision.NULL_REVISION]
 
1108
            parents_list.append(parents)
 
1109
        return parents_list
 
1110
 
 
1111
    def _make_parents_provider(self):
 
1112
        return self
 
1113
 
 
1114
    def get_graph(self, other_repository=None):
 
1115
        """Return the graph walker for this repository format"""
 
1116
        parents_provider = self._make_parents_provider()
 
1117
        if (other_repository is not None and
 
1118
            other_repository.bzrdir.transport.base !=
 
1119
            self.bzrdir.transport.base):
 
1120
            parents_provider = graph._StackedParentsProvider(
 
1121
                [parents_provider, other_repository._make_parents_provider()])
 
1122
        return graph.Graph(parents_provider)
 
1123
 
 
1124
    @needs_write_lock
 
1125
    def set_make_working_trees(self, new_value):
 
1126
        """Set the policy flag for making working trees when creating branches.
 
1127
 
 
1128
        This only applies to branches that use this repository.
 
1129
 
 
1130
        The default is 'True'.
 
1131
        :param new_value: True to restore the default, False to disable making
 
1132
                          working trees.
 
1133
        """
 
1134
        raise NotImplementedError(self.set_make_working_trees)
 
1135
    
 
1136
    def make_working_trees(self):
 
1137
        """Returns the policy for making working trees on new branches."""
 
1138
        raise NotImplementedError(self.make_working_trees)
 
1139
 
 
1140
    @needs_write_lock
 
1141
    def sign_revision(self, revision_id, gpg_strategy):
 
1142
        revision_id = osutils.safe_revision_id(revision_id)
 
1143
        plaintext = Testament.from_revision(self, revision_id).as_short_text()
 
1144
        self.store_revision_signature(gpg_strategy, plaintext, revision_id)
 
1145
 
 
1146
    @needs_read_lock
 
1147
    def has_signature_for_revision_id(self, revision_id):
 
1148
        """Query for a revision signature for revision_id in the repository."""
 
1149
        revision_id = osutils.safe_revision_id(revision_id)
 
1150
        return self._revision_store.has_signature(revision_id,
 
1151
                                                  self.get_transaction())
 
1152
 
 
1153
    @needs_read_lock
 
1154
    def get_signature_text(self, revision_id):
 
1155
        """Return the text for a signature."""
 
1156
        revision_id = osutils.safe_revision_id(revision_id)
 
1157
        return self._revision_store.get_signature_text(revision_id,
 
1158
                                                       self.get_transaction())
 
1159
 
 
1160
    @needs_read_lock
 
1161
    def check(self, revision_ids):
 
1162
        """Check consistency of all history of given revision_ids.
 
1163
 
 
1164
        Different repository implementations should override _check().
 
1165
 
 
1166
        :param revision_ids: A non-empty list of revision_ids whose ancestry
 
1167
             will be checked.  Typically the last revision_id of a branch.
 
1168
        """
 
1169
        if not revision_ids:
 
1170
            raise ValueError("revision_ids must be non-empty in %s.check" 
 
1171
                    % (self,))
 
1172
        revision_ids = [osutils.safe_revision_id(r) for r in revision_ids]
 
1173
        return self._check(revision_ids)
 
1174
 
 
1175
    def _check(self, revision_ids):
 
1176
        result = check.Check(self)
 
1177
        result.check()
 
1178
        return result
 
1179
 
 
1180
    def _warn_if_deprecated(self):
 
1181
        global _deprecation_warning_done
 
1182
        if _deprecation_warning_done:
 
1183
            return
 
1184
        _deprecation_warning_done = True
 
1185
        warning("Format %s for %s is deprecated - please use 'bzr upgrade' to get better performance"
 
1186
                % (self._format, self.bzrdir.transport.base))
 
1187
 
 
1188
    def supports_rich_root(self):
 
1189
        return self._format.rich_root_data
 
1190
 
 
1191
    def _check_ascii_revisionid(self, revision_id, method):
 
1192
        """Private helper for ascii-only repositories."""
 
1193
        # weave repositories refuse to store revisionids that are non-ascii.
 
1194
        if revision_id is not None:
 
1195
            # weaves require ascii revision ids.
 
1196
            if isinstance(revision_id, unicode):
 
1197
                try:
 
1198
                    revision_id.encode('ascii')
 
1199
                except UnicodeEncodeError:
 
1200
                    raise errors.NonAsciiRevisionId(method, self)
 
1201
            else:
 
1202
                try:
 
1203
                    revision_id.decode('ascii')
 
1204
                except UnicodeDecodeError:
 
1205
                    raise errors.NonAsciiRevisionId(method, self)
 
1206
 
 
1207
 
 
1208
 
 
1209
# remove these delegates a while after bzr 0.15
 
1210
def __make_delegated(name, from_module):
 
1211
    def _deprecated_repository_forwarder():
 
1212
        symbol_versioning.warn('%s moved to %s in bzr 0.15'
 
1213
            % (name, from_module),
 
1214
            DeprecationWarning,
 
1215
            stacklevel=2)
 
1216
        m = __import__(from_module, globals(), locals(), [name])
 
1217
        try:
 
1218
            return getattr(m, name)
 
1219
        except AttributeError:
 
1220
            raise AttributeError('module %s has no name %s'
 
1221
                    % (m, name))
 
1222
    globals()[name] = _deprecated_repository_forwarder
 
1223
 
 
1224
for _name in [
 
1225
        'AllInOneRepository',
 
1226
        'WeaveMetaDirRepository',
 
1227
        'PreSplitOutRepositoryFormat',
 
1228
        'RepositoryFormat4',
 
1229
        'RepositoryFormat5',
 
1230
        'RepositoryFormat6',
 
1231
        'RepositoryFormat7',
 
1232
        ]:
 
1233
    __make_delegated(_name, 'bzrlib.repofmt.weaverepo')
 
1234
 
 
1235
for _name in [
 
1236
        'KnitRepository',
 
1237
        'RepositoryFormatKnit',
 
1238
        'RepositoryFormatKnit1',
 
1239
        ]:
 
1240
    __make_delegated(_name, 'bzrlib.repofmt.knitrepo')
 
1241
 
 
1242
 
 
1243
def install_revision(repository, rev, revision_tree):
 
1244
    """Install all revision data into a repository."""
 
1245
    present_parents = []
 
1246
    parent_trees = {}
 
1247
    for p_id in rev.parent_ids:
 
1248
        if repository.has_revision(p_id):
 
1249
            present_parents.append(p_id)
 
1250
            parent_trees[p_id] = repository.revision_tree(p_id)
 
1251
        else:
 
1252
            parent_trees[p_id] = repository.revision_tree(None)
 
1253
 
 
1254
    inv = revision_tree.inventory
 
1255
    entries = inv.iter_entries()
 
1256
    # backwards compatibility hack: skip the root id.
 
1257
    if not repository.supports_rich_root():
 
1258
        path, root = entries.next()
 
1259
        if root.revision != rev.revision_id:
 
1260
            raise errors.IncompatibleRevision(repr(repository))
 
1261
    # Add the texts that are not already present
 
1262
    for path, ie in entries:
 
1263
        w = repository.weave_store.get_weave_or_empty(ie.file_id,
 
1264
                repository.get_transaction())
 
1265
        if ie.revision not in w:
 
1266
            text_parents = []
 
1267
            # FIXME: TODO: The following loop *may* be overlapping/duplicate
 
1268
            # with InventoryEntry.find_previous_heads(). if it is, then there
 
1269
            # is a latent bug here where the parents may have ancestors of each
 
1270
            # other. RBC, AB
 
1271
            for revision, tree in parent_trees.iteritems():
 
1272
                if ie.file_id not in tree:
 
1273
                    continue
 
1274
                parent_id = tree.inventory[ie.file_id].revision
 
1275
                if parent_id in text_parents:
 
1276
                    continue
 
1277
                text_parents.append(parent_id)
 
1278
                    
 
1279
            vfile = repository.weave_store.get_weave_or_empty(ie.file_id, 
 
1280
                repository.get_transaction())
 
1281
            lines = revision_tree.get_file(ie.file_id).readlines()
 
1282
            vfile.add_lines(rev.revision_id, text_parents, lines)
 
1283
    try:
 
1284
        # install the inventory
 
1285
        repository.add_inventory(rev.revision_id, inv, present_parents)
 
1286
    except errors.RevisionAlreadyPresent:
 
1287
        pass
 
1288
    repository.add_revision(rev.revision_id, rev, inv)
 
1289
 
 
1290
 
 
1291
class MetaDirRepository(Repository):
 
1292
    """Repositories in the new meta-dir layout."""
 
1293
 
 
1294
    def __init__(self, _format, a_bzrdir, control_files, _revision_store, control_store, text_store):
 
1295
        super(MetaDirRepository, self).__init__(_format,
 
1296
                                                a_bzrdir,
 
1297
                                                control_files,
 
1298
                                                _revision_store,
 
1299
                                                control_store,
 
1300
                                                text_store)
 
1301
        dir_mode = self.control_files._dir_mode
 
1302
        file_mode = self.control_files._file_mode
 
1303
 
 
1304
    @needs_read_lock
 
1305
    def is_shared(self):
 
1306
        """Return True if this repository is flagged as a shared repository."""
 
1307
        return self.control_files._transport.has('shared-storage')
 
1308
 
 
1309
    @needs_write_lock
 
1310
    def set_make_working_trees(self, new_value):
 
1311
        """Set the policy flag for making working trees when creating branches.
 
1312
 
 
1313
        This only applies to branches that use this repository.
 
1314
 
 
1315
        The default is 'True'.
 
1316
        :param new_value: True to restore the default, False to disable making
 
1317
                          working trees.
 
1318
        """
 
1319
        if new_value:
 
1320
            try:
 
1321
                self.control_files._transport.delete('no-working-trees')
 
1322
            except errors.NoSuchFile:
 
1323
                pass
 
1324
        else:
 
1325
            self.control_files.put_utf8('no-working-trees', '')
 
1326
    
 
1327
    def make_working_trees(self):
 
1328
        """Returns the policy for making working trees on new branches."""
 
1329
        return not self.control_files._transport.has('no-working-trees')
 
1330
 
 
1331
 
 
1332
class RepositoryFormatRegistry(registry.Registry):
 
1333
    """Registry of RepositoryFormats.
 
1334
    """
 
1335
 
 
1336
    def get(self, format_string):
 
1337
        r = registry.Registry.get(self, format_string)
 
1338
        if callable(r):
 
1339
            r = r()
 
1340
        return r
 
1341
    
 
1342
 
 
1343
format_registry = RepositoryFormatRegistry()
 
1344
"""Registry of formats, indexed by their identifying format string.
 
1345
 
 
1346
This can contain either format instances themselves, or classes/factories that
 
1347
can be called to obtain one.
 
1348
"""
 
1349
 
 
1350
 
 
1351
#####################################################################
 
1352
# Repository Formats
 
1353
 
 
1354
class RepositoryFormat(object):
 
1355
    """A repository format.
 
1356
 
 
1357
    Formats provide three things:
 
1358
     * An initialization routine to construct repository data on disk.
 
1359
     * a format string which is used when the BzrDir supports versioned
 
1360
       children.
 
1361
     * an open routine which returns a Repository instance.
 
1362
 
 
1363
    Formats are placed in an dict by their format string for reference 
 
1364
    during opening. These should be subclasses of RepositoryFormat
 
1365
    for consistency.
 
1366
 
 
1367
    Once a format is deprecated, just deprecate the initialize and open
 
1368
    methods on the format class. Do not deprecate the object, as the 
 
1369
    object will be created every system load.
 
1370
 
 
1371
    Common instance attributes:
 
1372
    _matchingbzrdir - the bzrdir format that the repository format was
 
1373
    originally written to work with. This can be used if manually
 
1374
    constructing a bzrdir and repository, or more commonly for test suite
 
1375
    parameterisation.
 
1376
    """
 
1377
 
 
1378
    def __str__(self):
 
1379
        return "<%s>" % self.__class__.__name__
 
1380
 
 
1381
    def __eq__(self, other):
 
1382
        # format objects are generally stateless
 
1383
        return isinstance(other, self.__class__)
 
1384
 
 
1385
    def __ne__(self, other):
 
1386
        return not self == other
 
1387
 
 
1388
    @classmethod
 
1389
    def find_format(klass, a_bzrdir):
 
1390
        """Return the format for the repository object in a_bzrdir.
 
1391
        
 
1392
        This is used by bzr native formats that have a "format" file in
 
1393
        the repository.  Other methods may be used by different types of 
 
1394
        control directory.
 
1395
        """
 
1396
        try:
 
1397
            transport = a_bzrdir.get_repository_transport(None)
 
1398
            format_string = transport.get("format").read()
 
1399
            return format_registry.get(format_string)
 
1400
        except errors.NoSuchFile:
 
1401
            raise errors.NoRepositoryPresent(a_bzrdir)
 
1402
        except KeyError:
 
1403
            raise errors.UnknownFormatError(format=format_string)
 
1404
 
 
1405
    @classmethod
 
1406
    def register_format(klass, format):
 
1407
        format_registry.register(format.get_format_string(), format)
 
1408
 
 
1409
    @classmethod
 
1410
    def unregister_format(klass, format):
 
1411
        format_registry.remove(format.get_format_string())
 
1412
    
 
1413
    @classmethod
 
1414
    def get_default_format(klass):
 
1415
        """Return the current default format."""
 
1416
        from bzrlib import bzrdir
 
1417
        return bzrdir.format_registry.make_bzrdir('default').repository_format
 
1418
 
 
1419
    def _get_control_store(self, repo_transport, control_files):
 
1420
        """Return the control store for this repository."""
 
1421
        raise NotImplementedError(self._get_control_store)
 
1422
 
 
1423
    def get_format_string(self):
 
1424
        """Return the ASCII format string that identifies this format.
 
1425
        
 
1426
        Note that in pre format ?? repositories the format string is 
 
1427
        not permitted nor written to disk.
 
1428
        """
 
1429
        raise NotImplementedError(self.get_format_string)
 
1430
 
 
1431
    def get_format_description(self):
 
1432
        """Return the short description for this format."""
 
1433
        raise NotImplementedError(self.get_format_description)
 
1434
 
 
1435
    def _get_revision_store(self, repo_transport, control_files):
 
1436
        """Return the revision store object for this a_bzrdir."""
 
1437
        raise NotImplementedError(self._get_revision_store)
 
1438
 
 
1439
    def _get_text_rev_store(self,
 
1440
                            transport,
 
1441
                            control_files,
 
1442
                            name,
 
1443
                            compressed=True,
 
1444
                            prefixed=False,
 
1445
                            serializer=None):
 
1446
        """Common logic for getting a revision store for a repository.
 
1447
        
 
1448
        see self._get_revision_store for the subclass-overridable method to 
 
1449
        get the store for a repository.
 
1450
        """
 
1451
        from bzrlib.store.revision.text import TextRevisionStore
 
1452
        dir_mode = control_files._dir_mode
 
1453
        file_mode = control_files._file_mode
 
1454
        text_store = TextStore(transport.clone(name),
 
1455
                              prefixed=prefixed,
 
1456
                              compressed=compressed,
 
1457
                              dir_mode=dir_mode,
 
1458
                              file_mode=file_mode)
 
1459
        _revision_store = TextRevisionStore(text_store, serializer)
 
1460
        return _revision_store
 
1461
 
 
1462
    # TODO: this shouldn't be in the base class, it's specific to things that
 
1463
    # use weaves or knits -- mbp 20070207
 
1464
    def _get_versioned_file_store(self,
 
1465
                                  name,
 
1466
                                  transport,
 
1467
                                  control_files,
 
1468
                                  prefixed=True,
 
1469
                                  versionedfile_class=None,
 
1470
                                  versionedfile_kwargs={},
 
1471
                                  escaped=False):
 
1472
        if versionedfile_class is None:
 
1473
            versionedfile_class = self._versionedfile_class
 
1474
        weave_transport = control_files._transport.clone(name)
 
1475
        dir_mode = control_files._dir_mode
 
1476
        file_mode = control_files._file_mode
 
1477
        return VersionedFileStore(weave_transport, prefixed=prefixed,
 
1478
                                  dir_mode=dir_mode,
 
1479
                                  file_mode=file_mode,
 
1480
                                  versionedfile_class=versionedfile_class,
 
1481
                                  versionedfile_kwargs=versionedfile_kwargs,
 
1482
                                  escaped=escaped)
 
1483
 
 
1484
    def initialize(self, a_bzrdir, shared=False):
 
1485
        """Initialize a repository of this format in a_bzrdir.
 
1486
 
 
1487
        :param a_bzrdir: The bzrdir to put the new repository in it.
 
1488
        :param shared: The repository should be initialized as a sharable one.
 
1489
        :returns: The new repository object.
 
1490
        
 
1491
        This may raise UninitializableFormat if shared repository are not
 
1492
        compatible the a_bzrdir.
 
1493
        """
 
1494
        raise NotImplementedError(self.initialize)
 
1495
 
 
1496
    def is_supported(self):
 
1497
        """Is this format supported?
 
1498
 
 
1499
        Supported formats must be initializable and openable.
 
1500
        Unsupported formats may not support initialization or committing or 
 
1501
        some other features depending on the reason for not being supported.
 
1502
        """
 
1503
        return True
 
1504
 
 
1505
    def check_conversion_target(self, target_format):
 
1506
        raise NotImplementedError(self.check_conversion_target)
 
1507
 
 
1508
    def open(self, a_bzrdir, _found=False):
 
1509
        """Return an instance of this format for the bzrdir a_bzrdir.
 
1510
        
 
1511
        _found is a private parameter, do not use it.
 
1512
        """
 
1513
        raise NotImplementedError(self.open)
 
1514
 
 
1515
 
 
1516
class MetaDirRepositoryFormat(RepositoryFormat):
 
1517
    """Common base class for the new repositories using the metadir layout."""
 
1518
 
 
1519
    rich_root_data = False
 
1520
    supports_tree_reference = False
 
1521
    _matchingbzrdir = bzrdir.BzrDirMetaFormat1()
 
1522
 
 
1523
    def __init__(self):
 
1524
        super(MetaDirRepositoryFormat, self).__init__()
 
1525
 
 
1526
    def _create_control_files(self, a_bzrdir):
 
1527
        """Create the required files and the initial control_files object."""
 
1528
        # FIXME: RBC 20060125 don't peek under the covers
 
1529
        # NB: no need to escape relative paths that are url safe.
 
1530
        repository_transport = a_bzrdir.get_repository_transport(self)
 
1531
        control_files = lockable_files.LockableFiles(repository_transport,
 
1532
                                'lock', lockdir.LockDir)
 
1533
        control_files.create_lock()
 
1534
        return control_files
 
1535
 
 
1536
    def _upload_blank_content(self, a_bzrdir, dirs, files, utf8_files, shared):
 
1537
        """Upload the initial blank content."""
 
1538
        control_files = self._create_control_files(a_bzrdir)
 
1539
        control_files.lock_write()
 
1540
        try:
 
1541
            control_files._transport.mkdir_multi(dirs,
 
1542
                    mode=control_files._dir_mode)
 
1543
            for file, content in files:
 
1544
                control_files.put(file, content)
 
1545
            for file, content in utf8_files:
 
1546
                control_files.put_utf8(file, content)
 
1547
            if shared == True:
 
1548
                control_files.put_utf8('shared-storage', '')
 
1549
        finally:
 
1550
            control_files.unlock()
 
1551
 
 
1552
 
 
1553
# formats which have no format string are not discoverable
 
1554
# and not independently creatable, so are not registered.  They're 
 
1555
# all in bzrlib.repofmt.weaverepo now.  When an instance of one of these is
 
1556
# needed, it's constructed directly by the BzrDir.  Non-native formats where
 
1557
# the repository is not separately opened are similar.
 
1558
 
 
1559
format_registry.register_lazy(
 
1560
    'Bazaar-NG Repository format 7',
 
1561
    'bzrlib.repofmt.weaverepo',
 
1562
    'RepositoryFormat7'
 
1563
    )
 
1564
# KEEP in sync with bzrdir.format_registry default, which controls the overall
 
1565
# default control directory format
 
1566
 
 
1567
format_registry.register_lazy(
 
1568
    'Bazaar-NG Knit Repository Format 1',
 
1569
    'bzrlib.repofmt.knitrepo',
 
1570
    'RepositoryFormatKnit1',
 
1571
    )
 
1572
format_registry.default_key = 'Bazaar-NG Knit Repository Format 1'
 
1573
 
 
1574
format_registry.register_lazy(
 
1575
    'Bazaar Knit Repository Format 3 (bzr 0.15)\n',
 
1576
    'bzrlib.repofmt.knitrepo',
 
1577
    'RepositoryFormatKnit3',
 
1578
    )
 
1579
 
 
1580
 
 
1581
class InterRepository(InterObject):
 
1582
    """This class represents operations taking place between two repositories.
 
1583
 
 
1584
    Its instances have methods like copy_content and fetch, and contain
 
1585
    references to the source and target repositories these operations can be 
 
1586
    carried out on.
 
1587
 
 
1588
    Often we will provide convenience methods on 'repository' which carry out
 
1589
    operations with another repository - they will always forward to
 
1590
    InterRepository.get(other).method_name(parameters).
 
1591
    """
 
1592
 
 
1593
    _optimisers = []
 
1594
    """The available optimised InterRepository types."""
 
1595
 
 
1596
    def copy_content(self, revision_id=None):
 
1597
        raise NotImplementedError(self.copy_content)
 
1598
 
 
1599
    def fetch(self, revision_id=None, pb=None):
 
1600
        """Fetch the content required to construct revision_id.
 
1601
 
 
1602
        The content is copied from self.source to self.target.
 
1603
 
 
1604
        :param revision_id: if None all content is copied, if NULL_REVISION no
 
1605
                            content is copied.
 
1606
        :param pb: optional progress bar to use for progress reports. If not
 
1607
                   provided a default one will be created.
 
1608
 
 
1609
        Returns the copied revision count and the failed revisions in a tuple:
 
1610
        (copied, failures).
 
1611
        """
 
1612
        raise NotImplementedError(self.fetch)
 
1613
   
 
1614
    @needs_read_lock
 
1615
    def missing_revision_ids(self, revision_id=None):
 
1616
        """Return the revision ids that source has that target does not.
 
1617
        
 
1618
        These are returned in topological order.
 
1619
 
 
1620
        :param revision_id: only return revision ids included by this
 
1621
                            revision_id.
 
1622
        """
 
1623
        # generic, possibly worst case, slow code path.
 
1624
        target_ids = set(self.target.all_revision_ids())
 
1625
        if revision_id is not None:
 
1626
            # TODO: jam 20070210 InterRepository is internal enough that it
 
1627
            #       should assume revision_ids are already utf-8
 
1628
            revision_id = osutils.safe_revision_id(revision_id)
 
1629
            source_ids = self.source.get_ancestry(revision_id)
 
1630
            assert source_ids[0] is None
 
1631
            source_ids.pop(0)
 
1632
        else:
 
1633
            source_ids = self.source.all_revision_ids()
 
1634
        result_set = set(source_ids).difference(target_ids)
 
1635
        # this may look like a no-op: its not. It preserves the ordering
 
1636
        # other_ids had while only returning the members from other_ids
 
1637
        # that we've decided we need.
 
1638
        return [rev_id for rev_id in source_ids if rev_id in result_set]
 
1639
 
 
1640
 
 
1641
class InterSameDataRepository(InterRepository):
 
1642
    """Code for converting between repositories that represent the same data.
 
1643
    
 
1644
    Data format and model must match for this to work.
 
1645
    """
 
1646
 
 
1647
    @classmethod
 
1648
    def _get_repo_format_to_test(self):
 
1649
        """Repository format for testing with.
 
1650
        
 
1651
        InterSameData can pull from subtree to subtree and from non-subtree to
 
1652
        non-subtree, so we test this with the richest repository format.
 
1653
        """
 
1654
        from bzrlib.repofmt import knitrepo
 
1655
        return knitrepo.RepositoryFormatKnit3()
 
1656
 
 
1657
    @staticmethod
 
1658
    def is_compatible(source, target):
 
1659
        if source.supports_rich_root() != target.supports_rich_root():
 
1660
            return False
 
1661
        if source._serializer != target._serializer:
 
1662
            return False
 
1663
        return True
 
1664
 
 
1665
    @needs_write_lock
 
1666
    def copy_content(self, revision_id=None):
 
1667
        """Make a complete copy of the content in self into destination.
 
1668
 
 
1669
        This copies both the repository's revision data, and configuration information
 
1670
        such as the make_working_trees setting.
 
1671
        
 
1672
        This is a destructive operation! Do not use it on existing 
 
1673
        repositories.
 
1674
 
 
1675
        :param revision_id: Only copy the content needed to construct
 
1676
                            revision_id and its parents.
 
1677
        """
 
1678
        try:
 
1679
            self.target.set_make_working_trees(self.source.make_working_trees())
 
1680
        except NotImplementedError:
 
1681
            pass
 
1682
        # TODO: jam 20070210 This is fairly internal, so we should probably
 
1683
        #       just assert that revision_id is not unicode.
 
1684
        revision_id = osutils.safe_revision_id(revision_id)
 
1685
        # but don't bother fetching if we have the needed data now.
 
1686
        if (revision_id not in (None, _mod_revision.NULL_REVISION) and 
 
1687
            self.target.has_revision(revision_id)):
 
1688
            return
 
1689
        self.target.fetch(self.source, revision_id=revision_id)
 
1690
 
 
1691
    @needs_write_lock
 
1692
    def fetch(self, revision_id=None, pb=None):
 
1693
        """See InterRepository.fetch()."""
 
1694
        from bzrlib.fetch import GenericRepoFetcher
 
1695
        mutter("Using fetch logic to copy between %s(%s) and %s(%s)",
 
1696
               self.source, self.source._format, self.target, 
 
1697
               self.target._format)
 
1698
        # TODO: jam 20070210 This should be an assert, not a translate
 
1699
        revision_id = osutils.safe_revision_id(revision_id)
 
1700
        f = GenericRepoFetcher(to_repository=self.target,
 
1701
                               from_repository=self.source,
 
1702
                               last_revision=revision_id,
 
1703
                               pb=pb)
 
1704
        return f.count_copied, f.failed_revisions
 
1705
 
 
1706
 
 
1707
class InterWeaveRepo(InterSameDataRepository):
 
1708
    """Optimised code paths between Weave based repositories."""
 
1709
 
 
1710
    @classmethod
 
1711
    def _get_repo_format_to_test(self):
 
1712
        from bzrlib.repofmt import weaverepo
 
1713
        return weaverepo.RepositoryFormat7()
 
1714
 
 
1715
    @staticmethod
 
1716
    def is_compatible(source, target):
 
1717
        """Be compatible with known Weave formats.
 
1718
        
 
1719
        We don't test for the stores being of specific types because that
 
1720
        could lead to confusing results, and there is no need to be 
 
1721
        overly general.
 
1722
        """
 
1723
        from bzrlib.repofmt.weaverepo import (
 
1724
                RepositoryFormat5,
 
1725
                RepositoryFormat6,
 
1726
                RepositoryFormat7,
 
1727
                )
 
1728
        try:
 
1729
            return (isinstance(source._format, (RepositoryFormat5,
 
1730
                                                RepositoryFormat6,
 
1731
                                                RepositoryFormat7)) and
 
1732
                    isinstance(target._format, (RepositoryFormat5,
 
1733
                                                RepositoryFormat6,
 
1734
                                                RepositoryFormat7)))
 
1735
        except AttributeError:
 
1736
            return False
 
1737
    
 
1738
    @needs_write_lock
 
1739
    def copy_content(self, revision_id=None):
 
1740
        """See InterRepository.copy_content()."""
 
1741
        # weave specific optimised path:
 
1742
        # TODO: jam 20070210 Internal, should be an assert, not translate
 
1743
        revision_id = osutils.safe_revision_id(revision_id)
 
1744
        try:
 
1745
            self.target.set_make_working_trees(self.source.make_working_trees())
 
1746
        except NotImplementedError:
 
1747
            pass
 
1748
        # FIXME do not peek!
 
1749
        if self.source.control_files._transport.listable():
 
1750
            pb = ui.ui_factory.nested_progress_bar()
 
1751
            try:
 
1752
                self.target.weave_store.copy_all_ids(
 
1753
                    self.source.weave_store,
 
1754
                    pb=pb,
 
1755
                    from_transaction=self.source.get_transaction(),
 
1756
                    to_transaction=self.target.get_transaction())
 
1757
                pb.update('copying inventory', 0, 1)
 
1758
                self.target.control_weaves.copy_multi(
 
1759
                    self.source.control_weaves, ['inventory'],
 
1760
                    from_transaction=self.source.get_transaction(),
 
1761
                    to_transaction=self.target.get_transaction())
 
1762
                self.target._revision_store.text_store.copy_all_ids(
 
1763
                    self.source._revision_store.text_store,
 
1764
                    pb=pb)
 
1765
            finally:
 
1766
                pb.finished()
 
1767
        else:
 
1768
            self.target.fetch(self.source, revision_id=revision_id)
 
1769
 
 
1770
    @needs_write_lock
 
1771
    def fetch(self, revision_id=None, pb=None):
 
1772
        """See InterRepository.fetch()."""
 
1773
        from bzrlib.fetch import GenericRepoFetcher
 
1774
        mutter("Using fetch logic to copy between %s(%s) and %s(%s)",
 
1775
               self.source, self.source._format, self.target, self.target._format)
 
1776
        # TODO: jam 20070210 This should be an assert, not a translate
 
1777
        revision_id = osutils.safe_revision_id(revision_id)
 
1778
        f = GenericRepoFetcher(to_repository=self.target,
 
1779
                               from_repository=self.source,
 
1780
                               last_revision=revision_id,
 
1781
                               pb=pb)
 
1782
        return f.count_copied, f.failed_revisions
 
1783
 
 
1784
    @needs_read_lock
 
1785
    def missing_revision_ids(self, revision_id=None):
 
1786
        """See InterRepository.missing_revision_ids()."""
 
1787
        # we want all revisions to satisfy revision_id in source.
 
1788
        # but we don't want to stat every file here and there.
 
1789
        # we want then, all revisions other needs to satisfy revision_id 
 
1790
        # checked, but not those that we have locally.
 
1791
        # so the first thing is to get a subset of the revisions to 
 
1792
        # satisfy revision_id in source, and then eliminate those that
 
1793
        # we do already have. 
 
1794
        # this is slow on high latency connection to self, but as as this
 
1795
        # disk format scales terribly for push anyway due to rewriting 
 
1796
        # inventory.weave, this is considered acceptable.
 
1797
        # - RBC 20060209
 
1798
        if revision_id is not None:
 
1799
            source_ids = self.source.get_ancestry(revision_id)
 
1800
            assert source_ids[0] is None
 
1801
            source_ids.pop(0)
 
1802
        else:
 
1803
            source_ids = self.source._all_possible_ids()
 
1804
        source_ids_set = set(source_ids)
 
1805
        # source_ids is the worst possible case we may need to pull.
 
1806
        # now we want to filter source_ids against what we actually
 
1807
        # have in target, but don't try to check for existence where we know
 
1808
        # we do not have a revision as that would be pointless.
 
1809
        target_ids = set(self.target._all_possible_ids())
 
1810
        possibly_present_revisions = target_ids.intersection(source_ids_set)
 
1811
        actually_present_revisions = set(self.target._eliminate_revisions_not_present(possibly_present_revisions))
 
1812
        required_revisions = source_ids_set.difference(actually_present_revisions)
 
1813
        required_topo_revisions = [rev_id for rev_id in source_ids if rev_id in required_revisions]
 
1814
        if revision_id is not None:
 
1815
            # we used get_ancestry to determine source_ids then we are assured all
 
1816
            # revisions referenced are present as they are installed in topological order.
 
1817
            # and the tip revision was validated by get_ancestry.
 
1818
            return required_topo_revisions
 
1819
        else:
 
1820
            # if we just grabbed the possibly available ids, then 
 
1821
            # we only have an estimate of whats available and need to validate
 
1822
            # that against the revision records.
 
1823
            return self.source._eliminate_revisions_not_present(required_topo_revisions)
 
1824
 
 
1825
 
 
1826
class InterKnitRepo(InterSameDataRepository):
 
1827
    """Optimised code paths between Knit based repositories."""
 
1828
 
 
1829
    @classmethod
 
1830
    def _get_repo_format_to_test(self):
 
1831
        from bzrlib.repofmt import knitrepo
 
1832
        return knitrepo.RepositoryFormatKnit1()
 
1833
 
 
1834
    @staticmethod
 
1835
    def is_compatible(source, target):
 
1836
        """Be compatible with known Knit formats.
 
1837
        
 
1838
        We don't test for the stores being of specific types because that
 
1839
        could lead to confusing results, and there is no need to be 
 
1840
        overly general.
 
1841
        """
 
1842
        from bzrlib.repofmt.knitrepo import RepositoryFormatKnit1
 
1843
        try:
 
1844
            return (isinstance(source._format, (RepositoryFormatKnit1)) and
 
1845
                    isinstance(target._format, (RepositoryFormatKnit1)))
 
1846
        except AttributeError:
 
1847
            return False
 
1848
 
 
1849
    @needs_write_lock
 
1850
    def fetch(self, revision_id=None, pb=None):
 
1851
        """See InterRepository.fetch()."""
 
1852
        from bzrlib.fetch import KnitRepoFetcher
 
1853
        mutter("Using fetch logic to copy between %s(%s) and %s(%s)",
 
1854
               self.source, self.source._format, self.target, self.target._format)
 
1855
        # TODO: jam 20070210 This should be an assert, not a translate
 
1856
        revision_id = osutils.safe_revision_id(revision_id)
 
1857
        f = KnitRepoFetcher(to_repository=self.target,
 
1858
                            from_repository=self.source,
 
1859
                            last_revision=revision_id,
 
1860
                            pb=pb)
 
1861
        return f.count_copied, f.failed_revisions
 
1862
 
 
1863
    @needs_read_lock
 
1864
    def missing_revision_ids(self, revision_id=None):
 
1865
        """See InterRepository.missing_revision_ids()."""
 
1866
        if revision_id is not None:
 
1867
            source_ids = self.source.get_ancestry(revision_id)
 
1868
            assert source_ids[0] is None
 
1869
            source_ids.pop(0)
 
1870
        else:
 
1871
            source_ids = self.source._all_possible_ids()
 
1872
        source_ids_set = set(source_ids)
 
1873
        # source_ids is the worst possible case we may need to pull.
 
1874
        # now we want to filter source_ids against what we actually
 
1875
        # have in target, but don't try to check for existence where we know
 
1876
        # we do not have a revision as that would be pointless.
 
1877
        target_ids = set(self.target._all_possible_ids())
 
1878
        possibly_present_revisions = target_ids.intersection(source_ids_set)
 
1879
        actually_present_revisions = set(self.target._eliminate_revisions_not_present(possibly_present_revisions))
 
1880
        required_revisions = source_ids_set.difference(actually_present_revisions)
 
1881
        required_topo_revisions = [rev_id for rev_id in source_ids if rev_id in required_revisions]
 
1882
        if revision_id is not None:
 
1883
            # we used get_ancestry to determine source_ids then we are assured all
 
1884
            # revisions referenced are present as they are installed in topological order.
 
1885
            # and the tip revision was validated by get_ancestry.
 
1886
            return required_topo_revisions
 
1887
        else:
 
1888
            # if we just grabbed the possibly available ids, then 
 
1889
            # we only have an estimate of whats available and need to validate
 
1890
            # that against the revision records.
 
1891
            return self.source._eliminate_revisions_not_present(required_topo_revisions)
 
1892
 
 
1893
 
 
1894
class InterModel1and2(InterRepository):
 
1895
 
 
1896
    @classmethod
 
1897
    def _get_repo_format_to_test(self):
 
1898
        return None
 
1899
 
 
1900
    @staticmethod
 
1901
    def is_compatible(source, target):
 
1902
        if not source.supports_rich_root() and target.supports_rich_root():
 
1903
            return True
 
1904
        else:
 
1905
            return False
 
1906
 
 
1907
    @needs_write_lock
 
1908
    def fetch(self, revision_id=None, pb=None):
 
1909
        """See InterRepository.fetch()."""
 
1910
        from bzrlib.fetch import Model1toKnit2Fetcher
 
1911
        # TODO: jam 20070210 This should be an assert, not a translate
 
1912
        revision_id = osutils.safe_revision_id(revision_id)
 
1913
        f = Model1toKnit2Fetcher(to_repository=self.target,
 
1914
                                 from_repository=self.source,
 
1915
                                 last_revision=revision_id,
 
1916
                                 pb=pb)
 
1917
        return f.count_copied, f.failed_revisions
 
1918
 
 
1919
    @needs_write_lock
 
1920
    def copy_content(self, revision_id=None):
 
1921
        """Make a complete copy of the content in self into destination.
 
1922
        
 
1923
        This is a destructive operation! Do not use it on existing 
 
1924
        repositories.
 
1925
 
 
1926
        :param revision_id: Only copy the content needed to construct
 
1927
                            revision_id and its parents.
 
1928
        """
 
1929
        try:
 
1930
            self.target.set_make_working_trees(self.source.make_working_trees())
 
1931
        except NotImplementedError:
 
1932
            pass
 
1933
        # TODO: jam 20070210 Internal, assert, don't translate
 
1934
        revision_id = osutils.safe_revision_id(revision_id)
 
1935
        # but don't bother fetching if we have the needed data now.
 
1936
        if (revision_id not in (None, _mod_revision.NULL_REVISION) and 
 
1937
            self.target.has_revision(revision_id)):
 
1938
            return
 
1939
        self.target.fetch(self.source, revision_id=revision_id)
 
1940
 
 
1941
 
 
1942
class InterKnit1and2(InterKnitRepo):
 
1943
 
 
1944
    @classmethod
 
1945
    def _get_repo_format_to_test(self):
 
1946
        return None
 
1947
 
 
1948
    @staticmethod
 
1949
    def is_compatible(source, target):
 
1950
        """Be compatible with Knit1 source and Knit3 target"""
 
1951
        from bzrlib.repofmt.knitrepo import RepositoryFormatKnit3
 
1952
        try:
 
1953
            from bzrlib.repofmt.knitrepo import RepositoryFormatKnit1, \
 
1954
                    RepositoryFormatKnit3
 
1955
            return (isinstance(source._format, (RepositoryFormatKnit1)) and
 
1956
                    isinstance(target._format, (RepositoryFormatKnit3)))
 
1957
        except AttributeError:
 
1958
            return False
 
1959
 
 
1960
    @needs_write_lock
 
1961
    def fetch(self, revision_id=None, pb=None):
 
1962
        """See InterRepository.fetch()."""
 
1963
        from bzrlib.fetch import Knit1to2Fetcher
 
1964
        mutter("Using fetch logic to copy between %s(%s) and %s(%s)",
 
1965
               self.source, self.source._format, self.target, 
 
1966
               self.target._format)
 
1967
        # TODO: jam 20070210 This should be an assert, not a translate
 
1968
        revision_id = osutils.safe_revision_id(revision_id)
 
1969
        f = Knit1to2Fetcher(to_repository=self.target,
 
1970
                            from_repository=self.source,
 
1971
                            last_revision=revision_id,
 
1972
                            pb=pb)
 
1973
        return f.count_copied, f.failed_revisions
 
1974
 
 
1975
 
 
1976
class InterRemoteRepository(InterRepository):
 
1977
    """Code for converting between RemoteRepository objects.
 
1978
 
 
1979
    This just gets an non-remote repository from the RemoteRepository, and calls
 
1980
    InterRepository.get again.
 
1981
    """
 
1982
 
 
1983
    def __init__(self, source, target):
 
1984
        if isinstance(source, remote.RemoteRepository):
 
1985
            source._ensure_real()
 
1986
            real_source = source._real_repository
 
1987
        else:
 
1988
            real_source = source
 
1989
        if isinstance(target, remote.RemoteRepository):
 
1990
            target._ensure_real()
 
1991
            real_target = target._real_repository
 
1992
        else:
 
1993
            real_target = target
 
1994
        self.real_inter = InterRepository.get(real_source, real_target)
 
1995
 
 
1996
    @staticmethod
 
1997
    def is_compatible(source, target):
 
1998
        if isinstance(source, remote.RemoteRepository):
 
1999
            return True
 
2000
        if isinstance(target, remote.RemoteRepository):
 
2001
            return True
 
2002
        return False
 
2003
 
 
2004
    def copy_content(self, revision_id=None):
 
2005
        self.real_inter.copy_content(revision_id=revision_id)
 
2006
 
 
2007
    def fetch(self, revision_id=None, pb=None):
 
2008
        self.real_inter.fetch(revision_id=revision_id, pb=pb)
 
2009
 
 
2010
    @classmethod
 
2011
    def _get_repo_format_to_test(self):
 
2012
        return None
 
2013
 
 
2014
 
 
2015
InterRepository.register_optimiser(InterSameDataRepository)
 
2016
InterRepository.register_optimiser(InterWeaveRepo)
 
2017
InterRepository.register_optimiser(InterKnitRepo)
 
2018
InterRepository.register_optimiser(InterModel1and2)
 
2019
InterRepository.register_optimiser(InterKnit1and2)
 
2020
InterRepository.register_optimiser(InterRemoteRepository)
 
2021
 
 
2022
 
 
2023
class CopyConverter(object):
 
2024
    """A repository conversion tool which just performs a copy of the content.
 
2025
    
 
2026
    This is slow but quite reliable.
 
2027
    """
 
2028
 
 
2029
    def __init__(self, target_format):
 
2030
        """Create a CopyConverter.
 
2031
 
 
2032
        :param target_format: The format the resulting repository should be.
 
2033
        """
 
2034
        self.target_format = target_format
 
2035
        
 
2036
    def convert(self, repo, pb):
 
2037
        """Perform the conversion of to_convert, giving feedback via pb.
 
2038
 
 
2039
        :param to_convert: The disk object to convert.
 
2040
        :param pb: a progress bar to use for progress information.
 
2041
        """
 
2042
        self.pb = pb
 
2043
        self.count = 0
 
2044
        self.total = 4
 
2045
        # this is only useful with metadir layouts - separated repo content.
 
2046
        # trigger an assertion if not such
 
2047
        repo._format.get_format_string()
 
2048
        self.repo_dir = repo.bzrdir
 
2049
        self.step('Moving repository to repository.backup')
 
2050
        self.repo_dir.transport.move('repository', 'repository.backup')
 
2051
        backup_transport =  self.repo_dir.transport.clone('repository.backup')
 
2052
        repo._format.check_conversion_target(self.target_format)
 
2053
        self.source_repo = repo._format.open(self.repo_dir,
 
2054
            _found=True,
 
2055
            _override_transport=backup_transport)
 
2056
        self.step('Creating new repository')
 
2057
        converted = self.target_format.initialize(self.repo_dir,
 
2058
                                                  self.source_repo.is_shared())
 
2059
        converted.lock_write()
 
2060
        try:
 
2061
            self.step('Copying content into repository.')
 
2062
            self.source_repo.copy_content_into(converted)
 
2063
        finally:
 
2064
            converted.unlock()
 
2065
        self.step('Deleting old repository content.')
 
2066
        self.repo_dir.transport.delete_tree('repository.backup')
 
2067
        self.pb.note('repository converted')
 
2068
 
 
2069
    def step(self, message):
 
2070
        """Update the pb by a step."""
 
2071
        self.count +=1
 
2072
        self.pb.update(message, self.count, self.total)
 
2073
 
 
2074
 
 
2075
class CommitBuilder(object):
 
2076
    """Provides an interface to build up a commit.
 
2077
 
 
2078
    This allows describing a tree to be committed without needing to 
 
2079
    know the internals of the format of the repository.
 
2080
    """
 
2081
    
 
2082
    # all clients should supply tree roots.
 
2083
    record_root_entry = True
 
2084
 
 
2085
    def __init__(self, repository, parents, config, timestamp=None, 
 
2086
                 timezone=None, committer=None, revprops=None, 
 
2087
                 revision_id=None):
 
2088
        """Initiate a CommitBuilder.
 
2089
 
 
2090
        :param repository: Repository to commit to.
 
2091
        :param parents: Revision ids of the parents of the new revision.
 
2092
        :param config: Configuration to use.
 
2093
        :param timestamp: Optional timestamp recorded for commit.
 
2094
        :param timezone: Optional timezone for timestamp.
 
2095
        :param committer: Optional committer to set for commit.
 
2096
        :param revprops: Optional dictionary of revision properties.
 
2097
        :param revision_id: Optional revision id.
 
2098
        """
 
2099
        self._config = config
 
2100
 
 
2101
        if committer is None:
 
2102
            self._committer = self._config.username()
 
2103
        else:
 
2104
            assert isinstance(committer, basestring), type(committer)
 
2105
            self._committer = committer
 
2106
 
 
2107
        self.new_inventory = Inventory(None)
 
2108
        self._new_revision_id = osutils.safe_revision_id(revision_id)
 
2109
        self.parents = parents
 
2110
        self.repository = repository
 
2111
 
 
2112
        self._revprops = {}
 
2113
        if revprops is not None:
 
2114
            self._revprops.update(revprops)
 
2115
 
 
2116
        if timestamp is None:
 
2117
            timestamp = time.time()
 
2118
        # Restrict resolution to 1ms
 
2119
        self._timestamp = round(timestamp, 3)
 
2120
 
 
2121
        if timezone is None:
 
2122
            self._timezone = osutils.local_time_offset()
 
2123
        else:
 
2124
            self._timezone = int(timezone)
 
2125
 
 
2126
        self._generate_revision_if_needed()
 
2127
 
 
2128
    def commit(self, message):
 
2129
        """Make the actual commit.
 
2130
 
 
2131
        :return: The revision id of the recorded revision.
 
2132
        """
 
2133
        rev = _mod_revision.Revision(
 
2134
                       timestamp=self._timestamp,
 
2135
                       timezone=self._timezone,
 
2136
                       committer=self._committer,
 
2137
                       message=message,
 
2138
                       inventory_sha1=self.inv_sha1,
 
2139
                       revision_id=self._new_revision_id,
 
2140
                       properties=self._revprops)
 
2141
        rev.parent_ids = self.parents
 
2142
        self.repository.add_revision(self._new_revision_id, rev,
 
2143
            self.new_inventory, self._config)
 
2144
        self.repository.commit_write_group()
 
2145
        return self._new_revision_id
 
2146
 
 
2147
    def abort(self):
 
2148
        """Abort the commit that is being built.
 
2149
        """
 
2150
        self.repository.abort_write_group()
 
2151
 
 
2152
    def revision_tree(self):
 
2153
        """Return the tree that was just committed.
 
2154
 
 
2155
        After calling commit() this can be called to get a RevisionTree
 
2156
        representing the newly committed tree. This is preferred to
 
2157
        calling Repository.revision_tree() because that may require
 
2158
        deserializing the inventory, while we already have a copy in
 
2159
        memory.
 
2160
        """
 
2161
        return RevisionTree(self.repository, self.new_inventory,
 
2162
                            self._new_revision_id)
 
2163
 
 
2164
    def finish_inventory(self):
 
2165
        """Tell the builder that the inventory is finished."""
 
2166
        if self.new_inventory.root is None:
 
2167
            symbol_versioning.warn('Root entry should be supplied to'
 
2168
                ' record_entry_contents, as of bzr 0.10.',
 
2169
                 DeprecationWarning, stacklevel=2)
 
2170
            self.new_inventory.add(InventoryDirectory(ROOT_ID, '', None))
 
2171
        self.new_inventory.revision_id = self._new_revision_id
 
2172
        self.inv_sha1 = self.repository.add_inventory(
 
2173
            self._new_revision_id,
 
2174
            self.new_inventory,
 
2175
            self.parents
 
2176
            )
 
2177
 
 
2178
    def _gen_revision_id(self):
 
2179
        """Return new revision-id."""
 
2180
        return generate_ids.gen_revision_id(self._config.username(),
 
2181
                                            self._timestamp)
 
2182
 
 
2183
    def _generate_revision_if_needed(self):
 
2184
        """Create a revision id if None was supplied.
 
2185
        
 
2186
        If the repository can not support user-specified revision ids
 
2187
        they should override this function and raise CannotSetRevisionId
 
2188
        if _new_revision_id is not None.
 
2189
 
 
2190
        :raises: CannotSetRevisionId
 
2191
        """
 
2192
        if self._new_revision_id is None:
 
2193
            self._new_revision_id = self._gen_revision_id()
 
2194
            self.random_revid = True
 
2195
        else:
 
2196
            self.random_revid = False
 
2197
 
 
2198
    def _check_root(self, ie, parent_invs, tree):
 
2199
        """Helper for record_entry_contents.
 
2200
 
 
2201
        :param ie: An entry being added.
 
2202
        :param parent_invs: The inventories of the parent revisions of the
 
2203
            commit.
 
2204
        :param tree: The tree that is being committed.
 
2205
        """
 
2206
        if ie.parent_id is not None:
 
2207
            # if ie is not root, add a root automatically.
 
2208
            symbol_versioning.warn('Root entry should be supplied to'
 
2209
                ' record_entry_contents, as of bzr 0.10.',
 
2210
                 DeprecationWarning, stacklevel=2)
 
2211
            self.record_entry_contents(tree.inventory.root.copy(), parent_invs,
 
2212
                                       '', tree)
 
2213
        else:
 
2214
            # In this revision format, root entries have no knit or weave When
 
2215
            # serializing out to disk and back in root.revision is always
 
2216
            # _new_revision_id
 
2217
            ie.revision = self._new_revision_id
 
2218
 
 
2219
    def record_entry_contents(self, ie, parent_invs, path, tree):
 
2220
        """Record the content of ie from tree into the commit if needed.
 
2221
 
 
2222
        Side effect: sets ie.revision when unchanged
 
2223
 
 
2224
        :param ie: An inventory entry present in the commit.
 
2225
        :param parent_invs: The inventories of the parent revisions of the
 
2226
            commit.
 
2227
        :param path: The path the entry is at in the tree.
 
2228
        :param tree: The tree which contains this entry and should be used to 
 
2229
        obtain content.
 
2230
        """
 
2231
        if self.new_inventory.root is None:
 
2232
            self._check_root(ie, parent_invs, tree)
 
2233
        self.new_inventory.add(ie)
 
2234
 
 
2235
        # ie.revision is always None if the InventoryEntry is considered
 
2236
        # for committing. ie.snapshot will record the correct revision 
 
2237
        # which may be the sole parent if it is untouched.
 
2238
        if ie.revision is not None:
 
2239
            return
 
2240
 
 
2241
        parent_candiate_entries = ie.parent_candidates(parent_invs)
 
2242
        heads = self.repository.get_graph().heads(parent_candiate_entries.keys())
 
2243
        # XXX: Note that this is unordered - and this is tolerable because 
 
2244
        # the previous code was also unordered.
 
2245
        previous_entries = dict((head, parent_candiate_entries[head]) for head
 
2246
            in heads)
 
2247
        # we are creating a new revision for ie in the history store and
 
2248
        # inventory.
 
2249
        ie.snapshot(self._new_revision_id, path, previous_entries, tree, self)
 
2250
 
 
2251
    def modified_directory(self, file_id, file_parents):
 
2252
        """Record the presence of a symbolic link.
 
2253
 
 
2254
        :param file_id: The file_id of the link to record.
 
2255
        :param file_parents: The per-file parent revision ids.
 
2256
        """
 
2257
        self._add_text_to_weave(file_id, [], file_parents.keys())
 
2258
 
 
2259
    def modified_reference(self, file_id, file_parents):
 
2260
        """Record the modification of a reference.
 
2261
 
 
2262
        :param file_id: The file_id of the link to record.
 
2263
        :param file_parents: The per-file parent revision ids.
 
2264
        """
 
2265
        self._add_text_to_weave(file_id, [], file_parents.keys())
 
2266
    
 
2267
    def modified_file_text(self, file_id, file_parents,
 
2268
                           get_content_byte_lines, text_sha1=None,
 
2269
                           text_size=None):
 
2270
        """Record the text of file file_id
 
2271
 
 
2272
        :param file_id: The file_id of the file to record the text of.
 
2273
        :param file_parents: The per-file parent revision ids.
 
2274
        :param get_content_byte_lines: A callable which will return the byte
 
2275
            lines for the file.
 
2276
        :param text_sha1: Optional SHA1 of the file contents.
 
2277
        :param text_size: Optional size of the file contents.
 
2278
        """
 
2279
        # mutter('storing text of file {%s} in revision {%s} into %r',
 
2280
        #        file_id, self._new_revision_id, self.repository.weave_store)
 
2281
        # special case to avoid diffing on renames or 
 
2282
        # reparenting
 
2283
        if (len(file_parents) == 1
 
2284
            and text_sha1 == file_parents.values()[0].text_sha1
 
2285
            and text_size == file_parents.values()[0].text_size):
 
2286
            previous_ie = file_parents.values()[0]
 
2287
            versionedfile = self.repository.weave_store.get_weave(file_id,
 
2288
                self.repository.get_transaction())
 
2289
            versionedfile.clone_text(self._new_revision_id,
 
2290
                previous_ie.revision, file_parents.keys())
 
2291
            return text_sha1, text_size
 
2292
        else:
 
2293
            new_lines = get_content_byte_lines()
 
2294
            return self._add_text_to_weave(file_id, new_lines,
 
2295
                file_parents.keys())
 
2296
 
 
2297
    def modified_link(self, file_id, file_parents, link_target):
 
2298
        """Record the presence of a symbolic link.
 
2299
 
 
2300
        :param file_id: The file_id of the link to record.
 
2301
        :param file_parents: The per-file parent revision ids.
 
2302
        :param link_target: Target location of this link.
 
2303
        """
 
2304
        self._add_text_to_weave(file_id, [], file_parents.keys())
 
2305
 
 
2306
    def _add_text_to_weave(self, file_id, new_lines, parents):
 
2307
        versionedfile = self.repository.weave_store.get_weave_or_empty(
 
2308
            file_id, self.repository.get_transaction())
 
2309
        # Don't change this to add_lines - add_lines_with_ghosts is cheaper
 
2310
        # than add_lines, and allows committing when a parent is ghosted for
 
2311
        # some reason.
 
2312
        # Note: as we read the content directly from the tree, we know its not
 
2313
        # been turned into unicode or badly split - but a broken tree
 
2314
        # implementation could give us bad output from readlines() so this is
 
2315
        # not a guarantee of safety. What would be better is always checking
 
2316
        # the content during test suite execution. RBC 20070912
 
2317
        result = versionedfile.add_lines_with_ghosts(
 
2318
            self._new_revision_id, parents, new_lines,
 
2319
            random_id=self.random_revid, check_content=False)[0:2]
 
2320
        versionedfile.clear_cache()
 
2321
        return result
 
2322
 
 
2323
 
 
2324
class RootCommitBuilder(CommitBuilder):
 
2325
    """This commitbuilder actually records the root id"""
 
2326
    
 
2327
    def _check_root(self, ie, parent_invs, tree):
 
2328
        """Helper for record_entry_contents.
 
2329
 
 
2330
        :param ie: An entry being added.
 
2331
        :param parent_invs: The inventories of the parent revisions of the
 
2332
            commit.
 
2333
        :param tree: The tree that is being committed.
 
2334
        """
 
2335
        # ie must be root for this builder
 
2336
        assert ie.parent_id is None
 
2337
 
 
2338
 
 
2339
_unescape_map = {
 
2340
    'apos':"'",
 
2341
    'quot':'"',
 
2342
    'amp':'&',
 
2343
    'lt':'<',
 
2344
    'gt':'>'
 
2345
}
 
2346
 
 
2347
 
 
2348
def _unescaper(match, _map=_unescape_map):
 
2349
    code = match.group(1)
 
2350
    try:
 
2351
        return _map[code]
 
2352
    except KeyError:
 
2353
        if not code.startswith('#'):
 
2354
            raise
 
2355
        return unichr(int(code[1:])).encode('utf8')
 
2356
 
 
2357
 
 
2358
_unescape_re = None
 
2359
 
 
2360
 
 
2361
def _unescape_xml(data):
 
2362
    """Unescape predefined XML entities in a string of data."""
 
2363
    global _unescape_re
 
2364
    if _unescape_re is None:
 
2365
        _unescape_re = re.compile('\&([^;]*);')
 
2366
    return _unescape_re.sub(_unescaper, data)