1
# Copyright (C) 2006, 2007 Canonical Ltd
 
 
3
# This program is free software; you can redistribute it and/or modify
 
 
4
# it under the terms of the GNU General Public License as published by
 
 
5
# the Free Software Foundation; either version 2 of the License, or
 
 
6
# (at your option) any later version.
 
 
8
# This program is distributed in the hope that it will be useful,
 
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
 
11
# GNU General Public License for more details.
 
 
13
# You should have received a copy of the GNU General Public License
 
 
14
# along with this program; if not, write to the Free Software
 
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
 
17
# TODO: At some point, handle upgrades by just passing the whole request
 
 
18
# across to run on the server.
 
 
20
from cStringIO import StringIO
 
 
29
from bzrlib.branch import Branch, BranchReferenceFormat
 
 
30
from bzrlib.bzrdir import BzrDir, RemoteBzrDirFormat
 
 
31
from bzrlib.config import BranchConfig, TreeConfig
 
 
32
from bzrlib.decorators import needs_read_lock, needs_write_lock
 
 
33
from bzrlib.errors import NoSuchRevision
 
 
34
from bzrlib.lockable_files import LockableFiles
 
 
35
from bzrlib.pack import ContainerReader
 
 
36
from bzrlib.smart import client, vfs
 
 
37
from bzrlib.symbol_versioning import (
 
 
41
from bzrlib.trace import note
 
 
43
# Note: RemoteBzrDirFormat is in bzrdir.py
 
 
45
class RemoteBzrDir(BzrDir):
 
 
46
    """Control directory on a remote server, accessed via bzr:// or similar."""
 
 
48
    def __init__(self, transport, _client=None):
 
 
49
        """Construct a RemoteBzrDir.
 
 
51
        :param _client: Private parameter for testing. Disables probing and the
 
 
54
        BzrDir.__init__(self, transport, RemoteBzrDirFormat())
 
 
55
        # this object holds a delegated bzrdir that uses file-level operations
 
 
56
        # to talk to the other side
 
 
57
        self._real_bzrdir = None
 
 
60
            self._shared_medium = transport.get_shared_medium()
 
 
61
            self._client = client._SmartClient(self._shared_medium)
 
 
63
            self._client = _client
 
 
64
            self._shared_medium = None
 
 
67
        path = self._path_for_remote_call(self._client)
 
 
68
        response = self._client.call('BzrDir.open', path)
 
 
69
        if response not in [('yes',), ('no',)]:
 
 
70
            raise errors.UnexpectedSmartServerResponse(response)
 
 
71
        if response == ('no',):
 
 
72
            raise errors.NotBranchError(path=transport.base)
 
 
74
    def _ensure_real(self):
 
 
75
        """Ensure that there is a _real_bzrdir set.
 
 
77
        Used before calls to self._real_bzrdir.
 
 
79
        if not self._real_bzrdir:
 
 
80
            self._real_bzrdir = BzrDir.open_from_transport(
 
 
81
                self.root_transport, _server_formats=False)
 
 
83
    def create_repository(self, shared=False):
 
 
85
        self._real_bzrdir.create_repository(shared=shared)
 
 
86
        return self.open_repository()
 
 
88
    def create_branch(self):
 
 
90
        real_branch = self._real_bzrdir.create_branch()
 
 
91
        return RemoteBranch(self, self.find_repository(), real_branch)
 
 
93
    def destroy_branch(self):
 
 
94
        """See BzrDir.destroy_branch"""
 
 
96
        self._real_bzrdir.destroy_branch()
 
 
98
    def create_workingtree(self, revision_id=None, from_branch=None):
 
 
99
        raise errors.NotLocalUrl(self.transport.base)
 
 
101
    def find_branch_format(self):
 
 
102
        """Find the branch 'format' for this bzrdir.
 
 
104
        This might be a synthetic object for e.g. RemoteBranch and SVN.
 
 
106
        b = self.open_branch()
 
 
109
    def get_branch_reference(self):
 
 
110
        """See BzrDir.get_branch_reference()."""
 
 
111
        path = self._path_for_remote_call(self._client)
 
 
112
        response = self._client.call('BzrDir.open_branch', path)
 
 
113
        if response[0] == 'ok':
 
 
114
            if response[1] == '':
 
 
115
                # branch at this location.
 
 
118
                # a branch reference, use the existing BranchReference logic.
 
 
120
        elif response == ('nobranch',):
 
 
121
            raise errors.NotBranchError(path=self.root_transport.base)
 
 
123
            raise errors.UnexpectedSmartServerResponse(response)
 
 
125
    def open_branch(self, _unsupported=False):
 
 
126
        assert _unsupported == False, 'unsupported flag support not implemented yet.'
 
 
127
        reference_url = self.get_branch_reference()
 
 
128
        if reference_url is None:
 
 
129
            # branch at this location.
 
 
130
            return RemoteBranch(self, self.find_repository())
 
 
132
            # a branch reference, use the existing BranchReference logic.
 
 
133
            format = BranchReferenceFormat()
 
 
134
            return format.open(self, _found=True, location=reference_url)
 
 
136
    def open_repository(self):
 
 
137
        path = self._path_for_remote_call(self._client)
 
 
138
        response = self._client.call('BzrDir.find_repository', path)
 
 
139
        assert response[0] in ('ok', 'norepository'), \
 
 
140
            'unexpected response code %s' % (response,)
 
 
141
        if response[0] == 'norepository':
 
 
142
            raise errors.NoRepositoryPresent(self)
 
 
143
        assert len(response) == 4, 'incorrect response length %s' % (response,)
 
 
144
        if response[1] == '':
 
 
145
            format = RemoteRepositoryFormat()
 
 
146
            format.rich_root_data = (response[2] == 'yes')
 
 
147
            format.supports_tree_reference = (response[3] == 'yes')
 
 
148
            return RemoteRepository(self, format)
 
 
150
            raise errors.NoRepositoryPresent(self)
 
 
152
    def open_workingtree(self, recommend_upgrade=True):
 
 
154
        if self._real_bzrdir.has_workingtree():
 
 
155
            raise errors.NotLocalUrl(self.root_transport)
 
 
157
            raise errors.NoWorkingTree(self.root_transport.base)
 
 
159
    def _path_for_remote_call(self, client):
 
 
160
        """Return the path to be used for this bzrdir in a remote call."""
 
 
161
        return client.remote_path_from_transport(self.root_transport)
 
 
163
    def get_branch_transport(self, branch_format):
 
 
165
        return self._real_bzrdir.get_branch_transport(branch_format)
 
 
167
    def get_repository_transport(self, repository_format):
 
 
169
        return self._real_bzrdir.get_repository_transport(repository_format)
 
 
171
    def get_workingtree_transport(self, workingtree_format):
 
 
173
        return self._real_bzrdir.get_workingtree_transport(workingtree_format)
 
 
175
    def can_convert_format(self):
 
 
176
        """Upgrading of remote bzrdirs is not supported yet."""
 
 
179
    def needs_format_conversion(self, format=None):
 
 
180
        """Upgrading of remote bzrdirs is not supported yet."""
 
 
183
    def clone(self, url, revision_id=None, force_new_repo=False):
 
 
185
        return self._real_bzrdir.clone(url, revision_id=revision_id,
 
 
186
            force_new_repo=force_new_repo)
 
 
189
class RemoteRepositoryFormat(repository.RepositoryFormat):
 
 
190
    """Format for repositories accessed over a _SmartClient.
 
 
192
    Instances of this repository are represented by RemoteRepository
 
 
195
    The RemoteRepositoryFormat is parameterised during construction
 
 
196
    to reflect the capabilities of the real, remote format. Specifically
 
 
197
    the attributes rich_root_data and supports_tree_reference are set
 
 
198
    on a per instance basis, and are not set (and should not be) at
 
 
202
    _matchingbzrdir = RemoteBzrDirFormat
 
 
204
    def initialize(self, a_bzrdir, shared=False):
 
 
205
        assert isinstance(a_bzrdir, RemoteBzrDir), \
 
 
206
            '%r is not a RemoteBzrDir' % (a_bzrdir,)
 
 
207
        return a_bzrdir.create_repository(shared=shared)
 
 
209
    def open(self, a_bzrdir):
 
 
210
        assert isinstance(a_bzrdir, RemoteBzrDir)
 
 
211
        return a_bzrdir.open_repository()
 
 
213
    def get_format_description(self):
 
 
214
        return 'bzr remote repository'
 
 
216
    def __eq__(self, other):
 
 
217
        return self.__class__ == other.__class__
 
 
219
    def check_conversion_target(self, target_format):
 
 
220
        if self.rich_root_data and not target_format.rich_root_data:
 
 
221
            raise errors.BadConversionTarget(
 
 
222
                'Does not support rich root data.', target_format)
 
 
223
        if (self.supports_tree_reference and
 
 
224
            not getattr(target_format, 'supports_tree_reference', False)):
 
 
225
            raise errors.BadConversionTarget(
 
 
226
                'Does not support nested trees', target_format)
 
 
229
class RemoteRepository(object):
 
 
230
    """Repository accessed over rpc.
 
 
232
    For the moment most operations are performed using local transport-backed
 
 
236
    def __init__(self, remote_bzrdir, format, real_repository=None, _client=None):
 
 
237
        """Create a RemoteRepository instance.
 
 
239
        :param remote_bzrdir: The bzrdir hosting this repository.
 
 
240
        :param format: The RemoteFormat object to use.
 
 
241
        :param real_repository: If not None, a local implementation of the
 
 
242
            repository logic for the repository, usually accessing the data
 
 
244
        :param _client: Private testing parameter - override the smart client
 
 
245
            to be used by the repository.
 
 
248
            self._real_repository = real_repository
 
 
250
            self._real_repository = None
 
 
251
        self.bzrdir = remote_bzrdir
 
 
253
            self._client = client._SmartClient(self.bzrdir._shared_medium)
 
 
255
            self._client = _client
 
 
256
        self._format = format
 
 
257
        self._lock_mode = None
 
 
258
        self._lock_token = None
 
 
260
        self._leave_lock = False
 
 
262
        # These depend on the actual remote format, so force them off for
 
 
263
        # maximum compatibility. XXX: In future these should depend on the
 
 
264
        # remote repository instance, but this is irrelevant until we perform
 
 
265
        # reconcile via an RPC call.
 
 
266
        self._reconcile_does_inventory_gc = False
 
 
267
        self._reconcile_fixes_text_parents = False
 
 
268
        self._reconcile_backsup_inventory = False
 
 
269
        self.base = self.bzrdir.transport.base
 
 
272
        return "%s(%s)" % (self.__class__.__name__, self.base)
 
 
276
    def abort_write_group(self):
 
 
277
        """Complete a write group on the decorated repository.
 
 
279
        Smart methods peform operations in a single step so this api
 
 
280
        is not really applicable except as a compatibility thunk
 
 
281
        for older plugins that don't use e.g. the CommitBuilder
 
 
285
        return self._real_repository.abort_write_group()
 
 
287
    def commit_write_group(self):
 
 
288
        """Complete a write group on the decorated repository.
 
 
290
        Smart methods peform operations in a single step so this api
 
 
291
        is not really applicable except as a compatibility thunk
 
 
292
        for older plugins that don't use e.g. the CommitBuilder
 
 
296
        return self._real_repository.commit_write_group()
 
 
298
    def _ensure_real(self):
 
 
299
        """Ensure that there is a _real_repository set.
 
 
301
        Used before calls to self._real_repository.
 
 
303
        if not self._real_repository:
 
 
304
            self.bzrdir._ensure_real()
 
 
305
            #self._real_repository = self.bzrdir._real_bzrdir.open_repository()
 
 
306
            self._set_real_repository(self.bzrdir._real_bzrdir.open_repository())
 
 
308
    def get_revision_graph(self, revision_id=None):
 
 
309
        """See Repository.get_revision_graph()."""
 
 
310
        if revision_id is None:
 
 
312
        elif revision.is_null(revision_id):
 
 
315
        path = self.bzrdir._path_for_remote_call(self._client)
 
 
316
        assert type(revision_id) is str
 
 
317
        response = self._client.call_expecting_body(
 
 
318
            'Repository.get_revision_graph', path, revision_id)
 
 
319
        if response[0][0] not in ['ok', 'nosuchrevision']:
 
 
320
            raise errors.UnexpectedSmartServerResponse(response[0])
 
 
321
        if response[0][0] == 'ok':
 
 
322
            coded = response[1].read_body_bytes()
 
 
324
                # no revisions in this repository!
 
 
326
            lines = coded.split('\n')
 
 
329
                d = tuple(line.split())
 
 
330
                revision_graph[d[0]] = d[1:]
 
 
332
            return revision_graph
 
 
334
            response_body = response[1].read_body_bytes()
 
 
335
            assert response_body == ''
 
 
336
            raise NoSuchRevision(self, revision_id)
 
 
338
    def has_revision(self, revision_id):
 
 
339
        """See Repository.has_revision()."""
 
 
340
        if revision_id is None:
 
 
341
            # The null revision is always present.
 
 
343
        path = self.bzrdir._path_for_remote_call(self._client)
 
 
344
        response = self._client.call('Repository.has_revision', path, revision_id)
 
 
345
        assert response[0] in ('yes', 'no'), 'unexpected response code %s' % (response,)
 
 
346
        return response[0] == 'yes'
 
 
348
    def has_same_location(self, other):
 
 
349
        return (self.__class__ == other.__class__ and
 
 
350
                self.bzrdir.transport.base == other.bzrdir.transport.base)
 
 
352
    def get_graph(self, other_repository=None):
 
 
353
        """Return the graph for this repository format"""
 
 
355
        return self._real_repository.get_graph(other_repository)
 
 
357
    def gather_stats(self, revid=None, committers=None):
 
 
358
        """See Repository.gather_stats()."""
 
 
359
        path = self.bzrdir._path_for_remote_call(self._client)
 
 
360
        # revid can be None to indicate no revisions, not just NULL_REVISION
 
 
361
        if revid is None or revision.is_null(revid):
 
 
365
        if committers is None or not committers:
 
 
366
            fmt_committers = 'no'
 
 
368
            fmt_committers = 'yes'
 
 
369
        response = self._client.call_expecting_body(
 
 
370
            'Repository.gather_stats', path, fmt_revid, fmt_committers)
 
 
371
        assert response[0][0] == 'ok', \
 
 
372
            'unexpected response code %s' % (response[0],)
 
 
374
        body = response[1].read_body_bytes()
 
 
376
        for line in body.split('\n'):
 
 
379
            key, val_text = line.split(':')
 
 
380
            if key in ('revisions', 'size', 'committers'):
 
 
381
                result[key] = int(val_text)
 
 
382
            elif key in ('firstrev', 'latestrev'):
 
 
383
                values = val_text.split(' ')[1:]
 
 
384
                result[key] = (float(values[0]), long(values[1]))
 
 
388
    def get_physical_lock_status(self):
 
 
389
        """See Repository.get_physical_lock_status()."""
 
 
392
    def is_in_write_group(self):
 
 
393
        """Return True if there is an open write group.
 
 
395
        write groups are only applicable locally for the smart server..
 
 
397
        if self._real_repository:
 
 
398
            return self._real_repository.is_in_write_group()
 
 
401
        return self._lock_count >= 1
 
 
404
        """See Repository.is_shared()."""
 
 
405
        path = self.bzrdir._path_for_remote_call(self._client)
 
 
406
        response = self._client.call('Repository.is_shared', path)
 
 
407
        assert response[0] in ('yes', 'no'), 'unexpected response code %s' % (response,)
 
 
408
        return response[0] == 'yes'
 
 
410
    def is_write_locked(self):
 
 
411
        return self._lock_mode == 'w'
 
 
414
        # wrong eventually - want a local lock cache context
 
 
415
        if not self._lock_mode:
 
 
416
            self._lock_mode = 'r'
 
 
418
            if self._real_repository is not None:
 
 
419
                self._real_repository.lock_read()
 
 
421
            self._lock_count += 1
 
 
423
    def _remote_lock_write(self, token):
 
 
424
        path = self.bzrdir._path_for_remote_call(self._client)
 
 
427
        response = self._client.call('Repository.lock_write', path, token)
 
 
428
        if response[0] == 'ok':
 
 
431
        elif response[0] == 'LockContention':
 
 
432
            raise errors.LockContention('(remote lock)')
 
 
433
        elif response[0] == 'UnlockableTransport':
 
 
434
            raise errors.UnlockableTransport(self.bzrdir.root_transport)
 
 
435
        elif response[0] == 'LockFailed':
 
 
436
            raise errors.LockFailed(response[1], response[2])
 
 
438
            raise errors.UnexpectedSmartServerResponse(response)
 
 
440
    def lock_write(self, token=None):
 
 
441
        if not self._lock_mode:
 
 
442
            self._lock_token = self._remote_lock_write(token)
 
 
443
            assert self._lock_token, 'Remote server did not return a token!'
 
 
444
            if self._real_repository is not None:
 
 
445
                self._real_repository.lock_write(token=self._lock_token)
 
 
446
            if token is not None:
 
 
447
                self._leave_lock = True
 
 
449
                self._leave_lock = False
 
 
450
            self._lock_mode = 'w'
 
 
452
        elif self._lock_mode == 'r':
 
 
453
            raise errors.ReadOnlyError(self)
 
 
455
            self._lock_count += 1
 
 
456
        return self._lock_token
 
 
458
    def leave_lock_in_place(self):
 
 
459
        self._leave_lock = True
 
 
461
    def dont_leave_lock_in_place(self):
 
 
462
        self._leave_lock = False
 
 
464
    def _set_real_repository(self, repository):
 
 
465
        """Set the _real_repository for this repository.
 
 
467
        :param repository: The repository to fallback to for non-hpss
 
 
468
            implemented operations.
 
 
470
        assert not isinstance(repository, RemoteRepository)
 
 
471
        self._real_repository = repository
 
 
472
        if self._lock_mode == 'w':
 
 
473
            # if we are already locked, the real repository must be able to
 
 
474
            # acquire the lock with our token.
 
 
475
            self._real_repository.lock_write(self._lock_token)
 
 
476
        elif self._lock_mode == 'r':
 
 
477
            self._real_repository.lock_read()
 
 
479
    def start_write_group(self):
 
 
480
        """Start a write group on the decorated repository.
 
 
482
        Smart methods peform operations in a single step so this api
 
 
483
        is not really applicable except as a compatibility thunk
 
 
484
        for older plugins that don't use e.g. the CommitBuilder
 
 
488
        return self._real_repository.start_write_group()
 
 
490
    def _unlock(self, token):
 
 
491
        path = self.bzrdir._path_for_remote_call(self._client)
 
 
492
        response = self._client.call('Repository.unlock', path, token)
 
 
493
        if response == ('ok',):
 
 
495
        elif response[0] == 'TokenMismatch':
 
 
496
            raise errors.TokenMismatch(token, '(remote token)')
 
 
498
            raise errors.UnexpectedSmartServerResponse(response)
 
 
501
        self._lock_count -= 1
 
 
502
        if self._lock_count > 0:
 
 
504
        old_mode = self._lock_mode
 
 
505
        self._lock_mode = None
 
 
507
            # The real repository is responsible at present for raising an
 
 
508
            # exception if it's in an unfinished write group.  However, it
 
 
509
            # normally will *not* actually remove the lock from disk - that's
 
 
510
            # done by the server on receiving the Repository.unlock call.
 
 
511
            # This is just to let the _real_repository stay up to date.
 
 
512
            if self._real_repository is not None:
 
 
513
                self._real_repository.unlock()
 
 
515
            # The rpc-level lock should be released even if there was a
 
 
516
            # problem releasing the vfs-based lock.
 
 
518
                # Only write-locked repositories need to make a remote method
 
 
519
                # call to perfom the unlock.
 
 
520
                assert self._lock_token, \
 
 
521
                    '%s is locked, but has no token' \
 
 
523
                old_token = self._lock_token
 
 
524
                self._lock_token = None
 
 
525
                if not self._leave_lock:
 
 
526
                    self._unlock(old_token)
 
 
528
    def break_lock(self):
 
 
529
        # should hand off to the network
 
 
531
        return self._real_repository.break_lock()
 
 
533
    def _get_tarball(self, compression):
 
 
534
        """Return a TemporaryFile containing a repository tarball.
 
 
536
        Returns None if the server does not support sending tarballs.
 
 
539
        path = self.bzrdir._path_for_remote_call(self._client)
 
 
540
        response, protocol = self._client.call_expecting_body(
 
 
541
            'Repository.tarball', path, compression)
 
 
542
        if response[0] == 'ok':
 
 
543
            # Extract the tarball and return it
 
 
544
            t = tempfile.NamedTemporaryFile()
 
 
545
            # TODO: rpc layer should read directly into it...
 
 
546
            t.write(protocol.read_body_bytes())
 
 
549
        if (response == ('error', "Generic bzr smart protocol error: "
 
 
550
                "bad request 'Repository.tarball'") or
 
 
551
              response == ('error', "Generic bzr smart protocol error: "
 
 
552
                "bad request u'Repository.tarball'")):
 
 
553
            protocol.cancel_read_body()
 
 
555
        raise errors.UnexpectedSmartServerResponse(response)
 
 
557
    def sprout(self, to_bzrdir, revision_id=None):
 
 
558
        # TODO: Option to control what format is created?
 
 
559
        dest_repo = to_bzrdir.create_repository()
 
 
560
        dest_repo.fetch(self, revision_id=revision_id)
 
 
563
    ### These methods are just thin shims to the VFS object for now.
 
 
565
    def revision_tree(self, revision_id):
 
 
567
        return self._real_repository.revision_tree(revision_id)
 
 
569
    def get_serializer_format(self):
 
 
571
        return self._real_repository.get_serializer_format()
 
 
573
    def get_commit_builder(self, branch, parents, config, timestamp=None,
 
 
574
                           timezone=None, committer=None, revprops=None,
 
 
576
        # FIXME: It ought to be possible to call this without immediately
 
 
577
        # triggering _ensure_real.  For now it's the easiest thing to do.
 
 
579
        builder = self._real_repository.get_commit_builder(branch, parents,
 
 
580
                config, timestamp=timestamp, timezone=timezone,
 
 
581
                committer=committer, revprops=revprops, revision_id=revision_id)
 
 
582
        # Make the builder use this RemoteRepository rather than the real one.
 
 
583
        builder.repository = self
 
 
587
    def add_inventory(self, revid, inv, parents):
 
 
589
        return self._real_repository.add_inventory(revid, inv, parents)
 
 
592
    def add_revision(self, rev_id, rev, inv=None, config=None):
 
 
594
        return self._real_repository.add_revision(
 
 
595
            rev_id, rev, inv=inv, config=config)
 
 
598
    def get_inventory(self, revision_id):
 
 
600
        return self._real_repository.get_inventory(revision_id)
 
 
603
    def get_revision(self, revision_id):
 
 
605
        return self._real_repository.get_revision(revision_id)
 
 
608
    def weave_store(self):
 
 
610
        return self._real_repository.weave_store
 
 
612
    def get_transaction(self):
 
 
614
        return self._real_repository.get_transaction()
 
 
617
    def clone(self, a_bzrdir, revision_id=None):
 
 
619
        return self._real_repository.clone(a_bzrdir, revision_id=revision_id)
 
 
621
    def make_working_trees(self):
 
 
622
        """RemoteRepositories never create working trees by default."""
 
 
625
    def fetch(self, source, revision_id=None, pb=None):
 
 
626
        if self.has_same_location(source):
 
 
627
            # check that last_revision is in 'from' and then return a
 
 
629
            if (revision_id is not None and
 
 
630
                not revision.is_null(revision_id)):
 
 
631
                self.get_revision(revision_id)
 
 
634
        return self._real_repository.fetch(
 
 
635
            source, revision_id=revision_id, pb=pb)
 
 
637
    def create_bundle(self, target, base, fileobj, format=None):
 
 
639
        self._real_repository.create_bundle(target, base, fileobj, format)
 
 
642
    def control_weaves(self):
 
 
644
        return self._real_repository.control_weaves
 
 
647
    def get_ancestry(self, revision_id, topo_sorted=True):
 
 
649
        return self._real_repository.get_ancestry(revision_id, topo_sorted)
 
 
652
    def get_inventory_weave(self):
 
 
654
        return self._real_repository.get_inventory_weave()
 
 
656
    def fileids_altered_by_revision_ids(self, revision_ids):
 
 
658
        return self._real_repository.fileids_altered_by_revision_ids(revision_ids)
 
 
660
    def get_versioned_file_checker(self, revisions, revision_versions_cache):
 
 
662
        return self._real_repository.get_versioned_file_checker(
 
 
663
            revisions, revision_versions_cache)
 
 
665
    def iter_files_bytes(self, desired_files):
 
 
666
        """See Repository.iter_file_bytes.
 
 
669
        return self._real_repository.iter_files_bytes(desired_files)
 
 
672
    def get_signature_text(self, revision_id):
 
 
674
        return self._real_repository.get_signature_text(revision_id)
 
 
677
    def get_revision_graph_with_ghosts(self, revision_ids=None):
 
 
679
        return self._real_repository.get_revision_graph_with_ghosts(
 
 
680
            revision_ids=revision_ids)
 
 
683
    def get_inventory_xml(self, revision_id):
 
 
685
        return self._real_repository.get_inventory_xml(revision_id)
 
 
687
    def deserialise_inventory(self, revision_id, xml):
 
 
689
        return self._real_repository.deserialise_inventory(revision_id, xml)
 
 
691
    def reconcile(self, other=None, thorough=False):
 
 
693
        return self._real_repository.reconcile(other=other, thorough=thorough)
 
 
695
    def all_revision_ids(self):
 
 
697
        return self._real_repository.all_revision_ids()
 
 
700
    def get_deltas_for_revisions(self, revisions):
 
 
702
        return self._real_repository.get_deltas_for_revisions(revisions)
 
 
705
    def get_revision_delta(self, revision_id):
 
 
707
        return self._real_repository.get_revision_delta(revision_id)
 
 
710
    def revision_trees(self, revision_ids):
 
 
712
        return self._real_repository.revision_trees(revision_ids)
 
 
715
    def get_revision_reconcile(self, revision_id):
 
 
717
        return self._real_repository.get_revision_reconcile(revision_id)
 
 
720
    def check(self, revision_ids=None):
 
 
722
        return self._real_repository.check(revision_ids=revision_ids)
 
 
724
    def copy_content_into(self, destination, revision_id=None):
 
 
726
        return self._real_repository.copy_content_into(
 
 
727
            destination, revision_id=revision_id)
 
 
729
    def _copy_repository_tarball(self, to_bzrdir, revision_id=None):
 
 
730
        # get a tarball of the remote repository, and copy from that into the
 
 
732
        from bzrlib import osutils
 
 
735
        from StringIO import StringIO
 
 
736
        # TODO: Maybe a progress bar while streaming the tarball?
 
 
737
        note("Copying repository content as tarball...")
 
 
738
        tar_file = self._get_tarball('bz2')
 
 
741
        destination = to_bzrdir.create_repository()
 
 
743
            tar = tarfile.open('repository', fileobj=tar_file,
 
 
745
            tmpdir = tempfile.mkdtemp()
 
 
747
                _extract_tar(tar, tmpdir)
 
 
748
                tmp_bzrdir = BzrDir.open(tmpdir)
 
 
749
                tmp_repo = tmp_bzrdir.open_repository()
 
 
750
                tmp_repo.copy_content_into(destination, revision_id)
 
 
752
                osutils.rmtree(tmpdir)
 
 
756
        # TODO: Suggestion from john: using external tar is much faster than
 
 
757
        # python's tarfile library, but it may not work on windows.
 
 
761
        """Compress the data within the repository.
 
 
763
        This is not currently implemented within the smart server.
 
 
766
        return self._real_repository.pack()
 
 
768
    def set_make_working_trees(self, new_value):
 
 
769
        raise NotImplementedError(self.set_make_working_trees)
 
 
772
    def sign_revision(self, revision_id, gpg_strategy):
 
 
774
        return self._real_repository.sign_revision(revision_id, gpg_strategy)
 
 
777
    def get_revisions(self, revision_ids):
 
 
779
        return self._real_repository.get_revisions(revision_ids)
 
 
781
    def supports_rich_root(self):
 
 
783
        return self._real_repository.supports_rich_root()
 
 
785
    def iter_reverse_revision_history(self, revision_id):
 
 
787
        return self._real_repository.iter_reverse_revision_history(revision_id)
 
 
790
    def _serializer(self):
 
 
792
        return self._real_repository._serializer
 
 
794
    def store_revision_signature(self, gpg_strategy, plaintext, revision_id):
 
 
796
        return self._real_repository.store_revision_signature(
 
 
797
            gpg_strategy, plaintext, revision_id)
 
 
799
    def has_signature_for_revision_id(self, revision_id):
 
 
801
        return self._real_repository.has_signature_for_revision_id(revision_id)
 
 
803
    def get_data_stream(self, revision_ids):
 
 
804
        path = self.bzrdir._path_for_remote_call(self._client)
 
 
805
        response, protocol = self._client.call_expecting_body(
 
 
806
            'Repository.stream_knit_data_for_revisions', path, *revision_ids)
 
 
807
        if response == ('ok',):
 
 
808
            return self._deserialise_stream(protocol)
 
 
809
        elif (response == ('error', "Generic bzr smart protocol error: "
 
 
810
                "bad request 'Repository.stream_knit_data_for_revisions'") or
 
 
811
              response == ('error', "Generic bzr smart protocol error: "
 
 
812
                "bad request u'Repository.stream_knit_data_for_revisions'")):
 
 
813
            protocol.cancel_read_body()
 
 
815
            return self._real_repository.get_data_stream(revision_ids)
 
 
817
            raise errors.UnexpectedSmartServerResponse(response)
 
 
819
    def _deserialise_stream(self, protocol):
 
 
820
        buffer = StringIO(protocol.read_body_bytes())
 
 
821
        reader = ContainerReader(buffer)
 
 
822
        for record_names, read_bytes in reader.iter_records():
 
 
824
                # These records should have only one name, and that name
 
 
825
                # should be a one-element tuple.
 
 
826
                [name_tuple] = record_names
 
 
828
                raise errors.SmartProtocolError(
 
 
829
                    'Repository data stream had invalid record name %r'
 
 
831
            yield name_tuple, read_bytes(None)
 
 
833
    def insert_data_stream(self, stream):
 
 
835
        self._real_repository.insert_data_stream(stream)
 
 
837
    def item_keys_introduced_by(self, revision_ids, _files_pb=None):
 
 
839
        return self._real_repository.item_keys_introduced_by(revision_ids,
 
 
842
    def revision_graph_can_have_wrong_parents(self):
 
 
843
        # The answer depends on the remote repo format.
 
 
845
        return self._real_repository.revision_graph_can_have_wrong_parents()
 
 
847
    def _find_inconsistent_revision_parents(self):
 
 
849
        return self._real_repository._find_inconsistent_revision_parents()
 
 
851
    def _check_for_inconsistent_revision_parents(self):
 
 
853
        return self._real_repository._check_for_inconsistent_revision_parents()
 
 
856
class RemoteBranchLockableFiles(LockableFiles):
 
 
857
    """A 'LockableFiles' implementation that talks to a smart server.
 
 
859
    This is not a public interface class.
 
 
862
    def __init__(self, bzrdir, _client):
 
 
864
        self._client = _client
 
 
865
        self._need_find_modes = True
 
 
866
        LockableFiles.__init__(
 
 
867
            self, bzrdir.get_branch_transport(None),
 
 
868
            'lock', lockdir.LockDir)
 
 
870
    def _find_modes(self):
 
 
871
        # RemoteBranches don't let the client set the mode of control files.
 
 
872
        self._dir_mode = None
 
 
873
        self._file_mode = None
 
 
876
        """'get' a remote path as per the LockableFiles interface.
 
 
878
        :param path: the file to 'get'. If this is 'branch.conf', we do not
 
 
879
             just retrieve a file, instead we ask the smart server to generate
 
 
880
             a configuration for us - which is retrieved as an INI file.
 
 
882
        if path == 'branch.conf':
 
 
883
            path = self.bzrdir._path_for_remote_call(self._client)
 
 
884
            response = self._client.call_expecting_body(
 
 
885
                'Branch.get_config_file', path)
 
 
886
            assert response[0][0] == 'ok', \
 
 
887
                'unexpected response code %s' % (response[0],)
 
 
888
            return StringIO(response[1].read_body_bytes())
 
 
891
            return LockableFiles.get(self, path)
 
 
894
class RemoteBranchFormat(branch.BranchFormat):
 
 
896
    def __eq__(self, other):
 
 
897
        return (isinstance(other, RemoteBranchFormat) and 
 
 
898
            self.__dict__ == other.__dict__)
 
 
900
    def get_format_description(self):
 
 
901
        return 'Remote BZR Branch'
 
 
903
    def get_format_string(self):
 
 
904
        return 'Remote BZR Branch'
 
 
906
    def open(self, a_bzrdir):
 
 
907
        assert isinstance(a_bzrdir, RemoteBzrDir)
 
 
908
        return a_bzrdir.open_branch()
 
 
910
    def initialize(self, a_bzrdir):
 
 
911
        assert isinstance(a_bzrdir, RemoteBzrDir)
 
 
912
        return a_bzrdir.create_branch()
 
 
914
    def supports_tags(self):
 
 
915
        # Remote branches might support tags, but we won't know until we
 
 
916
        # access the real remote branch.
 
 
920
class RemoteBranch(branch.Branch):
 
 
921
    """Branch stored on a server accessed by HPSS RPC.
 
 
923
    At the moment most operations are mapped down to simple file operations.
 
 
926
    def __init__(self, remote_bzrdir, remote_repository, real_branch=None,
 
 
928
        """Create a RemoteBranch instance.
 
 
930
        :param real_branch: An optional local implementation of the branch
 
 
931
            format, usually accessing the data via the VFS.
 
 
932
        :param _client: Private parameter for testing.
 
 
934
        # We intentionally don't call the parent class's __init__, because it
 
 
935
        # will try to assign to self.tags, which is a property in this subclass.
 
 
936
        # And the parent's __init__ doesn't do much anyway.
 
 
937
        self._revision_id_to_revno_cache = None
 
 
938
        self._revision_history_cache = None
 
 
939
        self.bzrdir = remote_bzrdir
 
 
940
        if _client is not None:
 
 
941
            self._client = _client
 
 
943
            self._client = client._SmartClient(self.bzrdir._shared_medium)
 
 
944
        self.repository = remote_repository
 
 
945
        if real_branch is not None:
 
 
946
            self._real_branch = real_branch
 
 
947
            # Give the remote repository the matching real repo.
 
 
948
            real_repo = self._real_branch.repository
 
 
949
            if isinstance(real_repo, RemoteRepository):
 
 
950
                real_repo._ensure_real()
 
 
951
                real_repo = real_repo._real_repository
 
 
952
            self.repository._set_real_repository(real_repo)
 
 
953
            # Give the branch the remote repository to let fast-pathing happen.
 
 
954
            self._real_branch.repository = self.repository
 
 
956
            self._real_branch = None
 
 
957
        # Fill out expected attributes of branch for bzrlib api users.
 
 
958
        self._format = RemoteBranchFormat()
 
 
959
        self.base = self.bzrdir.root_transport.base
 
 
960
        self._control_files = None
 
 
961
        self._lock_mode = None
 
 
962
        self._lock_token = None
 
 
964
        self._leave_lock = False
 
 
967
        return "%s(%s)" % (self.__class__.__name__, self.base)
 
 
971
    def _ensure_real(self):
 
 
972
        """Ensure that there is a _real_branch set.
 
 
974
        Used before calls to self._real_branch.
 
 
976
        if not self._real_branch:
 
 
977
            assert vfs.vfs_enabled()
 
 
978
            self.bzrdir._ensure_real()
 
 
979
            self._real_branch = self.bzrdir._real_bzrdir.open_branch()
 
 
980
            # Give the remote repository the matching real repo.
 
 
981
            real_repo = self._real_branch.repository
 
 
982
            if isinstance(real_repo, RemoteRepository):
 
 
983
                real_repo._ensure_real()
 
 
984
                real_repo = real_repo._real_repository
 
 
985
            self.repository._set_real_repository(real_repo)
 
 
986
            # Give the branch the remote repository to let fast-pathing happen.
 
 
987
            self._real_branch.repository = self.repository
 
 
988
            # XXX: deal with _lock_mode == 'w'
 
 
989
            if self._lock_mode == 'r':
 
 
990
                self._real_branch.lock_read()
 
 
993
    def control_files(self):
 
 
994
        # Defer actually creating RemoteBranchLockableFiles until its needed,
 
 
995
        # because it triggers an _ensure_real that we otherwise might not need.
 
 
996
        if self._control_files is None:
 
 
997
            self._control_files = RemoteBranchLockableFiles(
 
 
998
                self.bzrdir, self._client)
 
 
999
        return self._control_files
 
 
1001
    def _get_checkout_format(self):
 
 
1003
        return self._real_branch._get_checkout_format()
 
 
1005
    def get_physical_lock_status(self):
 
 
1006
        """See Branch.get_physical_lock_status()."""
 
 
1007
        # should be an API call to the server, as branches must be lockable.
 
 
1009
        return self._real_branch.get_physical_lock_status()
 
 
1011
    def lock_read(self):
 
 
1012
        if not self._lock_mode:
 
 
1013
            self._lock_mode = 'r'
 
 
1014
            self._lock_count = 1
 
 
1015
            if self._real_branch is not None:
 
 
1016
                self._real_branch.lock_read()
 
 
1018
            self._lock_count += 1
 
 
1020
    def _remote_lock_write(self, token):
 
 
1022
            branch_token = repo_token = ''
 
 
1024
            branch_token = token
 
 
1025
            repo_token = self.repository.lock_write()
 
 
1026
            self.repository.unlock()
 
 
1027
        path = self.bzrdir._path_for_remote_call(self._client)
 
 
1028
        response = self._client.call('Branch.lock_write', path, branch_token,
 
 
1030
        if response[0] == 'ok':
 
 
1031
            ok, branch_token, repo_token = response
 
 
1032
            return branch_token, repo_token
 
 
1033
        elif response[0] == 'LockContention':
 
 
1034
            raise errors.LockContention('(remote lock)')
 
 
1035
        elif response[0] == 'TokenMismatch':
 
 
1036
            raise errors.TokenMismatch(token, '(remote token)')
 
 
1037
        elif response[0] == 'UnlockableTransport':
 
 
1038
            raise errors.UnlockableTransport(self.bzrdir.root_transport)
 
 
1039
        elif response[0] == 'ReadOnlyError':
 
 
1040
            raise errors.ReadOnlyError(self)
 
 
1041
        elif response[0] == 'LockFailed':
 
 
1042
            raise errors.LockFailed(response[1], response[2])
 
 
1044
            raise errors.UnexpectedSmartServerResponse(response)
 
 
1046
    def lock_write(self, token=None):
 
 
1047
        if not self._lock_mode:
 
 
1048
            remote_tokens = self._remote_lock_write(token)
 
 
1049
            self._lock_token, self._repo_lock_token = remote_tokens
 
 
1050
            assert self._lock_token, 'Remote server did not return a token!'
 
 
1051
            # TODO: We really, really, really don't want to call _ensure_real
 
 
1052
            # here, but it's the easiest way to ensure coherency between the
 
 
1053
            # state of the RemoteBranch and RemoteRepository objects and the
 
 
1054
            # physical locks.  If we don't materialise the real objects here,
 
 
1055
            # then getting everything in the right state later is complex, so
 
 
1056
            # for now we just do it the lazy way.
 
 
1057
            #   -- Andrew Bennetts, 2007-02-22.
 
 
1059
            if self._real_branch is not None:
 
 
1060
                self._real_branch.repository.lock_write(
 
 
1061
                    token=self._repo_lock_token)
 
 
1063
                    self._real_branch.lock_write(token=self._lock_token)
 
 
1065
                    self._real_branch.repository.unlock()
 
 
1066
            if token is not None:
 
 
1067
                self._leave_lock = True
 
 
1069
                # XXX: this case seems to be unreachable; token cannot be None.
 
 
1070
                self._leave_lock = False
 
 
1071
            self._lock_mode = 'w'
 
 
1072
            self._lock_count = 1
 
 
1073
        elif self._lock_mode == 'r':
 
 
1074
            raise errors.ReadOnlyTransaction
 
 
1076
            if token is not None:
 
 
1077
                # A token was given to lock_write, and we're relocking, so check
 
 
1078
                # that the given token actually matches the one we already have.
 
 
1079
                if token != self._lock_token:
 
 
1080
                    raise errors.TokenMismatch(token, self._lock_token)
 
 
1081
            self._lock_count += 1
 
 
1082
        return self._lock_token
 
 
1084
    def _unlock(self, branch_token, repo_token):
 
 
1085
        path = self.bzrdir._path_for_remote_call(self._client)
 
 
1086
        response = self._client.call('Branch.unlock', path, branch_token,
 
 
1088
        if response == ('ok',):
 
 
1090
        elif response[0] == 'TokenMismatch':
 
 
1091
            raise errors.TokenMismatch(
 
 
1092
                str((branch_token, repo_token)), '(remote tokens)')
 
 
1094
            raise errors.UnexpectedSmartServerResponse(response)
 
 
1097
        self._lock_count -= 1
 
 
1098
        if not self._lock_count:
 
 
1099
            self._clear_cached_state()
 
 
1100
            mode = self._lock_mode
 
 
1101
            self._lock_mode = None
 
 
1102
            if self._real_branch is not None:
 
 
1103
                if not self._leave_lock:
 
 
1104
                    # If this RemoteBranch will remove the physical lock for the
 
 
1105
                    # repository, make sure the _real_branch doesn't do it
 
 
1106
                    # first.  (Because the _real_branch's repository is set to
 
 
1107
                    # be the RemoteRepository.)
 
 
1108
                    self._real_branch.repository.leave_lock_in_place()
 
 
1109
                self._real_branch.unlock()
 
 
1111
                # Only write-locked branched need to make a remote method call
 
 
1112
                # to perfom the unlock.
 
 
1114
            assert self._lock_token, 'Locked, but no token!'
 
 
1115
            branch_token = self._lock_token
 
 
1116
            repo_token = self._repo_lock_token
 
 
1117
            self._lock_token = None
 
 
1118
            self._repo_lock_token = None
 
 
1119
            if not self._leave_lock:
 
 
1120
                self._unlock(branch_token, repo_token)
 
 
1122
    def break_lock(self):
 
 
1124
        return self._real_branch.break_lock()
 
 
1126
    def leave_lock_in_place(self):
 
 
1127
        self._leave_lock = True
 
 
1129
    def dont_leave_lock_in_place(self):
 
 
1130
        self._leave_lock = False
 
 
1132
    def last_revision_info(self):
 
 
1133
        """See Branch.last_revision_info()."""
 
 
1134
        path = self.bzrdir._path_for_remote_call(self._client)
 
 
1135
        response = self._client.call('Branch.last_revision_info', path)
 
 
1136
        assert response[0] == 'ok', 'unexpected response code %s' % (response,)
 
 
1137
        revno = int(response[1])
 
 
1138
        last_revision = response[2]
 
 
1139
        return (revno, last_revision)
 
 
1141
    def _gen_revision_history(self):
 
 
1142
        """See Branch._gen_revision_history()."""
 
 
1143
        path = self.bzrdir._path_for_remote_call(self._client)
 
 
1144
        response = self._client.call_expecting_body(
 
 
1145
            'Branch.revision_history', path)
 
 
1146
        assert response[0][0] == 'ok', ('unexpected response code %s'
 
 
1148
        result = response[1].read_body_bytes().split('\x00')
 
 
1154
    def set_revision_history(self, rev_history):
 
 
1155
        # Send just the tip revision of the history; the server will generate
 
 
1156
        # the full history from that.  If the revision doesn't exist in this
 
 
1157
        # branch, NoSuchRevision will be raised.
 
 
1158
        path = self.bzrdir._path_for_remote_call(self._client)
 
 
1159
        if rev_history == []:
 
 
1162
            rev_id = rev_history[-1]
 
 
1163
        self._clear_cached_state()
 
 
1164
        response = self._client.call('Branch.set_last_revision',
 
 
1165
            path, self._lock_token, self._repo_lock_token, rev_id)
 
 
1166
        if response[0] == 'NoSuchRevision':
 
 
1167
            raise NoSuchRevision(self, rev_id)
 
 
1169
            assert response == ('ok',), (
 
 
1170
                'unexpected response code %r' % (response,))
 
 
1171
        self._cache_revision_history(rev_history)
 
 
1173
    def get_parent(self):
 
 
1175
        return self._real_branch.get_parent()
 
 
1177
    def set_parent(self, url):
 
 
1179
        return self._real_branch.set_parent(url)
 
 
1181
    def get_config(self):
 
 
1182
        return RemoteBranchConfig(self)
 
 
1184
    def sprout(self, to_bzrdir, revision_id=None):
 
 
1185
        # Like Branch.sprout, except that it sprouts a branch in the default
 
 
1186
        # format, because RemoteBranches can't be created at arbitrary URLs.
 
 
1187
        # XXX: if to_bzrdir is a RemoteBranch, this should perhaps do
 
 
1188
        # to_bzrdir.create_branch...
 
 
1189
        result = branch.BranchFormat.get_default_format().initialize(to_bzrdir)
 
 
1190
        self.copy_content_into(result, revision_id=revision_id)
 
 
1191
        result.set_parent(self.bzrdir.root_transport.base)
 
 
1195
    def pull(self, source, overwrite=False, stop_revision=None,
 
 
1197
        # FIXME: This asks the real branch to run the hooks, which means
 
 
1198
        # they're called with the wrong target branch parameter. 
 
 
1199
        # The test suite specifically allows this at present but it should be
 
 
1200
        # fixed.  It should get a _override_hook_target branch,
 
 
1201
        # as push does.  -- mbp 20070405
 
 
1203
        self._real_branch.pull(
 
 
1204
            source, overwrite=overwrite, stop_revision=stop_revision,
 
 
1208
    def push(self, target, overwrite=False, stop_revision=None):
 
 
1210
        return self._real_branch.push(
 
 
1211
            target, overwrite=overwrite, stop_revision=stop_revision,
 
 
1212
            _override_hook_source_branch=self)
 
 
1214
    def is_locked(self):
 
 
1215
        return self._lock_count >= 1
 
 
1217
    def set_last_revision_info(self, revno, revision_id):
 
 
1219
        self._clear_cached_state()
 
 
1220
        return self._real_branch.set_last_revision_info(revno, revision_id)
 
 
1222
    def generate_revision_history(self, revision_id, last_rev=None,
 
 
1225
        return self._real_branch.generate_revision_history(
 
 
1226
            revision_id, last_rev=last_rev, other_branch=other_branch)
 
 
1231
        return self._real_branch.tags
 
 
1233
    def set_push_location(self, location):
 
 
1235
        return self._real_branch.set_push_location(location)
 
 
1237
    def update_revisions(self, other, stop_revision=None):
 
 
1239
        return self._real_branch.update_revisions(
 
 
1240
            other, stop_revision=stop_revision)
 
 
1243
class RemoteBranchConfig(BranchConfig):
 
 
1246
        self.branch._ensure_real()
 
 
1247
        return self.branch._real_branch.get_config().username()
 
 
1249
    def _get_branch_data_config(self):
 
 
1250
        self.branch._ensure_real()
 
 
1251
        if self._branch_data_config is None:
 
 
1252
            self._branch_data_config = TreeConfig(self.branch._real_branch)
 
 
1253
        return self._branch_data_config
 
 
1256
def _extract_tar(tar, to_dir):
 
 
1257
    """Extract all the contents of a tarfile object.
 
 
1259
    A replacement for extractall, which is not present in python2.4
 
 
1262
        tar.extract(tarinfo, to_dir)