/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/remote.py

  • Committer: Jelmer Vernooij
  • Date: 2008-07-08 15:58:12 UTC
  • mfrom: (3353.1.4 paramiko-1.7.2-compat)
  • mto: This revision was merged to the branch mainline in revision 3531.
  • Revision ID: jelmer@samba.org-20080708155812-gacwrgs7d7n48a0d
Merge bashprompt script that prints the bzr branch nick.

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2006, 2007, 2008 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
# TODO: At some point, handle upgrades by just passing the whole request
 
18
# across to run on the server.
 
19
 
 
20
import bz2
 
21
from cStringIO import StringIO
 
22
 
 
23
from bzrlib import (
 
24
    branch,
 
25
    debug,
 
26
    errors,
 
27
    graph,
 
28
    lockdir,
 
29
    repository,
 
30
    revision,
 
31
    symbol_versioning,
 
32
)
 
33
from bzrlib.branch import BranchReferenceFormat
 
34
from bzrlib.bzrdir import BzrDir, RemoteBzrDirFormat
 
35
from bzrlib.config import BranchConfig, TreeConfig
 
36
from bzrlib.decorators import needs_read_lock, needs_write_lock
 
37
from bzrlib.errors import (
 
38
    NoSuchRevision,
 
39
    SmartProtocolError,
 
40
    )
 
41
from bzrlib.lockable_files import LockableFiles
 
42
from bzrlib.pack import ContainerPushParser
 
43
from bzrlib.smart import client, vfs
 
44
from bzrlib.symbol_versioning import (
 
45
    deprecated_in,
 
46
    deprecated_method,
 
47
    )
 
48
from bzrlib.revision import ensure_null, NULL_REVISION
 
49
from bzrlib.trace import mutter, note, warning
 
50
 
 
51
 
 
52
# Note: RemoteBzrDirFormat is in bzrdir.py
 
53
 
 
54
class RemoteBzrDir(BzrDir):
 
55
    """Control directory on a remote server, accessed via bzr:// or similar."""
 
56
 
 
57
    def __init__(self, transport, _client=None):
 
58
        """Construct a RemoteBzrDir.
 
59
 
 
60
        :param _client: Private parameter for testing. Disables probing and the
 
61
            use of a real bzrdir.
 
62
        """
 
63
        BzrDir.__init__(self, transport, RemoteBzrDirFormat())
 
64
        # this object holds a delegated bzrdir that uses file-level operations
 
65
        # to talk to the other side
 
66
        self._real_bzrdir = None
 
67
 
 
68
        if _client is None:
 
69
            medium = transport.get_smart_medium()
 
70
            self._client = client._SmartClient(medium)
 
71
        else:
 
72
            self._client = _client
 
73
            return
 
74
 
 
75
        path = self._path_for_remote_call(self._client)
 
76
        response = self._client.call('BzrDir.open', path)
 
77
        if response not in [('yes',), ('no',)]:
 
78
            raise errors.UnexpectedSmartServerResponse(response)
 
79
        if response == ('no',):
 
80
            raise errors.NotBranchError(path=transport.base)
 
81
 
 
82
    def _ensure_real(self):
 
83
        """Ensure that there is a _real_bzrdir set.
 
84
 
 
85
        Used before calls to self._real_bzrdir.
 
86
        """
 
87
        if not self._real_bzrdir:
 
88
            self._real_bzrdir = BzrDir.open_from_transport(
 
89
                self.root_transport, _server_formats=False)
 
90
 
 
91
    def create_repository(self, shared=False):
 
92
        self._ensure_real()
 
93
        self._real_bzrdir.create_repository(shared=shared)
 
94
        return self.open_repository()
 
95
 
 
96
    def destroy_repository(self):
 
97
        """See BzrDir.destroy_repository"""
 
98
        self._ensure_real()
 
99
        self._real_bzrdir.destroy_repository()
 
100
 
 
101
    def create_branch(self):
 
102
        self._ensure_real()
 
103
        real_branch = self._real_bzrdir.create_branch()
 
104
        return RemoteBranch(self, self.find_repository(), real_branch)
 
105
 
 
106
    def destroy_branch(self):
 
107
        """See BzrDir.destroy_branch"""
 
108
        self._ensure_real()
 
109
        self._real_bzrdir.destroy_branch()
 
110
 
 
111
    def create_workingtree(self, revision_id=None, from_branch=None):
 
112
        raise errors.NotLocalUrl(self.transport.base)
 
113
 
 
114
    def find_branch_format(self):
 
115
        """Find the branch 'format' for this bzrdir.
 
116
 
 
117
        This might be a synthetic object for e.g. RemoteBranch and SVN.
 
118
        """
 
119
        b = self.open_branch()
 
120
        return b._format
 
121
 
 
122
    def get_branch_reference(self):
 
123
        """See BzrDir.get_branch_reference()."""
 
124
        path = self._path_for_remote_call(self._client)
 
125
        try:
 
126
            response = self._client.call('BzrDir.open_branch', path)
 
127
        except errors.ErrorFromSmartServer, err:
 
128
            if err.error_tuple == ('nobranch',):
 
129
                raise errors.NotBranchError(path=self.root_transport.base)
 
130
            raise
 
131
        if response[0] == 'ok':
 
132
            if response[1] == '':
 
133
                # branch at this location.
 
134
                return None
 
135
            else:
 
136
                # a branch reference, use the existing BranchReference logic.
 
137
                return response[1]
 
138
        else:
 
139
            raise errors.UnexpectedSmartServerResponse(response)
 
140
 
 
141
    def _get_tree_branch(self):
 
142
        """See BzrDir._get_tree_branch()."""
 
143
        return None, self.open_branch()
 
144
 
 
145
    def open_branch(self, _unsupported=False):
 
146
        if _unsupported:
 
147
            raise NotImplementedError('unsupported flag support not implemented yet.')
 
148
        reference_url = self.get_branch_reference()
 
149
        if reference_url is None:
 
150
            # branch at this location.
 
151
            return RemoteBranch(self, self.find_repository())
 
152
        else:
 
153
            # a branch reference, use the existing BranchReference logic.
 
154
            format = BranchReferenceFormat()
 
155
            return format.open(self, _found=True, location=reference_url)
 
156
                
 
157
    def open_repository(self):
 
158
        path = self._path_for_remote_call(self._client)
 
159
        verb = 'BzrDir.find_repositoryV2'
 
160
        try:
 
161
            try:
 
162
                response = self._client.call(verb, path)
 
163
            except errors.UnknownSmartMethod:
 
164
                verb = 'BzrDir.find_repository'
 
165
                response = self._client.call(verb, path)
 
166
        except errors.ErrorFromSmartServer, err:
 
167
            if err.error_verb == 'norepository':
 
168
                raise errors.NoRepositoryPresent(self)
 
169
            raise
 
170
        if response[0] != 'ok':
 
171
            raise errors.UnexpectedSmartServerResponse(response)
 
172
        if verb == 'BzrDir.find_repository':
 
173
            # servers that don't support the V2 method don't support external
 
174
            # references either.
 
175
            response = response + ('no', )
 
176
        if not (len(response) == 5):
 
177
            raise SmartProtocolError('incorrect response length %s' % (response,))
 
178
        if response[1] == '':
 
179
            format = RemoteRepositoryFormat()
 
180
            format.rich_root_data = (response[2] == 'yes')
 
181
            format.supports_tree_reference = (response[3] == 'yes')
 
182
            # No wire format to check this yet.
 
183
            format.supports_external_lookups = (response[4] == 'yes')
 
184
            return RemoteRepository(self, format)
 
185
        else:
 
186
            raise errors.NoRepositoryPresent(self)
 
187
 
 
188
    def open_workingtree(self, recommend_upgrade=True):
 
189
        self._ensure_real()
 
190
        if self._real_bzrdir.has_workingtree():
 
191
            raise errors.NotLocalUrl(self.root_transport)
 
192
        else:
 
193
            raise errors.NoWorkingTree(self.root_transport.base)
 
194
 
 
195
    def _path_for_remote_call(self, client):
 
196
        """Return the path to be used for this bzrdir in a remote call."""
 
197
        return client.remote_path_from_transport(self.root_transport)
 
198
 
 
199
    def get_branch_transport(self, branch_format):
 
200
        self._ensure_real()
 
201
        return self._real_bzrdir.get_branch_transport(branch_format)
 
202
 
 
203
    def get_repository_transport(self, repository_format):
 
204
        self._ensure_real()
 
205
        return self._real_bzrdir.get_repository_transport(repository_format)
 
206
 
 
207
    def get_workingtree_transport(self, workingtree_format):
 
208
        self._ensure_real()
 
209
        return self._real_bzrdir.get_workingtree_transport(workingtree_format)
 
210
 
 
211
    def can_convert_format(self):
 
212
        """Upgrading of remote bzrdirs is not supported yet."""
 
213
        return False
 
214
 
 
215
    def needs_format_conversion(self, format=None):
 
216
        """Upgrading of remote bzrdirs is not supported yet."""
 
217
        return False
 
218
 
 
219
    def clone(self, url, revision_id=None, force_new_repo=False):
 
220
        self._ensure_real()
 
221
        return self._real_bzrdir.clone(url, revision_id=revision_id,
 
222
            force_new_repo=force_new_repo)
 
223
 
 
224
 
 
225
class RemoteRepositoryFormat(repository.RepositoryFormat):
 
226
    """Format for repositories accessed over a _SmartClient.
 
227
 
 
228
    Instances of this repository are represented by RemoteRepository
 
229
    instances.
 
230
 
 
231
    The RemoteRepositoryFormat is parameterized during construction
 
232
    to reflect the capabilities of the real, remote format. Specifically
 
233
    the attributes rich_root_data and supports_tree_reference are set
 
234
    on a per instance basis, and are not set (and should not be) at
 
235
    the class level.
 
236
    """
 
237
 
 
238
    _matchingbzrdir = RemoteBzrDirFormat
 
239
 
 
240
    def initialize(self, a_bzrdir, shared=False):
 
241
        if not isinstance(a_bzrdir, RemoteBzrDir):
 
242
            raise AssertionError('%r is not a RemoteBzrDir' % (a_bzrdir,))
 
243
        return a_bzrdir.create_repository(shared=shared)
 
244
    
 
245
    def open(self, a_bzrdir):
 
246
        if not isinstance(a_bzrdir, RemoteBzrDir):
 
247
            raise AssertionError('%r is not a RemoteBzrDir' % (a_bzrdir,))
 
248
        return a_bzrdir.open_repository()
 
249
 
 
250
    def get_format_description(self):
 
251
        return 'bzr remote repository'
 
252
 
 
253
    def __eq__(self, other):
 
254
        return self.__class__ == other.__class__
 
255
 
 
256
    def check_conversion_target(self, target_format):
 
257
        if self.rich_root_data and not target_format.rich_root_data:
 
258
            raise errors.BadConversionTarget(
 
259
                'Does not support rich root data.', target_format)
 
260
        if (self.supports_tree_reference and
 
261
            not getattr(target_format, 'supports_tree_reference', False)):
 
262
            raise errors.BadConversionTarget(
 
263
                'Does not support nested trees', target_format)
 
264
 
 
265
 
 
266
class RemoteRepository(object):
 
267
    """Repository accessed over rpc.
 
268
 
 
269
    For the moment most operations are performed using local transport-backed
 
270
    Repository objects.
 
271
    """
 
272
 
 
273
    def __init__(self, remote_bzrdir, format, real_repository=None, _client=None):
 
274
        """Create a RemoteRepository instance.
 
275
        
 
276
        :param remote_bzrdir: The bzrdir hosting this repository.
 
277
        :param format: The RemoteFormat object to use.
 
278
        :param real_repository: If not None, a local implementation of the
 
279
            repository logic for the repository, usually accessing the data
 
280
            via the VFS.
 
281
        :param _client: Private testing parameter - override the smart client
 
282
            to be used by the repository.
 
283
        """
 
284
        if real_repository:
 
285
            self._real_repository = real_repository
 
286
        else:
 
287
            self._real_repository = None
 
288
        self.bzrdir = remote_bzrdir
 
289
        if _client is None:
 
290
            self._client = remote_bzrdir._client
 
291
        else:
 
292
            self._client = _client
 
293
        self._format = format
 
294
        self._lock_mode = None
 
295
        self._lock_token = None
 
296
        self._lock_count = 0
 
297
        self._leave_lock = False
 
298
        # A cache of looked up revision parent data; reset at unlock time.
 
299
        self._parents_map = None
 
300
        if 'hpss' in debug.debug_flags:
 
301
            self._requested_parents = None
 
302
        # For tests:
 
303
        # These depend on the actual remote format, so force them off for
 
304
        # maximum compatibility. XXX: In future these should depend on the
 
305
        # remote repository instance, but this is irrelevant until we perform
 
306
        # reconcile via an RPC call.
 
307
        self._reconcile_does_inventory_gc = False
 
308
        self._reconcile_fixes_text_parents = False
 
309
        self._reconcile_backsup_inventory = False
 
310
        self.base = self.bzrdir.transport.base
 
311
 
 
312
    def __str__(self):
 
313
        return "%s(%s)" % (self.__class__.__name__, self.base)
 
314
 
 
315
    __repr__ = __str__
 
316
 
 
317
    def abort_write_group(self):
 
318
        """Complete a write group on the decorated repository.
 
319
        
 
320
        Smart methods peform operations in a single step so this api
 
321
        is not really applicable except as a compatibility thunk
 
322
        for older plugins that don't use e.g. the CommitBuilder
 
323
        facility.
 
324
        """
 
325
        self._ensure_real()
 
326
        return self._real_repository.abort_write_group()
 
327
 
 
328
    def commit_write_group(self):
 
329
        """Complete a write group on the decorated repository.
 
330
        
 
331
        Smart methods peform operations in a single step so this api
 
332
        is not really applicable except as a compatibility thunk
 
333
        for older plugins that don't use e.g. the CommitBuilder
 
334
        facility.
 
335
        """
 
336
        self._ensure_real()
 
337
        return self._real_repository.commit_write_group()
 
338
 
 
339
    def _ensure_real(self):
 
340
        """Ensure that there is a _real_repository set.
 
341
 
 
342
        Used before calls to self._real_repository.
 
343
        """
 
344
        if not self._real_repository:
 
345
            self.bzrdir._ensure_real()
 
346
            #self._real_repository = self.bzrdir._real_bzrdir.open_repository()
 
347
            self._set_real_repository(self.bzrdir._real_bzrdir.open_repository())
 
348
 
 
349
    def find_text_key_references(self):
 
350
        """Find the text key references within the repository.
 
351
 
 
352
        :return: a dictionary mapping (file_id, revision_id) tuples to altered file-ids to an iterable of
 
353
        revision_ids. Each altered file-ids has the exact revision_ids that
 
354
        altered it listed explicitly.
 
355
        :return: A dictionary mapping text keys ((fileid, revision_id) tuples)
 
356
            to whether they were referred to by the inventory of the
 
357
            revision_id that they contain. The inventory texts from all present
 
358
            revision ids are assessed to generate this report.
 
359
        """
 
360
        self._ensure_real()
 
361
        return self._real_repository.find_text_key_references()
 
362
 
 
363
    def _generate_text_key_index(self):
 
364
        """Generate a new text key index for the repository.
 
365
 
 
366
        This is an expensive function that will take considerable time to run.
 
367
 
 
368
        :return: A dict mapping (file_id, revision_id) tuples to a list of
 
369
            parents, also (file_id, revision_id) tuples.
 
370
        """
 
371
        self._ensure_real()
 
372
        return self._real_repository._generate_text_key_index()
 
373
 
 
374
    @symbol_versioning.deprecated_method(symbol_versioning.one_four)
 
375
    def get_revision_graph(self, revision_id=None):
 
376
        """See Repository.get_revision_graph()."""
 
377
        return self._get_revision_graph(revision_id)
 
378
 
 
379
    def _get_revision_graph(self, revision_id):
 
380
        """Private method for using with old (< 1.2) servers to fallback."""
 
381
        if revision_id is None:
 
382
            revision_id = ''
 
383
        elif revision.is_null(revision_id):
 
384
            return {}
 
385
 
 
386
        path = self.bzrdir._path_for_remote_call(self._client)
 
387
        try:
 
388
            response = self._client.call_expecting_body(
 
389
                'Repository.get_revision_graph', path, revision_id)
 
390
        except errors.ErrorFromSmartServer, err:
 
391
            if err.error_verb == 'nosuchrevision':
 
392
                raise NoSuchRevision(self, revision_id)
 
393
            raise
 
394
        response_tuple, response_handler = response
 
395
        if response_tuple[0] != 'ok':
 
396
            raise errors.UnexpectedSmartServerResponse(response_tuple)
 
397
        coded = response_handler.read_body_bytes()
 
398
        if coded == '':
 
399
            # no revisions in this repository!
 
400
            return {}
 
401
        lines = coded.split('\n')
 
402
        revision_graph = {}
 
403
        for line in lines:
 
404
            d = tuple(line.split())
 
405
            revision_graph[d[0]] = d[1:]
 
406
            
 
407
        return revision_graph
 
408
 
 
409
    def has_revision(self, revision_id):
 
410
        """See Repository.has_revision()."""
 
411
        if revision_id == NULL_REVISION:
 
412
            # The null revision is always present.
 
413
            return True
 
414
        path = self.bzrdir._path_for_remote_call(self._client)
 
415
        response = self._client.call(
 
416
            'Repository.has_revision', path, revision_id)
 
417
        if response[0] not in ('yes', 'no'):
 
418
            raise errors.UnexpectedSmartServerResponse(response)
 
419
        return response[0] == 'yes'
 
420
 
 
421
    def has_revisions(self, revision_ids):
 
422
        """See Repository.has_revisions()."""
 
423
        result = set()
 
424
        for revision_id in revision_ids:
 
425
            if self.has_revision(revision_id):
 
426
                result.add(revision_id)
 
427
        return result
 
428
 
 
429
    def has_same_location(self, other):
 
430
        return (self.__class__ == other.__class__ and
 
431
                self.bzrdir.transport.base == other.bzrdir.transport.base)
 
432
        
 
433
    def get_graph(self, other_repository=None):
 
434
        """Return the graph for this repository format"""
 
435
        parents_provider = self
 
436
        if (other_repository is not None and
 
437
            other_repository.bzrdir.transport.base !=
 
438
            self.bzrdir.transport.base):
 
439
            parents_provider = graph._StackedParentsProvider(
 
440
                [parents_provider, other_repository._make_parents_provider()])
 
441
        return graph.Graph(parents_provider)
 
442
 
 
443
    def gather_stats(self, revid=None, committers=None):
 
444
        """See Repository.gather_stats()."""
 
445
        path = self.bzrdir._path_for_remote_call(self._client)
 
446
        # revid can be None to indicate no revisions, not just NULL_REVISION
 
447
        if revid is None or revision.is_null(revid):
 
448
            fmt_revid = ''
 
449
        else:
 
450
            fmt_revid = revid
 
451
        if committers is None or not committers:
 
452
            fmt_committers = 'no'
 
453
        else:
 
454
            fmt_committers = 'yes'
 
455
        response_tuple, response_handler = self._client.call_expecting_body(
 
456
            'Repository.gather_stats', path, fmt_revid, fmt_committers)
 
457
        if response_tuple[0] != 'ok':
 
458
            raise errors.UnexpectedSmartServerResponse(response_tuple)
 
459
 
 
460
        body = response_handler.read_body_bytes()
 
461
        result = {}
 
462
        for line in body.split('\n'):
 
463
            if not line:
 
464
                continue
 
465
            key, val_text = line.split(':')
 
466
            if key in ('revisions', 'size', 'committers'):
 
467
                result[key] = int(val_text)
 
468
            elif key in ('firstrev', 'latestrev'):
 
469
                values = val_text.split(' ')[1:]
 
470
                result[key] = (float(values[0]), long(values[1]))
 
471
 
 
472
        return result
 
473
 
 
474
    def find_branches(self, using=False):
 
475
        """See Repository.find_branches()."""
 
476
        # should be an API call to the server.
 
477
        self._ensure_real()
 
478
        return self._real_repository.find_branches(using=using)
 
479
 
 
480
    def get_physical_lock_status(self):
 
481
        """See Repository.get_physical_lock_status()."""
 
482
        # should be an API call to the server.
 
483
        self._ensure_real()
 
484
        return self._real_repository.get_physical_lock_status()
 
485
 
 
486
    def is_in_write_group(self):
 
487
        """Return True if there is an open write group.
 
488
 
 
489
        write groups are only applicable locally for the smart server..
 
490
        """
 
491
        if self._real_repository:
 
492
            return self._real_repository.is_in_write_group()
 
493
 
 
494
    def is_locked(self):
 
495
        return self._lock_count >= 1
 
496
 
 
497
    def is_shared(self):
 
498
        """See Repository.is_shared()."""
 
499
        path = self.bzrdir._path_for_remote_call(self._client)
 
500
        response = self._client.call('Repository.is_shared', path)
 
501
        if response[0] not in ('yes', 'no'):
 
502
            raise SmartProtocolError('unexpected response code %s' % (response,))
 
503
        return response[0] == 'yes'
 
504
 
 
505
    def is_write_locked(self):
 
506
        return self._lock_mode == 'w'
 
507
 
 
508
    def lock_read(self):
 
509
        # wrong eventually - want a local lock cache context
 
510
        if not self._lock_mode:
 
511
            self._lock_mode = 'r'
 
512
            self._lock_count = 1
 
513
            self._parents_map = {}
 
514
            if 'hpss' in debug.debug_flags:
 
515
                self._requested_parents = set()
 
516
            if self._real_repository is not None:
 
517
                self._real_repository.lock_read()
 
518
        else:
 
519
            self._lock_count += 1
 
520
 
 
521
    def _remote_lock_write(self, token):
 
522
        path = self.bzrdir._path_for_remote_call(self._client)
 
523
        if token is None:
 
524
            token = ''
 
525
        try:
 
526
            response = self._client.call('Repository.lock_write', path, token)
 
527
        except errors.ErrorFromSmartServer, err:
 
528
            if err.error_verb == 'LockContention':
 
529
                raise errors.LockContention('(remote lock)')
 
530
            elif err.error_verb == 'UnlockableTransport':
 
531
                raise errors.UnlockableTransport(self.bzrdir.root_transport)
 
532
            elif err.error_verb == 'LockFailed':
 
533
                raise errors.LockFailed(err.error_args[0], err.error_args[1])
 
534
            raise
 
535
 
 
536
        if response[0] == 'ok':
 
537
            ok, token = response
 
538
            return token
 
539
        else:
 
540
            raise errors.UnexpectedSmartServerResponse(response)
 
541
 
 
542
    def lock_write(self, token=None):
 
543
        if not self._lock_mode:
 
544
            self._lock_token = self._remote_lock_write(token)
 
545
            # if self._lock_token is None, then this is something like packs or
 
546
            # svn where we don't get to lock the repo, or a weave style repository
 
547
            # where we cannot lock it over the wire and attempts to do so will
 
548
            # fail.
 
549
            if self._real_repository is not None:
 
550
                self._real_repository.lock_write(token=self._lock_token)
 
551
            if token is not None:
 
552
                self._leave_lock = True
 
553
            else:
 
554
                self._leave_lock = False
 
555
            self._lock_mode = 'w'
 
556
            self._lock_count = 1
 
557
            self._parents_map = {}
 
558
            if 'hpss' in debug.debug_flags:
 
559
                self._requested_parents = set()
 
560
        elif self._lock_mode == 'r':
 
561
            raise errors.ReadOnlyError(self)
 
562
        else:
 
563
            self._lock_count += 1
 
564
        return self._lock_token or None
 
565
 
 
566
    def leave_lock_in_place(self):
 
567
        if not self._lock_token:
 
568
            raise NotImplementedError(self.leave_lock_in_place)
 
569
        self._leave_lock = True
 
570
 
 
571
    def dont_leave_lock_in_place(self):
 
572
        if not self._lock_token:
 
573
            raise NotImplementedError(self.dont_leave_lock_in_place)
 
574
        self._leave_lock = False
 
575
 
 
576
    def _set_real_repository(self, repository):
 
577
        """Set the _real_repository for this repository.
 
578
 
 
579
        :param repository: The repository to fallback to for non-hpss
 
580
            implemented operations.
 
581
        """
 
582
        if isinstance(repository, RemoteRepository):
 
583
            raise AssertionError()
 
584
        self._real_repository = repository
 
585
        if self._lock_mode == 'w':
 
586
            # if we are already locked, the real repository must be able to
 
587
            # acquire the lock with our token.
 
588
            self._real_repository.lock_write(self._lock_token)
 
589
        elif self._lock_mode == 'r':
 
590
            self._real_repository.lock_read()
 
591
 
 
592
    def start_write_group(self):
 
593
        """Start a write group on the decorated repository.
 
594
        
 
595
        Smart methods peform operations in a single step so this api
 
596
        is not really applicable except as a compatibility thunk
 
597
        for older plugins that don't use e.g. the CommitBuilder
 
598
        facility.
 
599
        """
 
600
        self._ensure_real()
 
601
        return self._real_repository.start_write_group()
 
602
 
 
603
    def _unlock(self, token):
 
604
        path = self.bzrdir._path_for_remote_call(self._client)
 
605
        if not token:
 
606
            # with no token the remote repository is not persistently locked.
 
607
            return
 
608
        try:
 
609
            response = self._client.call('Repository.unlock', path, token)
 
610
        except errors.ErrorFromSmartServer, err:
 
611
            if err.error_verb == 'TokenMismatch':
 
612
                raise errors.TokenMismatch(token, '(remote token)')
 
613
            raise
 
614
        if response == ('ok',):
 
615
            return
 
616
        else:
 
617
            raise errors.UnexpectedSmartServerResponse(response)
 
618
 
 
619
    def unlock(self):
 
620
        self._lock_count -= 1
 
621
        if self._lock_count > 0:
 
622
            return
 
623
        self._parents_map = None
 
624
        if 'hpss' in debug.debug_flags:
 
625
            self._requested_parents = None
 
626
        old_mode = self._lock_mode
 
627
        self._lock_mode = None
 
628
        try:
 
629
            # The real repository is responsible at present for raising an
 
630
            # exception if it's in an unfinished write group.  However, it
 
631
            # normally will *not* actually remove the lock from disk - that's
 
632
            # done by the server on receiving the Repository.unlock call.
 
633
            # This is just to let the _real_repository stay up to date.
 
634
            if self._real_repository is not None:
 
635
                self._real_repository.unlock()
 
636
        finally:
 
637
            # The rpc-level lock should be released even if there was a
 
638
            # problem releasing the vfs-based lock.
 
639
            if old_mode == 'w':
 
640
                # Only write-locked repositories need to make a remote method
 
641
                # call to perfom the unlock.
 
642
                old_token = self._lock_token
 
643
                self._lock_token = None
 
644
                if not self._leave_lock:
 
645
                    self._unlock(old_token)
 
646
 
 
647
    def break_lock(self):
 
648
        # should hand off to the network
 
649
        self._ensure_real()
 
650
        return self._real_repository.break_lock()
 
651
 
 
652
    def _get_tarball(self, compression):
 
653
        """Return a TemporaryFile containing a repository tarball.
 
654
        
 
655
        Returns None if the server does not support sending tarballs.
 
656
        """
 
657
        import tempfile
 
658
        path = self.bzrdir._path_for_remote_call(self._client)
 
659
        try:
 
660
            response, protocol = self._client.call_expecting_body(
 
661
                'Repository.tarball', path, compression)
 
662
        except errors.UnknownSmartMethod:
 
663
            protocol.cancel_read_body()
 
664
            return None
 
665
        if response[0] == 'ok':
 
666
            # Extract the tarball and return it
 
667
            t = tempfile.NamedTemporaryFile()
 
668
            # TODO: rpc layer should read directly into it...
 
669
            t.write(protocol.read_body_bytes())
 
670
            t.seek(0)
 
671
            return t
 
672
        raise errors.UnexpectedSmartServerResponse(response)
 
673
 
 
674
    def sprout(self, to_bzrdir, revision_id=None):
 
675
        # TODO: Option to control what format is created?
 
676
        self._ensure_real()
 
677
        dest_repo = self._real_repository._format.initialize(to_bzrdir,
 
678
                                                             shared=False)
 
679
        dest_repo.fetch(self, revision_id=revision_id)
 
680
        return dest_repo
 
681
 
 
682
    ### These methods are just thin shims to the VFS object for now.
 
683
 
 
684
    def revision_tree(self, revision_id):
 
685
        self._ensure_real()
 
686
        return self._real_repository.revision_tree(revision_id)
 
687
 
 
688
    def get_serializer_format(self):
 
689
        self._ensure_real()
 
690
        return self._real_repository.get_serializer_format()
 
691
 
 
692
    def get_commit_builder(self, branch, parents, config, timestamp=None,
 
693
                           timezone=None, committer=None, revprops=None,
 
694
                           revision_id=None):
 
695
        # FIXME: It ought to be possible to call this without immediately
 
696
        # triggering _ensure_real.  For now it's the easiest thing to do.
 
697
        self._ensure_real()
 
698
        builder = self._real_repository.get_commit_builder(branch, parents,
 
699
                config, timestamp=timestamp, timezone=timezone,
 
700
                committer=committer, revprops=revprops, revision_id=revision_id)
 
701
        return builder
 
702
 
 
703
    def add_inventory(self, revid, inv, parents):
 
704
        self._ensure_real()
 
705
        return self._real_repository.add_inventory(revid, inv, parents)
 
706
 
 
707
    def add_revision(self, rev_id, rev, inv=None, config=None):
 
708
        self._ensure_real()
 
709
        return self._real_repository.add_revision(
 
710
            rev_id, rev, inv=inv, config=config)
 
711
 
 
712
    @needs_read_lock
 
713
    def get_inventory(self, revision_id):
 
714
        self._ensure_real()
 
715
        return self._real_repository.get_inventory(revision_id)
 
716
 
 
717
    def iter_inventories(self, revision_ids):
 
718
        self._ensure_real()
 
719
        return self._real_repository.iter_inventories(revision_ids)
 
720
 
 
721
    @needs_read_lock
 
722
    def get_revision(self, revision_id):
 
723
        self._ensure_real()
 
724
        return self._real_repository.get_revision(revision_id)
 
725
 
 
726
    def get_transaction(self):
 
727
        self._ensure_real()
 
728
        return self._real_repository.get_transaction()
 
729
 
 
730
    @needs_read_lock
 
731
    def clone(self, a_bzrdir, revision_id=None):
 
732
        self._ensure_real()
 
733
        return self._real_repository.clone(a_bzrdir, revision_id=revision_id)
 
734
 
 
735
    def make_working_trees(self):
 
736
        """See Repository.make_working_trees"""
 
737
        self._ensure_real()
 
738
        return self._real_repository.make_working_trees()
 
739
 
 
740
    def revision_ids_to_search_result(self, result_set):
 
741
        """Convert a set of revision ids to a graph SearchResult."""
 
742
        result_parents = set()
 
743
        for parents in self.get_graph().get_parent_map(
 
744
            result_set).itervalues():
 
745
            result_parents.update(parents)
 
746
        included_keys = result_set.intersection(result_parents)
 
747
        start_keys = result_set.difference(included_keys)
 
748
        exclude_keys = result_parents.difference(result_set)
 
749
        result = graph.SearchResult(start_keys, exclude_keys,
 
750
            len(result_set), result_set)
 
751
        return result
 
752
 
 
753
    @needs_read_lock
 
754
    def search_missing_revision_ids(self, other, revision_id=None, find_ghosts=True):
 
755
        """Return the revision ids that other has that this does not.
 
756
        
 
757
        These are returned in topological order.
 
758
 
 
759
        revision_id: only return revision ids included by revision_id.
 
760
        """
 
761
        return repository.InterRepository.get(
 
762
            other, self).search_missing_revision_ids(revision_id, find_ghosts)
 
763
 
 
764
    def fetch(self, source, revision_id=None, pb=None):
 
765
        if self.has_same_location(source):
 
766
            # check that last_revision is in 'from' and then return a
 
767
            # no-operation.
 
768
            if (revision_id is not None and
 
769
                not revision.is_null(revision_id)):
 
770
                self.get_revision(revision_id)
 
771
            return 0, []
 
772
        self._ensure_real()
 
773
        return self._real_repository.fetch(
 
774
            source, revision_id=revision_id, pb=pb)
 
775
 
 
776
    def create_bundle(self, target, base, fileobj, format=None):
 
777
        self._ensure_real()
 
778
        self._real_repository.create_bundle(target, base, fileobj, format)
 
779
 
 
780
    @needs_read_lock
 
781
    def get_ancestry(self, revision_id, topo_sorted=True):
 
782
        self._ensure_real()
 
783
        return self._real_repository.get_ancestry(revision_id, topo_sorted)
 
784
 
 
785
    def fileids_altered_by_revision_ids(self, revision_ids):
 
786
        self._ensure_real()
 
787
        return self._real_repository.fileids_altered_by_revision_ids(revision_ids)
 
788
 
 
789
    def _get_versioned_file_checker(self, revisions, revision_versions_cache):
 
790
        self._ensure_real()
 
791
        return self._real_repository._get_versioned_file_checker(
 
792
            revisions, revision_versions_cache)
 
793
        
 
794
    def iter_files_bytes(self, desired_files):
 
795
        """See Repository.iter_file_bytes.
 
796
        """
 
797
        self._ensure_real()
 
798
        return self._real_repository.iter_files_bytes(desired_files)
 
799
 
 
800
    def get_parent_map(self, keys):
 
801
        """See bzrlib.Graph.get_parent_map()."""
 
802
        # Hack to build up the caching logic.
 
803
        ancestry = self._parents_map
 
804
        if ancestry is None:
 
805
            # Repository is not locked, so there's no cache.
 
806
            missing_revisions = set(keys)
 
807
            ancestry = {}
 
808
        else:
 
809
            missing_revisions = set(key for key in keys if key not in ancestry)
 
810
        if missing_revisions:
 
811
            parent_map = self._get_parent_map(missing_revisions)
 
812
            if 'hpss' in debug.debug_flags:
 
813
                mutter('retransmitted revisions: %d of %d',
 
814
                        len(set(ancestry).intersection(parent_map)),
 
815
                        len(parent_map))
 
816
            ancestry.update(parent_map)
 
817
        present_keys = [k for k in keys if k in ancestry]
 
818
        if 'hpss' in debug.debug_flags:
 
819
            if self._requested_parents is not None and len(ancestry) != 0:
 
820
                self._requested_parents.update(present_keys)
 
821
                mutter('Current RemoteRepository graph hit rate: %d%%',
 
822
                    100.0 * len(self._requested_parents) / len(ancestry))
 
823
        return dict((k, ancestry[k]) for k in present_keys)
 
824
 
 
825
    def _get_parent_map(self, keys):
 
826
        """Helper for get_parent_map that performs the RPC."""
 
827
        medium = self._client._medium
 
828
        if medium._is_remote_before((1, 2)):
 
829
            # We already found out that the server can't understand
 
830
            # Repository.get_parent_map requests, so just fetch the whole
 
831
            # graph.
 
832
            # XXX: Note that this will issue a deprecation warning. This is ok
 
833
            # :- its because we're working with a deprecated server anyway, and
 
834
            # the user will almost certainly have seen a warning about the
 
835
            # server version already.
 
836
            rg = self.get_revision_graph()
 
837
            # There is an api discrepency between get_parent_map and
 
838
            # get_revision_graph. Specifically, a "key:()" pair in
 
839
            # get_revision_graph just means a node has no parents. For
 
840
            # "get_parent_map" it means the node is a ghost. So fix up the
 
841
            # graph to correct this.
 
842
            #   https://bugs.launchpad.net/bzr/+bug/214894
 
843
            # There is one other "bug" which is that ghosts in
 
844
            # get_revision_graph() are not returned at all. But we won't worry
 
845
            # about that for now.
 
846
            for node_id, parent_ids in rg.iteritems():
 
847
                if parent_ids == ():
 
848
                    rg[node_id] = (NULL_REVISION,)
 
849
            rg[NULL_REVISION] = ()
 
850
            return rg
 
851
 
 
852
        keys = set(keys)
 
853
        if None in keys:
 
854
            raise ValueError('get_parent_map(None) is not valid')
 
855
        if NULL_REVISION in keys:
 
856
            keys.discard(NULL_REVISION)
 
857
            found_parents = {NULL_REVISION:()}
 
858
            if not keys:
 
859
                return found_parents
 
860
        else:
 
861
            found_parents = {}
 
862
        # TODO(Needs analysis): We could assume that the keys being requested
 
863
        # from get_parent_map are in a breadth first search, so typically they
 
864
        # will all be depth N from some common parent, and we don't have to
 
865
        # have the server iterate from the root parent, but rather from the
 
866
        # keys we're searching; and just tell the server the keyspace we
 
867
        # already have; but this may be more traffic again.
 
868
 
 
869
        # Transform self._parents_map into a search request recipe.
 
870
        # TODO: Manage this incrementally to avoid covering the same path
 
871
        # repeatedly. (The server will have to on each request, but the less
 
872
        # work done the better).
 
873
        parents_map = self._parents_map
 
874
        if parents_map is None:
 
875
            # Repository is not locked, so there's no cache.
 
876
            parents_map = {}
 
877
        start_set = set(parents_map)
 
878
        result_parents = set()
 
879
        for parents in parents_map.itervalues():
 
880
            result_parents.update(parents)
 
881
        stop_keys = result_parents.difference(start_set)
 
882
        included_keys = start_set.intersection(result_parents)
 
883
        start_set.difference_update(included_keys)
 
884
        recipe = (start_set, stop_keys, len(parents_map))
 
885
        body = self._serialise_search_recipe(recipe)
 
886
        path = self.bzrdir._path_for_remote_call(self._client)
 
887
        for key in keys:
 
888
            if type(key) is not str:
 
889
                raise ValueError(
 
890
                    "key %r not a plain string" % (key,))
 
891
        verb = 'Repository.get_parent_map'
 
892
        args = (path,) + tuple(keys)
 
893
        try:
 
894
            response = self._client.call_with_body_bytes_expecting_body(
 
895
                verb, args, self._serialise_search_recipe(recipe))
 
896
        except errors.UnknownSmartMethod:
 
897
            # Server does not support this method, so get the whole graph.
 
898
            # Worse, we have to force a disconnection, because the server now
 
899
            # doesn't realise it has a body on the wire to consume, so the
 
900
            # only way to recover is to abandon the connection.
 
901
            warning(
 
902
                'Server is too old for fast get_parent_map, reconnecting.  '
 
903
                '(Upgrade the server to Bazaar 1.2 to avoid this)')
 
904
            medium.disconnect()
 
905
            # To avoid having to disconnect repeatedly, we keep track of the
 
906
            # fact the server doesn't understand remote methods added in 1.2.
 
907
            medium._remember_remote_is_before((1, 2))
 
908
            return self.get_revision_graph(None)
 
909
        response_tuple, response_handler = response
 
910
        if response_tuple[0] not in ['ok']:
 
911
            response_handler.cancel_read_body()
 
912
            raise errors.UnexpectedSmartServerResponse(response_tuple)
 
913
        if response_tuple[0] == 'ok':
 
914
            coded = bz2.decompress(response_handler.read_body_bytes())
 
915
            if coded == '':
 
916
                # no revisions found
 
917
                return {}
 
918
            lines = coded.split('\n')
 
919
            revision_graph = {}
 
920
            for line in lines:
 
921
                d = tuple(line.split())
 
922
                if len(d) > 1:
 
923
                    revision_graph[d[0]] = d[1:]
 
924
                else:
 
925
                    # No parents - so give the Graph result (NULL_REVISION,).
 
926
                    revision_graph[d[0]] = (NULL_REVISION,)
 
927
            return revision_graph
 
928
 
 
929
    @needs_read_lock
 
930
    def get_signature_text(self, revision_id):
 
931
        self._ensure_real()
 
932
        return self._real_repository.get_signature_text(revision_id)
 
933
 
 
934
    @needs_read_lock
 
935
    @symbol_versioning.deprecated_method(symbol_versioning.one_three)
 
936
    def get_revision_graph_with_ghosts(self, revision_ids=None):
 
937
        self._ensure_real()
 
938
        return self._real_repository.get_revision_graph_with_ghosts(
 
939
            revision_ids=revision_ids)
 
940
 
 
941
    @needs_read_lock
 
942
    def get_inventory_xml(self, revision_id):
 
943
        self._ensure_real()
 
944
        return self._real_repository.get_inventory_xml(revision_id)
 
945
 
 
946
    def deserialise_inventory(self, revision_id, xml):
 
947
        self._ensure_real()
 
948
        return self._real_repository.deserialise_inventory(revision_id, xml)
 
949
 
 
950
    def reconcile(self, other=None, thorough=False):
 
951
        self._ensure_real()
 
952
        return self._real_repository.reconcile(other=other, thorough=thorough)
 
953
        
 
954
    def all_revision_ids(self):
 
955
        self._ensure_real()
 
956
        return self._real_repository.all_revision_ids()
 
957
    
 
958
    @needs_read_lock
 
959
    def get_deltas_for_revisions(self, revisions):
 
960
        self._ensure_real()
 
961
        return self._real_repository.get_deltas_for_revisions(revisions)
 
962
 
 
963
    @needs_read_lock
 
964
    def get_revision_delta(self, revision_id):
 
965
        self._ensure_real()
 
966
        return self._real_repository.get_revision_delta(revision_id)
 
967
 
 
968
    @needs_read_lock
 
969
    def revision_trees(self, revision_ids):
 
970
        self._ensure_real()
 
971
        return self._real_repository.revision_trees(revision_ids)
 
972
 
 
973
    @needs_read_lock
 
974
    def get_revision_reconcile(self, revision_id):
 
975
        self._ensure_real()
 
976
        return self._real_repository.get_revision_reconcile(revision_id)
 
977
 
 
978
    @needs_read_lock
 
979
    def check(self, revision_ids=None):
 
980
        self._ensure_real()
 
981
        return self._real_repository.check(revision_ids=revision_ids)
 
982
 
 
983
    def copy_content_into(self, destination, revision_id=None):
 
984
        self._ensure_real()
 
985
        return self._real_repository.copy_content_into(
 
986
            destination, revision_id=revision_id)
 
987
 
 
988
    def _copy_repository_tarball(self, to_bzrdir, revision_id=None):
 
989
        # get a tarball of the remote repository, and copy from that into the
 
990
        # destination
 
991
        from bzrlib import osutils
 
992
        import tarfile
 
993
        import tempfile
 
994
        # TODO: Maybe a progress bar while streaming the tarball?
 
995
        note("Copying repository content as tarball...")
 
996
        tar_file = self._get_tarball('bz2')
 
997
        if tar_file is None:
 
998
            return None
 
999
        destination = to_bzrdir.create_repository()
 
1000
        try:
 
1001
            tar = tarfile.open('repository', fileobj=tar_file,
 
1002
                mode='r|bz2')
 
1003
            tmpdir = tempfile.mkdtemp()
 
1004
            try:
 
1005
                _extract_tar(tar, tmpdir)
 
1006
                tmp_bzrdir = BzrDir.open(tmpdir)
 
1007
                tmp_repo = tmp_bzrdir.open_repository()
 
1008
                tmp_repo.copy_content_into(destination, revision_id)
 
1009
            finally:
 
1010
                osutils.rmtree(tmpdir)
 
1011
        finally:
 
1012
            tar_file.close()
 
1013
        return destination
 
1014
        # TODO: Suggestion from john: using external tar is much faster than
 
1015
        # python's tarfile library, but it may not work on windows.
 
1016
 
 
1017
    @property
 
1018
    def inventories(self):
 
1019
        """Decorate the real repository for now.
 
1020
 
 
1021
        In the long term a full blown network facility is needed to
 
1022
        avoid creating a real repository object locally.
 
1023
        """
 
1024
        self._ensure_real()
 
1025
        return self._real_repository.inventories
 
1026
 
 
1027
    @needs_write_lock
 
1028
    def pack(self):
 
1029
        """Compress the data within the repository.
 
1030
 
 
1031
        This is not currently implemented within the smart server.
 
1032
        """
 
1033
        self._ensure_real()
 
1034
        return self._real_repository.pack()
 
1035
 
 
1036
    @property
 
1037
    def revisions(self):
 
1038
        """Decorate the real repository for now.
 
1039
 
 
1040
        In the short term this should become a real object to intercept graph
 
1041
        lookups.
 
1042
 
 
1043
        In the long term a full blown network facility is needed.
 
1044
        """
 
1045
        self._ensure_real()
 
1046
        return self._real_repository.revisions
 
1047
 
 
1048
    def set_make_working_trees(self, new_value):
 
1049
        self._ensure_real()
 
1050
        self._real_repository.set_make_working_trees(new_value)
 
1051
 
 
1052
    @property
 
1053
    def signatures(self):
 
1054
        """Decorate the real repository for now.
 
1055
 
 
1056
        In the long term a full blown network facility is needed to avoid
 
1057
        creating a real repository object locally.
 
1058
        """
 
1059
        self._ensure_real()
 
1060
        return self._real_repository.signatures
 
1061
 
 
1062
    @needs_write_lock
 
1063
    def sign_revision(self, revision_id, gpg_strategy):
 
1064
        self._ensure_real()
 
1065
        return self._real_repository.sign_revision(revision_id, gpg_strategy)
 
1066
 
 
1067
    @property
 
1068
    def texts(self):
 
1069
        """Decorate the real repository for now.
 
1070
 
 
1071
        In the long term a full blown network facility is needed to avoid
 
1072
        creating a real repository object locally.
 
1073
        """
 
1074
        self._ensure_real()
 
1075
        return self._real_repository.texts
 
1076
 
 
1077
    @needs_read_lock
 
1078
    def get_revisions(self, revision_ids):
 
1079
        self._ensure_real()
 
1080
        return self._real_repository.get_revisions(revision_ids)
 
1081
 
 
1082
    def supports_rich_root(self):
 
1083
        self._ensure_real()
 
1084
        return self._real_repository.supports_rich_root()
 
1085
 
 
1086
    def iter_reverse_revision_history(self, revision_id):
 
1087
        self._ensure_real()
 
1088
        return self._real_repository.iter_reverse_revision_history(revision_id)
 
1089
 
 
1090
    @property
 
1091
    def _serializer(self):
 
1092
        self._ensure_real()
 
1093
        return self._real_repository._serializer
 
1094
 
 
1095
    def store_revision_signature(self, gpg_strategy, plaintext, revision_id):
 
1096
        self._ensure_real()
 
1097
        return self._real_repository.store_revision_signature(
 
1098
            gpg_strategy, plaintext, revision_id)
 
1099
 
 
1100
    def add_signature_text(self, revision_id, signature):
 
1101
        self._ensure_real()
 
1102
        return self._real_repository.add_signature_text(revision_id, signature)
 
1103
 
 
1104
    def has_signature_for_revision_id(self, revision_id):
 
1105
        self._ensure_real()
 
1106
        return self._real_repository.has_signature_for_revision_id(revision_id)
 
1107
 
 
1108
    def item_keys_introduced_by(self, revision_ids, _files_pb=None):
 
1109
        self._ensure_real()
 
1110
        return self._real_repository.item_keys_introduced_by(revision_ids,
 
1111
            _files_pb=_files_pb)
 
1112
 
 
1113
    def revision_graph_can_have_wrong_parents(self):
 
1114
        # The answer depends on the remote repo format.
 
1115
        self._ensure_real()
 
1116
        return self._real_repository.revision_graph_can_have_wrong_parents()
 
1117
 
 
1118
    def _find_inconsistent_revision_parents(self):
 
1119
        self._ensure_real()
 
1120
        return self._real_repository._find_inconsistent_revision_parents()
 
1121
 
 
1122
    def _check_for_inconsistent_revision_parents(self):
 
1123
        self._ensure_real()
 
1124
        return self._real_repository._check_for_inconsistent_revision_parents()
 
1125
 
 
1126
    def _make_parents_provider(self):
 
1127
        return self
 
1128
 
 
1129
    def _serialise_search_recipe(self, recipe):
 
1130
        """Serialise a graph search recipe.
 
1131
 
 
1132
        :param recipe: A search recipe (start, stop, count).
 
1133
        :return: Serialised bytes.
 
1134
        """
 
1135
        start_keys = ' '.join(recipe[0])
 
1136
        stop_keys = ' '.join(recipe[1])
 
1137
        count = str(recipe[2])
 
1138
        return '\n'.join((start_keys, stop_keys, count))
 
1139
 
 
1140
 
 
1141
class RemoteBranchLockableFiles(LockableFiles):
 
1142
    """A 'LockableFiles' implementation that talks to a smart server.
 
1143
    
 
1144
    This is not a public interface class.
 
1145
    """
 
1146
 
 
1147
    def __init__(self, bzrdir, _client):
 
1148
        self.bzrdir = bzrdir
 
1149
        self._client = _client
 
1150
        self._need_find_modes = True
 
1151
        LockableFiles.__init__(
 
1152
            self, bzrdir.get_branch_transport(None),
 
1153
            'lock', lockdir.LockDir)
 
1154
 
 
1155
    def _find_modes(self):
 
1156
        # RemoteBranches don't let the client set the mode of control files.
 
1157
        self._dir_mode = None
 
1158
        self._file_mode = None
 
1159
 
 
1160
 
 
1161
class RemoteBranchFormat(branch.BranchFormat):
 
1162
 
 
1163
    def __eq__(self, other):
 
1164
        return (isinstance(other, RemoteBranchFormat) and 
 
1165
            self.__dict__ == other.__dict__)
 
1166
 
 
1167
    def get_format_description(self):
 
1168
        return 'Remote BZR Branch'
 
1169
 
 
1170
    def get_format_string(self):
 
1171
        return 'Remote BZR Branch'
 
1172
 
 
1173
    def open(self, a_bzrdir):
 
1174
        return a_bzrdir.open_branch()
 
1175
 
 
1176
    def initialize(self, a_bzrdir):
 
1177
        return a_bzrdir.create_branch()
 
1178
 
 
1179
    def supports_tags(self):
 
1180
        # Remote branches might support tags, but we won't know until we
 
1181
        # access the real remote branch.
 
1182
        return True
 
1183
 
 
1184
 
 
1185
class RemoteBranch(branch.Branch):
 
1186
    """Branch stored on a server accessed by HPSS RPC.
 
1187
 
 
1188
    At the moment most operations are mapped down to simple file operations.
 
1189
    """
 
1190
 
 
1191
    def __init__(self, remote_bzrdir, remote_repository, real_branch=None,
 
1192
        _client=None):
 
1193
        """Create a RemoteBranch instance.
 
1194
 
 
1195
        :param real_branch: An optional local implementation of the branch
 
1196
            format, usually accessing the data via the VFS.
 
1197
        :param _client: Private parameter for testing.
 
1198
        """
 
1199
        # We intentionally don't call the parent class's __init__, because it
 
1200
        # will try to assign to self.tags, which is a property in this subclass.
 
1201
        # And the parent's __init__ doesn't do much anyway.
 
1202
        self._revision_id_to_revno_cache = None
 
1203
        self._revision_history_cache = None
 
1204
        self._last_revision_info_cache = None
 
1205
        self.bzrdir = remote_bzrdir
 
1206
        if _client is not None:
 
1207
            self._client = _client
 
1208
        else:
 
1209
            self._client = remote_bzrdir._client
 
1210
        self.repository = remote_repository
 
1211
        if real_branch is not None:
 
1212
            self._real_branch = real_branch
 
1213
            # Give the remote repository the matching real repo.
 
1214
            real_repo = self._real_branch.repository
 
1215
            if isinstance(real_repo, RemoteRepository):
 
1216
                real_repo._ensure_real()
 
1217
                real_repo = real_repo._real_repository
 
1218
            self.repository._set_real_repository(real_repo)
 
1219
            # Give the branch the remote repository to let fast-pathing happen.
 
1220
            self._real_branch.repository = self.repository
 
1221
        else:
 
1222
            self._real_branch = None
 
1223
        # Fill out expected attributes of branch for bzrlib api users.
 
1224
        self._format = RemoteBranchFormat()
 
1225
        self.base = self.bzrdir.root_transport.base
 
1226
        self._control_files = None
 
1227
        self._lock_mode = None
 
1228
        self._lock_token = None
 
1229
        self._repo_lock_token = None
 
1230
        self._lock_count = 0
 
1231
        self._leave_lock = False
 
1232
 
 
1233
    def _get_real_transport(self):
 
1234
        # if we try vfs access, return the real branch's vfs transport
 
1235
        self._ensure_real()
 
1236
        return self._real_branch._transport
 
1237
 
 
1238
    _transport = property(_get_real_transport)
 
1239
 
 
1240
    def __str__(self):
 
1241
        return "%s(%s)" % (self.__class__.__name__, self.base)
 
1242
 
 
1243
    __repr__ = __str__
 
1244
 
 
1245
    def _ensure_real(self):
 
1246
        """Ensure that there is a _real_branch set.
 
1247
 
 
1248
        Used before calls to self._real_branch.
 
1249
        """
 
1250
        if self._real_branch is None:
 
1251
            if not vfs.vfs_enabled():
 
1252
                raise AssertionError('smart server vfs must be enabled '
 
1253
                    'to use vfs implementation')
 
1254
            self.bzrdir._ensure_real()
 
1255
            self._real_branch = self.bzrdir._real_bzrdir.open_branch()
 
1256
            # Give the remote repository the matching real repo.
 
1257
            real_repo = self._real_branch.repository
 
1258
            if isinstance(real_repo, RemoteRepository):
 
1259
                real_repo._ensure_real()
 
1260
                real_repo = real_repo._real_repository
 
1261
            self.repository._set_real_repository(real_repo)
 
1262
            # Give the branch the remote repository to let fast-pathing happen.
 
1263
            self._real_branch.repository = self.repository
 
1264
            # XXX: deal with _lock_mode == 'w'
 
1265
            if self._lock_mode == 'r':
 
1266
                self._real_branch.lock_read()
 
1267
 
 
1268
    def _clear_cached_state(self):
 
1269
        super(RemoteBranch, self)._clear_cached_state()
 
1270
        if self._real_branch is not None:
 
1271
            self._real_branch._clear_cached_state()
 
1272
 
 
1273
    def _clear_cached_state_of_remote_branch_only(self):
 
1274
        """Like _clear_cached_state, but doesn't clear the cache of
 
1275
        self._real_branch.
 
1276
 
 
1277
        This is useful when falling back to calling a method of
 
1278
        self._real_branch that changes state.  In that case the underlying
 
1279
        branch changes, so we need to invalidate this RemoteBranch's cache of
 
1280
        it.  However, there's no need to invalidate the _real_branch's cache
 
1281
        too, in fact doing so might harm performance.
 
1282
        """
 
1283
        super(RemoteBranch, self)._clear_cached_state()
 
1284
        
 
1285
    @property
 
1286
    def control_files(self):
 
1287
        # Defer actually creating RemoteBranchLockableFiles until its needed,
 
1288
        # because it triggers an _ensure_real that we otherwise might not need.
 
1289
        if self._control_files is None:
 
1290
            self._control_files = RemoteBranchLockableFiles(
 
1291
                self.bzrdir, self._client)
 
1292
        return self._control_files
 
1293
 
 
1294
    def _get_checkout_format(self):
 
1295
        self._ensure_real()
 
1296
        return self._real_branch._get_checkout_format()
 
1297
 
 
1298
    def get_physical_lock_status(self):
 
1299
        """See Branch.get_physical_lock_status()."""
 
1300
        # should be an API call to the server, as branches must be lockable.
 
1301
        self._ensure_real()
 
1302
        return self._real_branch.get_physical_lock_status()
 
1303
 
 
1304
    def lock_read(self):
 
1305
        if not self._lock_mode:
 
1306
            self._lock_mode = 'r'
 
1307
            self._lock_count = 1
 
1308
            if self._real_branch is not None:
 
1309
                self._real_branch.lock_read()
 
1310
        else:
 
1311
            self._lock_count += 1
 
1312
 
 
1313
    def _remote_lock_write(self, token):
 
1314
        if token is None:
 
1315
            branch_token = repo_token = ''
 
1316
        else:
 
1317
            branch_token = token
 
1318
            repo_token = self.repository.lock_write()
 
1319
            self.repository.unlock()
 
1320
        path = self.bzrdir._path_for_remote_call(self._client)
 
1321
        try:
 
1322
            response = self._client.call(
 
1323
                'Branch.lock_write', path, branch_token, repo_token or '')
 
1324
        except errors.ErrorFromSmartServer, err:
 
1325
            if err.error_verb == 'LockContention':
 
1326
                raise errors.LockContention('(remote lock)')
 
1327
            elif err.error_verb == 'TokenMismatch':
 
1328
                raise errors.TokenMismatch(token, '(remote token)')
 
1329
            elif err.error_verb == 'UnlockableTransport':
 
1330
                raise errors.UnlockableTransport(self.bzrdir.root_transport)
 
1331
            elif err.error_verb == 'ReadOnlyError':
 
1332
                raise errors.ReadOnlyError(self)
 
1333
            elif err.error_verb == 'LockFailed':
 
1334
                raise errors.LockFailed(err.error_args[0], err.error_args[1])
 
1335
            raise
 
1336
        if response[0] != 'ok':
 
1337
            raise errors.UnexpectedSmartServerResponse(response)
 
1338
        ok, branch_token, repo_token = response
 
1339
        return branch_token, repo_token
 
1340
            
 
1341
    def lock_write(self, token=None):
 
1342
        if not self._lock_mode:
 
1343
            remote_tokens = self._remote_lock_write(token)
 
1344
            self._lock_token, self._repo_lock_token = remote_tokens
 
1345
            if not self._lock_token:
 
1346
                raise SmartProtocolError('Remote server did not return a token!')
 
1347
            # TODO: We really, really, really don't want to call _ensure_real
 
1348
            # here, but it's the easiest way to ensure coherency between the
 
1349
            # state of the RemoteBranch and RemoteRepository objects and the
 
1350
            # physical locks.  If we don't materialise the real objects here,
 
1351
            # then getting everything in the right state later is complex, so
 
1352
            # for now we just do it the lazy way.
 
1353
            #   -- Andrew Bennetts, 2007-02-22.
 
1354
            self._ensure_real()
 
1355
            if self._real_branch is not None:
 
1356
                self._real_branch.repository.lock_write(
 
1357
                    token=self._repo_lock_token)
 
1358
                try:
 
1359
                    self._real_branch.lock_write(token=self._lock_token)
 
1360
                finally:
 
1361
                    self._real_branch.repository.unlock()
 
1362
            if token is not None:
 
1363
                self._leave_lock = True
 
1364
            else:
 
1365
                # XXX: this case seems to be unreachable; token cannot be None.
 
1366
                self._leave_lock = False
 
1367
            self._lock_mode = 'w'
 
1368
            self._lock_count = 1
 
1369
        elif self._lock_mode == 'r':
 
1370
            raise errors.ReadOnlyTransaction
 
1371
        else:
 
1372
            if token is not None:
 
1373
                # A token was given to lock_write, and we're relocking, so check
 
1374
                # that the given token actually matches the one we already have.
 
1375
                if token != self._lock_token:
 
1376
                    raise errors.TokenMismatch(token, self._lock_token)
 
1377
            self._lock_count += 1
 
1378
        return self._lock_token or None
 
1379
 
 
1380
    def _unlock(self, branch_token, repo_token):
 
1381
        path = self.bzrdir._path_for_remote_call(self._client)
 
1382
        try:
 
1383
            response = self._client.call('Branch.unlock', path, branch_token,
 
1384
                                         repo_token or '')
 
1385
        except errors.ErrorFromSmartServer, err:
 
1386
            if err.error_verb == 'TokenMismatch':
 
1387
                raise errors.TokenMismatch(
 
1388
                    str((branch_token, repo_token)), '(remote tokens)')
 
1389
            raise
 
1390
        if response == ('ok',):
 
1391
            return
 
1392
        raise errors.UnexpectedSmartServerResponse(response)
 
1393
 
 
1394
    def unlock(self):
 
1395
        self._lock_count -= 1
 
1396
        if not self._lock_count:
 
1397
            self._clear_cached_state()
 
1398
            mode = self._lock_mode
 
1399
            self._lock_mode = None
 
1400
            if self._real_branch is not None:
 
1401
                if (not self._leave_lock and mode == 'w' and
 
1402
                    self._repo_lock_token):
 
1403
                    # If this RemoteBranch will remove the physical lock for the
 
1404
                    # repository, make sure the _real_branch doesn't do it
 
1405
                    # first.  (Because the _real_branch's repository is set to
 
1406
                    # be the RemoteRepository.)
 
1407
                    self._real_branch.repository.leave_lock_in_place()
 
1408
                self._real_branch.unlock()
 
1409
            if mode != 'w':
 
1410
                # Only write-locked branched need to make a remote method call
 
1411
                # to perfom the unlock.
 
1412
                return
 
1413
            if not self._lock_token:
 
1414
                raise AssertionError('Locked, but no token!')
 
1415
            branch_token = self._lock_token
 
1416
            repo_token = self._repo_lock_token
 
1417
            self._lock_token = None
 
1418
            self._repo_lock_token = None
 
1419
            if not self._leave_lock:
 
1420
                self._unlock(branch_token, repo_token)
 
1421
 
 
1422
    def break_lock(self):
 
1423
        self._ensure_real()
 
1424
        return self._real_branch.break_lock()
 
1425
 
 
1426
    def leave_lock_in_place(self):
 
1427
        if not self._lock_token:
 
1428
            raise NotImplementedError(self.leave_lock_in_place)
 
1429
        self._leave_lock = True
 
1430
 
 
1431
    def dont_leave_lock_in_place(self):
 
1432
        if not self._lock_token:
 
1433
            raise NotImplementedError(self.dont_leave_lock_in_place)
 
1434
        self._leave_lock = False
 
1435
 
 
1436
    def _last_revision_info(self):
 
1437
        path = self.bzrdir._path_for_remote_call(self._client)
 
1438
        response = self._client.call('Branch.last_revision_info', path)
 
1439
        if response[0] != 'ok':
 
1440
            raise SmartProtocolError('unexpected response code %s' % (response,))
 
1441
        revno = int(response[1])
 
1442
        last_revision = response[2]
 
1443
        return (revno, last_revision)
 
1444
 
 
1445
    def _gen_revision_history(self):
 
1446
        """See Branch._gen_revision_history()."""
 
1447
        path = self.bzrdir._path_for_remote_call(self._client)
 
1448
        response_tuple, response_handler = self._client.call_expecting_body(
 
1449
            'Branch.revision_history', path)
 
1450
        if response_tuple[0] != 'ok':
 
1451
            raise errors.UnexpectedSmartServerResponse(response_tuple)
 
1452
        result = response_handler.read_body_bytes().split('\x00')
 
1453
        if result == ['']:
 
1454
            return []
 
1455
        return result
 
1456
 
 
1457
    def _set_last_revision_descendant(self, revision_id, other_branch,
 
1458
            allow_diverged=False, allow_overwrite_descendant=False):
 
1459
        path = self.bzrdir._path_for_remote_call(self._client)
 
1460
        try:
 
1461
            response = self._client.call('Branch.set_last_revision_ex',
 
1462
                path, self._lock_token, self._repo_lock_token, revision_id,
 
1463
                int(allow_diverged), int(allow_overwrite_descendant))
 
1464
        except errors.ErrorFromSmartServer, err:
 
1465
            if err.error_verb == 'NoSuchRevision':
 
1466
                raise NoSuchRevision(self, revision_id)
 
1467
            elif err.error_verb == 'Diverged':
 
1468
                raise errors.DivergedBranches(self, other_branch)
 
1469
            raise
 
1470
        self._clear_cached_state()
 
1471
        if len(response) != 3 and response[0] != 'ok':
 
1472
            raise errors.UnexpectedSmartServerResponse(response)
 
1473
        new_revno, new_revision_id = response[1:]
 
1474
        self._last_revision_info_cache = new_revno, new_revision_id
 
1475
        self._real_branch._last_revision_info_cache = new_revno, new_revision_id
 
1476
 
 
1477
    def _set_last_revision(self, revision_id):
 
1478
        path = self.bzrdir._path_for_remote_call(self._client)
 
1479
        self._clear_cached_state()
 
1480
        try:
 
1481
            response = self._client.call('Branch.set_last_revision',
 
1482
                path, self._lock_token, self._repo_lock_token, revision_id)
 
1483
        except errors.ErrorFromSmartServer, err:
 
1484
            if err.error_verb == 'NoSuchRevision':
 
1485
                raise NoSuchRevision(self, revision_id)
 
1486
            raise
 
1487
        if response != ('ok',):
 
1488
            raise errors.UnexpectedSmartServerResponse(response)
 
1489
 
 
1490
    @needs_write_lock
 
1491
    def set_revision_history(self, rev_history):
 
1492
        # Send just the tip revision of the history; the server will generate
 
1493
        # the full history from that.  If the revision doesn't exist in this
 
1494
        # branch, NoSuchRevision will be raised.
 
1495
        if rev_history == []:
 
1496
            rev_id = 'null:'
 
1497
        else:
 
1498
            rev_id = rev_history[-1]
 
1499
        self._set_last_revision(rev_id)
 
1500
        self._cache_revision_history(rev_history)
 
1501
 
 
1502
    def get_parent(self):
 
1503
        self._ensure_real()
 
1504
        return self._real_branch.get_parent()
 
1505
        
 
1506
    def set_parent(self, url):
 
1507
        self._ensure_real()
 
1508
        return self._real_branch.set_parent(url)
 
1509
        
 
1510
    def sprout(self, to_bzrdir, revision_id=None):
 
1511
        # Like Branch.sprout, except that it sprouts a branch in the default
 
1512
        # format, because RemoteBranches can't be created at arbitrary URLs.
 
1513
        # XXX: if to_bzrdir is a RemoteBranch, this should perhaps do
 
1514
        # to_bzrdir.create_branch...
 
1515
        self._ensure_real()
 
1516
        result = self._real_branch._format.initialize(to_bzrdir)
 
1517
        self.copy_content_into(result, revision_id=revision_id)
 
1518
        result.set_parent(self.bzrdir.root_transport.base)
 
1519
        return result
 
1520
 
 
1521
    @needs_write_lock
 
1522
    def pull(self, source, overwrite=False, stop_revision=None,
 
1523
             **kwargs):
 
1524
        self._clear_cached_state_of_remote_branch_only()
 
1525
        self._ensure_real()
 
1526
        return self._real_branch.pull(
 
1527
            source, overwrite=overwrite, stop_revision=stop_revision,
 
1528
            _override_hook_target=self, **kwargs)
 
1529
 
 
1530
    @needs_read_lock
 
1531
    def push(self, target, overwrite=False, stop_revision=None):
 
1532
        self._ensure_real()
 
1533
        return self._real_branch.push(
 
1534
            target, overwrite=overwrite, stop_revision=stop_revision,
 
1535
            _override_hook_source_branch=self)
 
1536
 
 
1537
    def is_locked(self):
 
1538
        return self._lock_count >= 1
 
1539
 
 
1540
    @needs_write_lock
 
1541
    def set_last_revision_info(self, revno, revision_id):
 
1542
        revision_id = ensure_null(revision_id)
 
1543
        path = self.bzrdir._path_for_remote_call(self._client)
 
1544
        try:
 
1545
            response = self._client.call('Branch.set_last_revision_info',
 
1546
                path, self._lock_token, self._repo_lock_token, str(revno), revision_id)
 
1547
        except errors.UnknownSmartMethod:
 
1548
            self._ensure_real()
 
1549
            self._clear_cached_state_of_remote_branch_only()
 
1550
            self._real_branch.set_last_revision_info(revno, revision_id)
 
1551
            self._last_revision_info_cache = revno, revision_id
 
1552
            return
 
1553
        except errors.ErrorFromSmartServer, err:
 
1554
            if err.error_verb == 'NoSuchRevision':
 
1555
                raise NoSuchRevision(self, err.error_args[0])
 
1556
            raise
 
1557
        if response == ('ok',):
 
1558
            self._clear_cached_state()
 
1559
            self._last_revision_info_cache = revno, revision_id
 
1560
            # Update the _real_branch's cache too.
 
1561
            if self._real_branch is not None:
 
1562
                cache = self._last_revision_info_cache
 
1563
                self._real_branch._last_revision_info_cache = cache
 
1564
        else:
 
1565
            raise errors.UnexpectedSmartServerResponse(response)
 
1566
 
 
1567
    @needs_write_lock
 
1568
    def generate_revision_history(self, revision_id, last_rev=None,
 
1569
                                  other_branch=None):
 
1570
        medium = self._client._medium
 
1571
        if not medium._is_remote_before((1, 6)):
 
1572
            try:
 
1573
                self._set_last_revision_descendant(revision_id, other_branch,
 
1574
                    allow_diverged=True, allow_overwrite_descendant=True)
 
1575
                return
 
1576
            except errors.UnknownSmartMethod:
 
1577
                medium._remember_remote_is_before((1, 6))
 
1578
        self._clear_cached_state_of_remote_branch_only()
 
1579
        self._ensure_real()
 
1580
        self._real_branch.generate_revision_history(
 
1581
            revision_id, last_rev=last_rev, other_branch=other_branch)
 
1582
 
 
1583
    @property
 
1584
    def tags(self):
 
1585
        self._ensure_real()
 
1586
        return self._real_branch.tags
 
1587
 
 
1588
    def set_push_location(self, location):
 
1589
        self._ensure_real()
 
1590
        return self._real_branch.set_push_location(location)
 
1591
 
 
1592
    @needs_write_lock
 
1593
    def update_revisions(self, other, stop_revision=None, overwrite=False,
 
1594
                         graph=None):
 
1595
        """See Branch.update_revisions."""
 
1596
        other.lock_read()
 
1597
        try:
 
1598
            if stop_revision is None:
 
1599
                stop_revision = other.last_revision()
 
1600
                if revision.is_null(stop_revision):
 
1601
                    # if there are no commits, we're done.
 
1602
                    return
 
1603
            self.fetch(other, stop_revision)
 
1604
 
 
1605
            if overwrite:
 
1606
                # Just unconditionally set the new revision.  We don't care if
 
1607
                # the branches have diverged.
 
1608
                self._set_last_revision(stop_revision)
 
1609
            else:
 
1610
                medium = self._client._medium
 
1611
                if not medium._is_remote_before((1, 6)):
 
1612
                    try:
 
1613
                        self._set_last_revision_descendant(stop_revision, other)
 
1614
                        return
 
1615
                    except errors.UnknownSmartMethod:
 
1616
                        medium._remember_remote_is_before((1, 6))
 
1617
                # Fallback for pre-1.6 servers: check for divergence
 
1618
                # client-side, then do _set_last_revision.
 
1619
                last_rev = revision.ensure_null(self.last_revision())
 
1620
                if graph is None:
 
1621
                    graph = self.repository.get_graph()
 
1622
                if self._check_if_descendant_or_diverged(
 
1623
                        stop_revision, last_rev, graph, other):
 
1624
                    # stop_revision is a descendant of last_rev, but we aren't
 
1625
                    # overwriting, so we're done.
 
1626
                    return
 
1627
                self._set_last_revision(stop_revision)
 
1628
        finally:
 
1629
            other.unlock()
 
1630
 
 
1631
 
 
1632
def _extract_tar(tar, to_dir):
 
1633
    """Extract all the contents of a tarfile object.
 
1634
 
 
1635
    A replacement for extractall, which is not present in python2.4
 
1636
    """
 
1637
    for tarinfo in tar:
 
1638
        tar.extract(tarinfo, to_dir)