/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/remote.py

  • Committer: Martin Pool
  • Date: 2008-07-11 06:03:27 UTC
  • mto: This revision was merged to the branch mainline in revision 3537.
  • Revision ID: mbp@sourcefrog.net-20080711060327-vknx0f3dxr2hrm5m
Add repr methods

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2006, 2007, 2008 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
# TODO: At some point, handle upgrades by just passing the whole request
 
18
# across to run on the server.
 
19
 
 
20
import bz2
 
21
from cStringIO import StringIO
 
22
 
 
23
from bzrlib import (
 
24
    branch,
 
25
    debug,
 
26
    errors,
 
27
    graph,
 
28
    lockdir,
 
29
    repository,
 
30
    revision,
 
31
    symbol_versioning,
 
32
)
 
33
from bzrlib.branch import BranchReferenceFormat
 
34
from bzrlib.bzrdir import BzrDir, RemoteBzrDirFormat
 
35
from bzrlib.config import BranchConfig, TreeConfig
 
36
from bzrlib.decorators import needs_read_lock, needs_write_lock
 
37
from bzrlib.errors import (
 
38
    NoSuchRevision,
 
39
    SmartProtocolError,
 
40
    )
 
41
from bzrlib.lockable_files import LockableFiles
 
42
from bzrlib.pack import ContainerPushParser
 
43
from bzrlib.smart import client, vfs
 
44
from bzrlib.symbol_versioning import (
 
45
    deprecated_in,
 
46
    deprecated_method,
 
47
    )
 
48
from bzrlib.revision import ensure_null, NULL_REVISION
 
49
from bzrlib.trace import mutter, note, warning
 
50
 
 
51
 
 
52
# Note: RemoteBzrDirFormat is in bzrdir.py
 
53
 
 
54
class RemoteBzrDir(BzrDir):
 
55
    """Control directory on a remote server, accessed via bzr:// or similar."""
 
56
 
 
57
    def __init__(self, transport, _client=None):
 
58
        """Construct a RemoteBzrDir.
 
59
 
 
60
        :param _client: Private parameter for testing. Disables probing and the
 
61
            use of a real bzrdir.
 
62
        """
 
63
        BzrDir.__init__(self, transport, RemoteBzrDirFormat())
 
64
        # this object holds a delegated bzrdir that uses file-level operations
 
65
        # to talk to the other side
 
66
        self._real_bzrdir = None
 
67
 
 
68
        if _client is None:
 
69
            medium = transport.get_smart_medium()
 
70
            self._client = client._SmartClient(medium)
 
71
        else:
 
72
            self._client = _client
 
73
            return
 
74
 
 
75
        path = self._path_for_remote_call(self._client)
 
76
        response = self._client.call('BzrDir.open', path)
 
77
        if response not in [('yes',), ('no',)]:
 
78
            raise errors.UnexpectedSmartServerResponse(response)
 
79
        if response == ('no',):
 
80
            raise errors.NotBranchError(path=transport.base)
 
81
 
 
82
    def _ensure_real(self):
 
83
        """Ensure that there is a _real_bzrdir set.
 
84
 
 
85
        Used before calls to self._real_bzrdir.
 
86
        """
 
87
        if not self._real_bzrdir:
 
88
            self._real_bzrdir = BzrDir.open_from_transport(
 
89
                self.root_transport, _server_formats=False)
 
90
 
 
91
    def create_repository(self, shared=False):
 
92
        self._ensure_real()
 
93
        self._real_bzrdir.create_repository(shared=shared)
 
94
        return self.open_repository()
 
95
 
 
96
    def destroy_repository(self):
 
97
        """See BzrDir.destroy_repository"""
 
98
        self._ensure_real()
 
99
        self._real_bzrdir.destroy_repository()
 
100
 
 
101
    def create_branch(self):
 
102
        self._ensure_real()
 
103
        real_branch = self._real_bzrdir.create_branch()
 
104
        return RemoteBranch(self, self.find_repository(), real_branch)
 
105
 
 
106
    def destroy_branch(self):
 
107
        """See BzrDir.destroy_branch"""
 
108
        self._ensure_real()
 
109
        self._real_bzrdir.destroy_branch()
 
110
 
 
111
    def create_workingtree(self, revision_id=None, from_branch=None):
 
112
        raise errors.NotLocalUrl(self.transport.base)
 
113
 
 
114
    def find_branch_format(self):
 
115
        """Find the branch 'format' for this bzrdir.
 
116
 
 
117
        This might be a synthetic object for e.g. RemoteBranch and SVN.
 
118
        """
 
119
        b = self.open_branch()
 
120
        return b._format
 
121
 
 
122
    def get_branch_reference(self):
 
123
        """See BzrDir.get_branch_reference()."""
 
124
        path = self._path_for_remote_call(self._client)
 
125
        try:
 
126
            response = self._client.call('BzrDir.open_branch', path)
 
127
        except errors.ErrorFromSmartServer, err:
 
128
            if err.error_tuple == ('nobranch',):
 
129
                raise errors.NotBranchError(path=self.root_transport.base)
 
130
            raise
 
131
        if response[0] == 'ok':
 
132
            if response[1] == '':
 
133
                # branch at this location.
 
134
                return None
 
135
            else:
 
136
                # a branch reference, use the existing BranchReference logic.
 
137
                return response[1]
 
138
        else:
 
139
            raise errors.UnexpectedSmartServerResponse(response)
 
140
 
 
141
    def _get_tree_branch(self):
 
142
        """See BzrDir._get_tree_branch()."""
 
143
        return None, self.open_branch()
 
144
 
 
145
    def open_branch(self, _unsupported=False):
 
146
        if _unsupported:
 
147
            raise NotImplementedError('unsupported flag support not implemented yet.')
 
148
        reference_url = self.get_branch_reference()
 
149
        if reference_url is None:
 
150
            # branch at this location.
 
151
            return RemoteBranch(self, self.find_repository())
 
152
        else:
 
153
            # a branch reference, use the existing BranchReference logic.
 
154
            format = BranchReferenceFormat()
 
155
            return format.open(self, _found=True, location=reference_url)
 
156
                
 
157
    def open_repository(self):
 
158
        path = self._path_for_remote_call(self._client)
 
159
        verb = 'BzrDir.find_repositoryV2'
 
160
        try:
 
161
            try:
 
162
                response = self._client.call(verb, path)
 
163
            except errors.UnknownSmartMethod:
 
164
                verb = 'BzrDir.find_repository'
 
165
                response = self._client.call(verb, path)
 
166
        except errors.ErrorFromSmartServer, err:
 
167
            if err.error_verb == 'norepository':
 
168
                raise errors.NoRepositoryPresent(self)
 
169
            raise
 
170
        if response[0] != 'ok':
 
171
            raise errors.UnexpectedSmartServerResponse(response)
 
172
        if verb == 'BzrDir.find_repository':
 
173
            # servers that don't support the V2 method don't support external
 
174
            # references either.
 
175
            response = response + ('no', )
 
176
        if not (len(response) == 5):
 
177
            raise SmartProtocolError('incorrect response length %s' % (response,))
 
178
        if response[1] == '':
 
179
            format = RemoteRepositoryFormat()
 
180
            format.rich_root_data = (response[2] == 'yes')
 
181
            format.supports_tree_reference = (response[3] == 'yes')
 
182
            # No wire format to check this yet.
 
183
            format.supports_external_lookups = (response[4] == 'yes')
 
184
            # Used to support creating a real format instance when needed.
 
185
            format._creating_bzrdir = self
 
186
            return RemoteRepository(self, format)
 
187
        else:
 
188
            raise errors.NoRepositoryPresent(self)
 
189
 
 
190
    def open_workingtree(self, recommend_upgrade=True):
 
191
        self._ensure_real()
 
192
        if self._real_bzrdir.has_workingtree():
 
193
            raise errors.NotLocalUrl(self.root_transport)
 
194
        else:
 
195
            raise errors.NoWorkingTree(self.root_transport.base)
 
196
 
 
197
    def _path_for_remote_call(self, client):
 
198
        """Return the path to be used for this bzrdir in a remote call."""
 
199
        return client.remote_path_from_transport(self.root_transport)
 
200
 
 
201
    def get_branch_transport(self, branch_format):
 
202
        self._ensure_real()
 
203
        return self._real_bzrdir.get_branch_transport(branch_format)
 
204
 
 
205
    def get_repository_transport(self, repository_format):
 
206
        self._ensure_real()
 
207
        return self._real_bzrdir.get_repository_transport(repository_format)
 
208
 
 
209
    def get_workingtree_transport(self, workingtree_format):
 
210
        self._ensure_real()
 
211
        return self._real_bzrdir.get_workingtree_transport(workingtree_format)
 
212
 
 
213
    def can_convert_format(self):
 
214
        """Upgrading of remote bzrdirs is not supported yet."""
 
215
        return False
 
216
 
 
217
    def needs_format_conversion(self, format=None):
 
218
        """Upgrading of remote bzrdirs is not supported yet."""
 
219
        return False
 
220
 
 
221
    def clone(self, url, revision_id=None, force_new_repo=False):
 
222
        self._ensure_real()
 
223
        return self._real_bzrdir.clone(url, revision_id=revision_id,
 
224
            force_new_repo=force_new_repo)
 
225
 
 
226
 
 
227
class RemoteRepositoryFormat(repository.RepositoryFormat):
 
228
    """Format for repositories accessed over a _SmartClient.
 
229
 
 
230
    Instances of this repository are represented by RemoteRepository
 
231
    instances.
 
232
 
 
233
    The RemoteRepositoryFormat is parameterized during construction
 
234
    to reflect the capabilities of the real, remote format. Specifically
 
235
    the attributes rich_root_data and supports_tree_reference are set
 
236
    on a per instance basis, and are not set (and should not be) at
 
237
    the class level.
 
238
    """
 
239
 
 
240
    _matchingbzrdir = RemoteBzrDirFormat
 
241
 
 
242
    def initialize(self, a_bzrdir, shared=False):
 
243
        if not isinstance(a_bzrdir, RemoteBzrDir):
 
244
            prior_repo = self._creating_bzrdir.open_repository()
 
245
            prior_repo._ensure_real()
 
246
            return prior_repo._real_repository._format.initialize(
 
247
                a_bzrdir, shared=shared)
 
248
        return a_bzrdir.create_repository(shared=shared)
 
249
    
 
250
    def open(self, a_bzrdir):
 
251
        if not isinstance(a_bzrdir, RemoteBzrDir):
 
252
            raise AssertionError('%r is not a RemoteBzrDir' % (a_bzrdir,))
 
253
        return a_bzrdir.open_repository()
 
254
 
 
255
    def get_format_description(self):
 
256
        return 'bzr remote repository'
 
257
 
 
258
    def __eq__(self, other):
 
259
        return self.__class__ == other.__class__
 
260
 
 
261
    def check_conversion_target(self, target_format):
 
262
        if self.rich_root_data and not target_format.rich_root_data:
 
263
            raise errors.BadConversionTarget(
 
264
                'Does not support rich root data.', target_format)
 
265
        if (self.supports_tree_reference and
 
266
            not getattr(target_format, 'supports_tree_reference', False)):
 
267
            raise errors.BadConversionTarget(
 
268
                'Does not support nested trees', target_format)
 
269
 
 
270
 
 
271
class RemoteRepository(object):
 
272
    """Repository accessed over rpc.
 
273
 
 
274
    For the moment most operations are performed using local transport-backed
 
275
    Repository objects.
 
276
    """
 
277
 
 
278
    def __init__(self, remote_bzrdir, format, real_repository=None, _client=None):
 
279
        """Create a RemoteRepository instance.
 
280
        
 
281
        :param remote_bzrdir: The bzrdir hosting this repository.
 
282
        :param format: The RemoteFormat object to use.
 
283
        :param real_repository: If not None, a local implementation of the
 
284
            repository logic for the repository, usually accessing the data
 
285
            via the VFS.
 
286
        :param _client: Private testing parameter - override the smart client
 
287
            to be used by the repository.
 
288
        """
 
289
        if real_repository:
 
290
            self._real_repository = real_repository
 
291
        else:
 
292
            self._real_repository = None
 
293
        self.bzrdir = remote_bzrdir
 
294
        if _client is None:
 
295
            self._client = remote_bzrdir._client
 
296
        else:
 
297
            self._client = _client
 
298
        self._format = format
 
299
        self._lock_mode = None
 
300
        self._lock_token = None
 
301
        self._lock_count = 0
 
302
        self._leave_lock = False
 
303
        # A cache of looked up revision parent data; reset at unlock time.
 
304
        self._parents_map = None
 
305
        if 'hpss' in debug.debug_flags:
 
306
            self._requested_parents = None
 
307
        # For tests:
 
308
        # These depend on the actual remote format, so force them off for
 
309
        # maximum compatibility. XXX: In future these should depend on the
 
310
        # remote repository instance, but this is irrelevant until we perform
 
311
        # reconcile via an RPC call.
 
312
        self._reconcile_does_inventory_gc = False
 
313
        self._reconcile_fixes_text_parents = False
 
314
        self._reconcile_backsup_inventory = False
 
315
        self.base = self.bzrdir.transport.base
 
316
        # Additional places to query for data.
 
317
        self._fallback_repositories = []
 
318
 
 
319
    def __str__(self):
 
320
        return "%s(%s)" % (self.__class__.__name__, self.base)
 
321
 
 
322
    __repr__ = __str__
 
323
 
 
324
    def abort_write_group(self):
 
325
        """Complete a write group on the decorated repository.
 
326
        
 
327
        Smart methods peform operations in a single step so this api
 
328
        is not really applicable except as a compatibility thunk
 
329
        for older plugins that don't use e.g. the CommitBuilder
 
330
        facility.
 
331
        """
 
332
        self._ensure_real()
 
333
        return self._real_repository.abort_write_group()
 
334
 
 
335
    def commit_write_group(self):
 
336
        """Complete a write group on the decorated repository.
 
337
        
 
338
        Smart methods peform operations in a single step so this api
 
339
        is not really applicable except as a compatibility thunk
 
340
        for older plugins that don't use e.g. the CommitBuilder
 
341
        facility.
 
342
        """
 
343
        self._ensure_real()
 
344
        return self._real_repository.commit_write_group()
 
345
 
 
346
    def _ensure_real(self):
 
347
        """Ensure that there is a _real_repository set.
 
348
 
 
349
        Used before calls to self._real_repository.
 
350
        """
 
351
        if not self._real_repository:
 
352
            self.bzrdir._ensure_real()
 
353
            #self._real_repository = self.bzrdir._real_bzrdir.open_repository()
 
354
            self._set_real_repository(self.bzrdir._real_bzrdir.open_repository())
 
355
 
 
356
    def find_text_key_references(self):
 
357
        """Find the text key references within the repository.
 
358
 
 
359
        :return: a dictionary mapping (file_id, revision_id) tuples to altered file-ids to an iterable of
 
360
        revision_ids. Each altered file-ids has the exact revision_ids that
 
361
        altered it listed explicitly.
 
362
        :return: A dictionary mapping text keys ((fileid, revision_id) tuples)
 
363
            to whether they were referred to by the inventory of the
 
364
            revision_id that they contain. The inventory texts from all present
 
365
            revision ids are assessed to generate this report.
 
366
        """
 
367
        self._ensure_real()
 
368
        return self._real_repository.find_text_key_references()
 
369
 
 
370
    def _generate_text_key_index(self):
 
371
        """Generate a new text key index for the repository.
 
372
 
 
373
        This is an expensive function that will take considerable time to run.
 
374
 
 
375
        :return: A dict mapping (file_id, revision_id) tuples to a list of
 
376
            parents, also (file_id, revision_id) tuples.
 
377
        """
 
378
        self._ensure_real()
 
379
        return self._real_repository._generate_text_key_index()
 
380
 
 
381
    @symbol_versioning.deprecated_method(symbol_versioning.one_four)
 
382
    def get_revision_graph(self, revision_id=None):
 
383
        """See Repository.get_revision_graph()."""
 
384
        return self._get_revision_graph(revision_id)
 
385
 
 
386
    def _get_revision_graph(self, revision_id):
 
387
        """Private method for using with old (< 1.2) servers to fallback."""
 
388
        if revision_id is None:
 
389
            revision_id = ''
 
390
        elif revision.is_null(revision_id):
 
391
            return {}
 
392
 
 
393
        path = self.bzrdir._path_for_remote_call(self._client)
 
394
        try:
 
395
            response = self._client.call_expecting_body(
 
396
                'Repository.get_revision_graph', path, revision_id)
 
397
        except errors.ErrorFromSmartServer, err:
 
398
            if err.error_verb == 'nosuchrevision':
 
399
                raise NoSuchRevision(self, revision_id)
 
400
            raise
 
401
        response_tuple, response_handler = response
 
402
        if response_tuple[0] != 'ok':
 
403
            raise errors.UnexpectedSmartServerResponse(response_tuple)
 
404
        coded = response_handler.read_body_bytes()
 
405
        if coded == '':
 
406
            # no revisions in this repository!
 
407
            return {}
 
408
        lines = coded.split('\n')
 
409
        revision_graph = {}
 
410
        for line in lines:
 
411
            d = tuple(line.split())
 
412
            revision_graph[d[0]] = d[1:]
 
413
            
 
414
        return revision_graph
 
415
 
 
416
    def has_revision(self, revision_id):
 
417
        """See Repository.has_revision()."""
 
418
        if revision_id == NULL_REVISION:
 
419
            # The null revision is always present.
 
420
            return True
 
421
        path = self.bzrdir._path_for_remote_call(self._client)
 
422
        response = self._client.call(
 
423
            'Repository.has_revision', path, revision_id)
 
424
        if response[0] not in ('yes', 'no'):
 
425
            raise errors.UnexpectedSmartServerResponse(response)
 
426
        return response[0] == 'yes'
 
427
 
 
428
    def has_revisions(self, revision_ids):
 
429
        """See Repository.has_revisions()."""
 
430
        result = set()
 
431
        for revision_id in revision_ids:
 
432
            if self.has_revision(revision_id):
 
433
                result.add(revision_id)
 
434
        return result
 
435
 
 
436
    def has_same_location(self, other):
 
437
        return (self.__class__ == other.__class__ and
 
438
                self.bzrdir.transport.base == other.bzrdir.transport.base)
 
439
        
 
440
    def get_graph(self, other_repository=None):
 
441
        """Return the graph for this repository format"""
 
442
        parents_provider = self
 
443
        if (other_repository is not None and
 
444
            other_repository.bzrdir.transport.base !=
 
445
            self.bzrdir.transport.base):
 
446
            parents_provider = graph._StackedParentsProvider(
 
447
                [parents_provider, other_repository._make_parents_provider()])
 
448
        return graph.Graph(parents_provider)
 
449
 
 
450
    def gather_stats(self, revid=None, committers=None):
 
451
        """See Repository.gather_stats()."""
 
452
        path = self.bzrdir._path_for_remote_call(self._client)
 
453
        # revid can be None to indicate no revisions, not just NULL_REVISION
 
454
        if revid is None or revision.is_null(revid):
 
455
            fmt_revid = ''
 
456
        else:
 
457
            fmt_revid = revid
 
458
        if committers is None or not committers:
 
459
            fmt_committers = 'no'
 
460
        else:
 
461
            fmt_committers = 'yes'
 
462
        response_tuple, response_handler = self._client.call_expecting_body(
 
463
            'Repository.gather_stats', path, fmt_revid, fmt_committers)
 
464
        if response_tuple[0] != 'ok':
 
465
            raise errors.UnexpectedSmartServerResponse(response_tuple)
 
466
 
 
467
        body = response_handler.read_body_bytes()
 
468
        result = {}
 
469
        for line in body.split('\n'):
 
470
            if not line:
 
471
                continue
 
472
            key, val_text = line.split(':')
 
473
            if key in ('revisions', 'size', 'committers'):
 
474
                result[key] = int(val_text)
 
475
            elif key in ('firstrev', 'latestrev'):
 
476
                values = val_text.split(' ')[1:]
 
477
                result[key] = (float(values[0]), long(values[1]))
 
478
 
 
479
        return result
 
480
 
 
481
    def find_branches(self, using=False):
 
482
        """See Repository.find_branches()."""
 
483
        # should be an API call to the server.
 
484
        self._ensure_real()
 
485
        return self._real_repository.find_branches(using=using)
 
486
 
 
487
    def get_physical_lock_status(self):
 
488
        """See Repository.get_physical_lock_status()."""
 
489
        # should be an API call to the server.
 
490
        self._ensure_real()
 
491
        return self._real_repository.get_physical_lock_status()
 
492
 
 
493
    def is_in_write_group(self):
 
494
        """Return True if there is an open write group.
 
495
 
 
496
        write groups are only applicable locally for the smart server..
 
497
        """
 
498
        if self._real_repository:
 
499
            return self._real_repository.is_in_write_group()
 
500
 
 
501
    def is_locked(self):
 
502
        return self._lock_count >= 1
 
503
 
 
504
    def is_shared(self):
 
505
        """See Repository.is_shared()."""
 
506
        path = self.bzrdir._path_for_remote_call(self._client)
 
507
        response = self._client.call('Repository.is_shared', path)
 
508
        if response[0] not in ('yes', 'no'):
 
509
            raise SmartProtocolError('unexpected response code %s' % (response,))
 
510
        return response[0] == 'yes'
 
511
 
 
512
    def is_write_locked(self):
 
513
        return self._lock_mode == 'w'
 
514
 
 
515
    def lock_read(self):
 
516
        # wrong eventually - want a local lock cache context
 
517
        if not self._lock_mode:
 
518
            self._lock_mode = 'r'
 
519
            self._lock_count = 1
 
520
            self._parents_map = {}
 
521
            if 'hpss' in debug.debug_flags:
 
522
                self._requested_parents = set()
 
523
            if self._real_repository is not None:
 
524
                self._real_repository.lock_read()
 
525
        else:
 
526
            self._lock_count += 1
 
527
 
 
528
    def _remote_lock_write(self, token):
 
529
        path = self.bzrdir._path_for_remote_call(self._client)
 
530
        if token is None:
 
531
            token = ''
 
532
        try:
 
533
            response = self._client.call('Repository.lock_write', path, token)
 
534
        except errors.ErrorFromSmartServer, err:
 
535
            if err.error_verb == 'LockContention':
 
536
                raise errors.LockContention('(remote lock)')
 
537
            elif err.error_verb == 'UnlockableTransport':
 
538
                raise errors.UnlockableTransport(self.bzrdir.root_transport)
 
539
            elif err.error_verb == 'LockFailed':
 
540
                raise errors.LockFailed(err.error_args[0], err.error_args[1])
 
541
            raise
 
542
 
 
543
        if response[0] == 'ok':
 
544
            ok, token = response
 
545
            return token
 
546
        else:
 
547
            raise errors.UnexpectedSmartServerResponse(response)
 
548
 
 
549
    def lock_write(self, token=None):
 
550
        if not self._lock_mode:
 
551
            self._lock_token = self._remote_lock_write(token)
 
552
            # if self._lock_token is None, then this is something like packs or
 
553
            # svn where we don't get to lock the repo, or a weave style repository
 
554
            # where we cannot lock it over the wire and attempts to do so will
 
555
            # fail.
 
556
            if self._real_repository is not None:
 
557
                self._real_repository.lock_write(token=self._lock_token)
 
558
            if token is not None:
 
559
                self._leave_lock = True
 
560
            else:
 
561
                self._leave_lock = False
 
562
            self._lock_mode = 'w'
 
563
            self._lock_count = 1
 
564
            self._parents_map = {}
 
565
            if 'hpss' in debug.debug_flags:
 
566
                self._requested_parents = set()
 
567
        elif self._lock_mode == 'r':
 
568
            raise errors.ReadOnlyError(self)
 
569
        else:
 
570
            self._lock_count += 1
 
571
        return self._lock_token or None
 
572
 
 
573
    def leave_lock_in_place(self):
 
574
        if not self._lock_token:
 
575
            raise NotImplementedError(self.leave_lock_in_place)
 
576
        self._leave_lock = True
 
577
 
 
578
    def dont_leave_lock_in_place(self):
 
579
        if not self._lock_token:
 
580
            raise NotImplementedError(self.dont_leave_lock_in_place)
 
581
        self._leave_lock = False
 
582
 
 
583
    def _set_real_repository(self, repository):
 
584
        """Set the _real_repository for this repository.
 
585
 
 
586
        :param repository: The repository to fallback to for non-hpss
 
587
            implemented operations.
 
588
        """
 
589
        if isinstance(repository, RemoteRepository):
 
590
            raise AssertionError()
 
591
        self._real_repository = repository
 
592
        if self._lock_mode == 'w':
 
593
            # if we are already locked, the real repository must be able to
 
594
            # acquire the lock with our token.
 
595
            self._real_repository.lock_write(self._lock_token)
 
596
        elif self._lock_mode == 'r':
 
597
            self._real_repository.lock_read()
 
598
 
 
599
    def start_write_group(self):
 
600
        """Start a write group on the decorated repository.
 
601
        
 
602
        Smart methods peform operations in a single step so this api
 
603
        is not really applicable except as a compatibility thunk
 
604
        for older plugins that don't use e.g. the CommitBuilder
 
605
        facility.
 
606
        """
 
607
        self._ensure_real()
 
608
        return self._real_repository.start_write_group()
 
609
 
 
610
    def _unlock(self, token):
 
611
        path = self.bzrdir._path_for_remote_call(self._client)
 
612
        if not token:
 
613
            # with no token the remote repository is not persistently locked.
 
614
            return
 
615
        try:
 
616
            response = self._client.call('Repository.unlock', path, token)
 
617
        except errors.ErrorFromSmartServer, err:
 
618
            if err.error_verb == 'TokenMismatch':
 
619
                raise errors.TokenMismatch(token, '(remote token)')
 
620
            raise
 
621
        if response == ('ok',):
 
622
            return
 
623
        else:
 
624
            raise errors.UnexpectedSmartServerResponse(response)
 
625
 
 
626
    def unlock(self):
 
627
        self._lock_count -= 1
 
628
        if self._lock_count > 0:
 
629
            return
 
630
        self._parents_map = None
 
631
        if 'hpss' in debug.debug_flags:
 
632
            self._requested_parents = None
 
633
        old_mode = self._lock_mode
 
634
        self._lock_mode = None
 
635
        try:
 
636
            # The real repository is responsible at present for raising an
 
637
            # exception if it's in an unfinished write group.  However, it
 
638
            # normally will *not* actually remove the lock from disk - that's
 
639
            # done by the server on receiving the Repository.unlock call.
 
640
            # This is just to let the _real_repository stay up to date.
 
641
            if self._real_repository is not None:
 
642
                self._real_repository.unlock()
 
643
        finally:
 
644
            # The rpc-level lock should be released even if there was a
 
645
            # problem releasing the vfs-based lock.
 
646
            if old_mode == 'w':
 
647
                # Only write-locked repositories need to make a remote method
 
648
                # call to perfom the unlock.
 
649
                old_token = self._lock_token
 
650
                self._lock_token = None
 
651
                if not self._leave_lock:
 
652
                    self._unlock(old_token)
 
653
 
 
654
    def break_lock(self):
 
655
        # should hand off to the network
 
656
        self._ensure_real()
 
657
        return self._real_repository.break_lock()
 
658
 
 
659
    def _get_tarball(self, compression):
 
660
        """Return a TemporaryFile containing a repository tarball.
 
661
        
 
662
        Returns None if the server does not support sending tarballs.
 
663
        """
 
664
        import tempfile
 
665
        path = self.bzrdir._path_for_remote_call(self._client)
 
666
        try:
 
667
            response, protocol = self._client.call_expecting_body(
 
668
                'Repository.tarball', path, compression)
 
669
        except errors.UnknownSmartMethod:
 
670
            protocol.cancel_read_body()
 
671
            return None
 
672
        if response[0] == 'ok':
 
673
            # Extract the tarball and return it
 
674
            t = tempfile.NamedTemporaryFile()
 
675
            # TODO: rpc layer should read directly into it...
 
676
            t.write(protocol.read_body_bytes())
 
677
            t.seek(0)
 
678
            return t
 
679
        raise errors.UnexpectedSmartServerResponse(response)
 
680
 
 
681
    def sprout(self, to_bzrdir, revision_id=None):
 
682
        # TODO: Option to control what format is created?
 
683
        self._ensure_real()
 
684
        dest_repo = self._real_repository._format.initialize(to_bzrdir,
 
685
                                                             shared=False)
 
686
        dest_repo.fetch(self, revision_id=revision_id)
 
687
        return dest_repo
 
688
 
 
689
    ### These methods are just thin shims to the VFS object for now.
 
690
 
 
691
    def revision_tree(self, revision_id):
 
692
        self._ensure_real()
 
693
        return self._real_repository.revision_tree(revision_id)
 
694
 
 
695
    def get_serializer_format(self):
 
696
        self._ensure_real()
 
697
        return self._real_repository.get_serializer_format()
 
698
 
 
699
    def get_commit_builder(self, branch, parents, config, timestamp=None,
 
700
                           timezone=None, committer=None, revprops=None,
 
701
                           revision_id=None):
 
702
        # FIXME: It ought to be possible to call this without immediately
 
703
        # triggering _ensure_real.  For now it's the easiest thing to do.
 
704
        self._ensure_real()
 
705
        builder = self._real_repository.get_commit_builder(branch, parents,
 
706
                config, timestamp=timestamp, timezone=timezone,
 
707
                committer=committer, revprops=revprops, revision_id=revision_id)
 
708
        return builder
 
709
 
 
710
    def add_fallback_repository(self, repository):
 
711
        """Add a repository to use for looking up data not held locally.
 
712
        
 
713
        :param repository: A repository.
 
714
        """
 
715
        if not self._format.supports_external_lookups:
 
716
            raise errors.UnstackableRepositoryFormat(self._format, self.base)
 
717
        # We need to accumulate additional repositories here, to pass them in
 
718
        # on various RPC's.
 
719
        self._fallback_repositories.append(repository)
 
720
 
 
721
    def add_inventory(self, revid, inv, parents):
 
722
        self._ensure_real()
 
723
        return self._real_repository.add_inventory(revid, inv, parents)
 
724
 
 
725
    def add_revision(self, rev_id, rev, inv=None, config=None):
 
726
        self._ensure_real()
 
727
        return self._real_repository.add_revision(
 
728
            rev_id, rev, inv=inv, config=config)
 
729
 
 
730
    @needs_read_lock
 
731
    def get_inventory(self, revision_id):
 
732
        self._ensure_real()
 
733
        return self._real_repository.get_inventory(revision_id)
 
734
 
 
735
    def iter_inventories(self, revision_ids):
 
736
        self._ensure_real()
 
737
        return self._real_repository.iter_inventories(revision_ids)
 
738
 
 
739
    @needs_read_lock
 
740
    def get_revision(self, revision_id):
 
741
        self._ensure_real()
 
742
        return self._real_repository.get_revision(revision_id)
 
743
 
 
744
    def get_transaction(self):
 
745
        self._ensure_real()
 
746
        return self._real_repository.get_transaction()
 
747
 
 
748
    @needs_read_lock
 
749
    def clone(self, a_bzrdir, revision_id=None):
 
750
        self._ensure_real()
 
751
        return self._real_repository.clone(a_bzrdir, revision_id=revision_id)
 
752
 
 
753
    def make_working_trees(self):
 
754
        """See Repository.make_working_trees"""
 
755
        self._ensure_real()
 
756
        return self._real_repository.make_working_trees()
 
757
 
 
758
    def revision_ids_to_search_result(self, result_set):
 
759
        """Convert a set of revision ids to a graph SearchResult."""
 
760
        result_parents = set()
 
761
        for parents in self.get_graph().get_parent_map(
 
762
            result_set).itervalues():
 
763
            result_parents.update(parents)
 
764
        included_keys = result_set.intersection(result_parents)
 
765
        start_keys = result_set.difference(included_keys)
 
766
        exclude_keys = result_parents.difference(result_set)
 
767
        result = graph.SearchResult(start_keys, exclude_keys,
 
768
            len(result_set), result_set)
 
769
        return result
 
770
 
 
771
    @needs_read_lock
 
772
    def search_missing_revision_ids(self, other, revision_id=None, find_ghosts=True):
 
773
        """Return the revision ids that other has that this does not.
 
774
        
 
775
        These are returned in topological order.
 
776
 
 
777
        revision_id: only return revision ids included by revision_id.
 
778
        """
 
779
        return repository.InterRepository.get(
 
780
            other, self).search_missing_revision_ids(revision_id, find_ghosts)
 
781
 
 
782
    def fetch(self, source, revision_id=None, pb=None):
 
783
        if self.has_same_location(source):
 
784
            # check that last_revision is in 'from' and then return a
 
785
            # no-operation.
 
786
            if (revision_id is not None and
 
787
                not revision.is_null(revision_id)):
 
788
                self.get_revision(revision_id)
 
789
            return 0, []
 
790
        self._ensure_real()
 
791
        return self._real_repository.fetch(
 
792
            source, revision_id=revision_id, pb=pb)
 
793
 
 
794
    def create_bundle(self, target, base, fileobj, format=None):
 
795
        self._ensure_real()
 
796
        self._real_repository.create_bundle(target, base, fileobj, format)
 
797
 
 
798
    @needs_read_lock
 
799
    def get_ancestry(self, revision_id, topo_sorted=True):
 
800
        self._ensure_real()
 
801
        return self._real_repository.get_ancestry(revision_id, topo_sorted)
 
802
 
 
803
    def fileids_altered_by_revision_ids(self, revision_ids):
 
804
        self._ensure_real()
 
805
        return self._real_repository.fileids_altered_by_revision_ids(revision_ids)
 
806
 
 
807
    def _get_versioned_file_checker(self, revisions, revision_versions_cache):
 
808
        self._ensure_real()
 
809
        return self._real_repository._get_versioned_file_checker(
 
810
            revisions, revision_versions_cache)
 
811
        
 
812
    def iter_files_bytes(self, desired_files):
 
813
        """See Repository.iter_file_bytes.
 
814
        """
 
815
        self._ensure_real()
 
816
        return self._real_repository.iter_files_bytes(desired_files)
 
817
 
 
818
    def get_parent_map(self, keys):
 
819
        """See bzrlib.Graph.get_parent_map()."""
 
820
        # Hack to build up the caching logic.
 
821
        ancestry = self._parents_map
 
822
        if ancestry is None:
 
823
            # Repository is not locked, so there's no cache.
 
824
            missing_revisions = set(keys)
 
825
            ancestry = {}
 
826
        else:
 
827
            missing_revisions = set(key for key in keys if key not in ancestry)
 
828
        if missing_revisions:
 
829
            parent_map = self._get_parent_map(missing_revisions)
 
830
            if 'hpss' in debug.debug_flags:
 
831
                mutter('retransmitted revisions: %d of %d',
 
832
                        len(set(ancestry).intersection(parent_map)),
 
833
                        len(parent_map))
 
834
            ancestry.update(parent_map)
 
835
        present_keys = [k for k in keys if k in ancestry]
 
836
        if 'hpss' in debug.debug_flags:
 
837
            if self._requested_parents is not None and len(ancestry) != 0:
 
838
                self._requested_parents.update(present_keys)
 
839
                mutter('Current RemoteRepository graph hit rate: %d%%',
 
840
                    100.0 * len(self._requested_parents) / len(ancestry))
 
841
        return dict((k, ancestry[k]) for k in present_keys)
 
842
 
 
843
    def _get_parent_map(self, keys):
 
844
        """Helper for get_parent_map that performs the RPC."""
 
845
        medium = self._client._medium
 
846
        if medium._is_remote_before((1, 2)):
 
847
            # We already found out that the server can't understand
 
848
            # Repository.get_parent_map requests, so just fetch the whole
 
849
            # graph.
 
850
            # XXX: Note that this will issue a deprecation warning. This is ok
 
851
            # :- its because we're working with a deprecated server anyway, and
 
852
            # the user will almost certainly have seen a warning about the
 
853
            # server version already.
 
854
            rg = self.get_revision_graph()
 
855
            # There is an api discrepency between get_parent_map and
 
856
            # get_revision_graph. Specifically, a "key:()" pair in
 
857
            # get_revision_graph just means a node has no parents. For
 
858
            # "get_parent_map" it means the node is a ghost. So fix up the
 
859
            # graph to correct this.
 
860
            #   https://bugs.launchpad.net/bzr/+bug/214894
 
861
            # There is one other "bug" which is that ghosts in
 
862
            # get_revision_graph() are not returned at all. But we won't worry
 
863
            # about that for now.
 
864
            for node_id, parent_ids in rg.iteritems():
 
865
                if parent_ids == ():
 
866
                    rg[node_id] = (NULL_REVISION,)
 
867
            rg[NULL_REVISION] = ()
 
868
            return rg
 
869
 
 
870
        keys = set(keys)
 
871
        if None in keys:
 
872
            raise ValueError('get_parent_map(None) is not valid')
 
873
        if NULL_REVISION in keys:
 
874
            keys.discard(NULL_REVISION)
 
875
            found_parents = {NULL_REVISION:()}
 
876
            if not keys:
 
877
                return found_parents
 
878
        else:
 
879
            found_parents = {}
 
880
        # TODO(Needs analysis): We could assume that the keys being requested
 
881
        # from get_parent_map are in a breadth first search, so typically they
 
882
        # will all be depth N from some common parent, and we don't have to
 
883
        # have the server iterate from the root parent, but rather from the
 
884
        # keys we're searching; and just tell the server the keyspace we
 
885
        # already have; but this may be more traffic again.
 
886
 
 
887
        # Transform self._parents_map into a search request recipe.
 
888
        # TODO: Manage this incrementally to avoid covering the same path
 
889
        # repeatedly. (The server will have to on each request, but the less
 
890
        # work done the better).
 
891
        parents_map = self._parents_map
 
892
        if parents_map is None:
 
893
            # Repository is not locked, so there's no cache.
 
894
            parents_map = {}
 
895
        start_set = set(parents_map)
 
896
        result_parents = set()
 
897
        for parents in parents_map.itervalues():
 
898
            result_parents.update(parents)
 
899
        stop_keys = result_parents.difference(start_set)
 
900
        included_keys = start_set.intersection(result_parents)
 
901
        start_set.difference_update(included_keys)
 
902
        recipe = (start_set, stop_keys, len(parents_map))
 
903
        body = self._serialise_search_recipe(recipe)
 
904
        path = self.bzrdir._path_for_remote_call(self._client)
 
905
        for key in keys:
 
906
            if type(key) is not str:
 
907
                raise ValueError(
 
908
                    "key %r not a plain string" % (key,))
 
909
        verb = 'Repository.get_parent_map'
 
910
        args = (path,) + tuple(keys)
 
911
        try:
 
912
            response = self._client.call_with_body_bytes_expecting_body(
 
913
                verb, args, self._serialise_search_recipe(recipe))
 
914
        except errors.UnknownSmartMethod:
 
915
            # Server does not support this method, so get the whole graph.
 
916
            # Worse, we have to force a disconnection, because the server now
 
917
            # doesn't realise it has a body on the wire to consume, so the
 
918
            # only way to recover is to abandon the connection.
 
919
            warning(
 
920
                'Server is too old for fast get_parent_map, reconnecting.  '
 
921
                '(Upgrade the server to Bazaar 1.2 to avoid this)')
 
922
            medium.disconnect()
 
923
            # To avoid having to disconnect repeatedly, we keep track of the
 
924
            # fact the server doesn't understand remote methods added in 1.2.
 
925
            medium._remember_remote_is_before((1, 2))
 
926
            return self.get_revision_graph(None)
 
927
        response_tuple, response_handler = response
 
928
        if response_tuple[0] not in ['ok']:
 
929
            response_handler.cancel_read_body()
 
930
            raise errors.UnexpectedSmartServerResponse(response_tuple)
 
931
        if response_tuple[0] == 'ok':
 
932
            coded = bz2.decompress(response_handler.read_body_bytes())
 
933
            if coded == '':
 
934
                # no revisions found
 
935
                return {}
 
936
            lines = coded.split('\n')
 
937
            revision_graph = {}
 
938
            for line in lines:
 
939
                d = tuple(line.split())
 
940
                if len(d) > 1:
 
941
                    revision_graph[d[0]] = d[1:]
 
942
                else:
 
943
                    # No parents - so give the Graph result (NULL_REVISION,).
 
944
                    revision_graph[d[0]] = (NULL_REVISION,)
 
945
            return revision_graph
 
946
 
 
947
    @needs_read_lock
 
948
    def get_signature_text(self, revision_id):
 
949
        self._ensure_real()
 
950
        return self._real_repository.get_signature_text(revision_id)
 
951
 
 
952
    @needs_read_lock
 
953
    @symbol_versioning.deprecated_method(symbol_versioning.one_three)
 
954
    def get_revision_graph_with_ghosts(self, revision_ids=None):
 
955
        self._ensure_real()
 
956
        return self._real_repository.get_revision_graph_with_ghosts(
 
957
            revision_ids=revision_ids)
 
958
 
 
959
    @needs_read_lock
 
960
    def get_inventory_xml(self, revision_id):
 
961
        self._ensure_real()
 
962
        return self._real_repository.get_inventory_xml(revision_id)
 
963
 
 
964
    def deserialise_inventory(self, revision_id, xml):
 
965
        self._ensure_real()
 
966
        return self._real_repository.deserialise_inventory(revision_id, xml)
 
967
 
 
968
    def reconcile(self, other=None, thorough=False):
 
969
        self._ensure_real()
 
970
        return self._real_repository.reconcile(other=other, thorough=thorough)
 
971
        
 
972
    def all_revision_ids(self):
 
973
        self._ensure_real()
 
974
        return self._real_repository.all_revision_ids()
 
975
    
 
976
    @needs_read_lock
 
977
    def get_deltas_for_revisions(self, revisions):
 
978
        self._ensure_real()
 
979
        return self._real_repository.get_deltas_for_revisions(revisions)
 
980
 
 
981
    @needs_read_lock
 
982
    def get_revision_delta(self, revision_id):
 
983
        self._ensure_real()
 
984
        return self._real_repository.get_revision_delta(revision_id)
 
985
 
 
986
    @needs_read_lock
 
987
    def revision_trees(self, revision_ids):
 
988
        self._ensure_real()
 
989
        return self._real_repository.revision_trees(revision_ids)
 
990
 
 
991
    @needs_read_lock
 
992
    def get_revision_reconcile(self, revision_id):
 
993
        self._ensure_real()
 
994
        return self._real_repository.get_revision_reconcile(revision_id)
 
995
 
 
996
    @needs_read_lock
 
997
    def check(self, revision_ids=None):
 
998
        self._ensure_real()
 
999
        return self._real_repository.check(revision_ids=revision_ids)
 
1000
 
 
1001
    def copy_content_into(self, destination, revision_id=None):
 
1002
        self._ensure_real()
 
1003
        return self._real_repository.copy_content_into(
 
1004
            destination, revision_id=revision_id)
 
1005
 
 
1006
    def _copy_repository_tarball(self, to_bzrdir, revision_id=None):
 
1007
        # get a tarball of the remote repository, and copy from that into the
 
1008
        # destination
 
1009
        from bzrlib import osutils
 
1010
        import tarfile
 
1011
        import tempfile
 
1012
        # TODO: Maybe a progress bar while streaming the tarball?
 
1013
        note("Copying repository content as tarball...")
 
1014
        tar_file = self._get_tarball('bz2')
 
1015
        if tar_file is None:
 
1016
            return None
 
1017
        destination = to_bzrdir.create_repository()
 
1018
        try:
 
1019
            tar = tarfile.open('repository', fileobj=tar_file,
 
1020
                mode='r|bz2')
 
1021
            tmpdir = tempfile.mkdtemp()
 
1022
            try:
 
1023
                _extract_tar(tar, tmpdir)
 
1024
                tmp_bzrdir = BzrDir.open(tmpdir)
 
1025
                tmp_repo = tmp_bzrdir.open_repository()
 
1026
                tmp_repo.copy_content_into(destination, revision_id)
 
1027
            finally:
 
1028
                osutils.rmtree(tmpdir)
 
1029
        finally:
 
1030
            tar_file.close()
 
1031
        return destination
 
1032
        # TODO: Suggestion from john: using external tar is much faster than
 
1033
        # python's tarfile library, but it may not work on windows.
 
1034
 
 
1035
    @property
 
1036
    def inventories(self):
 
1037
        """Decorate the real repository for now.
 
1038
 
 
1039
        In the long term a full blown network facility is needed to
 
1040
        avoid creating a real repository object locally.
 
1041
        """
 
1042
        self._ensure_real()
 
1043
        return self._real_repository.inventories
 
1044
 
 
1045
    @needs_write_lock
 
1046
    def pack(self):
 
1047
        """Compress the data within the repository.
 
1048
 
 
1049
        This is not currently implemented within the smart server.
 
1050
        """
 
1051
        self._ensure_real()
 
1052
        return self._real_repository.pack()
 
1053
 
 
1054
    @property
 
1055
    def revisions(self):
 
1056
        """Decorate the real repository for now.
 
1057
 
 
1058
        In the short term this should become a real object to intercept graph
 
1059
        lookups.
 
1060
 
 
1061
        In the long term a full blown network facility is needed.
 
1062
        """
 
1063
        self._ensure_real()
 
1064
        return self._real_repository.revisions
 
1065
 
 
1066
    def set_make_working_trees(self, new_value):
 
1067
        self._ensure_real()
 
1068
        self._real_repository.set_make_working_trees(new_value)
 
1069
 
 
1070
    @property
 
1071
    def signatures(self):
 
1072
        """Decorate the real repository for now.
 
1073
 
 
1074
        In the long term a full blown network facility is needed to avoid
 
1075
        creating a real repository object locally.
 
1076
        """
 
1077
        self._ensure_real()
 
1078
        return self._real_repository.signatures
 
1079
 
 
1080
    @needs_write_lock
 
1081
    def sign_revision(self, revision_id, gpg_strategy):
 
1082
        self._ensure_real()
 
1083
        return self._real_repository.sign_revision(revision_id, gpg_strategy)
 
1084
 
 
1085
    @property
 
1086
    def texts(self):
 
1087
        """Decorate the real repository for now.
 
1088
 
 
1089
        In the long term a full blown network facility is needed to avoid
 
1090
        creating a real repository object locally.
 
1091
        """
 
1092
        self._ensure_real()
 
1093
        return self._real_repository.texts
 
1094
 
 
1095
    @needs_read_lock
 
1096
    def get_revisions(self, revision_ids):
 
1097
        self._ensure_real()
 
1098
        return self._real_repository.get_revisions(revision_ids)
 
1099
 
 
1100
    def supports_rich_root(self):
 
1101
        self._ensure_real()
 
1102
        return self._real_repository.supports_rich_root()
 
1103
 
 
1104
    def iter_reverse_revision_history(self, revision_id):
 
1105
        self._ensure_real()
 
1106
        return self._real_repository.iter_reverse_revision_history(revision_id)
 
1107
 
 
1108
    @property
 
1109
    def _serializer(self):
 
1110
        self._ensure_real()
 
1111
        return self._real_repository._serializer
 
1112
 
 
1113
    def store_revision_signature(self, gpg_strategy, plaintext, revision_id):
 
1114
        self._ensure_real()
 
1115
        return self._real_repository.store_revision_signature(
 
1116
            gpg_strategy, plaintext, revision_id)
 
1117
 
 
1118
    def add_signature_text(self, revision_id, signature):
 
1119
        self._ensure_real()
 
1120
        return self._real_repository.add_signature_text(revision_id, signature)
 
1121
 
 
1122
    def has_signature_for_revision_id(self, revision_id):
 
1123
        self._ensure_real()
 
1124
        return self._real_repository.has_signature_for_revision_id(revision_id)
 
1125
 
 
1126
    def item_keys_introduced_by(self, revision_ids, _files_pb=None):
 
1127
        self._ensure_real()
 
1128
        return self._real_repository.item_keys_introduced_by(revision_ids,
 
1129
            _files_pb=_files_pb)
 
1130
 
 
1131
    def revision_graph_can_have_wrong_parents(self):
 
1132
        # The answer depends on the remote repo format.
 
1133
        self._ensure_real()
 
1134
        return self._real_repository.revision_graph_can_have_wrong_parents()
 
1135
 
 
1136
    def _find_inconsistent_revision_parents(self):
 
1137
        self._ensure_real()
 
1138
        return self._real_repository._find_inconsistent_revision_parents()
 
1139
 
 
1140
    def _check_for_inconsistent_revision_parents(self):
 
1141
        self._ensure_real()
 
1142
        return self._real_repository._check_for_inconsistent_revision_parents()
 
1143
 
 
1144
    def _make_parents_provider(self):
 
1145
        return self
 
1146
 
 
1147
    def _serialise_search_recipe(self, recipe):
 
1148
        """Serialise a graph search recipe.
 
1149
 
 
1150
        :param recipe: A search recipe (start, stop, count).
 
1151
        :return: Serialised bytes.
 
1152
        """
 
1153
        start_keys = ' '.join(recipe[0])
 
1154
        stop_keys = ' '.join(recipe[1])
 
1155
        count = str(recipe[2])
 
1156
        return '\n'.join((start_keys, stop_keys, count))
 
1157
 
 
1158
 
 
1159
class RemoteBranchLockableFiles(LockableFiles):
 
1160
    """A 'LockableFiles' implementation that talks to a smart server.
 
1161
    
 
1162
    This is not a public interface class.
 
1163
    """
 
1164
 
 
1165
    def __init__(self, bzrdir, _client):
 
1166
        self.bzrdir = bzrdir
 
1167
        self._client = _client
 
1168
        self._need_find_modes = True
 
1169
        LockableFiles.__init__(
 
1170
            self, bzrdir.get_branch_transport(None),
 
1171
            'lock', lockdir.LockDir)
 
1172
 
 
1173
    def _find_modes(self):
 
1174
        # RemoteBranches don't let the client set the mode of control files.
 
1175
        self._dir_mode = None
 
1176
        self._file_mode = None
 
1177
 
 
1178
 
 
1179
class RemoteBranchFormat(branch.BranchFormat):
 
1180
 
 
1181
    def __eq__(self, other):
 
1182
        return (isinstance(other, RemoteBranchFormat) and 
 
1183
            self.__dict__ == other.__dict__)
 
1184
 
 
1185
    def get_format_description(self):
 
1186
        return 'Remote BZR Branch'
 
1187
 
 
1188
    def get_format_string(self):
 
1189
        return 'Remote BZR Branch'
 
1190
 
 
1191
    def open(self, a_bzrdir):
 
1192
        return a_bzrdir.open_branch()
 
1193
 
 
1194
    def initialize(self, a_bzrdir):
 
1195
        return a_bzrdir.create_branch()
 
1196
 
 
1197
    def supports_tags(self):
 
1198
        # Remote branches might support tags, but we won't know until we
 
1199
        # access the real remote branch.
 
1200
        return True
 
1201
 
 
1202
 
 
1203
class RemoteBranch(branch.Branch):
 
1204
    """Branch stored on a server accessed by HPSS RPC.
 
1205
 
 
1206
    At the moment most operations are mapped down to simple file operations.
 
1207
    """
 
1208
 
 
1209
    def __init__(self, remote_bzrdir, remote_repository, real_branch=None,
 
1210
        _client=None):
 
1211
        """Create a RemoteBranch instance.
 
1212
 
 
1213
        :param real_branch: An optional local implementation of the branch
 
1214
            format, usually accessing the data via the VFS.
 
1215
        :param _client: Private parameter for testing.
 
1216
        """
 
1217
        # We intentionally don't call the parent class's __init__, because it
 
1218
        # will try to assign to self.tags, which is a property in this subclass.
 
1219
        # And the parent's __init__ doesn't do much anyway.
 
1220
        self._revision_id_to_revno_cache = None
 
1221
        self._revision_history_cache = None
 
1222
        self._last_revision_info_cache = None
 
1223
        self.bzrdir = remote_bzrdir
 
1224
        if _client is not None:
 
1225
            self._client = _client
 
1226
        else:
 
1227
            self._client = remote_bzrdir._client
 
1228
        self.repository = remote_repository
 
1229
        if real_branch is not None:
 
1230
            self._real_branch = real_branch
 
1231
            # Give the remote repository the matching real repo.
 
1232
            real_repo = self._real_branch.repository
 
1233
            if isinstance(real_repo, RemoteRepository):
 
1234
                real_repo._ensure_real()
 
1235
                real_repo = real_repo._real_repository
 
1236
            self.repository._set_real_repository(real_repo)
 
1237
            # Give the branch the remote repository to let fast-pathing happen.
 
1238
            self._real_branch.repository = self.repository
 
1239
        else:
 
1240
            self._real_branch = None
 
1241
        # Fill out expected attributes of branch for bzrlib api users.
 
1242
        self._format = RemoteBranchFormat()
 
1243
        self.base = self.bzrdir.root_transport.base
 
1244
        self._control_files = None
 
1245
        self._lock_mode = None
 
1246
        self._lock_token = None
 
1247
        self._repo_lock_token = None
 
1248
        self._lock_count = 0
 
1249
        self._leave_lock = False
 
1250
 
 
1251
    def _get_real_transport(self):
 
1252
        # if we try vfs access, return the real branch's vfs transport
 
1253
        self._ensure_real()
 
1254
        return self._real_branch._transport
 
1255
 
 
1256
    _transport = property(_get_real_transport)
 
1257
 
 
1258
    def __str__(self):
 
1259
        return "%s(%s)" % (self.__class__.__name__, self.base)
 
1260
 
 
1261
    __repr__ = __str__
 
1262
 
 
1263
    def _ensure_real(self):
 
1264
        """Ensure that there is a _real_branch set.
 
1265
 
 
1266
        Used before calls to self._real_branch.
 
1267
        """
 
1268
        if self._real_branch is None:
 
1269
            if not vfs.vfs_enabled():
 
1270
                raise AssertionError('smart server vfs must be enabled '
 
1271
                    'to use vfs implementation')
 
1272
            self.bzrdir._ensure_real()
 
1273
            self._real_branch = self.bzrdir._real_bzrdir.open_branch()
 
1274
            # Give the remote repository the matching real repo.
 
1275
            real_repo = self._real_branch.repository
 
1276
            if isinstance(real_repo, RemoteRepository):
 
1277
                real_repo._ensure_real()
 
1278
                real_repo = real_repo._real_repository
 
1279
            self.repository._set_real_repository(real_repo)
 
1280
            # Give the branch the remote repository to let fast-pathing happen.
 
1281
            self._real_branch.repository = self.repository
 
1282
            # XXX: deal with _lock_mode == 'w'
 
1283
            if self._lock_mode == 'r':
 
1284
                self._real_branch.lock_read()
 
1285
 
 
1286
    def _clear_cached_state(self):
 
1287
        super(RemoteBranch, self)._clear_cached_state()
 
1288
        if self._real_branch is not None:
 
1289
            self._real_branch._clear_cached_state()
 
1290
 
 
1291
    def _clear_cached_state_of_remote_branch_only(self):
 
1292
        """Like _clear_cached_state, but doesn't clear the cache of
 
1293
        self._real_branch.
 
1294
 
 
1295
        This is useful when falling back to calling a method of
 
1296
        self._real_branch that changes state.  In that case the underlying
 
1297
        branch changes, so we need to invalidate this RemoteBranch's cache of
 
1298
        it.  However, there's no need to invalidate the _real_branch's cache
 
1299
        too, in fact doing so might harm performance.
 
1300
        """
 
1301
        super(RemoteBranch, self)._clear_cached_state()
 
1302
        
 
1303
    @property
 
1304
    def control_files(self):
 
1305
        # Defer actually creating RemoteBranchLockableFiles until its needed,
 
1306
        # because it triggers an _ensure_real that we otherwise might not need.
 
1307
        if self._control_files is None:
 
1308
            self._control_files = RemoteBranchLockableFiles(
 
1309
                self.bzrdir, self._client)
 
1310
        return self._control_files
 
1311
 
 
1312
    def _get_checkout_format(self):
 
1313
        self._ensure_real()
 
1314
        return self._real_branch._get_checkout_format()
 
1315
 
 
1316
    def get_physical_lock_status(self):
 
1317
        """See Branch.get_physical_lock_status()."""
 
1318
        # should be an API call to the server, as branches must be lockable.
 
1319
        self._ensure_real()
 
1320
        return self._real_branch.get_physical_lock_status()
 
1321
 
 
1322
    def get_stacked_on(self):
 
1323
        """Get the URL this branch is stacked against.
 
1324
 
 
1325
        :raises NotStacked: If the branch is not stacked.
 
1326
        :raises UnstackableBranchFormat: If the branch does not support
 
1327
            stacking.
 
1328
        :raises UnstackableRepositoryFormat: If the repository does not support
 
1329
            stacking.
 
1330
        """
 
1331
        self._ensure_real()
 
1332
        return self._real_branch.get_stacked_on()
 
1333
 
 
1334
    def lock_read(self):
 
1335
        if not self._lock_mode:
 
1336
            self._lock_mode = 'r'
 
1337
            self._lock_count = 1
 
1338
            if self._real_branch is not None:
 
1339
                self._real_branch.lock_read()
 
1340
        else:
 
1341
            self._lock_count += 1
 
1342
 
 
1343
    def _remote_lock_write(self, token):
 
1344
        if token is None:
 
1345
            branch_token = repo_token = ''
 
1346
        else:
 
1347
            branch_token = token
 
1348
            repo_token = self.repository.lock_write()
 
1349
            self.repository.unlock()
 
1350
        path = self.bzrdir._path_for_remote_call(self._client)
 
1351
        try:
 
1352
            response = self._client.call(
 
1353
                'Branch.lock_write', path, branch_token, repo_token or '')
 
1354
        except errors.ErrorFromSmartServer, err:
 
1355
            if err.error_verb == 'LockContention':
 
1356
                raise errors.LockContention('(remote lock)')
 
1357
            elif err.error_verb == 'TokenMismatch':
 
1358
                raise errors.TokenMismatch(token, '(remote token)')
 
1359
            elif err.error_verb == 'UnlockableTransport':
 
1360
                raise errors.UnlockableTransport(self.bzrdir.root_transport)
 
1361
            elif err.error_verb == 'ReadOnlyError':
 
1362
                raise errors.ReadOnlyError(self)
 
1363
            elif err.error_verb == 'LockFailed':
 
1364
                raise errors.LockFailed(err.error_args[0], err.error_args[1])
 
1365
            raise
 
1366
        if response[0] != 'ok':
 
1367
            raise errors.UnexpectedSmartServerResponse(response)
 
1368
        ok, branch_token, repo_token = response
 
1369
        return branch_token, repo_token
 
1370
            
 
1371
    def lock_write(self, token=None):
 
1372
        if not self._lock_mode:
 
1373
            remote_tokens = self._remote_lock_write(token)
 
1374
            self._lock_token, self._repo_lock_token = remote_tokens
 
1375
            if not self._lock_token:
 
1376
                raise SmartProtocolError('Remote server did not return a token!')
 
1377
            # TODO: We really, really, really don't want to call _ensure_real
 
1378
            # here, but it's the easiest way to ensure coherency between the
 
1379
            # state of the RemoteBranch and RemoteRepository objects and the
 
1380
            # physical locks.  If we don't materialise the real objects here,
 
1381
            # then getting everything in the right state later is complex, so
 
1382
            # for now we just do it the lazy way.
 
1383
            #   -- Andrew Bennetts, 2007-02-22.
 
1384
            self._ensure_real()
 
1385
            if self._real_branch is not None:
 
1386
                self._real_branch.repository.lock_write(
 
1387
                    token=self._repo_lock_token)
 
1388
                try:
 
1389
                    self._real_branch.lock_write(token=self._lock_token)
 
1390
                finally:
 
1391
                    self._real_branch.repository.unlock()
 
1392
            if token is not None:
 
1393
                self._leave_lock = True
 
1394
            else:
 
1395
                # XXX: this case seems to be unreachable; token cannot be None.
 
1396
                self._leave_lock = False
 
1397
            self._lock_mode = 'w'
 
1398
            self._lock_count = 1
 
1399
        elif self._lock_mode == 'r':
 
1400
            raise errors.ReadOnlyTransaction
 
1401
        else:
 
1402
            if token is not None:
 
1403
                # A token was given to lock_write, and we're relocking, so check
 
1404
                # that the given token actually matches the one we already have.
 
1405
                if token != self._lock_token:
 
1406
                    raise errors.TokenMismatch(token, self._lock_token)
 
1407
            self._lock_count += 1
 
1408
        return self._lock_token or None
 
1409
 
 
1410
    def _unlock(self, branch_token, repo_token):
 
1411
        path = self.bzrdir._path_for_remote_call(self._client)
 
1412
        try:
 
1413
            response = self._client.call('Branch.unlock', path, branch_token,
 
1414
                                         repo_token or '')
 
1415
        except errors.ErrorFromSmartServer, err:
 
1416
            if err.error_verb == 'TokenMismatch':
 
1417
                raise errors.TokenMismatch(
 
1418
                    str((branch_token, repo_token)), '(remote tokens)')
 
1419
            raise
 
1420
        if response == ('ok',):
 
1421
            return
 
1422
        raise errors.UnexpectedSmartServerResponse(response)
 
1423
 
 
1424
    def unlock(self):
 
1425
        self._lock_count -= 1
 
1426
        if not self._lock_count:
 
1427
            self._clear_cached_state()
 
1428
            mode = self._lock_mode
 
1429
            self._lock_mode = None
 
1430
            if self._real_branch is not None:
 
1431
                if (not self._leave_lock and mode == 'w' and
 
1432
                    self._repo_lock_token):
 
1433
                    # If this RemoteBranch will remove the physical lock for the
 
1434
                    # repository, make sure the _real_branch doesn't do it
 
1435
                    # first.  (Because the _real_branch's repository is set to
 
1436
                    # be the RemoteRepository.)
 
1437
                    self._real_branch.repository.leave_lock_in_place()
 
1438
                self._real_branch.unlock()
 
1439
            if mode != 'w':
 
1440
                # Only write-locked branched need to make a remote method call
 
1441
                # to perfom the unlock.
 
1442
                return
 
1443
            if not self._lock_token:
 
1444
                raise AssertionError('Locked, but no token!')
 
1445
            branch_token = self._lock_token
 
1446
            repo_token = self._repo_lock_token
 
1447
            self._lock_token = None
 
1448
            self._repo_lock_token = None
 
1449
            if not self._leave_lock:
 
1450
                self._unlock(branch_token, repo_token)
 
1451
 
 
1452
    def break_lock(self):
 
1453
        self._ensure_real()
 
1454
        return self._real_branch.break_lock()
 
1455
 
 
1456
    def leave_lock_in_place(self):
 
1457
        if not self._lock_token:
 
1458
            raise NotImplementedError(self.leave_lock_in_place)
 
1459
        self._leave_lock = True
 
1460
 
 
1461
    def dont_leave_lock_in_place(self):
 
1462
        if not self._lock_token:
 
1463
            raise NotImplementedError(self.dont_leave_lock_in_place)
 
1464
        self._leave_lock = False
 
1465
 
 
1466
    def _last_revision_info(self):
 
1467
        path = self.bzrdir._path_for_remote_call(self._client)
 
1468
        response = self._client.call('Branch.last_revision_info', path)
 
1469
        if response[0] != 'ok':
 
1470
            raise SmartProtocolError('unexpected response code %s' % (response,))
 
1471
        revno = int(response[1])
 
1472
        last_revision = response[2]
 
1473
        return (revno, last_revision)
 
1474
 
 
1475
    def _gen_revision_history(self):
 
1476
        """See Branch._gen_revision_history()."""
 
1477
        path = self.bzrdir._path_for_remote_call(self._client)
 
1478
        response_tuple, response_handler = self._client.call_expecting_body(
 
1479
            'Branch.revision_history', path)
 
1480
        if response_tuple[0] != 'ok':
 
1481
            raise errors.UnexpectedSmartServerResponse(response_tuple)
 
1482
        result = response_handler.read_body_bytes().split('\x00')
 
1483
        if result == ['']:
 
1484
            return []
 
1485
        return result
 
1486
 
 
1487
    def _set_last_revision_descendant(self, revision_id, other_branch,
 
1488
            allow_diverged=False, allow_overwrite_descendant=False):
 
1489
        path = self.bzrdir._path_for_remote_call(self._client)
 
1490
        try:
 
1491
            response = self._client.call('Branch.set_last_revision_ex',
 
1492
                path, self._lock_token, self._repo_lock_token, revision_id,
 
1493
                int(allow_diverged), int(allow_overwrite_descendant))
 
1494
        except errors.ErrorFromSmartServer, err:
 
1495
            if err.error_verb == 'NoSuchRevision':
 
1496
                raise NoSuchRevision(self, revision_id)
 
1497
            elif err.error_verb == 'Diverged':
 
1498
                raise errors.DivergedBranches(self, other_branch)
 
1499
            raise
 
1500
        self._clear_cached_state()
 
1501
        if len(response) != 3 and response[0] != 'ok':
 
1502
            raise errors.UnexpectedSmartServerResponse(response)
 
1503
        new_revno, new_revision_id = response[1:]
 
1504
        self._last_revision_info_cache = new_revno, new_revision_id
 
1505
        self._real_branch._last_revision_info_cache = new_revno, new_revision_id
 
1506
 
 
1507
    def _set_last_revision(self, revision_id):
 
1508
        path = self.bzrdir._path_for_remote_call(self._client)
 
1509
        self._clear_cached_state()
 
1510
        try:
 
1511
            response = self._client.call('Branch.set_last_revision',
 
1512
                path, self._lock_token, self._repo_lock_token, revision_id)
 
1513
        except errors.ErrorFromSmartServer, err:
 
1514
            if err.error_verb == 'NoSuchRevision':
 
1515
                raise NoSuchRevision(self, revision_id)
 
1516
            raise
 
1517
        if response != ('ok',):
 
1518
            raise errors.UnexpectedSmartServerResponse(response)
 
1519
 
 
1520
    @needs_write_lock
 
1521
    def set_revision_history(self, rev_history):
 
1522
        # Send just the tip revision of the history; the server will generate
 
1523
        # the full history from that.  If the revision doesn't exist in this
 
1524
        # branch, NoSuchRevision will be raised.
 
1525
        if rev_history == []:
 
1526
            rev_id = 'null:'
 
1527
        else:
 
1528
            rev_id = rev_history[-1]
 
1529
        self._set_last_revision(rev_id)
 
1530
        self._cache_revision_history(rev_history)
 
1531
 
 
1532
    def get_parent(self):
 
1533
        self._ensure_real()
 
1534
        return self._real_branch.get_parent()
 
1535
        
 
1536
    def set_parent(self, url):
 
1537
        self._ensure_real()
 
1538
        return self._real_branch.set_parent(url)
 
1539
        
 
1540
    def set_stacked_on(self, stacked_location):
 
1541
        """Set the URL this branch is stacked against.
 
1542
 
 
1543
        :raises UnstackableBranchFormat: If the branch does not support
 
1544
            stacking.
 
1545
        :raises UnstackableRepositoryFormat: If the repository does not support
 
1546
            stacking.
 
1547
        """
 
1548
        self._ensure_real()
 
1549
        return self._real_branch.set_stacked_on(stacked_location)
 
1550
 
 
1551
    def sprout(self, to_bzrdir, revision_id=None):
 
1552
        # Like Branch.sprout, except that it sprouts a branch in the default
 
1553
        # format, because RemoteBranches can't be created at arbitrary URLs.
 
1554
        # XXX: if to_bzrdir is a RemoteBranch, this should perhaps do
 
1555
        # to_bzrdir.create_branch...
 
1556
        self._ensure_real()
 
1557
        result = self._real_branch._format.initialize(to_bzrdir)
 
1558
        self.copy_content_into(result, revision_id=revision_id)
 
1559
        result.set_parent(self.bzrdir.root_transport.base)
 
1560
        return result
 
1561
 
 
1562
    @needs_write_lock
 
1563
    def pull(self, source, overwrite=False, stop_revision=None,
 
1564
             **kwargs):
 
1565
        self._clear_cached_state_of_remote_branch_only()
 
1566
        self._ensure_real()
 
1567
        return self._real_branch.pull(
 
1568
            source, overwrite=overwrite, stop_revision=stop_revision,
 
1569
            _override_hook_target=self, **kwargs)
 
1570
 
 
1571
    @needs_read_lock
 
1572
    def push(self, target, overwrite=False, stop_revision=None):
 
1573
        self._ensure_real()
 
1574
        return self._real_branch.push(
 
1575
            target, overwrite=overwrite, stop_revision=stop_revision,
 
1576
            _override_hook_source_branch=self)
 
1577
 
 
1578
    def is_locked(self):
 
1579
        return self._lock_count >= 1
 
1580
 
 
1581
    @needs_write_lock
 
1582
    def set_last_revision_info(self, revno, revision_id):
 
1583
        revision_id = ensure_null(revision_id)
 
1584
        path = self.bzrdir._path_for_remote_call(self._client)
 
1585
        try:
 
1586
            response = self._client.call('Branch.set_last_revision_info',
 
1587
                path, self._lock_token, self._repo_lock_token, str(revno), revision_id)
 
1588
        except errors.UnknownSmartMethod:
 
1589
            self._ensure_real()
 
1590
            self._clear_cached_state_of_remote_branch_only()
 
1591
            self._real_branch.set_last_revision_info(revno, revision_id)
 
1592
            self._last_revision_info_cache = revno, revision_id
 
1593
            return
 
1594
        except errors.ErrorFromSmartServer, err:
 
1595
            if err.error_verb == 'NoSuchRevision':
 
1596
                raise NoSuchRevision(self, err.error_args[0])
 
1597
            raise
 
1598
        if response == ('ok',):
 
1599
            self._clear_cached_state()
 
1600
            self._last_revision_info_cache = revno, revision_id
 
1601
            # Update the _real_branch's cache too.
 
1602
            if self._real_branch is not None:
 
1603
                cache = self._last_revision_info_cache
 
1604
                self._real_branch._last_revision_info_cache = cache
 
1605
        else:
 
1606
            raise errors.UnexpectedSmartServerResponse(response)
 
1607
 
 
1608
    @needs_write_lock
 
1609
    def generate_revision_history(self, revision_id, last_rev=None,
 
1610
                                  other_branch=None):
 
1611
        medium = self._client._medium
 
1612
        if not medium._is_remote_before((1, 6)):
 
1613
            try:
 
1614
                self._set_last_revision_descendant(revision_id, other_branch,
 
1615
                    allow_diverged=True, allow_overwrite_descendant=True)
 
1616
                return
 
1617
            except errors.UnknownSmartMethod:
 
1618
                medium._remember_remote_is_before((1, 6))
 
1619
        self._clear_cached_state_of_remote_branch_only()
 
1620
        self._ensure_real()
 
1621
        self._real_branch.generate_revision_history(
 
1622
            revision_id, last_rev=last_rev, other_branch=other_branch)
 
1623
 
 
1624
    @property
 
1625
    def tags(self):
 
1626
        self._ensure_real()
 
1627
        return self._real_branch.tags
 
1628
 
 
1629
    def set_push_location(self, location):
 
1630
        self._ensure_real()
 
1631
        return self._real_branch.set_push_location(location)
 
1632
 
 
1633
    @needs_write_lock
 
1634
    def update_revisions(self, other, stop_revision=None, overwrite=False,
 
1635
                         graph=None):
 
1636
        """See Branch.update_revisions."""
 
1637
        other.lock_read()
 
1638
        try:
 
1639
            if stop_revision is None:
 
1640
                stop_revision = other.last_revision()
 
1641
                if revision.is_null(stop_revision):
 
1642
                    # if there are no commits, we're done.
 
1643
                    return
 
1644
            self.fetch(other, stop_revision)
 
1645
 
 
1646
            if overwrite:
 
1647
                # Just unconditionally set the new revision.  We don't care if
 
1648
                # the branches have diverged.
 
1649
                self._set_last_revision(stop_revision)
 
1650
            else:
 
1651
                medium = self._client._medium
 
1652
                if not medium._is_remote_before((1, 6)):
 
1653
                    try:
 
1654
                        self._set_last_revision_descendant(stop_revision, other)
 
1655
                        return
 
1656
                    except errors.UnknownSmartMethod:
 
1657
                        medium._remember_remote_is_before((1, 6))
 
1658
                # Fallback for pre-1.6 servers: check for divergence
 
1659
                # client-side, then do _set_last_revision.
 
1660
                last_rev = revision.ensure_null(self.last_revision())
 
1661
                if graph is None:
 
1662
                    graph = self.repository.get_graph()
 
1663
                if self._check_if_descendant_or_diverged(
 
1664
                        stop_revision, last_rev, graph, other):
 
1665
                    # stop_revision is a descendant of last_rev, but we aren't
 
1666
                    # overwriting, so we're done.
 
1667
                    return
 
1668
                self._set_last_revision(stop_revision)
 
1669
        finally:
 
1670
            other.unlock()
 
1671
 
 
1672
 
 
1673
def _extract_tar(tar, to_dir):
 
1674
    """Extract all the contents of a tarfile object.
 
1675
 
 
1676
    A replacement for extractall, which is not present in python2.4
 
1677
    """
 
1678
    for tarinfo in tar:
 
1679
        tar.extract(tarinfo, to_dir)