/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/remote.py

  • Committer: Martin Albisetti
  • Date: 2008-05-06 00:21:18 UTC
  • mto: (3431.1.1 integration)
  • mto: This revision was merged to the branch mainline in revision 3432.
  • Revision ID: argentina@gmail.com-20080506002118-7w9ywklw4khddf3g
Added spanish index

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2006, 2007 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
# TODO: At some point, handle upgrades by just passing the whole request
 
18
# across to run on the server.
 
19
 
 
20
import bz2
 
21
from cStringIO import StringIO
 
22
 
 
23
from bzrlib import (
 
24
    branch,
 
25
    debug,
 
26
    errors,
 
27
    graph,
 
28
    lockdir,
 
29
    repository,
 
30
    revision,
 
31
    symbol_versioning,
 
32
)
 
33
from bzrlib.branch import BranchReferenceFormat
 
34
from bzrlib.bzrdir import BzrDir, RemoteBzrDirFormat
 
35
from bzrlib.config import BranchConfig, TreeConfig
 
36
from bzrlib.decorators import needs_read_lock, needs_write_lock
 
37
from bzrlib.errors import NoSuchRevision
 
38
from bzrlib.lockable_files import LockableFiles
 
39
from bzrlib.pack import ContainerPushParser
 
40
from bzrlib.smart import client, vfs
 
41
from bzrlib.symbol_versioning import (
 
42
    deprecated_method,
 
43
    zero_ninetyone,
 
44
    )
 
45
from bzrlib.revision import ensure_null, NULL_REVISION
 
46
from bzrlib.trace import mutter, note, warning
 
47
 
 
48
# Note: RemoteBzrDirFormat is in bzrdir.py
 
49
 
 
50
class RemoteBzrDir(BzrDir):
 
51
    """Control directory on a remote server, accessed via bzr:// or similar."""
 
52
 
 
53
    def __init__(self, transport, _client=None):
 
54
        """Construct a RemoteBzrDir.
 
55
 
 
56
        :param _client: Private parameter for testing. Disables probing and the
 
57
            use of a real bzrdir.
 
58
        """
 
59
        BzrDir.__init__(self, transport, RemoteBzrDirFormat())
 
60
        # this object holds a delegated bzrdir that uses file-level operations
 
61
        # to talk to the other side
 
62
        self._real_bzrdir = None
 
63
 
 
64
        if _client is None:
 
65
            medium = transport.get_smart_medium()
 
66
            self._client = client._SmartClient(medium, transport.base)
 
67
        else:
 
68
            self._client = _client
 
69
            return
 
70
 
 
71
        path = self._path_for_remote_call(self._client)
 
72
        response = self._client.call('BzrDir.open', path)
 
73
        if response not in [('yes',), ('no',)]:
 
74
            raise errors.UnexpectedSmartServerResponse(response)
 
75
        if response == ('no',):
 
76
            raise errors.NotBranchError(path=transport.base)
 
77
 
 
78
    def _ensure_real(self):
 
79
        """Ensure that there is a _real_bzrdir set.
 
80
 
 
81
        Used before calls to self._real_bzrdir.
 
82
        """
 
83
        if not self._real_bzrdir:
 
84
            self._real_bzrdir = BzrDir.open_from_transport(
 
85
                self.root_transport, _server_formats=False)
 
86
 
 
87
    def create_repository(self, shared=False):
 
88
        self._ensure_real()
 
89
        self._real_bzrdir.create_repository(shared=shared)
 
90
        return self.open_repository()
 
91
 
 
92
    def destroy_repository(self):
 
93
        """See BzrDir.destroy_repository"""
 
94
        self._ensure_real()
 
95
        self._real_bzrdir.destroy_repository()
 
96
 
 
97
    def create_branch(self):
 
98
        self._ensure_real()
 
99
        real_branch = self._real_bzrdir.create_branch()
 
100
        return RemoteBranch(self, self.find_repository(), real_branch)
 
101
 
 
102
    def destroy_branch(self):
 
103
        """See BzrDir.destroy_branch"""
 
104
        self._ensure_real()
 
105
        self._real_bzrdir.destroy_branch()
 
106
 
 
107
    def create_workingtree(self, revision_id=None, from_branch=None):
 
108
        raise errors.NotLocalUrl(self.transport.base)
 
109
 
 
110
    def find_branch_format(self):
 
111
        """Find the branch 'format' for this bzrdir.
 
112
 
 
113
        This might be a synthetic object for e.g. RemoteBranch and SVN.
 
114
        """
 
115
        b = self.open_branch()
 
116
        return b._format
 
117
 
 
118
    def get_branch_reference(self):
 
119
        """See BzrDir.get_branch_reference()."""
 
120
        path = self._path_for_remote_call(self._client)
 
121
        response = self._client.call('BzrDir.open_branch', path)
 
122
        if response[0] == 'ok':
 
123
            if response[1] == '':
 
124
                # branch at this location.
 
125
                return None
 
126
            else:
 
127
                # a branch reference, use the existing BranchReference logic.
 
128
                return response[1]
 
129
        elif response == ('nobranch',):
 
130
            raise errors.NotBranchError(path=self.root_transport.base)
 
131
        else:
 
132
            raise errors.UnexpectedSmartServerResponse(response)
 
133
 
 
134
    def _get_tree_branch(self):
 
135
        """See BzrDir._get_tree_branch()."""
 
136
        return None, self.open_branch()
 
137
 
 
138
    def open_branch(self, _unsupported=False):
 
139
        assert _unsupported == False, 'unsupported flag support not implemented yet.'
 
140
        reference_url = self.get_branch_reference()
 
141
        if reference_url is None:
 
142
            # branch at this location.
 
143
            return RemoteBranch(self, self.find_repository())
 
144
        else:
 
145
            # a branch reference, use the existing BranchReference logic.
 
146
            format = BranchReferenceFormat()
 
147
            return format.open(self, _found=True, location=reference_url)
 
148
                
 
149
    def open_repository(self):
 
150
        path = self._path_for_remote_call(self._client)
 
151
        verb = 'BzrDir.find_repositoryV2'
 
152
        try:
 
153
            response = self._client.call(verb, path)
 
154
        except errors.UnknownSmartMethod:
 
155
            verb = 'BzrDir.find_repository'
 
156
            response = self._client.call(verb, path)
 
157
        assert response[0] in ('ok', 'norepository'), \
 
158
            'unexpected response code %s' % (response,)
 
159
        if response[0] == 'norepository':
 
160
            raise errors.NoRepositoryPresent(self)
 
161
        if verb == 'BzrDir.find_repository':
 
162
            # servers that don't support the V2 method don't support external
 
163
            # references either.
 
164
            response = response + ('no', )
 
165
        assert len(response) == 5, 'incorrect response length %s' % (response,)
 
166
        if response[1] == '':
 
167
            format = RemoteRepositoryFormat()
 
168
            format.rich_root_data = (response[2] == 'yes')
 
169
            format.supports_tree_reference = (response[3] == 'yes')
 
170
            # No wire format to check this yet.
 
171
            format.supports_external_lookups = (response[4] == 'yes')
 
172
            return RemoteRepository(self, format)
 
173
        else:
 
174
            raise errors.NoRepositoryPresent(self)
 
175
 
 
176
    def open_workingtree(self, recommend_upgrade=True):
 
177
        self._ensure_real()
 
178
        if self._real_bzrdir.has_workingtree():
 
179
            raise errors.NotLocalUrl(self.root_transport)
 
180
        else:
 
181
            raise errors.NoWorkingTree(self.root_transport.base)
 
182
 
 
183
    def _path_for_remote_call(self, client):
 
184
        """Return the path to be used for this bzrdir in a remote call."""
 
185
        return client.remote_path_from_transport(self.root_transport)
 
186
 
 
187
    def get_branch_transport(self, branch_format):
 
188
        self._ensure_real()
 
189
        return self._real_bzrdir.get_branch_transport(branch_format)
 
190
 
 
191
    def get_repository_transport(self, repository_format):
 
192
        self._ensure_real()
 
193
        return self._real_bzrdir.get_repository_transport(repository_format)
 
194
 
 
195
    def get_workingtree_transport(self, workingtree_format):
 
196
        self._ensure_real()
 
197
        return self._real_bzrdir.get_workingtree_transport(workingtree_format)
 
198
 
 
199
    def can_convert_format(self):
 
200
        """Upgrading of remote bzrdirs is not supported yet."""
 
201
        return False
 
202
 
 
203
    def needs_format_conversion(self, format=None):
 
204
        """Upgrading of remote bzrdirs is not supported yet."""
 
205
        return False
 
206
 
 
207
    def clone(self, url, revision_id=None, force_new_repo=False):
 
208
        self._ensure_real()
 
209
        return self._real_bzrdir.clone(url, revision_id=revision_id,
 
210
            force_new_repo=force_new_repo)
 
211
 
 
212
 
 
213
class RemoteRepositoryFormat(repository.RepositoryFormat):
 
214
    """Format for repositories accessed over a _SmartClient.
 
215
 
 
216
    Instances of this repository are represented by RemoteRepository
 
217
    instances.
 
218
 
 
219
    The RemoteRepositoryFormat is parameterized during construction
 
220
    to reflect the capabilities of the real, remote format. Specifically
 
221
    the attributes rich_root_data and supports_tree_reference are set
 
222
    on a per instance basis, and are not set (and should not be) at
 
223
    the class level.
 
224
    """
 
225
 
 
226
    _matchingbzrdir = RemoteBzrDirFormat
 
227
 
 
228
    def initialize(self, a_bzrdir, shared=False):
 
229
        assert isinstance(a_bzrdir, RemoteBzrDir), \
 
230
            '%r is not a RemoteBzrDir' % (a_bzrdir,)
 
231
        return a_bzrdir.create_repository(shared=shared)
 
232
    
 
233
    def open(self, a_bzrdir):
 
234
        assert isinstance(a_bzrdir, RemoteBzrDir)
 
235
        return a_bzrdir.open_repository()
 
236
 
 
237
    def get_format_description(self):
 
238
        return 'bzr remote repository'
 
239
 
 
240
    def __eq__(self, other):
 
241
        return self.__class__ == other.__class__
 
242
 
 
243
    def check_conversion_target(self, target_format):
 
244
        if self.rich_root_data and not target_format.rich_root_data:
 
245
            raise errors.BadConversionTarget(
 
246
                'Does not support rich root data.', target_format)
 
247
        if (self.supports_tree_reference and
 
248
            not getattr(target_format, 'supports_tree_reference', False)):
 
249
            raise errors.BadConversionTarget(
 
250
                'Does not support nested trees', target_format)
 
251
 
 
252
 
 
253
class RemoteRepository(object):
 
254
    """Repository accessed over rpc.
 
255
 
 
256
    For the moment most operations are performed using local transport-backed
 
257
    Repository objects.
 
258
    """
 
259
 
 
260
    def __init__(self, remote_bzrdir, format, real_repository=None, _client=None):
 
261
        """Create a RemoteRepository instance.
 
262
        
 
263
        :param remote_bzrdir: The bzrdir hosting this repository.
 
264
        :param format: The RemoteFormat object to use.
 
265
        :param real_repository: If not None, a local implementation of the
 
266
            repository logic for the repository, usually accessing the data
 
267
            via the VFS.
 
268
        :param _client: Private testing parameter - override the smart client
 
269
            to be used by the repository.
 
270
        """
 
271
        if real_repository:
 
272
            self._real_repository = real_repository
 
273
        else:
 
274
            self._real_repository = None
 
275
        self.bzrdir = remote_bzrdir
 
276
        if _client is None:
 
277
            self._client = remote_bzrdir._client
 
278
        else:
 
279
            self._client = _client
 
280
        self._format = format
 
281
        self._lock_mode = None
 
282
        self._lock_token = None
 
283
        self._lock_count = 0
 
284
        self._leave_lock = False
 
285
        # A cache of looked up revision parent data; reset at unlock time.
 
286
        self._parents_map = None
 
287
        if 'hpss' in debug.debug_flags:
 
288
            self._requested_parents = None
 
289
        # For tests:
 
290
        # These depend on the actual remote format, so force them off for
 
291
        # maximum compatibility. XXX: In future these should depend on the
 
292
        # remote repository instance, but this is irrelevant until we perform
 
293
        # reconcile via an RPC call.
 
294
        self._reconcile_does_inventory_gc = False
 
295
        self._reconcile_fixes_text_parents = False
 
296
        self._reconcile_backsup_inventory = False
 
297
        self.base = self.bzrdir.transport.base
 
298
 
 
299
    def __str__(self):
 
300
        return "%s(%s)" % (self.__class__.__name__, self.base)
 
301
 
 
302
    __repr__ = __str__
 
303
 
 
304
    def abort_write_group(self):
 
305
        """Complete a write group on the decorated repository.
 
306
        
 
307
        Smart methods peform operations in a single step so this api
 
308
        is not really applicable except as a compatibility thunk
 
309
        for older plugins that don't use e.g. the CommitBuilder
 
310
        facility.
 
311
        """
 
312
        self._ensure_real()
 
313
        return self._real_repository.abort_write_group()
 
314
 
 
315
    def commit_write_group(self):
 
316
        """Complete a write group on the decorated repository.
 
317
        
 
318
        Smart methods peform operations in a single step so this api
 
319
        is not really applicable except as a compatibility thunk
 
320
        for older plugins that don't use e.g. the CommitBuilder
 
321
        facility.
 
322
        """
 
323
        self._ensure_real()
 
324
        return self._real_repository.commit_write_group()
 
325
 
 
326
    def _ensure_real(self):
 
327
        """Ensure that there is a _real_repository set.
 
328
 
 
329
        Used before calls to self._real_repository.
 
330
        """
 
331
        if not self._real_repository:
 
332
            self.bzrdir._ensure_real()
 
333
            #self._real_repository = self.bzrdir._real_bzrdir.open_repository()
 
334
            self._set_real_repository(self.bzrdir._real_bzrdir.open_repository())
 
335
 
 
336
    def find_text_key_references(self):
 
337
        """Find the text key references within the repository.
 
338
 
 
339
        :return: a dictionary mapping (file_id, revision_id) tuples to altered file-ids to an iterable of
 
340
        revision_ids. Each altered file-ids has the exact revision_ids that
 
341
        altered it listed explicitly.
 
342
        :return: A dictionary mapping text keys ((fileid, revision_id) tuples)
 
343
            to whether they were referred to by the inventory of the
 
344
            revision_id that they contain. The inventory texts from all present
 
345
            revision ids are assessed to generate this report.
 
346
        """
 
347
        self._ensure_real()
 
348
        return self._real_repository.find_text_key_references()
 
349
 
 
350
    def _generate_text_key_index(self):
 
351
        """Generate a new text key index for the repository.
 
352
 
 
353
        This is an expensive function that will take considerable time to run.
 
354
 
 
355
        :return: A dict mapping (file_id, revision_id) tuples to a list of
 
356
            parents, also (file_id, revision_id) tuples.
 
357
        """
 
358
        self._ensure_real()
 
359
        return self._real_repository._generate_text_key_index()
 
360
 
 
361
    @symbol_versioning.deprecated_method(symbol_versioning.one_four)
 
362
    def get_revision_graph(self, revision_id=None):
 
363
        """See Repository.get_revision_graph()."""
 
364
        return self._get_revision_graph(revision_id)
 
365
 
 
366
    def _get_revision_graph(self, revision_id):
 
367
        """Private method for using with old (< 1.2) servers to fallback."""
 
368
        if revision_id is None:
 
369
            revision_id = ''
 
370
        elif revision.is_null(revision_id):
 
371
            return {}
 
372
 
 
373
        path = self.bzrdir._path_for_remote_call(self._client)
 
374
        assert type(revision_id) is str
 
375
        response = self._client.call_expecting_body(
 
376
            'Repository.get_revision_graph', path, revision_id)
 
377
        if response[0][0] not in ['ok', 'nosuchrevision']:
 
378
            raise errors.UnexpectedSmartServerResponse(response[0])
 
379
        if response[0][0] == 'ok':
 
380
            coded = response[1].read_body_bytes()
 
381
            if coded == '':
 
382
                # no revisions in this repository!
 
383
                return {}
 
384
            lines = coded.split('\n')
 
385
            revision_graph = {}
 
386
            for line in lines:
 
387
                d = tuple(line.split())
 
388
                revision_graph[d[0]] = d[1:]
 
389
                
 
390
            return revision_graph
 
391
        else:
 
392
            response_body = response[1].read_body_bytes()
 
393
            assert response_body == ''
 
394
            raise NoSuchRevision(self, revision_id)
 
395
 
 
396
    def has_revision(self, revision_id):
 
397
        """See Repository.has_revision()."""
 
398
        if revision_id == NULL_REVISION:
 
399
            # The null revision is always present.
 
400
            return True
 
401
        path = self.bzrdir._path_for_remote_call(self._client)
 
402
        response = self._client.call('Repository.has_revision', path, revision_id)
 
403
        assert response[0] in ('yes', 'no'), 'unexpected response code %s' % (response,)
 
404
        return response[0] == 'yes'
 
405
 
 
406
    def has_revisions(self, revision_ids):
 
407
        """See Repository.has_revisions()."""
 
408
        result = set()
 
409
        for revision_id in revision_ids:
 
410
            if self.has_revision(revision_id):
 
411
                result.add(revision_id)
 
412
        return result
 
413
 
 
414
    def has_same_location(self, other):
 
415
        return (self.__class__ == other.__class__ and
 
416
                self.bzrdir.transport.base == other.bzrdir.transport.base)
 
417
        
 
418
    def get_graph(self, other_repository=None):
 
419
        """Return the graph for this repository format"""
 
420
        parents_provider = self
 
421
        if (other_repository is not None and
 
422
            other_repository.bzrdir.transport.base !=
 
423
            self.bzrdir.transport.base):
 
424
            parents_provider = graph._StackedParentsProvider(
 
425
                [parents_provider, other_repository._make_parents_provider()])
 
426
        return graph.Graph(parents_provider)
 
427
 
 
428
    def gather_stats(self, revid=None, committers=None):
 
429
        """See Repository.gather_stats()."""
 
430
        path = self.bzrdir._path_for_remote_call(self._client)
 
431
        # revid can be None to indicate no revisions, not just NULL_REVISION
 
432
        if revid is None or revision.is_null(revid):
 
433
            fmt_revid = ''
 
434
        else:
 
435
            fmt_revid = revid
 
436
        if committers is None or not committers:
 
437
            fmt_committers = 'no'
 
438
        else:
 
439
            fmt_committers = 'yes'
 
440
        response = self._client.call_expecting_body(
 
441
            'Repository.gather_stats', path, fmt_revid, fmt_committers)
 
442
        assert response[0][0] == 'ok', \
 
443
            'unexpected response code %s' % (response[0],)
 
444
 
 
445
        body = response[1].read_body_bytes()
 
446
        result = {}
 
447
        for line in body.split('\n'):
 
448
            if not line:
 
449
                continue
 
450
            key, val_text = line.split(':')
 
451
            if key in ('revisions', 'size', 'committers'):
 
452
                result[key] = int(val_text)
 
453
            elif key in ('firstrev', 'latestrev'):
 
454
                values = val_text.split(' ')[1:]
 
455
                result[key] = (float(values[0]), long(values[1]))
 
456
 
 
457
        return result
 
458
 
 
459
    def find_branches(self, using=False):
 
460
        """See Repository.find_branches()."""
 
461
        # should be an API call to the server.
 
462
        self._ensure_real()
 
463
        return self._real_repository.find_branches(using=using)
 
464
 
 
465
    def get_physical_lock_status(self):
 
466
        """See Repository.get_physical_lock_status()."""
 
467
        # should be an API call to the server.
 
468
        self._ensure_real()
 
469
        return self._real_repository.get_physical_lock_status()
 
470
 
 
471
    def is_in_write_group(self):
 
472
        """Return True if there is an open write group.
 
473
 
 
474
        write groups are only applicable locally for the smart server..
 
475
        """
 
476
        if self._real_repository:
 
477
            return self._real_repository.is_in_write_group()
 
478
 
 
479
    def is_locked(self):
 
480
        return self._lock_count >= 1
 
481
 
 
482
    def is_shared(self):
 
483
        """See Repository.is_shared()."""
 
484
        path = self.bzrdir._path_for_remote_call(self._client)
 
485
        response = self._client.call('Repository.is_shared', path)
 
486
        assert response[0] in ('yes', 'no'), 'unexpected response code %s' % (response,)
 
487
        return response[0] == 'yes'
 
488
 
 
489
    def is_write_locked(self):
 
490
        return self._lock_mode == 'w'
 
491
 
 
492
    def lock_read(self):
 
493
        # wrong eventually - want a local lock cache context
 
494
        if not self._lock_mode:
 
495
            self._lock_mode = 'r'
 
496
            self._lock_count = 1
 
497
            self._parents_map = {}
 
498
            if 'hpss' in debug.debug_flags:
 
499
                self._requested_parents = set()
 
500
            if self._real_repository is not None:
 
501
                self._real_repository.lock_read()
 
502
        else:
 
503
            self._lock_count += 1
 
504
 
 
505
    def _remote_lock_write(self, token):
 
506
        path = self.bzrdir._path_for_remote_call(self._client)
 
507
        if token is None:
 
508
            token = ''
 
509
        response = self._client.call('Repository.lock_write', path, token)
 
510
        if response[0] == 'ok':
 
511
            ok, token = response
 
512
            return token
 
513
        elif response[0] == 'LockContention':
 
514
            raise errors.LockContention('(remote lock)')
 
515
        elif response[0] == 'UnlockableTransport':
 
516
            raise errors.UnlockableTransport(self.bzrdir.root_transport)
 
517
        elif response[0] == 'LockFailed':
 
518
            raise errors.LockFailed(response[1], response[2])
 
519
        else:
 
520
            raise errors.UnexpectedSmartServerResponse(response)
 
521
 
 
522
    def lock_write(self, token=None):
 
523
        if not self._lock_mode:
 
524
            self._lock_token = self._remote_lock_write(token)
 
525
            # if self._lock_token is None, then this is something like packs or
 
526
            # svn where we don't get to lock the repo, or a weave style repository
 
527
            # where we cannot lock it over the wire and attempts to do so will
 
528
            # fail.
 
529
            if self._real_repository is not None:
 
530
                self._real_repository.lock_write(token=self._lock_token)
 
531
            if token is not None:
 
532
                self._leave_lock = True
 
533
            else:
 
534
                self._leave_lock = False
 
535
            self._lock_mode = 'w'
 
536
            self._lock_count = 1
 
537
            self._parents_map = {}
 
538
            if 'hpss' in debug.debug_flags:
 
539
                self._requested_parents = set()
 
540
        elif self._lock_mode == 'r':
 
541
            raise errors.ReadOnlyError(self)
 
542
        else:
 
543
            self._lock_count += 1
 
544
        return self._lock_token or None
 
545
 
 
546
    def leave_lock_in_place(self):
 
547
        if not self._lock_token:
 
548
            raise NotImplementedError(self.leave_lock_in_place)
 
549
        self._leave_lock = True
 
550
 
 
551
    def dont_leave_lock_in_place(self):
 
552
        if not self._lock_token:
 
553
            raise NotImplementedError(self.dont_leave_lock_in_place)
 
554
        self._leave_lock = False
 
555
 
 
556
    def _set_real_repository(self, repository):
 
557
        """Set the _real_repository for this repository.
 
558
 
 
559
        :param repository: The repository to fallback to for non-hpss
 
560
            implemented operations.
 
561
        """
 
562
        assert not isinstance(repository, RemoteRepository)
 
563
        self._real_repository = repository
 
564
        if self._lock_mode == 'w':
 
565
            # if we are already locked, the real repository must be able to
 
566
            # acquire the lock with our token.
 
567
            self._real_repository.lock_write(self._lock_token)
 
568
        elif self._lock_mode == 'r':
 
569
            self._real_repository.lock_read()
 
570
 
 
571
    def start_write_group(self):
 
572
        """Start a write group on the decorated repository.
 
573
        
 
574
        Smart methods peform operations in a single step so this api
 
575
        is not really applicable except as a compatibility thunk
 
576
        for older plugins that don't use e.g. the CommitBuilder
 
577
        facility.
 
578
        """
 
579
        self._ensure_real()
 
580
        return self._real_repository.start_write_group()
 
581
 
 
582
    def _unlock(self, token):
 
583
        path = self.bzrdir._path_for_remote_call(self._client)
 
584
        if not token:
 
585
            # with no token the remote repository is not persistently locked.
 
586
            return
 
587
        response = self._client.call('Repository.unlock', path, token)
 
588
        if response == ('ok',):
 
589
            return
 
590
        elif response[0] == 'TokenMismatch':
 
591
            raise errors.TokenMismatch(token, '(remote token)')
 
592
        else:
 
593
            raise errors.UnexpectedSmartServerResponse(response)
 
594
 
 
595
    def unlock(self):
 
596
        self._lock_count -= 1
 
597
        if self._lock_count > 0:
 
598
            return
 
599
        self._parents_map = None
 
600
        if 'hpss' in debug.debug_flags:
 
601
            self._requested_parents = None
 
602
        old_mode = self._lock_mode
 
603
        self._lock_mode = None
 
604
        try:
 
605
            # The real repository is responsible at present for raising an
 
606
            # exception if it's in an unfinished write group.  However, it
 
607
            # normally will *not* actually remove the lock from disk - that's
 
608
            # done by the server on receiving the Repository.unlock call.
 
609
            # This is just to let the _real_repository stay up to date.
 
610
            if self._real_repository is not None:
 
611
                self._real_repository.unlock()
 
612
        finally:
 
613
            # The rpc-level lock should be released even if there was a
 
614
            # problem releasing the vfs-based lock.
 
615
            if old_mode == 'w':
 
616
                # Only write-locked repositories need to make a remote method
 
617
                # call to perfom the unlock.
 
618
                old_token = self._lock_token
 
619
                self._lock_token = None
 
620
                if not self._leave_lock:
 
621
                    self._unlock(old_token)
 
622
 
 
623
    def break_lock(self):
 
624
        # should hand off to the network
 
625
        self._ensure_real()
 
626
        return self._real_repository.break_lock()
 
627
 
 
628
    def _get_tarball(self, compression):
 
629
        """Return a TemporaryFile containing a repository tarball.
 
630
        
 
631
        Returns None if the server does not support sending tarballs.
 
632
        """
 
633
        import tempfile
 
634
        path = self.bzrdir._path_for_remote_call(self._client)
 
635
        try:
 
636
            response, protocol = self._client.call_expecting_body(
 
637
                'Repository.tarball', path, compression)
 
638
        except errors.UnknownSmartMethod:
 
639
            protocol.cancel_read_body()
 
640
            return None
 
641
        if response[0] == 'ok':
 
642
            # Extract the tarball and return it
 
643
            t = tempfile.NamedTemporaryFile()
 
644
            # TODO: rpc layer should read directly into it...
 
645
            t.write(protocol.read_body_bytes())
 
646
            t.seek(0)
 
647
            return t
 
648
        raise errors.UnexpectedSmartServerResponse(response)
 
649
 
 
650
    def sprout(self, to_bzrdir, revision_id=None):
 
651
        # TODO: Option to control what format is created?
 
652
        self._ensure_real()
 
653
        dest_repo = self._real_repository._format.initialize(to_bzrdir,
 
654
                                                             shared=False)
 
655
        dest_repo.fetch(self, revision_id=revision_id)
 
656
        return dest_repo
 
657
 
 
658
    ### These methods are just thin shims to the VFS object for now.
 
659
 
 
660
    def revision_tree(self, revision_id):
 
661
        self._ensure_real()
 
662
        return self._real_repository.revision_tree(revision_id)
 
663
 
 
664
    def get_serializer_format(self):
 
665
        self._ensure_real()
 
666
        return self._real_repository.get_serializer_format()
 
667
 
 
668
    def get_commit_builder(self, branch, parents, config, timestamp=None,
 
669
                           timezone=None, committer=None, revprops=None,
 
670
                           revision_id=None):
 
671
        # FIXME: It ought to be possible to call this without immediately
 
672
        # triggering _ensure_real.  For now it's the easiest thing to do.
 
673
        self._ensure_real()
 
674
        builder = self._real_repository.get_commit_builder(branch, parents,
 
675
                config, timestamp=timestamp, timezone=timezone,
 
676
                committer=committer, revprops=revprops, revision_id=revision_id)
 
677
        return builder
 
678
 
 
679
    def add_inventory(self, revid, inv, parents):
 
680
        self._ensure_real()
 
681
        return self._real_repository.add_inventory(revid, inv, parents)
 
682
 
 
683
    def add_revision(self, rev_id, rev, inv=None, config=None):
 
684
        self._ensure_real()
 
685
        return self._real_repository.add_revision(
 
686
            rev_id, rev, inv=inv, config=config)
 
687
 
 
688
    @needs_read_lock
 
689
    def get_inventory(self, revision_id):
 
690
        self._ensure_real()
 
691
        return self._real_repository.get_inventory(revision_id)
 
692
 
 
693
    def iter_inventories(self, revision_ids):
 
694
        self._ensure_real()
 
695
        return self._real_repository.iter_inventories(revision_ids)
 
696
 
 
697
    @needs_read_lock
 
698
    def get_revision(self, revision_id):
 
699
        self._ensure_real()
 
700
        return self._real_repository.get_revision(revision_id)
 
701
 
 
702
    @property
 
703
    def weave_store(self):
 
704
        self._ensure_real()
 
705
        return self._real_repository.weave_store
 
706
 
 
707
    def get_transaction(self):
 
708
        self._ensure_real()
 
709
        return self._real_repository.get_transaction()
 
710
 
 
711
    @needs_read_lock
 
712
    def clone(self, a_bzrdir, revision_id=None):
 
713
        self._ensure_real()
 
714
        return self._real_repository.clone(a_bzrdir, revision_id=revision_id)
 
715
 
 
716
    def make_working_trees(self):
 
717
        """See Repository.make_working_trees"""
 
718
        self._ensure_real()
 
719
        return self._real_repository.make_working_trees()
 
720
 
 
721
    def revision_ids_to_search_result(self, result_set):
 
722
        """Convert a set of revision ids to a graph SearchResult."""
 
723
        result_parents = set()
 
724
        for parents in self.get_graph().get_parent_map(
 
725
            result_set).itervalues():
 
726
            result_parents.update(parents)
 
727
        included_keys = result_set.intersection(result_parents)
 
728
        start_keys = result_set.difference(included_keys)
 
729
        exclude_keys = result_parents.difference(result_set)
 
730
        result = graph.SearchResult(start_keys, exclude_keys,
 
731
            len(result_set), result_set)
 
732
        return result
 
733
 
 
734
    @needs_read_lock
 
735
    def search_missing_revision_ids(self, other, revision_id=None, find_ghosts=True):
 
736
        """Return the revision ids that other has that this does not.
 
737
        
 
738
        These are returned in topological order.
 
739
 
 
740
        revision_id: only return revision ids included by revision_id.
 
741
        """
 
742
        return repository.InterRepository.get(
 
743
            other, self).search_missing_revision_ids(revision_id, find_ghosts)
 
744
 
 
745
    def fetch(self, source, revision_id=None, pb=None):
 
746
        if self.has_same_location(source):
 
747
            # check that last_revision is in 'from' and then return a
 
748
            # no-operation.
 
749
            if (revision_id is not None and
 
750
                not revision.is_null(revision_id)):
 
751
                self.get_revision(revision_id)
 
752
            return 0, []
 
753
        self._ensure_real()
 
754
        return self._real_repository.fetch(
 
755
            source, revision_id=revision_id, pb=pb)
 
756
 
 
757
    def create_bundle(self, target, base, fileobj, format=None):
 
758
        self._ensure_real()
 
759
        self._real_repository.create_bundle(target, base, fileobj, format)
 
760
 
 
761
    @property
 
762
    def control_weaves(self):
 
763
        self._ensure_real()
 
764
        return self._real_repository.control_weaves
 
765
 
 
766
    @needs_read_lock
 
767
    def get_ancestry(self, revision_id, topo_sorted=True):
 
768
        self._ensure_real()
 
769
        return self._real_repository.get_ancestry(revision_id, topo_sorted)
 
770
 
 
771
    @needs_read_lock
 
772
    def get_inventory_weave(self):
 
773
        self._ensure_real()
 
774
        return self._real_repository.get_inventory_weave()
 
775
 
 
776
    def fileids_altered_by_revision_ids(self, revision_ids):
 
777
        self._ensure_real()
 
778
        return self._real_repository.fileids_altered_by_revision_ids(revision_ids)
 
779
 
 
780
    def _get_versioned_file_checker(self, revisions, revision_versions_cache):
 
781
        self._ensure_real()
 
782
        return self._real_repository._get_versioned_file_checker(
 
783
            revisions, revision_versions_cache)
 
784
        
 
785
    def iter_files_bytes(self, desired_files):
 
786
        """See Repository.iter_file_bytes.
 
787
        """
 
788
        self._ensure_real()
 
789
        return self._real_repository.iter_files_bytes(desired_files)
 
790
 
 
791
    def get_parent_map(self, keys):
 
792
        """See bzrlib.Graph.get_parent_map()."""
 
793
        # Hack to build up the caching logic.
 
794
        ancestry = self._parents_map
 
795
        if ancestry is None:
 
796
            # Repository is not locked, so there's no cache.
 
797
            missing_revisions = set(keys)
 
798
            ancestry = {}
 
799
        else:
 
800
            missing_revisions = set(key for key in keys if key not in ancestry)
 
801
        if missing_revisions:
 
802
            parent_map = self._get_parent_map(missing_revisions)
 
803
            if 'hpss' in debug.debug_flags:
 
804
                mutter('retransmitted revisions: %d of %d',
 
805
                        len(set(ancestry).intersection(parent_map)),
 
806
                        len(parent_map))
 
807
            ancestry.update(parent_map)
 
808
        present_keys = [k for k in keys if k in ancestry]
 
809
        if 'hpss' in debug.debug_flags:
 
810
            self._requested_parents.update(present_keys)
 
811
            mutter('Current RemoteRepository graph hit rate: %d%%',
 
812
                100.0 * len(self._requested_parents) / len(ancestry))
 
813
        return dict((k, ancestry[k]) for k in present_keys)
 
814
 
 
815
    def _get_parent_map(self, keys):
 
816
        """Helper for get_parent_map that performs the RPC."""
 
817
        medium = self._client._medium
 
818
        if not medium._remote_is_at_least_1_2:
 
819
            # We already found out that the server can't understand
 
820
            # Repository.get_parent_map requests, so just fetch the whole
 
821
            # graph.
 
822
            # XXX: Note that this will issue a deprecation warning. This is ok
 
823
            # :- its because we're working with a deprecated server anyway, and
 
824
            # the user will almost certainly have seen a warning about the
 
825
            # server version already.
 
826
            rg = self.get_revision_graph()
 
827
            # There is an api discrepency between get_parent_map and
 
828
            # get_revision_graph. Specifically, a "key:()" pair in
 
829
            # get_revision_graph just means a node has no parents. For
 
830
            # "get_parent_map" it means the node is a ghost. So fix up the
 
831
            # graph to correct this.
 
832
            #   https://bugs.launchpad.net/bzr/+bug/214894
 
833
            # There is one other "bug" which is that ghosts in
 
834
            # get_revision_graph() are not returned at all. But we won't worry
 
835
            # about that for now.
 
836
            for node_id, parent_ids in rg.iteritems():
 
837
                if parent_ids == ():
 
838
                    rg[node_id] = (NULL_REVISION,)
 
839
            rg[NULL_REVISION] = ()
 
840
            return rg
 
841
 
 
842
        keys = set(keys)
 
843
        if NULL_REVISION in keys:
 
844
            keys.discard(NULL_REVISION)
 
845
            found_parents = {NULL_REVISION:()}
 
846
            if not keys:
 
847
                return found_parents
 
848
        else:
 
849
            found_parents = {}
 
850
        # TODO(Needs analysis): We could assume that the keys being requested
 
851
        # from get_parent_map are in a breadth first search, so typically they
 
852
        # will all be depth N from some common parent, and we don't have to
 
853
        # have the server iterate from the root parent, but rather from the
 
854
        # keys we're searching; and just tell the server the keyspace we
 
855
        # already have; but this may be more traffic again.
 
856
 
 
857
        # Transform self._parents_map into a search request recipe.
 
858
        # TODO: Manage this incrementally to avoid covering the same path
 
859
        # repeatedly. (The server will have to on each request, but the less
 
860
        # work done the better).
 
861
        parents_map = self._parents_map
 
862
        if parents_map is None:
 
863
            # Repository is not locked, so there's no cache.
 
864
            parents_map = {}
 
865
        start_set = set(parents_map)
 
866
        result_parents = set()
 
867
        for parents in parents_map.itervalues():
 
868
            result_parents.update(parents)
 
869
        stop_keys = result_parents.difference(start_set)
 
870
        included_keys = start_set.intersection(result_parents)
 
871
        start_set.difference_update(included_keys)
 
872
        recipe = (start_set, stop_keys, len(parents_map))
 
873
        body = self._serialise_search_recipe(recipe)
 
874
        path = self.bzrdir._path_for_remote_call(self._client)
 
875
        for key in keys:
 
876
            if type(key) is not str:
 
877
                raise ValueError(
 
878
                    "key %r not a plain string" % (key,))
 
879
        verb = 'Repository.get_parent_map'
 
880
        args = (path,) + tuple(keys)
 
881
        try:
 
882
            response = self._client.call_with_body_bytes_expecting_body(
 
883
                verb, args, self._serialise_search_recipe(recipe))
 
884
        except errors.UnknownSmartMethod:
 
885
            # Server does not support this method, so get the whole graph.
 
886
            # Worse, we have to force a disconnection, because the server now
 
887
            # doesn't realise it has a body on the wire to consume, so the
 
888
            # only way to recover is to abandon the connection.
 
889
            warning(
 
890
                'Server is too old for fast get_parent_map, reconnecting.  '
 
891
                '(Upgrade the server to Bazaar 1.2 to avoid this)')
 
892
            medium.disconnect()
 
893
            # To avoid having to disconnect repeatedly, we keep track of the
 
894
            # fact the server doesn't understand remote methods added in 1.2.
 
895
            medium._remote_is_at_least_1_2 = False
 
896
            return self.get_revision_graph(None)
 
897
        if response[0][0] not in ['ok']:
 
898
            response[1].cancel_read_body()
 
899
            raise errors.UnexpectedSmartServerResponse(response[0])
 
900
        if response[0][0] == 'ok':
 
901
            coded = bz2.decompress(response[1].read_body_bytes())
 
902
            if coded == '':
 
903
                # no revisions found
 
904
                return {}
 
905
            lines = coded.split('\n')
 
906
            revision_graph = {}
 
907
            for line in lines:
 
908
                d = tuple(line.split())
 
909
                if len(d) > 1:
 
910
                    revision_graph[d[0]] = d[1:]
 
911
                else:
 
912
                    # No parents - so give the Graph result (NULL_REVISION,).
 
913
                    revision_graph[d[0]] = (NULL_REVISION,)
 
914
            return revision_graph
 
915
 
 
916
    @needs_read_lock
 
917
    def get_signature_text(self, revision_id):
 
918
        self._ensure_real()
 
919
        return self._real_repository.get_signature_text(revision_id)
 
920
 
 
921
    @needs_read_lock
 
922
    @symbol_versioning.deprecated_method(symbol_versioning.one_three)
 
923
    def get_revision_graph_with_ghosts(self, revision_ids=None):
 
924
        self._ensure_real()
 
925
        return self._real_repository.get_revision_graph_with_ghosts(
 
926
            revision_ids=revision_ids)
 
927
 
 
928
    @needs_read_lock
 
929
    def get_inventory_xml(self, revision_id):
 
930
        self._ensure_real()
 
931
        return self._real_repository.get_inventory_xml(revision_id)
 
932
 
 
933
    def deserialise_inventory(self, revision_id, xml):
 
934
        self._ensure_real()
 
935
        return self._real_repository.deserialise_inventory(revision_id, xml)
 
936
 
 
937
    def reconcile(self, other=None, thorough=False):
 
938
        self._ensure_real()
 
939
        return self._real_repository.reconcile(other=other, thorough=thorough)
 
940
        
 
941
    def all_revision_ids(self):
 
942
        self._ensure_real()
 
943
        return self._real_repository.all_revision_ids()
 
944
    
 
945
    @needs_read_lock
 
946
    def get_deltas_for_revisions(self, revisions):
 
947
        self._ensure_real()
 
948
        return self._real_repository.get_deltas_for_revisions(revisions)
 
949
 
 
950
    @needs_read_lock
 
951
    def get_revision_delta(self, revision_id):
 
952
        self._ensure_real()
 
953
        return self._real_repository.get_revision_delta(revision_id)
 
954
 
 
955
    @needs_read_lock
 
956
    def revision_trees(self, revision_ids):
 
957
        self._ensure_real()
 
958
        return self._real_repository.revision_trees(revision_ids)
 
959
 
 
960
    @needs_read_lock
 
961
    def get_revision_reconcile(self, revision_id):
 
962
        self._ensure_real()
 
963
        return self._real_repository.get_revision_reconcile(revision_id)
 
964
 
 
965
    @needs_read_lock
 
966
    def check(self, revision_ids=None):
 
967
        self._ensure_real()
 
968
        return self._real_repository.check(revision_ids=revision_ids)
 
969
 
 
970
    def copy_content_into(self, destination, revision_id=None):
 
971
        self._ensure_real()
 
972
        return self._real_repository.copy_content_into(
 
973
            destination, revision_id=revision_id)
 
974
 
 
975
    def _copy_repository_tarball(self, to_bzrdir, revision_id=None):
 
976
        # get a tarball of the remote repository, and copy from that into the
 
977
        # destination
 
978
        from bzrlib import osutils
 
979
        import tarfile
 
980
        import tempfile
 
981
        # TODO: Maybe a progress bar while streaming the tarball?
 
982
        note("Copying repository content as tarball...")
 
983
        tar_file = self._get_tarball('bz2')
 
984
        if tar_file is None:
 
985
            return None
 
986
        destination = to_bzrdir.create_repository()
 
987
        try:
 
988
            tar = tarfile.open('repository', fileobj=tar_file,
 
989
                mode='r|bz2')
 
990
            tmpdir = tempfile.mkdtemp()
 
991
            try:
 
992
                _extract_tar(tar, tmpdir)
 
993
                tmp_bzrdir = BzrDir.open(tmpdir)
 
994
                tmp_repo = tmp_bzrdir.open_repository()
 
995
                tmp_repo.copy_content_into(destination, revision_id)
 
996
            finally:
 
997
                osutils.rmtree(tmpdir)
 
998
        finally:
 
999
            tar_file.close()
 
1000
        return destination
 
1001
        # TODO: Suggestion from john: using external tar is much faster than
 
1002
        # python's tarfile library, but it may not work on windows.
 
1003
 
 
1004
    @needs_write_lock
 
1005
    def pack(self):
 
1006
        """Compress the data within the repository.
 
1007
 
 
1008
        This is not currently implemented within the smart server.
 
1009
        """
 
1010
        self._ensure_real()
 
1011
        return self._real_repository.pack()
 
1012
 
 
1013
    def set_make_working_trees(self, new_value):
 
1014
        self._ensure_real()
 
1015
        self._real_repository.set_make_working_trees(new_value)
 
1016
 
 
1017
    @needs_write_lock
 
1018
    def sign_revision(self, revision_id, gpg_strategy):
 
1019
        self._ensure_real()
 
1020
        return self._real_repository.sign_revision(revision_id, gpg_strategy)
 
1021
 
 
1022
    @needs_read_lock
 
1023
    def get_revisions(self, revision_ids):
 
1024
        self._ensure_real()
 
1025
        return self._real_repository.get_revisions(revision_ids)
 
1026
 
 
1027
    def supports_rich_root(self):
 
1028
        self._ensure_real()
 
1029
        return self._real_repository.supports_rich_root()
 
1030
 
 
1031
    def iter_reverse_revision_history(self, revision_id):
 
1032
        self._ensure_real()
 
1033
        return self._real_repository.iter_reverse_revision_history(revision_id)
 
1034
 
 
1035
    @property
 
1036
    def _serializer(self):
 
1037
        self._ensure_real()
 
1038
        return self._real_repository._serializer
 
1039
 
 
1040
    def store_revision_signature(self, gpg_strategy, plaintext, revision_id):
 
1041
        self._ensure_real()
 
1042
        return self._real_repository.store_revision_signature(
 
1043
            gpg_strategy, plaintext, revision_id)
 
1044
 
 
1045
    def add_signature_text(self, revision_id, signature):
 
1046
        self._ensure_real()
 
1047
        return self._real_repository.add_signature_text(revision_id, signature)
 
1048
 
 
1049
    def has_signature_for_revision_id(self, revision_id):
 
1050
        self._ensure_real()
 
1051
        return self._real_repository.has_signature_for_revision_id(revision_id)
 
1052
 
 
1053
    def get_data_stream_for_search(self, search):
 
1054
        medium = self._client._medium
 
1055
        if not medium._remote_is_at_least_1_2:
 
1056
            self._ensure_real()
 
1057
            return self._real_repository.get_data_stream_for_search(search)
 
1058
        REQUEST_NAME = 'Repository.stream_revisions_chunked'
 
1059
        path = self.bzrdir._path_for_remote_call(self._client)
 
1060
        body = self._serialise_search_recipe(search.get_recipe())
 
1061
        try:
 
1062
            result = self._client.call_with_body_bytes_expecting_body(
 
1063
                REQUEST_NAME, (path,), body)
 
1064
            response, protocol = result
 
1065
        except errors.UnknownSmartMethod:
 
1066
            # Server does not support this method, so fall back to VFS.
 
1067
            # Worse, we have to force a disconnection, because the server now
 
1068
            # doesn't realise it has a body on the wire to consume, so the
 
1069
            # only way to recover is to abandon the connection.
 
1070
            warning(
 
1071
                'Server is too old for streaming pull, reconnecting.  '
 
1072
                '(Upgrade the server to Bazaar 1.2 to avoid this)')
 
1073
            medium.disconnect()
 
1074
            # To avoid having to disconnect repeatedly, we keep track of the
 
1075
            # fact the server doesn't understand this remote method.
 
1076
            medium._remote_is_at_least_1_2 = False
 
1077
            self._ensure_real()
 
1078
            return self._real_repository.get_data_stream_for_search(search)
 
1079
 
 
1080
        if response == ('ok',):
 
1081
            return self._deserialise_stream(protocol)
 
1082
        if response == ('NoSuchRevision', ):
 
1083
            # We cannot easily identify the revision that is missing in this
 
1084
            # situation without doing much more network IO. For now, bail.
 
1085
            raise NoSuchRevision(self, "unknown")
 
1086
        else:
 
1087
            raise errors.UnexpectedSmartServerResponse(response)
 
1088
 
 
1089
    def _deserialise_stream(self, protocol):
 
1090
        stream = protocol.read_streamed_body()
 
1091
        container_parser = ContainerPushParser()
 
1092
        for bytes in stream:
 
1093
            container_parser.accept_bytes(bytes)
 
1094
            records = container_parser.read_pending_records()
 
1095
            for record_names, record_bytes in records:
 
1096
                if len(record_names) != 1:
 
1097
                    # These records should have only one name, and that name
 
1098
                    # should be a one-element tuple.
 
1099
                    raise errors.SmartProtocolError(
 
1100
                        'Repository data stream had invalid record name %r'
 
1101
                        % (record_names,))
 
1102
                name_tuple = record_names[0]
 
1103
                yield name_tuple, record_bytes
 
1104
 
 
1105
    def insert_data_stream(self, stream):
 
1106
        self._ensure_real()
 
1107
        self._real_repository.insert_data_stream(stream)
 
1108
 
 
1109
    def item_keys_introduced_by(self, revision_ids, _files_pb=None):
 
1110
        self._ensure_real()
 
1111
        return self._real_repository.item_keys_introduced_by(revision_ids,
 
1112
            _files_pb=_files_pb)
 
1113
 
 
1114
    def revision_graph_can_have_wrong_parents(self):
 
1115
        # The answer depends on the remote repo format.
 
1116
        self._ensure_real()
 
1117
        return self._real_repository.revision_graph_can_have_wrong_parents()
 
1118
 
 
1119
    def _find_inconsistent_revision_parents(self):
 
1120
        self._ensure_real()
 
1121
        return self._real_repository._find_inconsistent_revision_parents()
 
1122
 
 
1123
    def _check_for_inconsistent_revision_parents(self):
 
1124
        self._ensure_real()
 
1125
        return self._real_repository._check_for_inconsistent_revision_parents()
 
1126
 
 
1127
    def _make_parents_provider(self):
 
1128
        return self
 
1129
 
 
1130
    def _serialise_search_recipe(self, recipe):
 
1131
        """Serialise a graph search recipe.
 
1132
 
 
1133
        :param recipe: A search recipe (start, stop, count).
 
1134
        :return: Serialised bytes.
 
1135
        """
 
1136
        start_keys = ' '.join(recipe[0])
 
1137
        stop_keys = ' '.join(recipe[1])
 
1138
        count = str(recipe[2])
 
1139
        return '\n'.join((start_keys, stop_keys, count))
 
1140
 
 
1141
 
 
1142
class RemoteBranchLockableFiles(LockableFiles):
 
1143
    """A 'LockableFiles' implementation that talks to a smart server.
 
1144
    
 
1145
    This is not a public interface class.
 
1146
    """
 
1147
 
 
1148
    def __init__(self, bzrdir, _client):
 
1149
        self.bzrdir = bzrdir
 
1150
        self._client = _client
 
1151
        self._need_find_modes = True
 
1152
        LockableFiles.__init__(
 
1153
            self, bzrdir.get_branch_transport(None),
 
1154
            'lock', lockdir.LockDir)
 
1155
 
 
1156
    def _find_modes(self):
 
1157
        # RemoteBranches don't let the client set the mode of control files.
 
1158
        self._dir_mode = None
 
1159
        self._file_mode = None
 
1160
 
 
1161
    def get(self, path):
 
1162
        """'get' a remote path as per the LockableFiles interface.
 
1163
 
 
1164
        :param path: the file to 'get'. If this is 'branch.conf', we do not
 
1165
             just retrieve a file, instead we ask the smart server to generate
 
1166
             a configuration for us - which is retrieved as an INI file.
 
1167
        """
 
1168
        if path == 'branch.conf':
 
1169
            path = self.bzrdir._path_for_remote_call(self._client)
 
1170
            response = self._client.call_expecting_body(
 
1171
                'Branch.get_config_file', path)
 
1172
            assert response[0][0] == 'ok', \
 
1173
                'unexpected response code %s' % (response[0],)
 
1174
            return StringIO(response[1].read_body_bytes())
 
1175
        else:
 
1176
            # VFS fallback.
 
1177
            return LockableFiles.get(self, path)
 
1178
 
 
1179
 
 
1180
class RemoteBranchFormat(branch.BranchFormat):
 
1181
 
 
1182
    def __eq__(self, other):
 
1183
        return (isinstance(other, RemoteBranchFormat) and 
 
1184
            self.__dict__ == other.__dict__)
 
1185
 
 
1186
    def get_format_description(self):
 
1187
        return 'Remote BZR Branch'
 
1188
 
 
1189
    def get_format_string(self):
 
1190
        return 'Remote BZR Branch'
 
1191
 
 
1192
    def open(self, a_bzrdir):
 
1193
        assert isinstance(a_bzrdir, RemoteBzrDir)
 
1194
        return a_bzrdir.open_branch()
 
1195
 
 
1196
    def initialize(self, a_bzrdir):
 
1197
        assert isinstance(a_bzrdir, RemoteBzrDir)
 
1198
        return a_bzrdir.create_branch()
 
1199
 
 
1200
    def supports_tags(self):
 
1201
        # Remote branches might support tags, but we won't know until we
 
1202
        # access the real remote branch.
 
1203
        return True
 
1204
 
 
1205
 
 
1206
class RemoteBranch(branch.Branch):
 
1207
    """Branch stored on a server accessed by HPSS RPC.
 
1208
 
 
1209
    At the moment most operations are mapped down to simple file operations.
 
1210
    """
 
1211
 
 
1212
    def __init__(self, remote_bzrdir, remote_repository, real_branch=None,
 
1213
        _client=None):
 
1214
        """Create a RemoteBranch instance.
 
1215
 
 
1216
        :param real_branch: An optional local implementation of the branch
 
1217
            format, usually accessing the data via the VFS.
 
1218
        :param _client: Private parameter for testing.
 
1219
        """
 
1220
        # We intentionally don't call the parent class's __init__, because it
 
1221
        # will try to assign to self.tags, which is a property in this subclass.
 
1222
        # And the parent's __init__ doesn't do much anyway.
 
1223
        self._revision_id_to_revno_cache = None
 
1224
        self._revision_history_cache = None
 
1225
        self.bzrdir = remote_bzrdir
 
1226
        if _client is not None:
 
1227
            self._client = _client
 
1228
        else:
 
1229
            self._client = remote_bzrdir._client
 
1230
        self.repository = remote_repository
 
1231
        if real_branch is not None:
 
1232
            self._real_branch = real_branch
 
1233
            # Give the remote repository the matching real repo.
 
1234
            real_repo = self._real_branch.repository
 
1235
            if isinstance(real_repo, RemoteRepository):
 
1236
                real_repo._ensure_real()
 
1237
                real_repo = real_repo._real_repository
 
1238
            self.repository._set_real_repository(real_repo)
 
1239
            # Give the branch the remote repository to let fast-pathing happen.
 
1240
            self._real_branch.repository = self.repository
 
1241
        else:
 
1242
            self._real_branch = None
 
1243
        # Fill out expected attributes of branch for bzrlib api users.
 
1244
        self._format = RemoteBranchFormat()
 
1245
        self.base = self.bzrdir.root_transport.base
 
1246
        self._control_files = None
 
1247
        self._lock_mode = None
 
1248
        self._lock_token = None
 
1249
        self._repo_lock_token = None
 
1250
        self._lock_count = 0
 
1251
        self._leave_lock = False
 
1252
 
 
1253
    def __str__(self):
 
1254
        return "%s(%s)" % (self.__class__.__name__, self.base)
 
1255
 
 
1256
    __repr__ = __str__
 
1257
 
 
1258
    def _ensure_real(self):
 
1259
        """Ensure that there is a _real_branch set.
 
1260
 
 
1261
        Used before calls to self._real_branch.
 
1262
        """
 
1263
        if not self._real_branch:
 
1264
            assert vfs.vfs_enabled()
 
1265
            self.bzrdir._ensure_real()
 
1266
            self._real_branch = self.bzrdir._real_bzrdir.open_branch()
 
1267
            # Give the remote repository the matching real repo.
 
1268
            real_repo = self._real_branch.repository
 
1269
            if isinstance(real_repo, RemoteRepository):
 
1270
                real_repo._ensure_real()
 
1271
                real_repo = real_repo._real_repository
 
1272
            self.repository._set_real_repository(real_repo)
 
1273
            # Give the branch the remote repository to let fast-pathing happen.
 
1274
            self._real_branch.repository = self.repository
 
1275
            # XXX: deal with _lock_mode == 'w'
 
1276
            if self._lock_mode == 'r':
 
1277
                self._real_branch.lock_read()
 
1278
 
 
1279
    @property
 
1280
    def control_files(self):
 
1281
        # Defer actually creating RemoteBranchLockableFiles until its needed,
 
1282
        # because it triggers an _ensure_real that we otherwise might not need.
 
1283
        if self._control_files is None:
 
1284
            self._control_files = RemoteBranchLockableFiles(
 
1285
                self.bzrdir, self._client)
 
1286
        return self._control_files
 
1287
 
 
1288
    def _get_checkout_format(self):
 
1289
        self._ensure_real()
 
1290
        return self._real_branch._get_checkout_format()
 
1291
 
 
1292
    def get_physical_lock_status(self):
 
1293
        """See Branch.get_physical_lock_status()."""
 
1294
        # should be an API call to the server, as branches must be lockable.
 
1295
        self._ensure_real()
 
1296
        return self._real_branch.get_physical_lock_status()
 
1297
 
 
1298
    def lock_read(self):
 
1299
        if not self._lock_mode:
 
1300
            self._lock_mode = 'r'
 
1301
            self._lock_count = 1
 
1302
            if self._real_branch is not None:
 
1303
                self._real_branch.lock_read()
 
1304
        else:
 
1305
            self._lock_count += 1
 
1306
 
 
1307
    def _remote_lock_write(self, token):
 
1308
        if token is None:
 
1309
            branch_token = repo_token = ''
 
1310
        else:
 
1311
            branch_token = token
 
1312
            repo_token = self.repository.lock_write()
 
1313
            self.repository.unlock()
 
1314
        path = self.bzrdir._path_for_remote_call(self._client)
 
1315
        response = self._client.call('Branch.lock_write', path, branch_token,
 
1316
                                     repo_token or '')
 
1317
        if response[0] == 'ok':
 
1318
            ok, branch_token, repo_token = response
 
1319
            return branch_token, repo_token
 
1320
        elif response[0] == 'LockContention':
 
1321
            raise errors.LockContention('(remote lock)')
 
1322
        elif response[0] == 'TokenMismatch':
 
1323
            raise errors.TokenMismatch(token, '(remote token)')
 
1324
        elif response[0] == 'UnlockableTransport':
 
1325
            raise errors.UnlockableTransport(self.bzrdir.root_transport)
 
1326
        elif response[0] == 'ReadOnlyError':
 
1327
            raise errors.ReadOnlyError(self)
 
1328
        elif response[0] == 'LockFailed':
 
1329
            raise errors.LockFailed(response[1], response[2])
 
1330
        else:
 
1331
            raise errors.UnexpectedSmartServerResponse(response)
 
1332
            
 
1333
    def lock_write(self, token=None):
 
1334
        if not self._lock_mode:
 
1335
            remote_tokens = self._remote_lock_write(token)
 
1336
            self._lock_token, self._repo_lock_token = remote_tokens
 
1337
            assert self._lock_token, 'Remote server did not return a token!'
 
1338
            # TODO: We really, really, really don't want to call _ensure_real
 
1339
            # here, but it's the easiest way to ensure coherency between the
 
1340
            # state of the RemoteBranch and RemoteRepository objects and the
 
1341
            # physical locks.  If we don't materialise the real objects here,
 
1342
            # then getting everything in the right state later is complex, so
 
1343
            # for now we just do it the lazy way.
 
1344
            #   -- Andrew Bennetts, 2007-02-22.
 
1345
            self._ensure_real()
 
1346
            if self._real_branch is not None:
 
1347
                self._real_branch.repository.lock_write(
 
1348
                    token=self._repo_lock_token)
 
1349
                try:
 
1350
                    self._real_branch.lock_write(token=self._lock_token)
 
1351
                finally:
 
1352
                    self._real_branch.repository.unlock()
 
1353
            if token is not None:
 
1354
                self._leave_lock = True
 
1355
            else:
 
1356
                # XXX: this case seems to be unreachable; token cannot be None.
 
1357
                self._leave_lock = False
 
1358
            self._lock_mode = 'w'
 
1359
            self._lock_count = 1
 
1360
        elif self._lock_mode == 'r':
 
1361
            raise errors.ReadOnlyTransaction
 
1362
        else:
 
1363
            if token is not None:
 
1364
                # A token was given to lock_write, and we're relocking, so check
 
1365
                # that the given token actually matches the one we already have.
 
1366
                if token != self._lock_token:
 
1367
                    raise errors.TokenMismatch(token, self._lock_token)
 
1368
            self._lock_count += 1
 
1369
        return self._lock_token or None
 
1370
 
 
1371
    def _unlock(self, branch_token, repo_token):
 
1372
        path = self.bzrdir._path_for_remote_call(self._client)
 
1373
        response = self._client.call('Branch.unlock', path, branch_token,
 
1374
                                     repo_token or '')
 
1375
        if response == ('ok',):
 
1376
            return
 
1377
        elif response[0] == 'TokenMismatch':
 
1378
            raise errors.TokenMismatch(
 
1379
                str((branch_token, repo_token)), '(remote tokens)')
 
1380
        else:
 
1381
            raise errors.UnexpectedSmartServerResponse(response)
 
1382
 
 
1383
    def unlock(self):
 
1384
        self._lock_count -= 1
 
1385
        if not self._lock_count:
 
1386
            self._clear_cached_state()
 
1387
            mode = self._lock_mode
 
1388
            self._lock_mode = None
 
1389
            if self._real_branch is not None:
 
1390
                if (not self._leave_lock and mode == 'w' and
 
1391
                    self._repo_lock_token):
 
1392
                    # If this RemoteBranch will remove the physical lock for the
 
1393
                    # repository, make sure the _real_branch doesn't do it
 
1394
                    # first.  (Because the _real_branch's repository is set to
 
1395
                    # be the RemoteRepository.)
 
1396
                    self._real_branch.repository.leave_lock_in_place()
 
1397
                self._real_branch.unlock()
 
1398
            if mode != 'w':
 
1399
                # Only write-locked branched need to make a remote method call
 
1400
                # to perfom the unlock.
 
1401
                return
 
1402
            assert self._lock_token, 'Locked, but no token!'
 
1403
            branch_token = self._lock_token
 
1404
            repo_token = self._repo_lock_token
 
1405
            self._lock_token = None
 
1406
            self._repo_lock_token = None
 
1407
            if not self._leave_lock:
 
1408
                self._unlock(branch_token, repo_token)
 
1409
 
 
1410
    def break_lock(self):
 
1411
        self._ensure_real()
 
1412
        return self._real_branch.break_lock()
 
1413
 
 
1414
    def leave_lock_in_place(self):
 
1415
        if not self._lock_token:
 
1416
            raise NotImplementedError(self.leave_lock_in_place)
 
1417
        self._leave_lock = True
 
1418
 
 
1419
    def dont_leave_lock_in_place(self):
 
1420
        if not self._lock_token:
 
1421
            raise NotImplementedError(self.dont_leave_lock_in_place)
 
1422
        self._leave_lock = False
 
1423
 
 
1424
    def last_revision_info(self):
 
1425
        """See Branch.last_revision_info()."""
 
1426
        path = self.bzrdir._path_for_remote_call(self._client)
 
1427
        response = self._client.call('Branch.last_revision_info', path)
 
1428
        assert response[0] == 'ok', 'unexpected response code %s' % (response,)
 
1429
        revno = int(response[1])
 
1430
        last_revision = response[2]
 
1431
        return (revno, last_revision)
 
1432
 
 
1433
    def _gen_revision_history(self):
 
1434
        """See Branch._gen_revision_history()."""
 
1435
        path = self.bzrdir._path_for_remote_call(self._client)
 
1436
        response = self._client.call_expecting_body(
 
1437
            'Branch.revision_history', path)
 
1438
        assert response[0][0] == 'ok', ('unexpected response code %s'
 
1439
                                        % (response[0],))
 
1440
        result = response[1].read_body_bytes().split('\x00')
 
1441
        if result == ['']:
 
1442
            return []
 
1443
        return result
 
1444
 
 
1445
    @needs_write_lock
 
1446
    def set_revision_history(self, rev_history):
 
1447
        # Send just the tip revision of the history; the server will generate
 
1448
        # the full history from that.  If the revision doesn't exist in this
 
1449
        # branch, NoSuchRevision will be raised.
 
1450
        path = self.bzrdir._path_for_remote_call(self._client)
 
1451
        if rev_history == []:
 
1452
            rev_id = 'null:'
 
1453
        else:
 
1454
            rev_id = rev_history[-1]
 
1455
        self._clear_cached_state()
 
1456
        response = self._client.call('Branch.set_last_revision',
 
1457
            path, self._lock_token, self._repo_lock_token, rev_id)
 
1458
        if response[0] == 'NoSuchRevision':
 
1459
            raise NoSuchRevision(self, rev_id)
 
1460
        else:
 
1461
            assert response == ('ok',), (
 
1462
                'unexpected response code %r' % (response,))
 
1463
        self._cache_revision_history(rev_history)
 
1464
 
 
1465
    def get_parent(self):
 
1466
        self._ensure_real()
 
1467
        return self._real_branch.get_parent()
 
1468
        
 
1469
    def set_parent(self, url):
 
1470
        self._ensure_real()
 
1471
        return self._real_branch.set_parent(url)
 
1472
        
 
1473
    def get_config(self):
 
1474
        return RemoteBranchConfig(self)
 
1475
 
 
1476
    def sprout(self, to_bzrdir, revision_id=None):
 
1477
        # Like Branch.sprout, except that it sprouts a branch in the default
 
1478
        # format, because RemoteBranches can't be created at arbitrary URLs.
 
1479
        # XXX: if to_bzrdir is a RemoteBranch, this should perhaps do
 
1480
        # to_bzrdir.create_branch...
 
1481
        self._ensure_real()
 
1482
        result = self._real_branch._format.initialize(to_bzrdir)
 
1483
        self.copy_content_into(result, revision_id=revision_id)
 
1484
        result.set_parent(self.bzrdir.root_transport.base)
 
1485
        return result
 
1486
 
 
1487
    @needs_write_lock
 
1488
    def pull(self, source, overwrite=False, stop_revision=None,
 
1489
             **kwargs):
 
1490
        # FIXME: This asks the real branch to run the hooks, which means
 
1491
        # they're called with the wrong target branch parameter. 
 
1492
        # The test suite specifically allows this at present but it should be
 
1493
        # fixed.  It should get a _override_hook_target branch,
 
1494
        # as push does.  -- mbp 20070405
 
1495
        self._ensure_real()
 
1496
        self._real_branch.pull(
 
1497
            source, overwrite=overwrite, stop_revision=stop_revision,
 
1498
            **kwargs)
 
1499
 
 
1500
    @needs_read_lock
 
1501
    def push(self, target, overwrite=False, stop_revision=None):
 
1502
        self._ensure_real()
 
1503
        return self._real_branch.push(
 
1504
            target, overwrite=overwrite, stop_revision=stop_revision,
 
1505
            _override_hook_source_branch=self)
 
1506
 
 
1507
    def is_locked(self):
 
1508
        return self._lock_count >= 1
 
1509
 
 
1510
    @needs_write_lock
 
1511
    def set_last_revision_info(self, revno, revision_id):
 
1512
        assert type(revno) is int
 
1513
        revision_id = ensure_null(revision_id)
 
1514
        path = self.bzrdir._path_for_remote_call(self._client)
 
1515
        try:
 
1516
            response = self._client.call('Branch.set_last_revision_info',
 
1517
                path, self._lock_token, self._repo_lock_token, str(revno), revision_id)
 
1518
        except errors.UnknownSmartMethod:
 
1519
            self._ensure_real()
 
1520
            self._clear_cached_state()
 
1521
            return self._real_branch.set_last_revision_info(revno, revision_id)
 
1522
        if response == ('ok',):
 
1523
            self._clear_cached_state()
 
1524
        elif response[0] == 'NoSuchRevision':
 
1525
            raise NoSuchRevision(self, response[1])
 
1526
        else:
 
1527
            raise errors.UnexpectedSmartServerResponse(response)
 
1528
 
 
1529
    def generate_revision_history(self, revision_id, last_rev=None,
 
1530
                                  other_branch=None):
 
1531
        self._ensure_real()
 
1532
        return self._real_branch.generate_revision_history(
 
1533
            revision_id, last_rev=last_rev, other_branch=other_branch)
 
1534
 
 
1535
    @property
 
1536
    def tags(self):
 
1537
        self._ensure_real()
 
1538
        return self._real_branch.tags
 
1539
 
 
1540
    def set_push_location(self, location):
 
1541
        self._ensure_real()
 
1542
        return self._real_branch.set_push_location(location)
 
1543
 
 
1544
    def update_revisions(self, other, stop_revision=None, overwrite=False):
 
1545
        self._ensure_real()
 
1546
        return self._real_branch.update_revisions(
 
1547
            other, stop_revision=stop_revision, overwrite=overwrite)
 
1548
 
 
1549
 
 
1550
class RemoteBranchConfig(BranchConfig):
 
1551
 
 
1552
    def username(self):
 
1553
        self.branch._ensure_real()
 
1554
        return self.branch._real_branch.get_config().username()
 
1555
 
 
1556
    def _get_branch_data_config(self):
 
1557
        self.branch._ensure_real()
 
1558
        if self._branch_data_config is None:
 
1559
            self._branch_data_config = TreeConfig(self.branch._real_branch)
 
1560
        return self._branch_data_config
 
1561
 
 
1562
 
 
1563
def _extract_tar(tar, to_dir):
 
1564
    """Extract all the contents of a tarfile object.
 
1565
 
 
1566
    A replacement for extractall, which is not present in python2.4
 
1567
    """
 
1568
    for tarinfo in tar:
 
1569
        tar.extract(tarinfo, to_dir)