/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/remote.py

  • Committer: Vincent Ladeuil
  • Date: 2008-05-17 17:53:47 UTC
  • mto: (3430.2.1 trunk)
  • mto: This revision was merged to the branch mainline in revision 3431.
  • Revision ID: v.ladeuil+lp@free.fr-20080517175347-our2rugcwl67zgv5
Fix bug #229076 by fixing header names before sending the request.

* bzrlib/transport/http/_urllib2_wrappers.py:
(AbstractHTTPHandler.do_open): Title header names before sending
the request or some exotic servers or proxies may choke.

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2006, 2007, 2008 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
# TODO: At some point, handle upgrades by just passing the whole request
 
18
# across to run on the server.
 
19
 
 
20
import bz2
 
21
from cStringIO import StringIO
 
22
 
 
23
from bzrlib import (
 
24
    branch,
 
25
    debug,
 
26
    errors,
 
27
    graph,
 
28
    lockdir,
 
29
    repository,
 
30
    revision,
 
31
    symbol_versioning,
 
32
)
 
33
from bzrlib.branch import BranchReferenceFormat
 
34
from bzrlib.bzrdir import BzrDir, RemoteBzrDirFormat
 
35
from bzrlib.config import BranchConfig, TreeConfig
 
36
from bzrlib.decorators import needs_read_lock, needs_write_lock
 
37
from bzrlib.errors import (
 
38
    NoSuchRevision,
 
39
    SmartProtocolError,
 
40
    )
 
41
from bzrlib.lockable_files import LockableFiles
 
42
from bzrlib.pack import ContainerPushParser
 
43
from bzrlib.smart import client, vfs
 
44
from bzrlib.revision import ensure_null, NULL_REVISION
 
45
from bzrlib.trace import mutter, note, warning
 
46
 
 
47
# Note: RemoteBzrDirFormat is in bzrdir.py
 
48
 
 
49
class RemoteBzrDir(BzrDir):
 
50
    """Control directory on a remote server, accessed via bzr:// or similar."""
 
51
 
 
52
    def __init__(self, transport, _client=None):
 
53
        """Construct a RemoteBzrDir.
 
54
 
 
55
        :param _client: Private parameter for testing. Disables probing and the
 
56
            use of a real bzrdir.
 
57
        """
 
58
        BzrDir.__init__(self, transport, RemoteBzrDirFormat())
 
59
        # this object holds a delegated bzrdir that uses file-level operations
 
60
        # to talk to the other side
 
61
        self._real_bzrdir = None
 
62
 
 
63
        if _client is None:
 
64
            medium = transport.get_smart_medium()
 
65
            self._client = client._SmartClient(medium, transport.base)
 
66
        else:
 
67
            self._client = _client
 
68
            return
 
69
 
 
70
        path = self._path_for_remote_call(self._client)
 
71
        response = self._client.call('BzrDir.open', path)
 
72
        if response not in [('yes',), ('no',)]:
 
73
            raise errors.UnexpectedSmartServerResponse(response)
 
74
        if response == ('no',):
 
75
            raise errors.NotBranchError(path=transport.base)
 
76
 
 
77
    def _ensure_real(self):
 
78
        """Ensure that there is a _real_bzrdir set.
 
79
 
 
80
        Used before calls to self._real_bzrdir.
 
81
        """
 
82
        if not self._real_bzrdir:
 
83
            self._real_bzrdir = BzrDir.open_from_transport(
 
84
                self.root_transport, _server_formats=False)
 
85
 
 
86
    def create_repository(self, shared=False):
 
87
        self._ensure_real()
 
88
        self._real_bzrdir.create_repository(shared=shared)
 
89
        return self.open_repository()
 
90
 
 
91
    def destroy_repository(self):
 
92
        """See BzrDir.destroy_repository"""
 
93
        self._ensure_real()
 
94
        self._real_bzrdir.destroy_repository()
 
95
 
 
96
    def create_branch(self):
 
97
        self._ensure_real()
 
98
        real_branch = self._real_bzrdir.create_branch()
 
99
        return RemoteBranch(self, self.find_repository(), real_branch)
 
100
 
 
101
    def destroy_branch(self):
 
102
        """See BzrDir.destroy_branch"""
 
103
        self._ensure_real()
 
104
        self._real_bzrdir.destroy_branch()
 
105
 
 
106
    def create_workingtree(self, revision_id=None, from_branch=None):
 
107
        raise errors.NotLocalUrl(self.transport.base)
 
108
 
 
109
    def find_branch_format(self):
 
110
        """Find the branch 'format' for this bzrdir.
 
111
 
 
112
        This might be a synthetic object for e.g. RemoteBranch and SVN.
 
113
        """
 
114
        b = self.open_branch()
 
115
        return b._format
 
116
 
 
117
    def get_branch_reference(self):
 
118
        """See BzrDir.get_branch_reference()."""
 
119
        path = self._path_for_remote_call(self._client)
 
120
        try:
 
121
            response = self._client.call('BzrDir.open_branch', path)
 
122
        except errors.ErrorFromSmartServer, err:
 
123
            if err.error_tuple == ('nobranch',):
 
124
                raise errors.NotBranchError(path=self.root_transport.base)
 
125
            raise
 
126
        if response[0] == 'ok':
 
127
            if response[1] == '':
 
128
                # branch at this location.
 
129
                return None
 
130
            else:
 
131
                # a branch reference, use the existing BranchReference logic.
 
132
                return response[1]
 
133
        else:
 
134
            raise errors.UnexpectedSmartServerResponse(response)
 
135
 
 
136
    def _get_tree_branch(self):
 
137
        """See BzrDir._get_tree_branch()."""
 
138
        return None, self.open_branch()
 
139
 
 
140
    def open_branch(self, _unsupported=False):
 
141
        if _unsupported:
 
142
            raise NotImplementedError('unsupported flag support not implemented yet.')
 
143
        reference_url = self.get_branch_reference()
 
144
        if reference_url is None:
 
145
            # branch at this location.
 
146
            return RemoteBranch(self, self.find_repository())
 
147
        else:
 
148
            # a branch reference, use the existing BranchReference logic.
 
149
            format = BranchReferenceFormat()
 
150
            return format.open(self, _found=True, location=reference_url)
 
151
                
 
152
    def open_repository(self):
 
153
        path = self._path_for_remote_call(self._client)
 
154
        verb = 'BzrDir.find_repositoryV2'
 
155
        try:
 
156
            try:
 
157
                response = self._client.call(verb, path)
 
158
            except errors.UnknownSmartMethod:
 
159
                verb = 'BzrDir.find_repository'
 
160
                response = self._client.call(verb, path)
 
161
        except errors.ErrorFromSmartServer, err:
 
162
            if err.error_verb == 'norepository':
 
163
                raise errors.NoRepositoryPresent(self)
 
164
            raise
 
165
        if response[0] != 'ok':
 
166
            raise errors.UnexpectedSmartServerResponse(response)
 
167
        if verb == 'BzrDir.find_repository':
 
168
            # servers that don't support the V2 method don't support external
 
169
            # references either.
 
170
            response = response + ('no', )
 
171
        if not (len(response) == 5):
 
172
            raise SmartProtocolError('incorrect response length %s' % (response,))
 
173
        if response[1] == '':
 
174
            format = RemoteRepositoryFormat()
 
175
            format.rich_root_data = (response[2] == 'yes')
 
176
            format.supports_tree_reference = (response[3] == 'yes')
 
177
            # No wire format to check this yet.
 
178
            format.supports_external_lookups = (response[4] == 'yes')
 
179
            return RemoteRepository(self, format)
 
180
        else:
 
181
            raise errors.NoRepositoryPresent(self)
 
182
 
 
183
    def open_workingtree(self, recommend_upgrade=True):
 
184
        self._ensure_real()
 
185
        if self._real_bzrdir.has_workingtree():
 
186
            raise errors.NotLocalUrl(self.root_transport)
 
187
        else:
 
188
            raise errors.NoWorkingTree(self.root_transport.base)
 
189
 
 
190
    def _path_for_remote_call(self, client):
 
191
        """Return the path to be used for this bzrdir in a remote call."""
 
192
        return client.remote_path_from_transport(self.root_transport)
 
193
 
 
194
    def get_branch_transport(self, branch_format):
 
195
        self._ensure_real()
 
196
        return self._real_bzrdir.get_branch_transport(branch_format)
 
197
 
 
198
    def get_repository_transport(self, repository_format):
 
199
        self._ensure_real()
 
200
        return self._real_bzrdir.get_repository_transport(repository_format)
 
201
 
 
202
    def get_workingtree_transport(self, workingtree_format):
 
203
        self._ensure_real()
 
204
        return self._real_bzrdir.get_workingtree_transport(workingtree_format)
 
205
 
 
206
    def can_convert_format(self):
 
207
        """Upgrading of remote bzrdirs is not supported yet."""
 
208
        return False
 
209
 
 
210
    def needs_format_conversion(self, format=None):
 
211
        """Upgrading of remote bzrdirs is not supported yet."""
 
212
        return False
 
213
 
 
214
    def clone(self, url, revision_id=None, force_new_repo=False):
 
215
        self._ensure_real()
 
216
        return self._real_bzrdir.clone(url, revision_id=revision_id,
 
217
            force_new_repo=force_new_repo)
 
218
 
 
219
 
 
220
class RemoteRepositoryFormat(repository.RepositoryFormat):
 
221
    """Format for repositories accessed over a _SmartClient.
 
222
 
 
223
    Instances of this repository are represented by RemoteRepository
 
224
    instances.
 
225
 
 
226
    The RemoteRepositoryFormat is parameterized during construction
 
227
    to reflect the capabilities of the real, remote format. Specifically
 
228
    the attributes rich_root_data and supports_tree_reference are set
 
229
    on a per instance basis, and are not set (and should not be) at
 
230
    the class level.
 
231
    """
 
232
 
 
233
    _matchingbzrdir = RemoteBzrDirFormat
 
234
 
 
235
    def initialize(self, a_bzrdir, shared=False):
 
236
        if not isinstance(a_bzrdir, RemoteBzrDir):
 
237
            raise AssertionError('%r is not a RemoteBzrDir' % (a_bzrdir,))
 
238
        return a_bzrdir.create_repository(shared=shared)
 
239
    
 
240
    def open(self, a_bzrdir):
 
241
        if not isinstance(a_bzrdir, RemoteBzrDir):
 
242
            raise AssertionError('%r is not a RemoteBzrDir' % (a_bzrdir,))
 
243
        return a_bzrdir.open_repository()
 
244
 
 
245
    def get_format_description(self):
 
246
        return 'bzr remote repository'
 
247
 
 
248
    def __eq__(self, other):
 
249
        return self.__class__ == other.__class__
 
250
 
 
251
    def check_conversion_target(self, target_format):
 
252
        if self.rich_root_data and not target_format.rich_root_data:
 
253
            raise errors.BadConversionTarget(
 
254
                'Does not support rich root data.', target_format)
 
255
        if (self.supports_tree_reference and
 
256
            not getattr(target_format, 'supports_tree_reference', False)):
 
257
            raise errors.BadConversionTarget(
 
258
                'Does not support nested trees', target_format)
 
259
 
 
260
 
 
261
class RemoteRepository(object):
 
262
    """Repository accessed over rpc.
 
263
 
 
264
    For the moment most operations are performed using local transport-backed
 
265
    Repository objects.
 
266
    """
 
267
 
 
268
    def __init__(self, remote_bzrdir, format, real_repository=None, _client=None):
 
269
        """Create a RemoteRepository instance.
 
270
        
 
271
        :param remote_bzrdir: The bzrdir hosting this repository.
 
272
        :param format: The RemoteFormat object to use.
 
273
        :param real_repository: If not None, a local implementation of the
 
274
            repository logic for the repository, usually accessing the data
 
275
            via the VFS.
 
276
        :param _client: Private testing parameter - override the smart client
 
277
            to be used by the repository.
 
278
        """
 
279
        if real_repository:
 
280
            self._real_repository = real_repository
 
281
        else:
 
282
            self._real_repository = None
 
283
        self.bzrdir = remote_bzrdir
 
284
        if _client is None:
 
285
            self._client = remote_bzrdir._client
 
286
        else:
 
287
            self._client = _client
 
288
        self._format = format
 
289
        self._lock_mode = None
 
290
        self._lock_token = None
 
291
        self._lock_count = 0
 
292
        self._leave_lock = False
 
293
        # A cache of looked up revision parent data; reset at unlock time.
 
294
        self._parents_map = None
 
295
        if 'hpss' in debug.debug_flags:
 
296
            self._requested_parents = None
 
297
        # For tests:
 
298
        # These depend on the actual remote format, so force them off for
 
299
        # maximum compatibility. XXX: In future these should depend on the
 
300
        # remote repository instance, but this is irrelevant until we perform
 
301
        # reconcile via an RPC call.
 
302
        self._reconcile_does_inventory_gc = False
 
303
        self._reconcile_fixes_text_parents = False
 
304
        self._reconcile_backsup_inventory = False
 
305
        self.base = self.bzrdir.transport.base
 
306
 
 
307
    def __str__(self):
 
308
        return "%s(%s)" % (self.__class__.__name__, self.base)
 
309
 
 
310
    __repr__ = __str__
 
311
 
 
312
    def abort_write_group(self):
 
313
        """Complete a write group on the decorated repository.
 
314
        
 
315
        Smart methods peform operations in a single step so this api
 
316
        is not really applicable except as a compatibility thunk
 
317
        for older plugins that don't use e.g. the CommitBuilder
 
318
        facility.
 
319
        """
 
320
        self._ensure_real()
 
321
        return self._real_repository.abort_write_group()
 
322
 
 
323
    def commit_write_group(self):
 
324
        """Complete a write group on the decorated repository.
 
325
        
 
326
        Smart methods peform operations in a single step so this api
 
327
        is not really applicable except as a compatibility thunk
 
328
        for older plugins that don't use e.g. the CommitBuilder
 
329
        facility.
 
330
        """
 
331
        self._ensure_real()
 
332
        return self._real_repository.commit_write_group()
 
333
 
 
334
    def _ensure_real(self):
 
335
        """Ensure that there is a _real_repository set.
 
336
 
 
337
        Used before calls to self._real_repository.
 
338
        """
 
339
        if not self._real_repository:
 
340
            self.bzrdir._ensure_real()
 
341
            #self._real_repository = self.bzrdir._real_bzrdir.open_repository()
 
342
            self._set_real_repository(self.bzrdir._real_bzrdir.open_repository())
 
343
 
 
344
    def find_text_key_references(self):
 
345
        """Find the text key references within the repository.
 
346
 
 
347
        :return: a dictionary mapping (file_id, revision_id) tuples to altered file-ids to an iterable of
 
348
        revision_ids. Each altered file-ids has the exact revision_ids that
 
349
        altered it listed explicitly.
 
350
        :return: A dictionary mapping text keys ((fileid, revision_id) tuples)
 
351
            to whether they were referred to by the inventory of the
 
352
            revision_id that they contain. The inventory texts from all present
 
353
            revision ids are assessed to generate this report.
 
354
        """
 
355
        self._ensure_real()
 
356
        return self._real_repository.find_text_key_references()
 
357
 
 
358
    def _generate_text_key_index(self):
 
359
        """Generate a new text key index for the repository.
 
360
 
 
361
        This is an expensive function that will take considerable time to run.
 
362
 
 
363
        :return: A dict mapping (file_id, revision_id) tuples to a list of
 
364
            parents, also (file_id, revision_id) tuples.
 
365
        """
 
366
        self._ensure_real()
 
367
        return self._real_repository._generate_text_key_index()
 
368
 
 
369
    @symbol_versioning.deprecated_method(symbol_versioning.one_four)
 
370
    def get_revision_graph(self, revision_id=None):
 
371
        """See Repository.get_revision_graph()."""
 
372
        return self._get_revision_graph(revision_id)
 
373
 
 
374
    def _get_revision_graph(self, revision_id):
 
375
        """Private method for using with old (< 1.2) servers to fallback."""
 
376
        if revision_id is None:
 
377
            revision_id = ''
 
378
        elif revision.is_null(revision_id):
 
379
            return {}
 
380
 
 
381
        path = self.bzrdir._path_for_remote_call(self._client)
 
382
        try:
 
383
            response = self._client.call_expecting_body(
 
384
                'Repository.get_revision_graph', path, revision_id)
 
385
        except errors.ErrorFromSmartServer, err:
 
386
            if err.error_verb == 'nosuchrevision':
 
387
                raise NoSuchRevision(self, revision_id)
 
388
            raise
 
389
        response_tuple, response_handler = response
 
390
        if response_tuple[0] != 'ok':
 
391
            raise errors.UnexpectedSmartServerResponse(response_tuple)
 
392
        coded = response_handler.read_body_bytes()
 
393
        if coded == '':
 
394
            # no revisions in this repository!
 
395
            return {}
 
396
        lines = coded.split('\n')
 
397
        revision_graph = {}
 
398
        for line in lines:
 
399
            d = tuple(line.split())
 
400
            revision_graph[d[0]] = d[1:]
 
401
            
 
402
        return revision_graph
 
403
 
 
404
    def has_revision(self, revision_id):
 
405
        """See Repository.has_revision()."""
 
406
        if revision_id == NULL_REVISION:
 
407
            # The null revision is always present.
 
408
            return True
 
409
        path = self.bzrdir._path_for_remote_call(self._client)
 
410
        response = self._client.call(
 
411
            'Repository.has_revision', path, revision_id)
 
412
        if response[0] not in ('yes', 'no'):
 
413
            raise errors.UnexpectedSmartServerResponse(response)
 
414
        return response[0] == 'yes'
 
415
 
 
416
    def has_revisions(self, revision_ids):
 
417
        """See Repository.has_revisions()."""
 
418
        result = set()
 
419
        for revision_id in revision_ids:
 
420
            if self.has_revision(revision_id):
 
421
                result.add(revision_id)
 
422
        return result
 
423
 
 
424
    def has_same_location(self, other):
 
425
        return (self.__class__ == other.__class__ and
 
426
                self.bzrdir.transport.base == other.bzrdir.transport.base)
 
427
        
 
428
    def get_graph(self, other_repository=None):
 
429
        """Return the graph for this repository format"""
 
430
        parents_provider = self
 
431
        if (other_repository is not None and
 
432
            other_repository.bzrdir.transport.base !=
 
433
            self.bzrdir.transport.base):
 
434
            parents_provider = graph._StackedParentsProvider(
 
435
                [parents_provider, other_repository._make_parents_provider()])
 
436
        return graph.Graph(parents_provider)
 
437
 
 
438
    def gather_stats(self, revid=None, committers=None):
 
439
        """See Repository.gather_stats()."""
 
440
        path = self.bzrdir._path_for_remote_call(self._client)
 
441
        # revid can be None to indicate no revisions, not just NULL_REVISION
 
442
        if revid is None or revision.is_null(revid):
 
443
            fmt_revid = ''
 
444
        else:
 
445
            fmt_revid = revid
 
446
        if committers is None or not committers:
 
447
            fmt_committers = 'no'
 
448
        else:
 
449
            fmt_committers = 'yes'
 
450
        response_tuple, response_handler = self._client.call_expecting_body(
 
451
            'Repository.gather_stats', path, fmt_revid, fmt_committers)
 
452
        if response_tuple[0] != 'ok':
 
453
            raise errors.UnexpectedSmartServerResponse(response_tuple)
 
454
 
 
455
        body = response_handler.read_body_bytes()
 
456
        result = {}
 
457
        for line in body.split('\n'):
 
458
            if not line:
 
459
                continue
 
460
            key, val_text = line.split(':')
 
461
            if key in ('revisions', 'size', 'committers'):
 
462
                result[key] = int(val_text)
 
463
            elif key in ('firstrev', 'latestrev'):
 
464
                values = val_text.split(' ')[1:]
 
465
                result[key] = (float(values[0]), long(values[1]))
 
466
 
 
467
        return result
 
468
 
 
469
    def find_branches(self, using=False):
 
470
        """See Repository.find_branches()."""
 
471
        # should be an API call to the server.
 
472
        self._ensure_real()
 
473
        return self._real_repository.find_branches(using=using)
 
474
 
 
475
    def get_physical_lock_status(self):
 
476
        """See Repository.get_physical_lock_status()."""
 
477
        # should be an API call to the server.
 
478
        self._ensure_real()
 
479
        return self._real_repository.get_physical_lock_status()
 
480
 
 
481
    def is_in_write_group(self):
 
482
        """Return True if there is an open write group.
 
483
 
 
484
        write groups are only applicable locally for the smart server..
 
485
        """
 
486
        if self._real_repository:
 
487
            return self._real_repository.is_in_write_group()
 
488
 
 
489
    def is_locked(self):
 
490
        return self._lock_count >= 1
 
491
 
 
492
    def is_shared(self):
 
493
        """See Repository.is_shared()."""
 
494
        path = self.bzrdir._path_for_remote_call(self._client)
 
495
        response = self._client.call('Repository.is_shared', path)
 
496
        if response[0] not in ('yes', 'no'):
 
497
            raise SmartProtocolError('unexpected response code %s' % (response,))
 
498
        return response[0] == 'yes'
 
499
 
 
500
    def is_write_locked(self):
 
501
        return self._lock_mode == 'w'
 
502
 
 
503
    def lock_read(self):
 
504
        # wrong eventually - want a local lock cache context
 
505
        if not self._lock_mode:
 
506
            self._lock_mode = 'r'
 
507
            self._lock_count = 1
 
508
            self._parents_map = {}
 
509
            if 'hpss' in debug.debug_flags:
 
510
                self._requested_parents = set()
 
511
            if self._real_repository is not None:
 
512
                self._real_repository.lock_read()
 
513
        else:
 
514
            self._lock_count += 1
 
515
 
 
516
    def _remote_lock_write(self, token):
 
517
        path = self.bzrdir._path_for_remote_call(self._client)
 
518
        if token is None:
 
519
            token = ''
 
520
        try:
 
521
            response = self._client.call('Repository.lock_write', path, token)
 
522
        except errors.ErrorFromSmartServer, err:
 
523
            if err.error_verb == 'LockContention':
 
524
                raise errors.LockContention('(remote lock)')
 
525
            elif err.error_verb == 'UnlockableTransport':
 
526
                raise errors.UnlockableTransport(self.bzrdir.root_transport)
 
527
            elif err.error_verb == 'LockFailed':
 
528
                raise errors.LockFailed(err.error_args[0], err.error_args[1])
 
529
            raise
 
530
 
 
531
        if response[0] == 'ok':
 
532
            ok, token = response
 
533
            return token
 
534
        else:
 
535
            raise errors.UnexpectedSmartServerResponse(response)
 
536
 
 
537
    def lock_write(self, token=None):
 
538
        if not self._lock_mode:
 
539
            self._lock_token = self._remote_lock_write(token)
 
540
            # if self._lock_token is None, then this is something like packs or
 
541
            # svn where we don't get to lock the repo, or a weave style repository
 
542
            # where we cannot lock it over the wire and attempts to do so will
 
543
            # fail.
 
544
            if self._real_repository is not None:
 
545
                self._real_repository.lock_write(token=self._lock_token)
 
546
            if token is not None:
 
547
                self._leave_lock = True
 
548
            else:
 
549
                self._leave_lock = False
 
550
            self._lock_mode = 'w'
 
551
            self._lock_count = 1
 
552
            self._parents_map = {}
 
553
            if 'hpss' in debug.debug_flags:
 
554
                self._requested_parents = set()
 
555
        elif self._lock_mode == 'r':
 
556
            raise errors.ReadOnlyError(self)
 
557
        else:
 
558
            self._lock_count += 1
 
559
        return self._lock_token or None
 
560
 
 
561
    def leave_lock_in_place(self):
 
562
        if not self._lock_token:
 
563
            raise NotImplementedError(self.leave_lock_in_place)
 
564
        self._leave_lock = True
 
565
 
 
566
    def dont_leave_lock_in_place(self):
 
567
        if not self._lock_token:
 
568
            raise NotImplementedError(self.dont_leave_lock_in_place)
 
569
        self._leave_lock = False
 
570
 
 
571
    def _set_real_repository(self, repository):
 
572
        """Set the _real_repository for this repository.
 
573
 
 
574
        :param repository: The repository to fallback to for non-hpss
 
575
            implemented operations.
 
576
        """
 
577
        if isinstance(repository, RemoteRepository):
 
578
            raise AssertionError()
 
579
        self._real_repository = repository
 
580
        if self._lock_mode == 'w':
 
581
            # if we are already locked, the real repository must be able to
 
582
            # acquire the lock with our token.
 
583
            self._real_repository.lock_write(self._lock_token)
 
584
        elif self._lock_mode == 'r':
 
585
            self._real_repository.lock_read()
 
586
 
 
587
    def start_write_group(self):
 
588
        """Start a write group on the decorated repository.
 
589
        
 
590
        Smart methods peform operations in a single step so this api
 
591
        is not really applicable except as a compatibility thunk
 
592
        for older plugins that don't use e.g. the CommitBuilder
 
593
        facility.
 
594
        """
 
595
        self._ensure_real()
 
596
        return self._real_repository.start_write_group()
 
597
 
 
598
    def _unlock(self, token):
 
599
        path = self.bzrdir._path_for_remote_call(self._client)
 
600
        if not token:
 
601
            # with no token the remote repository is not persistently locked.
 
602
            return
 
603
        try:
 
604
            response = self._client.call('Repository.unlock', path, token)
 
605
        except errors.ErrorFromSmartServer, err:
 
606
            if err.error_verb == 'TokenMismatch':
 
607
                raise errors.TokenMismatch(token, '(remote token)')
 
608
            raise
 
609
        if response == ('ok',):
 
610
            return
 
611
        else:
 
612
            raise errors.UnexpectedSmartServerResponse(response)
 
613
 
 
614
    def unlock(self):
 
615
        self._lock_count -= 1
 
616
        if self._lock_count > 0:
 
617
            return
 
618
        self._parents_map = None
 
619
        if 'hpss' in debug.debug_flags:
 
620
            self._requested_parents = None
 
621
        old_mode = self._lock_mode
 
622
        self._lock_mode = None
 
623
        try:
 
624
            # The real repository is responsible at present for raising an
 
625
            # exception if it's in an unfinished write group.  However, it
 
626
            # normally will *not* actually remove the lock from disk - that's
 
627
            # done by the server on receiving the Repository.unlock call.
 
628
            # This is just to let the _real_repository stay up to date.
 
629
            if self._real_repository is not None:
 
630
                self._real_repository.unlock()
 
631
        finally:
 
632
            # The rpc-level lock should be released even if there was a
 
633
            # problem releasing the vfs-based lock.
 
634
            if old_mode == 'w':
 
635
                # Only write-locked repositories need to make a remote method
 
636
                # call to perfom the unlock.
 
637
                old_token = self._lock_token
 
638
                self._lock_token = None
 
639
                if not self._leave_lock:
 
640
                    self._unlock(old_token)
 
641
 
 
642
    def break_lock(self):
 
643
        # should hand off to the network
 
644
        self._ensure_real()
 
645
        return self._real_repository.break_lock()
 
646
 
 
647
    def _get_tarball(self, compression):
 
648
        """Return a TemporaryFile containing a repository tarball.
 
649
        
 
650
        Returns None if the server does not support sending tarballs.
 
651
        """
 
652
        import tempfile
 
653
        path = self.bzrdir._path_for_remote_call(self._client)
 
654
        try:
 
655
            response, protocol = self._client.call_expecting_body(
 
656
                'Repository.tarball', path, compression)
 
657
        except errors.UnknownSmartMethod:
 
658
            protocol.cancel_read_body()
 
659
            return None
 
660
        if response[0] == 'ok':
 
661
            # Extract the tarball and return it
 
662
            t = tempfile.NamedTemporaryFile()
 
663
            # TODO: rpc layer should read directly into it...
 
664
            t.write(protocol.read_body_bytes())
 
665
            t.seek(0)
 
666
            return t
 
667
        raise errors.UnexpectedSmartServerResponse(response)
 
668
 
 
669
    def sprout(self, to_bzrdir, revision_id=None):
 
670
        # TODO: Option to control what format is created?
 
671
        self._ensure_real()
 
672
        dest_repo = self._real_repository._format.initialize(to_bzrdir,
 
673
                                                             shared=False)
 
674
        dest_repo.fetch(self, revision_id=revision_id)
 
675
        return dest_repo
 
676
 
 
677
    ### These methods are just thin shims to the VFS object for now.
 
678
 
 
679
    def revision_tree(self, revision_id):
 
680
        self._ensure_real()
 
681
        return self._real_repository.revision_tree(revision_id)
 
682
 
 
683
    def get_serializer_format(self):
 
684
        self._ensure_real()
 
685
        return self._real_repository.get_serializer_format()
 
686
 
 
687
    def get_commit_builder(self, branch, parents, config, timestamp=None,
 
688
                           timezone=None, committer=None, revprops=None,
 
689
                           revision_id=None):
 
690
        # FIXME: It ought to be possible to call this without immediately
 
691
        # triggering _ensure_real.  For now it's the easiest thing to do.
 
692
        self._ensure_real()
 
693
        builder = self._real_repository.get_commit_builder(branch, parents,
 
694
                config, timestamp=timestamp, timezone=timezone,
 
695
                committer=committer, revprops=revprops, revision_id=revision_id)
 
696
        return builder
 
697
 
 
698
    def add_inventory(self, revid, inv, parents):
 
699
        self._ensure_real()
 
700
        return self._real_repository.add_inventory(revid, inv, parents)
 
701
 
 
702
    def add_revision(self, rev_id, rev, inv=None, config=None):
 
703
        self._ensure_real()
 
704
        return self._real_repository.add_revision(
 
705
            rev_id, rev, inv=inv, config=config)
 
706
 
 
707
    @needs_read_lock
 
708
    def get_inventory(self, revision_id):
 
709
        self._ensure_real()
 
710
        return self._real_repository.get_inventory(revision_id)
 
711
 
 
712
    def iter_inventories(self, revision_ids):
 
713
        self._ensure_real()
 
714
        return self._real_repository.iter_inventories(revision_ids)
 
715
 
 
716
    @needs_read_lock
 
717
    def get_revision(self, revision_id):
 
718
        self._ensure_real()
 
719
        return self._real_repository.get_revision(revision_id)
 
720
 
 
721
    @property
 
722
    def weave_store(self):
 
723
        self._ensure_real()
 
724
        return self._real_repository.weave_store
 
725
 
 
726
    def get_transaction(self):
 
727
        self._ensure_real()
 
728
        return self._real_repository.get_transaction()
 
729
 
 
730
    @needs_read_lock
 
731
    def clone(self, a_bzrdir, revision_id=None):
 
732
        self._ensure_real()
 
733
        return self._real_repository.clone(a_bzrdir, revision_id=revision_id)
 
734
 
 
735
    def make_working_trees(self):
 
736
        """See Repository.make_working_trees"""
 
737
        self._ensure_real()
 
738
        return self._real_repository.make_working_trees()
 
739
 
 
740
    def revision_ids_to_search_result(self, result_set):
 
741
        """Convert a set of revision ids to a graph SearchResult."""
 
742
        result_parents = set()
 
743
        for parents in self.get_graph().get_parent_map(
 
744
            result_set).itervalues():
 
745
            result_parents.update(parents)
 
746
        included_keys = result_set.intersection(result_parents)
 
747
        start_keys = result_set.difference(included_keys)
 
748
        exclude_keys = result_parents.difference(result_set)
 
749
        result = graph.SearchResult(start_keys, exclude_keys,
 
750
            len(result_set), result_set)
 
751
        return result
 
752
 
 
753
    @needs_read_lock
 
754
    def search_missing_revision_ids(self, other, revision_id=None, find_ghosts=True):
 
755
        """Return the revision ids that other has that this does not.
 
756
        
 
757
        These are returned in topological order.
 
758
 
 
759
        revision_id: only return revision ids included by revision_id.
 
760
        """
 
761
        return repository.InterRepository.get(
 
762
            other, self).search_missing_revision_ids(revision_id, find_ghosts)
 
763
 
 
764
    def fetch(self, source, revision_id=None, pb=None):
 
765
        if self.has_same_location(source):
 
766
            # check that last_revision is in 'from' and then return a
 
767
            # no-operation.
 
768
            if (revision_id is not None and
 
769
                not revision.is_null(revision_id)):
 
770
                self.get_revision(revision_id)
 
771
            return 0, []
 
772
        self._ensure_real()
 
773
        return self._real_repository.fetch(
 
774
            source, revision_id=revision_id, pb=pb)
 
775
 
 
776
    def create_bundle(self, target, base, fileobj, format=None):
 
777
        self._ensure_real()
 
778
        self._real_repository.create_bundle(target, base, fileobj, format)
 
779
 
 
780
    @property
 
781
    def control_weaves(self):
 
782
        self._ensure_real()
 
783
        return self._real_repository.control_weaves
 
784
 
 
785
    @needs_read_lock
 
786
    def get_ancestry(self, revision_id, topo_sorted=True):
 
787
        self._ensure_real()
 
788
        return self._real_repository.get_ancestry(revision_id, topo_sorted)
 
789
 
 
790
    @needs_read_lock
 
791
    def get_inventory_weave(self):
 
792
        self._ensure_real()
 
793
        return self._real_repository.get_inventory_weave()
 
794
 
 
795
    def fileids_altered_by_revision_ids(self, revision_ids):
 
796
        self._ensure_real()
 
797
        return self._real_repository.fileids_altered_by_revision_ids(revision_ids)
 
798
 
 
799
    def _get_versioned_file_checker(self, revisions, revision_versions_cache):
 
800
        self._ensure_real()
 
801
        return self._real_repository._get_versioned_file_checker(
 
802
            revisions, revision_versions_cache)
 
803
        
 
804
    def iter_files_bytes(self, desired_files):
 
805
        """See Repository.iter_file_bytes.
 
806
        """
 
807
        self._ensure_real()
 
808
        return self._real_repository.iter_files_bytes(desired_files)
 
809
 
 
810
    def get_parent_map(self, keys):
 
811
        """See bzrlib.Graph.get_parent_map()."""
 
812
        # Hack to build up the caching logic.
 
813
        ancestry = self._parents_map
 
814
        if ancestry is None:
 
815
            # Repository is not locked, so there's no cache.
 
816
            missing_revisions = set(keys)
 
817
            ancestry = {}
 
818
        else:
 
819
            missing_revisions = set(key for key in keys if key not in ancestry)
 
820
        if missing_revisions:
 
821
            parent_map = self._get_parent_map(missing_revisions)
 
822
            if 'hpss' in debug.debug_flags:
 
823
                mutter('retransmitted revisions: %d of %d',
 
824
                        len(set(ancestry).intersection(parent_map)),
 
825
                        len(parent_map))
 
826
            ancestry.update(parent_map)
 
827
        present_keys = [k for k in keys if k in ancestry]
 
828
        if 'hpss' in debug.debug_flags:
 
829
            if self._requested_parents is not None and len(ancestry) != 0:
 
830
                self._requested_parents.update(present_keys)
 
831
                mutter('Current RemoteRepository graph hit rate: %d%%',
 
832
                    100.0 * len(self._requested_parents) / len(ancestry))
 
833
        return dict((k, ancestry[k]) for k in present_keys)
 
834
 
 
835
    def _get_parent_map(self, keys):
 
836
        """Helper for get_parent_map that performs the RPC."""
 
837
        medium = self._client._medium
 
838
        if not medium._remote_is_at_least_1_2:
 
839
            # We already found out that the server can't understand
 
840
            # Repository.get_parent_map requests, so just fetch the whole
 
841
            # graph.
 
842
            # XXX: Note that this will issue a deprecation warning. This is ok
 
843
            # :- its because we're working with a deprecated server anyway, and
 
844
            # the user will almost certainly have seen a warning about the
 
845
            # server version already.
 
846
            rg = self.get_revision_graph()
 
847
            # There is an api discrepency between get_parent_map and
 
848
            # get_revision_graph. Specifically, a "key:()" pair in
 
849
            # get_revision_graph just means a node has no parents. For
 
850
            # "get_parent_map" it means the node is a ghost. So fix up the
 
851
            # graph to correct this.
 
852
            #   https://bugs.launchpad.net/bzr/+bug/214894
 
853
            # There is one other "bug" which is that ghosts in
 
854
            # get_revision_graph() are not returned at all. But we won't worry
 
855
            # about that for now.
 
856
            for node_id, parent_ids in rg.iteritems():
 
857
                if parent_ids == ():
 
858
                    rg[node_id] = (NULL_REVISION,)
 
859
            rg[NULL_REVISION] = ()
 
860
            return rg
 
861
 
 
862
        keys = set(keys)
 
863
        if NULL_REVISION in keys:
 
864
            keys.discard(NULL_REVISION)
 
865
            found_parents = {NULL_REVISION:()}
 
866
            if not keys:
 
867
                return found_parents
 
868
        else:
 
869
            found_parents = {}
 
870
        # TODO(Needs analysis): We could assume that the keys being requested
 
871
        # from get_parent_map are in a breadth first search, so typically they
 
872
        # will all be depth N from some common parent, and we don't have to
 
873
        # have the server iterate from the root parent, but rather from the
 
874
        # keys we're searching; and just tell the server the keyspace we
 
875
        # already have; but this may be more traffic again.
 
876
 
 
877
        # Transform self._parents_map into a search request recipe.
 
878
        # TODO: Manage this incrementally to avoid covering the same path
 
879
        # repeatedly. (The server will have to on each request, but the less
 
880
        # work done the better).
 
881
        parents_map = self._parents_map
 
882
        if parents_map is None:
 
883
            # Repository is not locked, so there's no cache.
 
884
            parents_map = {}
 
885
        start_set = set(parents_map)
 
886
        result_parents = set()
 
887
        for parents in parents_map.itervalues():
 
888
            result_parents.update(parents)
 
889
        stop_keys = result_parents.difference(start_set)
 
890
        included_keys = start_set.intersection(result_parents)
 
891
        start_set.difference_update(included_keys)
 
892
        recipe = (start_set, stop_keys, len(parents_map))
 
893
        body = self._serialise_search_recipe(recipe)
 
894
        path = self.bzrdir._path_for_remote_call(self._client)
 
895
        for key in keys:
 
896
            if type(key) is not str:
 
897
                raise ValueError(
 
898
                    "key %r not a plain string" % (key,))
 
899
        verb = 'Repository.get_parent_map'
 
900
        args = (path,) + tuple(keys)
 
901
        try:
 
902
            response = self._client.call_with_body_bytes_expecting_body(
 
903
                verb, args, self._serialise_search_recipe(recipe))
 
904
        except errors.UnknownSmartMethod:
 
905
            # Server does not support this method, so get the whole graph.
 
906
            # Worse, we have to force a disconnection, because the server now
 
907
            # doesn't realise it has a body on the wire to consume, so the
 
908
            # only way to recover is to abandon the connection.
 
909
            warning(
 
910
                'Server is too old for fast get_parent_map, reconnecting.  '
 
911
                '(Upgrade the server to Bazaar 1.2 to avoid this)')
 
912
            medium.disconnect()
 
913
            # To avoid having to disconnect repeatedly, we keep track of the
 
914
            # fact the server doesn't understand remote methods added in 1.2.
 
915
            medium._remote_is_at_least_1_2 = False
 
916
            return self.get_revision_graph(None)
 
917
        response_tuple, response_handler = response
 
918
        if response_tuple[0] not in ['ok']:
 
919
            response_handler.cancel_read_body()
 
920
            raise errors.UnexpectedSmartServerResponse(response_tuple)
 
921
        if response_tuple[0] == 'ok':
 
922
            coded = bz2.decompress(response_handler.read_body_bytes())
 
923
            if coded == '':
 
924
                # no revisions found
 
925
                return {}
 
926
            lines = coded.split('\n')
 
927
            revision_graph = {}
 
928
            for line in lines:
 
929
                d = tuple(line.split())
 
930
                if len(d) > 1:
 
931
                    revision_graph[d[0]] = d[1:]
 
932
                else:
 
933
                    # No parents - so give the Graph result (NULL_REVISION,).
 
934
                    revision_graph[d[0]] = (NULL_REVISION,)
 
935
            return revision_graph
 
936
 
 
937
    @needs_read_lock
 
938
    def get_signature_text(self, revision_id):
 
939
        self._ensure_real()
 
940
        return self._real_repository.get_signature_text(revision_id)
 
941
 
 
942
    @needs_read_lock
 
943
    @symbol_versioning.deprecated_method(symbol_versioning.one_three)
 
944
    def get_revision_graph_with_ghosts(self, revision_ids=None):
 
945
        self._ensure_real()
 
946
        return self._real_repository.get_revision_graph_with_ghosts(
 
947
            revision_ids=revision_ids)
 
948
 
 
949
    @needs_read_lock
 
950
    def get_inventory_xml(self, revision_id):
 
951
        self._ensure_real()
 
952
        return self._real_repository.get_inventory_xml(revision_id)
 
953
 
 
954
    def deserialise_inventory(self, revision_id, xml):
 
955
        self._ensure_real()
 
956
        return self._real_repository.deserialise_inventory(revision_id, xml)
 
957
 
 
958
    def reconcile(self, other=None, thorough=False):
 
959
        self._ensure_real()
 
960
        return self._real_repository.reconcile(other=other, thorough=thorough)
 
961
        
 
962
    def all_revision_ids(self):
 
963
        self._ensure_real()
 
964
        return self._real_repository.all_revision_ids()
 
965
    
 
966
    @needs_read_lock
 
967
    def get_deltas_for_revisions(self, revisions):
 
968
        self._ensure_real()
 
969
        return self._real_repository.get_deltas_for_revisions(revisions)
 
970
 
 
971
    @needs_read_lock
 
972
    def get_revision_delta(self, revision_id):
 
973
        self._ensure_real()
 
974
        return self._real_repository.get_revision_delta(revision_id)
 
975
 
 
976
    @needs_read_lock
 
977
    def revision_trees(self, revision_ids):
 
978
        self._ensure_real()
 
979
        return self._real_repository.revision_trees(revision_ids)
 
980
 
 
981
    @needs_read_lock
 
982
    def get_revision_reconcile(self, revision_id):
 
983
        self._ensure_real()
 
984
        return self._real_repository.get_revision_reconcile(revision_id)
 
985
 
 
986
    @needs_read_lock
 
987
    def check(self, revision_ids=None):
 
988
        self._ensure_real()
 
989
        return self._real_repository.check(revision_ids=revision_ids)
 
990
 
 
991
    def copy_content_into(self, destination, revision_id=None):
 
992
        self._ensure_real()
 
993
        return self._real_repository.copy_content_into(
 
994
            destination, revision_id=revision_id)
 
995
 
 
996
    def _copy_repository_tarball(self, to_bzrdir, revision_id=None):
 
997
        # get a tarball of the remote repository, and copy from that into the
 
998
        # destination
 
999
        from bzrlib import osutils
 
1000
        import tarfile
 
1001
        import tempfile
 
1002
        # TODO: Maybe a progress bar while streaming the tarball?
 
1003
        note("Copying repository content as tarball...")
 
1004
        tar_file = self._get_tarball('bz2')
 
1005
        if tar_file is None:
 
1006
            return None
 
1007
        destination = to_bzrdir.create_repository()
 
1008
        try:
 
1009
            tar = tarfile.open('repository', fileobj=tar_file,
 
1010
                mode='r|bz2')
 
1011
            tmpdir = tempfile.mkdtemp()
 
1012
            try:
 
1013
                _extract_tar(tar, tmpdir)
 
1014
                tmp_bzrdir = BzrDir.open(tmpdir)
 
1015
                tmp_repo = tmp_bzrdir.open_repository()
 
1016
                tmp_repo.copy_content_into(destination, revision_id)
 
1017
            finally:
 
1018
                osutils.rmtree(tmpdir)
 
1019
        finally:
 
1020
            tar_file.close()
 
1021
        return destination
 
1022
        # TODO: Suggestion from john: using external tar is much faster than
 
1023
        # python's tarfile library, but it may not work on windows.
 
1024
 
 
1025
    @needs_write_lock
 
1026
    def pack(self):
 
1027
        """Compress the data within the repository.
 
1028
 
 
1029
        This is not currently implemented within the smart server.
 
1030
        """
 
1031
        self._ensure_real()
 
1032
        return self._real_repository.pack()
 
1033
 
 
1034
    def set_make_working_trees(self, new_value):
 
1035
        self._ensure_real()
 
1036
        self._real_repository.set_make_working_trees(new_value)
 
1037
 
 
1038
    @needs_write_lock
 
1039
    def sign_revision(self, revision_id, gpg_strategy):
 
1040
        self._ensure_real()
 
1041
        return self._real_repository.sign_revision(revision_id, gpg_strategy)
 
1042
 
 
1043
    @needs_read_lock
 
1044
    def get_revisions(self, revision_ids):
 
1045
        self._ensure_real()
 
1046
        return self._real_repository.get_revisions(revision_ids)
 
1047
 
 
1048
    def supports_rich_root(self):
 
1049
        self._ensure_real()
 
1050
        return self._real_repository.supports_rich_root()
 
1051
 
 
1052
    def iter_reverse_revision_history(self, revision_id):
 
1053
        self._ensure_real()
 
1054
        return self._real_repository.iter_reverse_revision_history(revision_id)
 
1055
 
 
1056
    @property
 
1057
    def _serializer(self):
 
1058
        self._ensure_real()
 
1059
        return self._real_repository._serializer
 
1060
 
 
1061
    def store_revision_signature(self, gpg_strategy, plaintext, revision_id):
 
1062
        self._ensure_real()
 
1063
        return self._real_repository.store_revision_signature(
 
1064
            gpg_strategy, plaintext, revision_id)
 
1065
 
 
1066
    def add_signature_text(self, revision_id, signature):
 
1067
        self._ensure_real()
 
1068
        return self._real_repository.add_signature_text(revision_id, signature)
 
1069
 
 
1070
    def has_signature_for_revision_id(self, revision_id):
 
1071
        self._ensure_real()
 
1072
        return self._real_repository.has_signature_for_revision_id(revision_id)
 
1073
 
 
1074
    def get_data_stream_for_search(self, search):
 
1075
        medium = self._client._medium
 
1076
        if not medium._remote_is_at_least_1_2:
 
1077
            self._ensure_real()
 
1078
            return self._real_repository.get_data_stream_for_search(search)
 
1079
        REQUEST_NAME = 'Repository.stream_revisions_chunked'
 
1080
        path = self.bzrdir._path_for_remote_call(self._client)
 
1081
        body = self._serialise_search_recipe(search.get_recipe())
 
1082
        try:
 
1083
            result = self._client.call_with_body_bytes_expecting_body(
 
1084
                REQUEST_NAME, (path,), body)
 
1085
            response, protocol = result
 
1086
        except errors.UnknownSmartMethod:
 
1087
            # Server does not support this method, so fall back to VFS.
 
1088
            # Worse, we have to force a disconnection, because the server now
 
1089
            # doesn't realise it has a body on the wire to consume, so the
 
1090
            # only way to recover is to abandon the connection.
 
1091
            warning(
 
1092
                'Server is too old for streaming pull, reconnecting.  '
 
1093
                '(Upgrade the server to Bazaar 1.2 to avoid this)')
 
1094
            medium.disconnect()
 
1095
            # To avoid having to disconnect repeatedly, we keep track of the
 
1096
            # fact the server doesn't understand this remote method.
 
1097
            medium._remote_is_at_least_1_2 = False
 
1098
            self._ensure_real()
 
1099
            return self._real_repository.get_data_stream_for_search(search)
 
1100
 
 
1101
        if response == ('ok',):
 
1102
            return self._deserialise_stream(protocol)
 
1103
        if response == ('NoSuchRevision', ):
 
1104
            # We cannot easily identify the revision that is missing in this
 
1105
            # situation without doing much more network IO. For now, bail.
 
1106
            raise NoSuchRevision(self, "unknown")
 
1107
        else:
 
1108
            raise errors.UnexpectedSmartServerResponse(response)
 
1109
 
 
1110
    def _deserialise_stream(self, protocol):
 
1111
        stream = protocol.read_streamed_body()
 
1112
        container_parser = ContainerPushParser()
 
1113
        for bytes in stream:
 
1114
            container_parser.accept_bytes(bytes)
 
1115
            records = container_parser.read_pending_records()
 
1116
            for record_names, record_bytes in records:
 
1117
                if len(record_names) != 1:
 
1118
                    # These records should have only one name, and that name
 
1119
                    # should be a one-element tuple.
 
1120
                    raise errors.SmartProtocolError(
 
1121
                        'Repository data stream had invalid record name %r'
 
1122
                        % (record_names,))
 
1123
                name_tuple = record_names[0]
 
1124
                yield name_tuple, record_bytes
 
1125
 
 
1126
    def insert_data_stream(self, stream):
 
1127
        self._ensure_real()
 
1128
        self._real_repository.insert_data_stream(stream)
 
1129
 
 
1130
    def item_keys_introduced_by(self, revision_ids, _files_pb=None):
 
1131
        self._ensure_real()
 
1132
        return self._real_repository.item_keys_introduced_by(revision_ids,
 
1133
            _files_pb=_files_pb)
 
1134
 
 
1135
    def revision_graph_can_have_wrong_parents(self):
 
1136
        # The answer depends on the remote repo format.
 
1137
        self._ensure_real()
 
1138
        return self._real_repository.revision_graph_can_have_wrong_parents()
 
1139
 
 
1140
    def _find_inconsistent_revision_parents(self):
 
1141
        self._ensure_real()
 
1142
        return self._real_repository._find_inconsistent_revision_parents()
 
1143
 
 
1144
    def _check_for_inconsistent_revision_parents(self):
 
1145
        self._ensure_real()
 
1146
        return self._real_repository._check_for_inconsistent_revision_parents()
 
1147
 
 
1148
    def _make_parents_provider(self):
 
1149
        return self
 
1150
 
 
1151
    def _serialise_search_recipe(self, recipe):
 
1152
        """Serialise a graph search recipe.
 
1153
 
 
1154
        :param recipe: A search recipe (start, stop, count).
 
1155
        :return: Serialised bytes.
 
1156
        """
 
1157
        start_keys = ' '.join(recipe[0])
 
1158
        stop_keys = ' '.join(recipe[1])
 
1159
        count = str(recipe[2])
 
1160
        return '\n'.join((start_keys, stop_keys, count))
 
1161
 
 
1162
 
 
1163
class RemoteBranchLockableFiles(LockableFiles):
 
1164
    """A 'LockableFiles' implementation that talks to a smart server.
 
1165
    
 
1166
    This is not a public interface class.
 
1167
    """
 
1168
 
 
1169
    def __init__(self, bzrdir, _client):
 
1170
        self.bzrdir = bzrdir
 
1171
        self._client = _client
 
1172
        self._need_find_modes = True
 
1173
        LockableFiles.__init__(
 
1174
            self, bzrdir.get_branch_transport(None),
 
1175
            'lock', lockdir.LockDir)
 
1176
 
 
1177
    def _find_modes(self):
 
1178
        # RemoteBranches don't let the client set the mode of control files.
 
1179
        self._dir_mode = None
 
1180
        self._file_mode = None
 
1181
 
 
1182
 
 
1183
class RemoteBranchFormat(branch.BranchFormat):
 
1184
 
 
1185
    def __eq__(self, other):
 
1186
        return (isinstance(other, RemoteBranchFormat) and 
 
1187
            self.__dict__ == other.__dict__)
 
1188
 
 
1189
    def get_format_description(self):
 
1190
        return 'Remote BZR Branch'
 
1191
 
 
1192
    def get_format_string(self):
 
1193
        return 'Remote BZR Branch'
 
1194
 
 
1195
    def open(self, a_bzrdir):
 
1196
        return a_bzrdir.open_branch()
 
1197
 
 
1198
    def initialize(self, a_bzrdir):
 
1199
        return a_bzrdir.create_branch()
 
1200
 
 
1201
    def supports_tags(self):
 
1202
        # Remote branches might support tags, but we won't know until we
 
1203
        # access the real remote branch.
 
1204
        return True
 
1205
 
 
1206
 
 
1207
class RemoteBranch(branch.Branch):
 
1208
    """Branch stored on a server accessed by HPSS RPC.
 
1209
 
 
1210
    At the moment most operations are mapped down to simple file operations.
 
1211
    """
 
1212
 
 
1213
    def __init__(self, remote_bzrdir, remote_repository, real_branch=None,
 
1214
        _client=None):
 
1215
        """Create a RemoteBranch instance.
 
1216
 
 
1217
        :param real_branch: An optional local implementation of the branch
 
1218
            format, usually accessing the data via the VFS.
 
1219
        :param _client: Private parameter for testing.
 
1220
        """
 
1221
        # We intentionally don't call the parent class's __init__, because it
 
1222
        # will try to assign to self.tags, which is a property in this subclass.
 
1223
        # And the parent's __init__ doesn't do much anyway.
 
1224
        self._revision_id_to_revno_cache = None
 
1225
        self._revision_history_cache = None
 
1226
        self.bzrdir = remote_bzrdir
 
1227
        if _client is not None:
 
1228
            self._client = _client
 
1229
        else:
 
1230
            self._client = remote_bzrdir._client
 
1231
        self.repository = remote_repository
 
1232
        if real_branch is not None:
 
1233
            self._real_branch = real_branch
 
1234
            # Give the remote repository the matching real repo.
 
1235
            real_repo = self._real_branch.repository
 
1236
            if isinstance(real_repo, RemoteRepository):
 
1237
                real_repo._ensure_real()
 
1238
                real_repo = real_repo._real_repository
 
1239
            self.repository._set_real_repository(real_repo)
 
1240
            # Give the branch the remote repository to let fast-pathing happen.
 
1241
            self._real_branch.repository = self.repository
 
1242
        else:
 
1243
            self._real_branch = None
 
1244
        # Fill out expected attributes of branch for bzrlib api users.
 
1245
        self._format = RemoteBranchFormat()
 
1246
        self.base = self.bzrdir.root_transport.base
 
1247
        self._control_files = None
 
1248
        self._lock_mode = None
 
1249
        self._lock_token = None
 
1250
        self._repo_lock_token = None
 
1251
        self._lock_count = 0
 
1252
        self._leave_lock = False
 
1253
 
 
1254
    def __str__(self):
 
1255
        return "%s(%s)" % (self.__class__.__name__, self.base)
 
1256
 
 
1257
    __repr__ = __str__
 
1258
 
 
1259
    def _ensure_real(self):
 
1260
        """Ensure that there is a _real_branch set.
 
1261
 
 
1262
        Used before calls to self._real_branch.
 
1263
        """
 
1264
        if not self._real_branch:
 
1265
            if not vfs.vfs_enabled():
 
1266
                raise AssertionError('smart server vfs must be enabled '
 
1267
                    'to use vfs implementation')
 
1268
            self.bzrdir._ensure_real()
 
1269
            self._real_branch = self.bzrdir._real_bzrdir.open_branch()
 
1270
            # Give the remote repository the matching real repo.
 
1271
            real_repo = self._real_branch.repository
 
1272
            if isinstance(real_repo, RemoteRepository):
 
1273
                real_repo._ensure_real()
 
1274
                real_repo = real_repo._real_repository
 
1275
            self.repository._set_real_repository(real_repo)
 
1276
            # Give the branch the remote repository to let fast-pathing happen.
 
1277
            self._real_branch.repository = self.repository
 
1278
            # XXX: deal with _lock_mode == 'w'
 
1279
            if self._lock_mode == 'r':
 
1280
                self._real_branch.lock_read()
 
1281
 
 
1282
    @property
 
1283
    def control_files(self):
 
1284
        # Defer actually creating RemoteBranchLockableFiles until its needed,
 
1285
        # because it triggers an _ensure_real that we otherwise might not need.
 
1286
        if self._control_files is None:
 
1287
            self._control_files = RemoteBranchLockableFiles(
 
1288
                self.bzrdir, self._client)
 
1289
        return self._control_files
 
1290
 
 
1291
    def _get_checkout_format(self):
 
1292
        self._ensure_real()
 
1293
        return self._real_branch._get_checkout_format()
 
1294
 
 
1295
    def get_physical_lock_status(self):
 
1296
        """See Branch.get_physical_lock_status()."""
 
1297
        # should be an API call to the server, as branches must be lockable.
 
1298
        self._ensure_real()
 
1299
        return self._real_branch.get_physical_lock_status()
 
1300
 
 
1301
    def lock_read(self):
 
1302
        if not self._lock_mode:
 
1303
            self._lock_mode = 'r'
 
1304
            self._lock_count = 1
 
1305
            if self._real_branch is not None:
 
1306
                self._real_branch.lock_read()
 
1307
        else:
 
1308
            self._lock_count += 1
 
1309
 
 
1310
    def _remote_lock_write(self, token):
 
1311
        if token is None:
 
1312
            branch_token = repo_token = ''
 
1313
        else:
 
1314
            branch_token = token
 
1315
            repo_token = self.repository.lock_write()
 
1316
            self.repository.unlock()
 
1317
        path = self.bzrdir._path_for_remote_call(self._client)
 
1318
        try:
 
1319
            response = self._client.call(
 
1320
                'Branch.lock_write', path, branch_token, repo_token or '')
 
1321
        except errors.ErrorFromSmartServer, err:
 
1322
            if err.error_verb == 'LockContention':
 
1323
                raise errors.LockContention('(remote lock)')
 
1324
            elif err.error_verb == 'TokenMismatch':
 
1325
                raise errors.TokenMismatch(token, '(remote token)')
 
1326
            elif err.error_verb == 'UnlockableTransport':
 
1327
                raise errors.UnlockableTransport(self.bzrdir.root_transport)
 
1328
            elif err.error_verb == 'ReadOnlyError':
 
1329
                raise errors.ReadOnlyError(self)
 
1330
            elif err.error_verb == 'LockFailed':
 
1331
                raise errors.LockFailed(err.error_args[0], err.error_args[1])
 
1332
            raise
 
1333
        if response[0] != 'ok':
 
1334
            raise errors.UnexpectedSmartServerResponse(response)
 
1335
        ok, branch_token, repo_token = response
 
1336
        return branch_token, repo_token
 
1337
            
 
1338
    def lock_write(self, token=None):
 
1339
        if not self._lock_mode:
 
1340
            remote_tokens = self._remote_lock_write(token)
 
1341
            self._lock_token, self._repo_lock_token = remote_tokens
 
1342
            if not self._lock_token:
 
1343
                raise SmartProtocolError('Remote server did not return a token!')
 
1344
            # TODO: We really, really, really don't want to call _ensure_real
 
1345
            # here, but it's the easiest way to ensure coherency between the
 
1346
            # state of the RemoteBranch and RemoteRepository objects and the
 
1347
            # physical locks.  If we don't materialise the real objects here,
 
1348
            # then getting everything in the right state later is complex, so
 
1349
            # for now we just do it the lazy way.
 
1350
            #   -- Andrew Bennetts, 2007-02-22.
 
1351
            self._ensure_real()
 
1352
            if self._real_branch is not None:
 
1353
                self._real_branch.repository.lock_write(
 
1354
                    token=self._repo_lock_token)
 
1355
                try:
 
1356
                    self._real_branch.lock_write(token=self._lock_token)
 
1357
                finally:
 
1358
                    self._real_branch.repository.unlock()
 
1359
            if token is not None:
 
1360
                self._leave_lock = True
 
1361
            else:
 
1362
                # XXX: this case seems to be unreachable; token cannot be None.
 
1363
                self._leave_lock = False
 
1364
            self._lock_mode = 'w'
 
1365
            self._lock_count = 1
 
1366
        elif self._lock_mode == 'r':
 
1367
            raise errors.ReadOnlyTransaction
 
1368
        else:
 
1369
            if token is not None:
 
1370
                # A token was given to lock_write, and we're relocking, so check
 
1371
                # that the given token actually matches the one we already have.
 
1372
                if token != self._lock_token:
 
1373
                    raise errors.TokenMismatch(token, self._lock_token)
 
1374
            self._lock_count += 1
 
1375
        return self._lock_token or None
 
1376
 
 
1377
    def _unlock(self, branch_token, repo_token):
 
1378
        path = self.bzrdir._path_for_remote_call(self._client)
 
1379
        try:
 
1380
            response = self._client.call('Branch.unlock', path, branch_token,
 
1381
                                         repo_token or '')
 
1382
        except errors.ErrorFromSmartServer, err:
 
1383
            if err.error_verb == 'TokenMismatch':
 
1384
                raise errors.TokenMismatch(
 
1385
                    str((branch_token, repo_token)), '(remote tokens)')
 
1386
            raise
 
1387
        if response == ('ok',):
 
1388
            return
 
1389
        raise errors.UnexpectedSmartServerResponse(response)
 
1390
 
 
1391
    def unlock(self):
 
1392
        self._lock_count -= 1
 
1393
        if not self._lock_count:
 
1394
            self._clear_cached_state()
 
1395
            mode = self._lock_mode
 
1396
            self._lock_mode = None
 
1397
            if self._real_branch is not None:
 
1398
                if (not self._leave_lock and mode == 'w' and
 
1399
                    self._repo_lock_token):
 
1400
                    # If this RemoteBranch will remove the physical lock for the
 
1401
                    # repository, make sure the _real_branch doesn't do it
 
1402
                    # first.  (Because the _real_branch's repository is set to
 
1403
                    # be the RemoteRepository.)
 
1404
                    self._real_branch.repository.leave_lock_in_place()
 
1405
                self._real_branch.unlock()
 
1406
            if mode != 'w':
 
1407
                # Only write-locked branched need to make a remote method call
 
1408
                # to perfom the unlock.
 
1409
                return
 
1410
            if not self._lock_token:
 
1411
                raise AssertionError('Locked, but no token!')
 
1412
            branch_token = self._lock_token
 
1413
            repo_token = self._repo_lock_token
 
1414
            self._lock_token = None
 
1415
            self._repo_lock_token = None
 
1416
            if not self._leave_lock:
 
1417
                self._unlock(branch_token, repo_token)
 
1418
 
 
1419
    def break_lock(self):
 
1420
        self._ensure_real()
 
1421
        return self._real_branch.break_lock()
 
1422
 
 
1423
    def leave_lock_in_place(self):
 
1424
        if not self._lock_token:
 
1425
            raise NotImplementedError(self.leave_lock_in_place)
 
1426
        self._leave_lock = True
 
1427
 
 
1428
    def dont_leave_lock_in_place(self):
 
1429
        if not self._lock_token:
 
1430
            raise NotImplementedError(self.dont_leave_lock_in_place)
 
1431
        self._leave_lock = False
 
1432
 
 
1433
    def last_revision_info(self):
 
1434
        """See Branch.last_revision_info()."""
 
1435
        path = self.bzrdir._path_for_remote_call(self._client)
 
1436
        response = self._client.call('Branch.last_revision_info', path)
 
1437
        if response[0] != 'ok':
 
1438
            raise SmartProtocolError('unexpected response code %s' % (response,))
 
1439
        revno = int(response[1])
 
1440
        last_revision = response[2]
 
1441
        return (revno, last_revision)
 
1442
 
 
1443
    def _gen_revision_history(self):
 
1444
        """See Branch._gen_revision_history()."""
 
1445
        path = self.bzrdir._path_for_remote_call(self._client)
 
1446
        response_tuple, response_handler = self._client.call_expecting_body(
 
1447
            'Branch.revision_history', path)
 
1448
        if response_tuple[0] != 'ok':
 
1449
            raise UnexpectedSmartServerResponse(response_tuple)
 
1450
        result = response_handler.read_body_bytes().split('\x00')
 
1451
        if result == ['']:
 
1452
            return []
 
1453
        return result
 
1454
 
 
1455
    @needs_write_lock
 
1456
    def set_revision_history(self, rev_history):
 
1457
        # Send just the tip revision of the history; the server will generate
 
1458
        # the full history from that.  If the revision doesn't exist in this
 
1459
        # branch, NoSuchRevision will be raised.
 
1460
        path = self.bzrdir._path_for_remote_call(self._client)
 
1461
        if rev_history == []:
 
1462
            rev_id = 'null:'
 
1463
        else:
 
1464
            rev_id = rev_history[-1]
 
1465
        self._clear_cached_state()
 
1466
        try:
 
1467
            response = self._client.call('Branch.set_last_revision',
 
1468
                path, self._lock_token, self._repo_lock_token, rev_id)
 
1469
        except errors.ErrorFromSmartServer, err:
 
1470
            if err.error_verb == 'NoSuchRevision':
 
1471
                raise NoSuchRevision(self, rev_id)
 
1472
            raise
 
1473
        if response != ('ok',):
 
1474
            raise errors.UnexpectedSmartServerResponse(response)
 
1475
        self._cache_revision_history(rev_history)
 
1476
 
 
1477
    def get_parent(self):
 
1478
        self._ensure_real()
 
1479
        return self._real_branch.get_parent()
 
1480
        
 
1481
    def set_parent(self, url):
 
1482
        self._ensure_real()
 
1483
        return self._real_branch.set_parent(url)
 
1484
        
 
1485
    def sprout(self, to_bzrdir, revision_id=None):
 
1486
        # Like Branch.sprout, except that it sprouts a branch in the default
 
1487
        # format, because RemoteBranches can't be created at arbitrary URLs.
 
1488
        # XXX: if to_bzrdir is a RemoteBranch, this should perhaps do
 
1489
        # to_bzrdir.create_branch...
 
1490
        self._ensure_real()
 
1491
        result = self._real_branch._format.initialize(to_bzrdir)
 
1492
        self.copy_content_into(result, revision_id=revision_id)
 
1493
        result.set_parent(self.bzrdir.root_transport.base)
 
1494
        return result
 
1495
 
 
1496
    @needs_write_lock
 
1497
    def pull(self, source, overwrite=False, stop_revision=None,
 
1498
             **kwargs):
 
1499
        # FIXME: This asks the real branch to run the hooks, which means
 
1500
        # they're called with the wrong target branch parameter. 
 
1501
        # The test suite specifically allows this at present but it should be
 
1502
        # fixed.  It should get a _override_hook_target branch,
 
1503
        # as push does.  -- mbp 20070405
 
1504
        self._ensure_real()
 
1505
        self._real_branch.pull(
 
1506
            source, overwrite=overwrite, stop_revision=stop_revision,
 
1507
            **kwargs)
 
1508
 
 
1509
    @needs_read_lock
 
1510
    def push(self, target, overwrite=False, stop_revision=None):
 
1511
        self._ensure_real()
 
1512
        return self._real_branch.push(
 
1513
            target, overwrite=overwrite, stop_revision=stop_revision,
 
1514
            _override_hook_source_branch=self)
 
1515
 
 
1516
    def is_locked(self):
 
1517
        return self._lock_count >= 1
 
1518
 
 
1519
    @needs_write_lock
 
1520
    def set_last_revision_info(self, revno, revision_id):
 
1521
        revision_id = ensure_null(revision_id)
 
1522
        path = self.bzrdir._path_for_remote_call(self._client)
 
1523
        try:
 
1524
            response = self._client.call('Branch.set_last_revision_info',
 
1525
                path, self._lock_token, self._repo_lock_token, str(revno), revision_id)
 
1526
        except errors.UnknownSmartMethod:
 
1527
            self._ensure_real()
 
1528
            self._clear_cached_state()
 
1529
            return self._real_branch.set_last_revision_info(revno, revision_id)
 
1530
        except errors.ErrorFromSmartServer, err:
 
1531
            if err.error_verb == 'NoSuchRevision':
 
1532
                raise NoSuchRevision(self, err.error_args[0])
 
1533
            raise
 
1534
        if response == ('ok',):
 
1535
            self._clear_cached_state()
 
1536
        else:
 
1537
            raise errors.UnexpectedSmartServerResponse(response)
 
1538
 
 
1539
    def generate_revision_history(self, revision_id, last_rev=None,
 
1540
                                  other_branch=None):
 
1541
        self._ensure_real()
 
1542
        return self._real_branch.generate_revision_history(
 
1543
            revision_id, last_rev=last_rev, other_branch=other_branch)
 
1544
 
 
1545
    @property
 
1546
    def tags(self):
 
1547
        self._ensure_real()
 
1548
        return self._real_branch.tags
 
1549
 
 
1550
    def set_push_location(self, location):
 
1551
        self._ensure_real()
 
1552
        return self._real_branch.set_push_location(location)
 
1553
 
 
1554
    def update_revisions(self, other, stop_revision=None, overwrite=False):
 
1555
        self._ensure_real()
 
1556
        return self._real_branch.update_revisions(
 
1557
            other, stop_revision=stop_revision, overwrite=overwrite)
 
1558
 
 
1559
 
 
1560
def _extract_tar(tar, to_dir):
 
1561
    """Extract all the contents of a tarfile object.
 
1562
 
 
1563
    A replacement for extractall, which is not present in python2.4
 
1564
    """
 
1565
    for tarinfo in tar:
 
1566
        tar.extract(tarinfo, to_dir)