/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/remote.py

  • Committer: Aaron Bentley
  • Date: 2008-12-02 05:54:11 UTC
  • mto: This revision was merged to the branch mainline in revision 3893.
  • Revision ID: aaron@aaronbentley.com-20081202055411-89w3mu0uu6wrstoh
Add tests

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2006-2010 Canonical Ltd
 
1
# Copyright (C) 2006, 2007, 2008 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
# TODO: At some point, handle upgrades by just passing the whole request
 
18
# across to run on the server.
16
19
 
17
20
import bz2
18
21
 
19
22
from bzrlib import (
20
 
    bencode,
21
23
    branch,
22
 
    bzrdir,
23
 
    config,
24
24
    debug,
25
25
    errors,
26
26
    graph,
27
 
    lock,
28
27
    lockdir,
29
28
    repository,
30
 
    repository as _mod_repository,
31
29
    revision,
32
 
    revision as _mod_revision,
33
 
    static_tuple,
34
30
    symbol_versioning,
 
31
    urlutils,
35
32
)
36
 
from bzrlib.branch import BranchReferenceFormat, BranchWriteLockResult
 
33
from bzrlib.branch import BranchReferenceFormat
37
34
from bzrlib.bzrdir import BzrDir, RemoteBzrDirFormat
38
 
from bzrlib.decorators import needs_read_lock, needs_write_lock, only_raises
 
35
from bzrlib.decorators import needs_read_lock, needs_write_lock
39
36
from bzrlib.errors import (
40
37
    NoSuchRevision,
41
38
    SmartProtocolError,
42
39
    )
43
40
from bzrlib.lockable_files import LockableFiles
44
 
from bzrlib.smart import client, vfs, repository as smart_repo
 
41
from bzrlib.smart import client, vfs
45
42
from bzrlib.revision import ensure_null, NULL_REVISION
46
 
from bzrlib.repository import RepositoryWriteLockResult
47
43
from bzrlib.trace import mutter, note, warning
48
44
 
49
45
 
55
51
            return self._client.call(method, *args)
56
52
        except errors.ErrorFromSmartServer, err:
57
53
            self._translate_error(err, **err_context)
58
 
 
 
54
        
59
55
    def _call_expecting_body(self, method, *args, **err_context):
60
56
        try:
61
57
            return self._client.call_expecting_body(method, *args)
62
58
        except errors.ErrorFromSmartServer, err:
63
59
            self._translate_error(err, **err_context)
64
 
 
65
 
    def _call_with_body_bytes(self, method, args, body_bytes, **err_context):
66
 
        try:
67
 
            return self._client.call_with_body_bytes(method, args, body_bytes)
68
 
        except errors.ErrorFromSmartServer, err:
69
 
            self._translate_error(err, **err_context)
70
 
 
 
60
        
71
61
    def _call_with_body_bytes_expecting_body(self, method, args, body_bytes,
72
62
                                             **err_context):
73
63
        try:
75
65
                method, args, body_bytes)
76
66
        except errors.ErrorFromSmartServer, err:
77
67
            self._translate_error(err, **err_context)
78
 
 
79
 
 
80
 
def response_tuple_to_repo_format(response):
81
 
    """Convert a response tuple describing a repository format to a format."""
82
 
    format = RemoteRepositoryFormat()
83
 
    format._rich_root_data = (response[0] == 'yes')
84
 
    format._supports_tree_reference = (response[1] == 'yes')
85
 
    format._supports_external_lookups = (response[2] == 'yes')
86
 
    format._network_name = response[3]
87
 
    return format
88
 
 
89
 
 
 
68
        
90
69
# Note: RemoteBzrDirFormat is in bzrdir.py
91
70
 
92
71
class RemoteBzrDir(BzrDir, _RpcHelper):
93
72
    """Control directory on a remote server, accessed via bzr:// or similar."""
94
73
 
95
 
    def __init__(self, transport, format, _client=None, _force_probe=False):
 
74
    def __init__(self, transport, _client=None):
96
75
        """Construct a RemoteBzrDir.
97
76
 
98
77
        :param _client: Private parameter for testing. Disables probing and the
99
78
            use of a real bzrdir.
100
79
        """
101
 
        BzrDir.__init__(self, transport, format)
 
80
        BzrDir.__init__(self, transport, RemoteBzrDirFormat())
102
81
        # this object holds a delegated bzrdir that uses file-level operations
103
82
        # to talk to the other side
104
83
        self._real_bzrdir = None
105
 
        self._has_working_tree = None
106
 
        # 1-shot cache for the call pattern 'create_branch; open_branch' - see
107
 
        # create_branch for details.
108
 
        self._next_open_branch_result = None
109
84
 
110
85
        if _client is None:
111
86
            medium = transport.get_smart_medium()
112
87
            self._client = client._SmartClient(medium)
113
88
        else:
114
89
            self._client = _client
115
 
            if not _force_probe:
116
 
                return
117
 
 
118
 
        self._probe_bzrdir()
119
 
 
120
 
    def __repr__(self):
121
 
        return '%s(%r)' % (self.__class__.__name__, self._client)
122
 
 
123
 
    def _probe_bzrdir(self):
124
 
        medium = self._client._medium
 
90
            return
 
91
 
125
92
        path = self._path_for_remote_call(self._client)
126
 
        if medium._is_remote_before((2, 1)):
127
 
            self._rpc_open(path)
128
 
            return
129
 
        try:
130
 
            self._rpc_open_2_1(path)
131
 
            return
132
 
        except errors.UnknownSmartMethod:
133
 
            medium._remember_remote_is_before((2, 1))
134
 
            self._rpc_open(path)
135
 
 
136
 
    def _rpc_open_2_1(self, path):
137
 
        response = self._call('BzrDir.open_2.1', path)
138
 
        if response == ('no',):
139
 
            raise errors.NotBranchError(path=self.root_transport.base)
140
 
        elif response[0] == 'yes':
141
 
            if response[1] == 'yes':
142
 
                self._has_working_tree = True
143
 
            elif response[1] == 'no':
144
 
                self._has_working_tree = False
145
 
            else:
146
 
                raise errors.UnexpectedSmartServerResponse(response)
147
 
        else:
148
 
            raise errors.UnexpectedSmartServerResponse(response)
149
 
 
150
 
    def _rpc_open(self, path):
151
93
        response = self._call('BzrDir.open', path)
152
94
        if response not in [('yes',), ('no',)]:
153
95
            raise errors.UnexpectedSmartServerResponse(response)
154
96
        if response == ('no',):
155
 
            raise errors.NotBranchError(path=self.root_transport.base)
 
97
            raise errors.NotBranchError(path=transport.base)
156
98
 
157
99
    def _ensure_real(self):
158
100
        """Ensure that there is a _real_bzrdir set.
160
102
        Used before calls to self._real_bzrdir.
161
103
        """
162
104
        if not self._real_bzrdir:
163
 
            if 'hpssvfs' in debug.debug_flags:
164
 
                import traceback
165
 
                warning('VFS BzrDir access triggered\n%s',
166
 
                    ''.join(traceback.format_stack()))
167
105
            self._real_bzrdir = BzrDir.open_from_transport(
168
106
                self.root_transport, _server_formats=False)
169
 
            self._format._network_name = \
170
 
                self._real_bzrdir._format.network_name()
171
107
 
172
108
    def _translate_error(self, err, **context):
173
109
        _translate_error(err, bzrdir=self, **context)
174
110
 
175
 
    def break_lock(self):
176
 
        # Prevent aliasing problems in the next_open_branch_result cache.
177
 
        # See create_branch for rationale.
178
 
        self._next_open_branch_result = None
179
 
        return BzrDir.break_lock(self)
180
 
 
181
 
    def _vfs_cloning_metadir(self, require_stacking=False):
 
111
    def cloning_metadir(self, stacked=False):
182
112
        self._ensure_real()
183
 
        return self._real_bzrdir.cloning_metadir(
184
 
            require_stacking=require_stacking)
185
 
 
186
 
    def cloning_metadir(self, require_stacking=False):
187
 
        medium = self._client._medium
188
 
        if medium._is_remote_before((1, 13)):
189
 
            return self._vfs_cloning_metadir(require_stacking=require_stacking)
190
 
        verb = 'BzrDir.cloning_metadir'
191
 
        if require_stacking:
192
 
            stacking = 'True'
193
 
        else:
194
 
            stacking = 'False'
195
 
        path = self._path_for_remote_call(self._client)
196
 
        try:
197
 
            response = self._call(verb, path, stacking)
198
 
        except errors.UnknownSmartMethod:
199
 
            medium._remember_remote_is_before((1, 13))
200
 
            return self._vfs_cloning_metadir(require_stacking=require_stacking)
201
 
        except errors.UnknownErrorFromSmartServer, err:
202
 
            if err.error_tuple != ('BranchReference',):
203
 
                raise
204
 
            # We need to resolve the branch reference to determine the
205
 
            # cloning_metadir.  This causes unnecessary RPCs to open the
206
 
            # referenced branch (and bzrdir, etc) but only when the caller
207
 
            # didn't already resolve the branch reference.
208
 
            referenced_branch = self.open_branch()
209
 
            return referenced_branch.bzrdir.cloning_metadir()
210
 
        if len(response) != 3:
211
 
            raise errors.UnexpectedSmartServerResponse(response)
212
 
        control_name, repo_name, branch_info = response
213
 
        if len(branch_info) != 2:
214
 
            raise errors.UnexpectedSmartServerResponse(response)
215
 
        branch_ref, branch_name = branch_info
216
 
        format = bzrdir.network_format_registry.get(control_name)
217
 
        if repo_name:
218
 
            format.repository_format = repository.network_format_registry.get(
219
 
                repo_name)
220
 
        if branch_ref == 'ref':
221
 
            # XXX: we need possible_transports here to avoid reopening the
222
 
            # connection to the referenced location
223
 
            ref_bzrdir = BzrDir.open(branch_name)
224
 
            branch_format = ref_bzrdir.cloning_metadir().get_branch_format()
225
 
            format.set_branch_format(branch_format)
226
 
        elif branch_ref == 'branch':
227
 
            if branch_name:
228
 
                format.set_branch_format(
229
 
                    branch.network_format_registry.get(branch_name))
230
 
        else:
231
 
            raise errors.UnexpectedSmartServerResponse(response)
232
 
        return format
 
113
        return self._real_bzrdir.cloning_metadir(stacked)
233
114
 
234
115
    def create_repository(self, shared=False):
235
 
        # as per meta1 formats - just delegate to the format object which may
236
 
        # be parameterised.
237
 
        result = self._format.repository_format.initialize(self, shared)
238
 
        if not isinstance(result, RemoteRepository):
239
 
            return self.open_repository()
240
 
        else:
241
 
            return result
 
116
        self._ensure_real()
 
117
        self._real_bzrdir.create_repository(shared=shared)
 
118
        return self.open_repository()
242
119
 
243
120
    def destroy_repository(self):
244
121
        """See BzrDir.destroy_repository"""
245
122
        self._ensure_real()
246
123
        self._real_bzrdir.destroy_repository()
247
124
 
248
 
    def create_branch(self, name=None):
249
 
        # as per meta1 formats - just delegate to the format object which may
250
 
        # be parameterised.
251
 
        real_branch = self._format.get_branch_format().initialize(self,
252
 
            name=name)
253
 
        if not isinstance(real_branch, RemoteBranch):
254
 
            result = RemoteBranch(self, self.find_repository(), real_branch,
255
 
                                  name=name)
256
 
        else:
257
 
            result = real_branch
258
 
        # BzrDir.clone_on_transport() uses the result of create_branch but does
259
 
        # not return it to its callers; we save approximately 8% of our round
260
 
        # trips by handing the branch we created back to the first caller to
261
 
        # open_branch rather than probing anew. Long term we need a API in
262
 
        # bzrdir that doesn't discard result objects (like result_branch).
263
 
        # RBC 20090225
264
 
        self._next_open_branch_result = result
265
 
        return result
 
125
    def create_branch(self):
 
126
        self._ensure_real()
 
127
        real_branch = self._real_bzrdir.create_branch()
 
128
        return RemoteBranch(self, self.find_repository(), real_branch)
266
129
 
267
 
    def destroy_branch(self, name=None):
 
130
    def destroy_branch(self):
268
131
        """See BzrDir.destroy_branch"""
269
132
        self._ensure_real()
270
 
        self._real_bzrdir.destroy_branch(name=name)
271
 
        self._next_open_branch_result = None
 
133
        self._real_bzrdir.destroy_branch()
272
134
 
273
135
    def create_workingtree(self, revision_id=None, from_branch=None):
274
136
        raise errors.NotLocalUrl(self.transport.base)
283
145
 
284
146
    def get_branch_reference(self):
285
147
        """See BzrDir.get_branch_reference()."""
286
 
        response = self._get_branch_reference()
287
 
        if response[0] == 'ref':
288
 
            return response[1]
 
148
        path = self._path_for_remote_call(self._client)
 
149
        response = self._call('BzrDir.open_branch', path)
 
150
        if response[0] == 'ok':
 
151
            if response[1] == '':
 
152
                # branch at this location.
 
153
                return None
 
154
            else:
 
155
                # a branch reference, use the existing BranchReference logic.
 
156
                return response[1]
289
157
        else:
290
 
            return None
291
 
 
292
 
    def _get_branch_reference(self):
293
 
        path = self._path_for_remote_call(self._client)
294
 
        medium = self._client._medium
295
 
        candidate_calls = [
296
 
            ('BzrDir.open_branchV3', (2, 1)),
297
 
            ('BzrDir.open_branchV2', (1, 13)),
298
 
            ('BzrDir.open_branch', None),
299
 
            ]
300
 
        for verb, required_version in candidate_calls:
301
 
            if required_version and medium._is_remote_before(required_version):
302
 
                continue
303
 
            try:
304
 
                response = self._call(verb, path)
305
 
            except errors.UnknownSmartMethod:
306
 
                if required_version is None:
307
 
                    raise
308
 
                medium._remember_remote_is_before(required_version)
309
 
            else:
310
 
                break
311
 
        if verb == 'BzrDir.open_branch':
312
 
            if response[0] != 'ok':
313
 
                raise errors.UnexpectedSmartServerResponse(response)
314
 
            if response[1] != '':
315
 
                return ('ref', response[1])
316
 
            else:
317
 
                return ('branch', '')
318
 
        if response[0] not in ('ref', 'branch'):
319
158
            raise errors.UnexpectedSmartServerResponse(response)
320
 
        return response
321
159
 
322
160
    def _get_tree_branch(self):
323
161
        """See BzrDir._get_tree_branch()."""
324
162
        return None, self.open_branch()
325
163
 
326
 
    def open_branch(self, name=None, unsupported=False,
327
 
                    ignore_fallbacks=False):
328
 
        if unsupported:
 
164
    def open_branch(self, _unsupported=False):
 
165
        if _unsupported:
329
166
            raise NotImplementedError('unsupported flag support not implemented yet.')
330
 
        if self._next_open_branch_result is not None:
331
 
            # See create_branch for details.
332
 
            result = self._next_open_branch_result
333
 
            self._next_open_branch_result = None
334
 
            return result
335
 
        response = self._get_branch_reference()
336
 
        if response[0] == 'ref':
 
167
        reference_url = self.get_branch_reference()
 
168
        if reference_url is None:
 
169
            # branch at this location.
 
170
            return RemoteBranch(self, self.find_repository())
 
171
        else:
337
172
            # a branch reference, use the existing BranchReference logic.
338
173
            format = BranchReferenceFormat()
339
 
            return format.open(self, name=name, _found=True,
340
 
                location=response[1], ignore_fallbacks=ignore_fallbacks)
341
 
        branch_format_name = response[1]
342
 
        if not branch_format_name:
343
 
            branch_format_name = None
344
 
        format = RemoteBranchFormat(network_name=branch_format_name)
345
 
        return RemoteBranch(self, self.find_repository(), format=format,
346
 
            setup_stacking=not ignore_fallbacks, name=name)
347
 
 
348
 
    def _open_repo_v1(self, path):
349
 
        verb = 'BzrDir.find_repository'
350
 
        response = self._call(verb, path)
351
 
        if response[0] != 'ok':
352
 
            raise errors.UnexpectedSmartServerResponse(response)
353
 
        # servers that only support the v1 method don't support external
354
 
        # references either.
355
 
        self._ensure_real()
356
 
        repo = self._real_bzrdir.open_repository()
357
 
        response = response + ('no', repo._format.network_name())
358
 
        return response, repo
359
 
 
360
 
    def _open_repo_v2(self, path):
 
174
            return format.open(self, _found=True, location=reference_url)
 
175
                
 
176
    def open_repository(self):
 
177
        path = self._path_for_remote_call(self._client)
361
178
        verb = 'BzrDir.find_repositoryV2'
362
 
        response = self._call(verb, path)
363
 
        if response[0] != 'ok':
364
 
            raise errors.UnexpectedSmartServerResponse(response)
365
 
        self._ensure_real()
366
 
        repo = self._real_bzrdir.open_repository()
367
 
        response = response + (repo._format.network_name(),)
368
 
        return response, repo
369
 
 
370
 
    def _open_repo_v3(self, path):
371
 
        verb = 'BzrDir.find_repositoryV3'
372
 
        medium = self._client._medium
373
 
        if medium._is_remote_before((1, 13)):
374
 
            raise errors.UnknownSmartMethod(verb)
375
179
        try:
376
180
            response = self._call(verb, path)
377
181
        except errors.UnknownSmartMethod:
378
 
            medium._remember_remote_is_before((1, 13))
379
 
            raise
380
 
        if response[0] != 'ok':
381
 
            raise errors.UnexpectedSmartServerResponse(response)
382
 
        return response, None
383
 
 
384
 
    def open_repository(self):
385
 
        path = self._path_for_remote_call(self._client)
386
 
        response = None
387
 
        for probe in [self._open_repo_v3, self._open_repo_v2,
388
 
            self._open_repo_v1]:
389
 
            try:
390
 
                response, real_repo = probe(path)
391
 
                break
392
 
            except errors.UnknownSmartMethod:
393
 
                pass
394
 
        if response is None:
395
 
            raise errors.UnknownSmartMethod('BzrDir.find_repository{3,2,}')
396
 
        if response[0] != 'ok':
397
 
            raise errors.UnexpectedSmartServerResponse(response)
398
 
        if len(response) != 6:
 
182
            verb = 'BzrDir.find_repository'
 
183
            response = self._call(verb, path)
 
184
        if response[0] != 'ok':
 
185
            raise errors.UnexpectedSmartServerResponse(response)
 
186
        if verb == 'BzrDir.find_repository':
 
187
            # servers that don't support the V2 method don't support external
 
188
            # references either.
 
189
            response = response + ('no', )
 
190
        if not (len(response) == 5):
399
191
            raise SmartProtocolError('incorrect response length %s' % (response,))
400
192
        if response[1] == '':
401
 
            # repo is at this dir.
402
 
            format = response_tuple_to_repo_format(response[2:])
 
193
            format = RemoteRepositoryFormat()
 
194
            format.rich_root_data = (response[2] == 'yes')
 
195
            format.supports_tree_reference = (response[3] == 'yes')
 
196
            # No wire format to check this yet.
 
197
            format.supports_external_lookups = (response[4] == 'yes')
403
198
            # Used to support creating a real format instance when needed.
404
199
            format._creating_bzrdir = self
405
 
            remote_repo = RemoteRepository(self, format)
406
 
            format._creating_repo = remote_repo
407
 
            if real_repo is not None:
408
 
                remote_repo._set_real_repository(real_repo)
409
 
            return remote_repo
 
200
            return RemoteRepository(self, format)
410
201
        else:
411
202
            raise errors.NoRepositoryPresent(self)
412
203
 
413
 
    def has_workingtree(self):
414
 
        if self._has_working_tree is None:
415
 
            self._ensure_real()
416
 
            self._has_working_tree = self._real_bzrdir.has_workingtree()
417
 
        return self._has_working_tree
418
 
 
419
204
    def open_workingtree(self, recommend_upgrade=True):
420
 
        if self.has_workingtree():
 
205
        self._ensure_real()
 
206
        if self._real_bzrdir.has_workingtree():
421
207
            raise errors.NotLocalUrl(self.root_transport)
422
208
        else:
423
209
            raise errors.NoWorkingTree(self.root_transport.base)
426
212
        """Return the path to be used for this bzrdir in a remote call."""
427
213
        return client.remote_path_from_transport(self.root_transport)
428
214
 
429
 
    def get_branch_transport(self, branch_format, name=None):
 
215
    def get_branch_transport(self, branch_format):
430
216
        self._ensure_real()
431
 
        return self._real_bzrdir.get_branch_transport(branch_format, name=name)
 
217
        return self._real_bzrdir.get_branch_transport(branch_format)
432
218
 
433
219
    def get_repository_transport(self, repository_format):
434
220
        self._ensure_real()
444
230
 
445
231
    def needs_format_conversion(self, format=None):
446
232
        """Upgrading of remote bzrdirs is not supported yet."""
447
 
        if format is None:
448
 
            symbol_versioning.warn(symbol_versioning.deprecated_in((1, 13, 0))
449
 
                % 'needs_format_conversion(format=None)')
450
233
        return False
451
234
 
452
235
    def clone(self, url, revision_id=None, force_new_repo=False,
455
238
        return self._real_bzrdir.clone(url, revision_id=revision_id,
456
239
            force_new_repo=force_new_repo, preserve_stacking=preserve_stacking)
457
240
 
458
 
    def _get_config(self):
459
 
        return RemoteBzrDirConfig(self)
 
241
    def get_config(self):
 
242
        self._ensure_real()
 
243
        return self._real_bzrdir.get_config()
460
244
 
461
245
 
462
246
class RemoteRepositoryFormat(repository.RepositoryFormat):
470
254
    the attributes rich_root_data and supports_tree_reference are set
471
255
    on a per instance basis, and are not set (and should not be) at
472
256
    the class level.
473
 
 
474
 
    :ivar _custom_format: If set, a specific concrete repository format that
475
 
        will be used when initializing a repository with this
476
 
        RemoteRepositoryFormat.
477
 
    :ivar _creating_repo: If set, the repository object that this
478
 
        RemoteRepositoryFormat was created for: it can be called into
479
 
        to obtain data like the network name.
480
257
    """
481
258
 
482
259
    _matchingbzrdir = RemoteBzrDirFormat()
483
260
 
484
 
    def __init__(self):
485
 
        repository.RepositoryFormat.__init__(self)
486
 
        self._custom_format = None
487
 
        self._network_name = None
488
 
        self._creating_bzrdir = None
489
 
        self._supports_chks = None
490
 
        self._supports_external_lookups = None
491
 
        self._supports_tree_reference = None
492
 
        self._rich_root_data = None
493
 
 
494
 
    def __repr__(self):
495
 
        return "%s(_network_name=%r)" % (self.__class__.__name__,
496
 
            self._network_name)
497
 
 
498
 
    @property
499
 
    def fast_deltas(self):
500
 
        self._ensure_real()
501
 
        return self._custom_format.fast_deltas
502
 
 
503
 
    @property
504
 
    def rich_root_data(self):
505
 
        if self._rich_root_data is None:
506
 
            self._ensure_real()
507
 
            self._rich_root_data = self._custom_format.rich_root_data
508
 
        return self._rich_root_data
509
 
 
510
 
    @property
511
 
    def supports_chks(self):
512
 
        if self._supports_chks is None:
513
 
            self._ensure_real()
514
 
            self._supports_chks = self._custom_format.supports_chks
515
 
        return self._supports_chks
516
 
 
517
 
    @property
518
 
    def supports_external_lookups(self):
519
 
        if self._supports_external_lookups is None:
520
 
            self._ensure_real()
521
 
            self._supports_external_lookups = \
522
 
                self._custom_format.supports_external_lookups
523
 
        return self._supports_external_lookups
524
 
 
525
 
    @property
526
 
    def supports_tree_reference(self):
527
 
        if self._supports_tree_reference is None:
528
 
            self._ensure_real()
529
 
            self._supports_tree_reference = \
530
 
                self._custom_format.supports_tree_reference
531
 
        return self._supports_tree_reference
532
 
 
533
 
    def _vfs_initialize(self, a_bzrdir, shared):
534
 
        """Helper for common code in initialize."""
535
 
        if self._custom_format:
536
 
            # Custom format requested
537
 
            result = self._custom_format.initialize(a_bzrdir, shared=shared)
538
 
        elif self._creating_bzrdir is not None:
539
 
            # Use the format that the repository we were created to back
540
 
            # has.
 
261
    def initialize(self, a_bzrdir, shared=False):
 
262
        if not isinstance(a_bzrdir, RemoteBzrDir):
541
263
            prior_repo = self._creating_bzrdir.open_repository()
542
264
            prior_repo._ensure_real()
543
 
            result = prior_repo._real_repository._format.initialize(
 
265
            return prior_repo._real_repository._format.initialize(
544
266
                a_bzrdir, shared=shared)
545
 
        else:
546
 
            # assume that a_bzr is a RemoteBzrDir but the smart server didn't
547
 
            # support remote initialization.
548
 
            # We delegate to a real object at this point (as RemoteBzrDir
549
 
            # delegate to the repository format which would lead to infinite
550
 
            # recursion if we just called a_bzrdir.create_repository.
551
 
            a_bzrdir._ensure_real()
552
 
            result = a_bzrdir._real_bzrdir.create_repository(shared=shared)
553
 
        if not isinstance(result, RemoteRepository):
554
 
            return self.open(a_bzrdir)
555
 
        else:
556
 
            return result
557
 
 
558
 
    def initialize(self, a_bzrdir, shared=False):
559
 
        # Being asked to create on a non RemoteBzrDir:
560
 
        if not isinstance(a_bzrdir, RemoteBzrDir):
561
 
            return self._vfs_initialize(a_bzrdir, shared)
562
 
        medium = a_bzrdir._client._medium
563
 
        if medium._is_remote_before((1, 13)):
564
 
            return self._vfs_initialize(a_bzrdir, shared)
565
 
        # Creating on a remote bzr dir.
566
 
        # 1) get the network name to use.
567
 
        if self._custom_format:
568
 
            network_name = self._custom_format.network_name()
569
 
        elif self._network_name:
570
 
            network_name = self._network_name
571
 
        else:
572
 
            # Select the current bzrlib default and ask for that.
573
 
            reference_bzrdir_format = bzrdir.format_registry.get('default')()
574
 
            reference_format = reference_bzrdir_format.repository_format
575
 
            network_name = reference_format.network_name()
576
 
        # 2) try direct creation via RPC
577
 
        path = a_bzrdir._path_for_remote_call(a_bzrdir._client)
578
 
        verb = 'BzrDir.create_repository'
579
 
        if shared:
580
 
            shared_str = 'True'
581
 
        else:
582
 
            shared_str = 'False'
583
 
        try:
584
 
            response = a_bzrdir._call(verb, path, network_name, shared_str)
585
 
        except errors.UnknownSmartMethod:
586
 
            # Fallback - use vfs methods
587
 
            medium._remember_remote_is_before((1, 13))
588
 
            return self._vfs_initialize(a_bzrdir, shared)
589
 
        else:
590
 
            # Turn the response into a RemoteRepository object.
591
 
            format = response_tuple_to_repo_format(response[1:])
592
 
            # Used to support creating a real format instance when needed.
593
 
            format._creating_bzrdir = a_bzrdir
594
 
            remote_repo = RemoteRepository(a_bzrdir, format)
595
 
            format._creating_repo = remote_repo
596
 
            return remote_repo
597
 
 
 
267
        return a_bzrdir.create_repository(shared=shared)
 
268
    
598
269
    def open(self, a_bzrdir):
599
270
        if not isinstance(a_bzrdir, RemoteBzrDir):
600
271
            raise AssertionError('%r is not a RemoteBzrDir' % (a_bzrdir,))
601
272
        return a_bzrdir.open_repository()
602
273
 
603
 
    def _ensure_real(self):
604
 
        if self._custom_format is None:
605
 
            self._custom_format = repository.network_format_registry.get(
606
 
                self._network_name)
607
 
 
608
 
    @property
609
 
    def _fetch_order(self):
610
 
        self._ensure_real()
611
 
        return self._custom_format._fetch_order
612
 
 
613
 
    @property
614
 
    def _fetch_uses_deltas(self):
615
 
        self._ensure_real()
616
 
        return self._custom_format._fetch_uses_deltas
617
 
 
618
 
    @property
619
 
    def _fetch_reconcile(self):
620
 
        self._ensure_real()
621
 
        return self._custom_format._fetch_reconcile
622
 
 
623
274
    def get_format_description(self):
624
 
        self._ensure_real()
625
 
        return 'Remote: ' + self._custom_format.get_format_description()
 
275
        return 'bzr remote repository'
626
276
 
627
277
    def __eq__(self, other):
628
 
        return self.__class__ is other.__class__
629
 
 
630
 
    def network_name(self):
631
 
        if self._network_name:
632
 
            return self._network_name
633
 
        self._creating_repo._ensure_real()
634
 
        return self._creating_repo._real_repository._format.network_name()
635
 
 
636
 
    @property
637
 
    def pack_compresses(self):
638
 
        self._ensure_real()
639
 
        return self._custom_format.pack_compresses
640
 
 
641
 
    @property
642
 
    def _serializer(self):
643
 
        self._ensure_real()
644
 
        return self._custom_format._serializer
645
 
 
646
 
 
647
 
class RemoteRepository(_RpcHelper, lock._RelockDebugMixin,
648
 
    bzrdir.ControlComponent):
 
278
        return self.__class__ == other.__class__
 
279
 
 
280
    def check_conversion_target(self, target_format):
 
281
        if self.rich_root_data and not target_format.rich_root_data:
 
282
            raise errors.BadConversionTarget(
 
283
                'Does not support rich root data.', target_format)
 
284
        if (self.supports_tree_reference and
 
285
            not getattr(target_format, 'supports_tree_reference', False)):
 
286
            raise errors.BadConversionTarget(
 
287
                'Does not support nested trees', target_format)
 
288
 
 
289
 
 
290
class _UnstackedParentsProvider(object):
 
291
    """ParentsProvider for RemoteRepository that ignores stacking."""
 
292
 
 
293
    def __init__(self, remote_repository):
 
294
        self._remote_repository = remote_repository
 
295
 
 
296
    def get_parent_map(self, revision_ids):
 
297
        """See RemoteRepository.get_parent_map."""
 
298
        return self._remote_repository._get_parent_map(revision_ids)
 
299
 
 
300
 
 
301
class RemoteRepository(_RpcHelper):
649
302
    """Repository accessed over rpc.
650
303
 
651
304
    For the moment most operations are performed using local transport-backed
654
307
 
655
308
    def __init__(self, remote_bzrdir, format, real_repository=None, _client=None):
656
309
        """Create a RemoteRepository instance.
657
 
 
 
310
        
658
311
        :param remote_bzrdir: The bzrdir hosting this repository.
659
312
        :param format: The RemoteFormat object to use.
660
313
        :param real_repository: If not None, a local implementation of the
677
330
        self._lock_token = None
678
331
        self._lock_count = 0
679
332
        self._leave_lock = False
680
 
        # Cache of revision parents; misses are cached during read locks, and
681
 
        # write locks when no _real_repository has been set.
682
 
        self._unstacked_provider = graph.CachingParentsProvider(
683
 
            get_parent_map=self._get_parent_map_rpc)
684
 
        self._unstacked_provider.disable_cache()
 
333
        # A cache of looked up revision parent data; reset at unlock time.
 
334
        self._parents_map = None
 
335
        if 'hpss' in debug.debug_flags:
 
336
            self._requested_parents = None
685
337
        # For tests:
686
338
        # These depend on the actual remote format, so force them off for
687
339
        # maximum compatibility. XXX: In future these should depend on the
694
346
        # Additional places to query for data.
695
347
        self._fallback_repositories = []
696
348
 
697
 
    @property
698
 
    def user_transport(self):
699
 
        return self.bzrdir.user_transport
700
 
 
701
 
    @property
702
 
    def control_transport(self):
703
 
        # XXX: Normally you shouldn't directly get at the remote repository
704
 
        # transport, but I'm not sure it's worth making this method
705
 
        # optional -- mbp 2010-04-21
706
 
        return self.bzrdir.get_repository_transport(None)
707
 
        
708
349
    def __str__(self):
709
350
        return "%s(%s)" % (self.__class__.__name__, self.base)
710
351
 
712
353
 
713
354
    def abort_write_group(self, suppress_errors=False):
714
355
        """Complete a write group on the decorated repository.
715
 
 
716
 
        Smart methods perform operations in a single step so this API
 
356
        
 
357
        Smart methods peform operations in a single step so this api
717
358
        is not really applicable except as a compatibility thunk
718
359
        for older plugins that don't use e.g. the CommitBuilder
719
360
        facility.
724
365
        return self._real_repository.abort_write_group(
725
366
            suppress_errors=suppress_errors)
726
367
 
727
 
    @property
728
 
    def chk_bytes(self):
729
 
        """Decorate the real repository for now.
730
 
 
731
 
        In the long term a full blown network facility is needed to avoid
732
 
        creating a real repository object locally.
733
 
        """
734
 
        self._ensure_real()
735
 
        return self._real_repository.chk_bytes
736
 
 
737
368
    def commit_write_group(self):
738
369
        """Complete a write group on the decorated repository.
739
 
 
740
 
        Smart methods perform operations in a single step so this API
 
370
        
 
371
        Smart methods peform operations in a single step so this api
741
372
        is not really applicable except as a compatibility thunk
742
373
        for older plugins that don't use e.g. the CommitBuilder
743
374
        facility.
745
376
        self._ensure_real()
746
377
        return self._real_repository.commit_write_group()
747
378
 
748
 
    def resume_write_group(self, tokens):
749
 
        self._ensure_real()
750
 
        return self._real_repository.resume_write_group(tokens)
751
 
 
752
 
    def suspend_write_group(self):
753
 
        self._ensure_real()
754
 
        return self._real_repository.suspend_write_group()
755
 
 
756
 
    def get_missing_parent_inventories(self, check_for_missing_texts=True):
757
 
        self._ensure_real()
758
 
        return self._real_repository.get_missing_parent_inventories(
759
 
            check_for_missing_texts=check_for_missing_texts)
760
 
 
761
 
    def _get_rev_id_for_revno_vfs(self, revno, known_pair):
762
 
        self._ensure_real()
763
 
        return self._real_repository.get_rev_id_for_revno(
764
 
            revno, known_pair)
765
 
 
766
 
    def get_rev_id_for_revno(self, revno, known_pair):
767
 
        """See Repository.get_rev_id_for_revno."""
768
 
        path = self.bzrdir._path_for_remote_call(self._client)
769
 
        try:
770
 
            if self._client._medium._is_remote_before((1, 17)):
771
 
                return self._get_rev_id_for_revno_vfs(revno, known_pair)
772
 
            response = self._call(
773
 
                'Repository.get_rev_id_for_revno', path, revno, known_pair)
774
 
        except errors.UnknownSmartMethod:
775
 
            self._client._medium._remember_remote_is_before((1, 17))
776
 
            return self._get_rev_id_for_revno_vfs(revno, known_pair)
777
 
        if response[0] == 'ok':
778
 
            return True, response[1]
779
 
        elif response[0] == 'history-incomplete':
780
 
            known_pair = response[1:3]
781
 
            for fallback in self._fallback_repositories:
782
 
                found, result = fallback.get_rev_id_for_revno(revno, known_pair)
783
 
                if found:
784
 
                    return True, result
785
 
                else:
786
 
                    known_pair = result
787
 
            # Not found in any fallbacks
788
 
            return False, known_pair
789
 
        else:
790
 
            raise errors.UnexpectedSmartServerResponse(response)
791
 
 
792
379
    def _ensure_real(self):
793
380
        """Ensure that there is a _real_repository set.
794
381
 
795
382
        Used before calls to self._real_repository.
796
 
 
797
 
        Note that _ensure_real causes many roundtrips to the server which are
798
 
        not desirable, and prevents the use of smart one-roundtrip RPC's to
799
 
        perform complex operations (such as accessing parent data, streaming
800
 
        revisions etc). Adding calls to _ensure_real should only be done when
801
 
        bringing up new functionality, adding fallbacks for smart methods that
802
 
        require a fallback path, and never to replace an existing smart method
803
 
        invocation. If in doubt chat to the bzr network team.
804
383
        """
805
384
        if self._real_repository is None:
806
 
            if 'hpssvfs' in debug.debug_flags:
807
 
                import traceback
808
 
                warning('VFS Repository access triggered\n%s',
809
 
                    ''.join(traceback.format_stack()))
810
 
            self._unstacked_provider.missing_keys.clear()
811
385
            self.bzrdir._ensure_real()
812
386
            self._set_real_repository(
813
387
                self.bzrdir._real_bzrdir.open_repository())
840
414
        self._ensure_real()
841
415
        return self._real_repository._generate_text_key_index()
842
416
 
 
417
    @symbol_versioning.deprecated_method(symbol_versioning.one_four)
 
418
    def get_revision_graph(self, revision_id=None):
 
419
        """See Repository.get_revision_graph()."""
 
420
        return self._get_revision_graph(revision_id)
 
421
 
843
422
    def _get_revision_graph(self, revision_id):
844
423
        """Private method for using with old (< 1.2) servers to fallback."""
845
424
        if revision_id is None:
862
441
        for line in lines:
863
442
            d = tuple(line.split())
864
443
            revision_graph[d[0]] = d[1:]
865
 
 
 
444
            
866
445
        return revision_graph
867
446
 
868
 
    def _get_sink(self):
869
 
        """See Repository._get_sink()."""
870
 
        return RemoteStreamSink(self)
871
 
 
872
 
    def _get_source(self, to_format):
873
 
        """Return a source for streaming from this repository."""
874
 
        return RemoteStreamSource(self, to_format)
875
 
 
876
 
    @needs_read_lock
877
447
    def has_revision(self, revision_id):
878
 
        """True if this repository has a copy of the revision."""
879
 
        # Copy of bzrlib.repository.Repository.has_revision
880
 
        return revision_id in self.has_revisions((revision_id,))
 
448
        """See Repository.has_revision()."""
 
449
        if revision_id == NULL_REVISION:
 
450
            # The null revision is always present.
 
451
            return True
 
452
        path = self.bzrdir._path_for_remote_call(self._client)
 
453
        response = self._call('Repository.has_revision', path, revision_id)
 
454
        if response[0] not in ('yes', 'no'):
 
455
            raise errors.UnexpectedSmartServerResponse(response)
 
456
        if response[0] == 'yes':
 
457
            return True
 
458
        for fallback_repo in self._fallback_repositories:
 
459
            if fallback_repo.has_revision(revision_id):
 
460
                return True
 
461
        return False
881
462
 
882
 
    @needs_read_lock
883
463
    def has_revisions(self, revision_ids):
884
 
        """Probe to find out the presence of multiple revisions.
885
 
 
886
 
        :param revision_ids: An iterable of revision_ids.
887
 
        :return: A set of the revision_ids that were present.
888
 
        """
889
 
        # Copy of bzrlib.repository.Repository.has_revisions
890
 
        parent_map = self.get_parent_map(revision_ids)
891
 
        result = set(parent_map)
892
 
        if _mod_revision.NULL_REVISION in revision_ids:
893
 
            result.add(_mod_revision.NULL_REVISION)
 
464
        """See Repository.has_revisions()."""
 
465
        # FIXME: This does many roundtrips, particularly when there are
 
466
        # fallback repositories.  -- mbp 20080905
 
467
        result = set()
 
468
        for revision_id in revision_ids:
 
469
            if self.has_revision(revision_id):
 
470
                result.add(revision_id)
894
471
        return result
895
472
 
896
 
    def _has_same_fallbacks(self, other_repo):
897
 
        """Returns true if the repositories have the same fallbacks."""
898
 
        # XXX: copied from Repository; it should be unified into a base class
899
 
        # <https://bugs.edge.launchpad.net/bzr/+bug/401622>
900
 
        my_fb = self._fallback_repositories
901
 
        other_fb = other_repo._fallback_repositories
902
 
        if len(my_fb) != len(other_fb):
903
 
            return False
904
 
        for f, g in zip(my_fb, other_fb):
905
 
            if not f.has_same_location(g):
906
 
                return False
907
 
        return True
908
 
 
909
473
    def has_same_location(self, other):
910
 
        # TODO: Move to RepositoryBase and unify with the regular Repository
911
 
        # one; unfortunately the tests rely on slightly different behaviour at
912
 
        # present -- mbp 20090710
913
 
        return (self.__class__ is other.__class__ and
 
474
        return (self.__class__ == other.__class__ and
914
475
                self.bzrdir.transport.base == other.bzrdir.transport.base)
915
476
 
916
477
    def get_graph(self, other_repository=None):
917
478
        """Return the graph for this repository format"""
918
 
        parents_provider = self._make_parents_provider(other_repository)
 
479
        parents_provider = self._make_parents_provider()
 
480
        if (other_repository is not None and
 
481
            other_repository.bzrdir.transport.base !=
 
482
            self.bzrdir.transport.base):
 
483
            parents_provider = graph._StackedParentsProvider(
 
484
                [parents_provider, other_repository._make_parents_provider()])
919
485
        return graph.Graph(parents_provider)
920
486
 
921
 
    @needs_read_lock
922
 
    def get_known_graph_ancestry(self, revision_ids):
923
 
        """Return the known graph for a set of revision ids and their ancestors.
924
 
        """
925
 
        st = static_tuple.StaticTuple
926
 
        revision_keys = [st(r_id).intern() for r_id in revision_ids]
927
 
        known_graph = self.revisions.get_known_graph_ancestry(revision_keys)
928
 
        return graph.GraphThunkIdsToKeys(known_graph)
929
 
 
930
487
    def gather_stats(self, revid=None, committers=None):
931
488
        """See Repository.gather_stats()."""
932
489
        path = self.bzrdir._path_for_remote_call(self._client)
992
549
    def is_write_locked(self):
993
550
        return self._lock_mode == 'w'
994
551
 
995
 
    def _warn_if_deprecated(self, branch=None):
996
 
        # If we have a real repository, the check will be done there, if we
997
 
        # don't the check will be done remotely.
998
 
        pass
999
 
 
1000
552
    def lock_read(self):
1001
 
        """Lock the repository for read operations.
1002
 
 
1003
 
        :return: An object with an unlock method which will release the lock
1004
 
            obtained.
1005
 
        """
1006
553
        # wrong eventually - want a local lock cache context
1007
554
        if not self._lock_mode:
1008
 
            self._note_lock('r')
1009
555
            self._lock_mode = 'r'
1010
556
            self._lock_count = 1
1011
 
            self._unstacked_provider.enable_cache(cache_misses=True)
 
557
            self._parents_map = {}
 
558
            if 'hpss' in debug.debug_flags:
 
559
                self._requested_parents = set()
1012
560
            if self._real_repository is not None:
1013
561
                self._real_repository.lock_read()
1014
 
            for repo in self._fallback_repositories:
1015
 
                repo.lock_read()
1016
562
        else:
1017
563
            self._lock_count += 1
1018
 
        return self
1019
564
 
1020
565
    def _remote_lock_write(self, token):
1021
566
        path = self.bzrdir._path_for_remote_call(self._client)
1032
577
 
1033
578
    def lock_write(self, token=None, _skip_rpc=False):
1034
579
        if not self._lock_mode:
1035
 
            self._note_lock('w')
1036
580
            if _skip_rpc:
1037
581
                if self._lock_token is not None:
1038
582
                    if token != self._lock_token:
1052
596
                self._leave_lock = False
1053
597
            self._lock_mode = 'w'
1054
598
            self._lock_count = 1
1055
 
            cache_misses = self._real_repository is None
1056
 
            self._unstacked_provider.enable_cache(cache_misses=cache_misses)
1057
 
            for repo in self._fallback_repositories:
1058
 
                # Writes don't affect fallback repos
1059
 
                repo.lock_read()
 
599
            self._parents_map = {}
 
600
            if 'hpss' in debug.debug_flags:
 
601
                self._requested_parents = set()
1060
602
        elif self._lock_mode == 'r':
1061
603
            raise errors.ReadOnlyError(self)
1062
604
        else:
1063
605
            self._lock_count += 1
1064
 
        return RepositoryWriteLockResult(self.unlock, self._lock_token or None)
 
606
        return self._lock_token or None
1065
607
 
1066
608
    def leave_lock_in_place(self):
1067
609
        if not self._lock_token:
1080
622
            implemented operations.
1081
623
        """
1082
624
        if self._real_repository is not None:
1083
 
            # Replacing an already set real repository.
1084
 
            # We cannot do this [currently] if the repository is locked -
1085
 
            # synchronised state might be lost.
1086
 
            if self.is_locked():
1087
 
                raise AssertionError('_real_repository is already set')
 
625
            raise AssertionError('_real_repository is already set')
1088
626
        if isinstance(repository, RemoteRepository):
1089
627
            raise AssertionError()
1090
628
        self._real_repository = repository
1091
 
        # three code paths happen here:
1092
 
        # 1) old servers, RemoteBranch.open() calls _ensure_real before setting
1093
 
        # up stacking. In this case self._fallback_repositories is [], and the
1094
 
        # real repo is already setup. Preserve the real repo and
1095
 
        # RemoteRepository.add_fallback_repository will avoid adding
1096
 
        # duplicates.
1097
 
        # 2) new servers, RemoteBranch.open() sets up stacking, and when
1098
 
        # ensure_real is triggered from a branch, the real repository to
1099
 
        # set already has a matching list with separate instances, but
1100
 
        # as they are also RemoteRepositories we don't worry about making the
1101
 
        # lists be identical.
1102
 
        # 3) new servers, RemoteRepository.ensure_real is triggered before
1103
 
        # RemoteBranch.ensure real, in this case we get a repo with no fallbacks
1104
 
        # and need to populate it.
1105
 
        if (self._fallback_repositories and
1106
 
            len(self._real_repository._fallback_repositories) !=
1107
 
            len(self._fallback_repositories)):
1108
 
            if len(self._real_repository._fallback_repositories):
1109
 
                raise AssertionError(
1110
 
                    "cannot cleanly remove existing _fallback_repositories")
1111
629
        for fb in self._fallback_repositories:
1112
630
            self._real_repository.add_fallback_repository(fb)
1113
631
        if self._lock_mode == 'w':
1119
637
 
1120
638
    def start_write_group(self):
1121
639
        """Start a write group on the decorated repository.
1122
 
 
1123
 
        Smart methods perform operations in a single step so this API
 
640
        
 
641
        Smart methods peform operations in a single step so this api
1124
642
        is not really applicable except as a compatibility thunk
1125
643
        for older plugins that don't use e.g. the CommitBuilder
1126
644
        facility.
1141
659
        else:
1142
660
            raise errors.UnexpectedSmartServerResponse(response)
1143
661
 
1144
 
    @only_raises(errors.LockNotHeld, errors.LockBroken)
1145
662
    def unlock(self):
1146
 
        if not self._lock_count:
1147
 
            return lock.cant_unlock_not_held(self)
1148
663
        self._lock_count -= 1
1149
664
        if self._lock_count > 0:
1150
665
            return
1151
 
        self._unstacked_provider.disable_cache()
 
666
        self._parents_map = None
 
667
        if 'hpss' in debug.debug_flags:
 
668
            self._requested_parents = None
1152
669
        old_mode = self._lock_mode
1153
670
        self._lock_mode = None
1154
671
        try:
1164
681
            # problem releasing the vfs-based lock.
1165
682
            if old_mode == 'w':
1166
683
                # Only write-locked repositories need to make a remote method
1167
 
                # call to perform the unlock.
 
684
                # call to perfom the unlock.
1168
685
                old_token = self._lock_token
1169
686
                self._lock_token = None
1170
687
                if not self._leave_lock:
1171
688
                    self._unlock(old_token)
1172
 
        # Fallbacks are always 'lock_read()' so we don't pay attention to
1173
 
        # self._leave_lock
1174
 
        for repo in self._fallback_repositories:
1175
 
            repo.unlock()
1176
689
 
1177
690
    def break_lock(self):
1178
691
        # should hand off to the network
1181
694
 
1182
695
    def _get_tarball(self, compression):
1183
696
        """Return a TemporaryFile containing a repository tarball.
1184
 
 
 
697
        
1185
698
        Returns None if the server does not support sending tarballs.
1186
699
        """
1187
700
        import tempfile
1233
746
 
1234
747
    def add_fallback_repository(self, repository):
1235
748
        """Add a repository to use for looking up data not held locally.
1236
 
 
 
749
        
1237
750
        :param repository: A repository.
1238
751
        """
1239
 
        if not self._format.supports_external_lookups:
1240
 
            raise errors.UnstackableRepositoryFormat(
1241
 
                self._format.network_name(), self.base)
 
752
        # XXX: At the moment the RemoteRepository will allow fallbacks
 
753
        # unconditionally - however, a _real_repository will usually exist,
 
754
        # and may raise an error if it's not accommodated by the underlying
 
755
        # format.  Eventually we should check when opening the repository
 
756
        # whether it's willing to allow them or not.
 
757
        #
1242
758
        # We need to accumulate additional repositories here, to pass them in
1243
759
        # on various RPC's.
1244
 
        #
1245
 
        if self.is_locked():
1246
 
            # We will call fallback.unlock() when we transition to the unlocked
1247
 
            # state, so always add a lock here. If a caller passes us a locked
1248
 
            # repository, they are responsible for unlocking it later.
1249
 
            repository.lock_read()
1250
 
        self._check_fallback_repository(repository)
1251
760
        self._fallback_repositories.append(repository)
1252
 
        # If self._real_repository was parameterised already (e.g. because a
1253
 
        # _real_branch had its get_stacked_on_url method called), then the
1254
 
        # repository to be added may already be in the _real_repositories list.
1255
 
        if self._real_repository is not None:
1256
 
            fallback_locations = [repo.user_url for repo in
1257
 
                self._real_repository._fallback_repositories]
1258
 
            if repository.user_url not in fallback_locations:
1259
 
                self._real_repository.add_fallback_repository(repository)
1260
 
 
1261
 
    def _check_fallback_repository(self, repository):
1262
 
        """Check that this repository can fallback to repository safely.
1263
 
 
1264
 
        Raise an error if not.
1265
 
 
1266
 
        :param repository: A repository to fallback to.
1267
 
        """
1268
 
        return _mod_repository.InterRepository._assert_same_model(
1269
 
            self, repository)
 
761
        # They are also seen by the fallback repository.  If it doesn't exist
 
762
        # yet they'll be added then.  This implicitly copies them.
 
763
        self._ensure_real()
1270
764
 
1271
765
    def add_inventory(self, revid, inv, parents):
1272
766
        self._ensure_real()
1273
767
        return self._real_repository.add_inventory(revid, inv, parents)
1274
768
 
1275
 
    def add_inventory_by_delta(self, basis_revision_id, delta, new_revision_id,
1276
 
            parents, basis_inv=None, propagate_caches=False):
1277
 
        self._ensure_real()
1278
 
        return self._real_repository.add_inventory_by_delta(basis_revision_id,
1279
 
            delta, new_revision_id, parents, basis_inv=basis_inv,
1280
 
            propagate_caches=propagate_caches)
1281
 
 
1282
769
    def add_revision(self, rev_id, rev, inv=None, config=None):
1283
770
        self._ensure_real()
1284
771
        return self._real_repository.add_revision(
1289
776
        self._ensure_real()
1290
777
        return self._real_repository.get_inventory(revision_id)
1291
778
 
1292
 
    def iter_inventories(self, revision_ids, ordering=None):
 
779
    def iter_inventories(self, revision_ids):
1293
780
        self._ensure_real()
1294
 
        return self._real_repository.iter_inventories(revision_ids, ordering)
 
781
        return self._real_repository.iter_inventories(revision_ids)
1295
782
 
1296
783
    @needs_read_lock
1297
784
    def get_revision(self, revision_id):
1312
799
        self._ensure_real()
1313
800
        return self._real_repository.make_working_trees()
1314
801
 
1315
 
    def refresh_data(self):
1316
 
        """Re-read any data needed to to synchronise with disk.
1317
 
 
1318
 
        This method is intended to be called after another repository instance
1319
 
        (such as one used by a smart server) has inserted data into the
1320
 
        repository. It may not be called during a write group, but may be
1321
 
        called at any other time.
1322
 
        """
1323
 
        if self.is_in_write_group():
1324
 
            raise errors.InternalBzrError(
1325
 
                "May not refresh_data while in a write group.")
1326
 
        if self._real_repository is not None:
1327
 
            self._real_repository.refresh_data()
1328
 
 
1329
802
    def revision_ids_to_search_result(self, result_set):
1330
803
        """Convert a set of revision ids to a graph SearchResult."""
1331
804
        result_parents = set()
1342
815
    @needs_read_lock
1343
816
    def search_missing_revision_ids(self, other, revision_id=None, find_ghosts=True):
1344
817
        """Return the revision ids that other has that this does not.
1345
 
 
 
818
        
1346
819
        These are returned in topological order.
1347
820
 
1348
821
        revision_id: only return revision ids included by revision_id.
1350
823
        return repository.InterRepository.get(
1351
824
            other, self).search_missing_revision_ids(revision_id, find_ghosts)
1352
825
 
1353
 
    def fetch(self, source, revision_id=None, pb=None, find_ghosts=False,
1354
 
            fetch_spec=None):
1355
 
        # No base implementation to use as RemoteRepository is not a subclass
1356
 
        # of Repository; so this is a copy of Repository.fetch().
1357
 
        if fetch_spec is not None and revision_id is not None:
1358
 
            raise AssertionError(
1359
 
                "fetch_spec and revision_id are mutually exclusive.")
1360
 
        if self.is_in_write_group():
1361
 
            raise errors.InternalBzrError(
1362
 
                "May not fetch while in a write group.")
1363
 
        # fast path same-url fetch operations
1364
 
        if (self.has_same_location(source)
1365
 
            and fetch_spec is None
1366
 
            and self._has_same_fallbacks(source)):
 
826
    def fetch(self, source, revision_id=None, pb=None, find_ghosts=False):
 
827
        # Not delegated to _real_repository so that InterRepository.get has a
 
828
        # chance to find an InterRepository specialised for RemoteRepository.
 
829
        if self.has_same_location(source):
1367
830
            # check that last_revision is in 'from' and then return a
1368
831
            # no-operation.
1369
832
            if (revision_id is not None and
1370
833
                not revision.is_null(revision_id)):
1371
834
                self.get_revision(revision_id)
1372
835
            return 0, []
1373
 
        # if there is no specific appropriate InterRepository, this will get
1374
 
        # the InterRepository base class, which raises an
1375
 
        # IncompatibleRepositories when asked to fetch.
1376
836
        inter = repository.InterRepository.get(source, self)
1377
 
        return inter.fetch(revision_id=revision_id, pb=pb,
1378
 
            find_ghosts=find_ghosts, fetch_spec=fetch_spec)
 
837
        try:
 
838
            return inter.fetch(revision_id=revision_id, pb=pb, find_ghosts=find_ghosts)
 
839
        except NotImplementedError:
 
840
            raise errors.IncompatibleRepositories(source, self)
1379
841
 
1380
842
    def create_bundle(self, target, base, fileobj, format=None):
1381
843
        self._ensure_real()
1394
856
        self._ensure_real()
1395
857
        return self._real_repository._get_versioned_file_checker(
1396
858
            revisions, revision_versions_cache)
1397
 
 
 
859
        
1398
860
    def iter_files_bytes(self, desired_files):
1399
861
        """See Repository.iter_file_bytes.
1400
862
        """
1401
863
        self._ensure_real()
1402
864
        return self._real_repository.iter_files_bytes(desired_files)
1403
865
 
 
866
    @property
 
867
    def _fetch_order(self):
 
868
        """Decorate the real repository for now.
 
869
 
 
870
        In the long term getting this back from the remote repository as part
 
871
        of open would be more efficient.
 
872
        """
 
873
        self._ensure_real()
 
874
        return self._real_repository._fetch_order
 
875
 
 
876
    @property
 
877
    def _fetch_uses_deltas(self):
 
878
        """Decorate the real repository for now.
 
879
 
 
880
        In the long term getting this back from the remote repository as part
 
881
        of open would be more efficient.
 
882
        """
 
883
        self._ensure_real()
 
884
        return self._real_repository._fetch_uses_deltas
 
885
 
 
886
    @property
 
887
    def _fetch_reconcile(self):
 
888
        """Decorate the real repository for now.
 
889
 
 
890
        In the long term getting this back from the remote repository as part
 
891
        of open would be more efficient.
 
892
        """
 
893
        self._ensure_real()
 
894
        return self._real_repository._fetch_reconcile
 
895
 
1404
896
    def get_parent_map(self, revision_ids):
1405
897
        """See bzrlib.Graph.get_parent_map()."""
1406
898
        return self._make_parents_provider().get_parent_map(revision_ids)
1407
899
 
 
900
    def _get_parent_map(self, keys):
 
901
        """Implementation of get_parent_map() that ignores fallbacks."""
 
902
        # Hack to build up the caching logic.
 
903
        ancestry = self._parents_map
 
904
        if ancestry is None:
 
905
            # Repository is not locked, so there's no cache.
 
906
            missing_revisions = set(keys)
 
907
            ancestry = {}
 
908
        else:
 
909
            missing_revisions = set(key for key in keys if key not in ancestry)
 
910
        if missing_revisions:
 
911
            parent_map = self._get_parent_map_rpc(missing_revisions)
 
912
            if 'hpss' in debug.debug_flags:
 
913
                mutter('retransmitted revisions: %d of %d',
 
914
                        len(set(ancestry).intersection(parent_map)),
 
915
                        len(parent_map))
 
916
            ancestry.update(parent_map)
 
917
        present_keys = [k for k in keys if k in ancestry]
 
918
        if 'hpss' in debug.debug_flags:
 
919
            if self._requested_parents is not None and len(ancestry) != 0:
 
920
                self._requested_parents.update(present_keys)
 
921
                mutter('Current RemoteRepository graph hit rate: %d%%',
 
922
                    100.0 * len(self._requested_parents) / len(ancestry))
 
923
        return dict((k, ancestry[k]) for k in present_keys)
 
924
 
1408
925
    def _get_parent_map_rpc(self, keys):
1409
926
        """Helper for get_parent_map that performs the RPC."""
1410
927
        medium = self._client._medium
1412
929
            # We already found out that the server can't understand
1413
930
            # Repository.get_parent_map requests, so just fetch the whole
1414
931
            # graph.
1415
 
            #
1416
 
            # Note that this reads the whole graph, when only some keys are
1417
 
            # wanted.  On this old server there's no way (?) to get them all
1418
 
            # in one go, and the user probably will have seen a warning about
1419
 
            # the server being old anyhow.
1420
 
            rg = self._get_revision_graph(None)
1421
 
            # There is an API discrepancy between get_parent_map and
 
932
            # XXX: Note that this will issue a deprecation warning. This is ok
 
933
            # :- its because we're working with a deprecated server anyway, and
 
934
            # the user will almost certainly have seen a warning about the
 
935
            # server version already.
 
936
            rg = self.get_revision_graph()
 
937
            # There is an api discrepency between get_parent_map and
1422
938
            # get_revision_graph. Specifically, a "key:()" pair in
1423
939
            # get_revision_graph just means a node has no parents. For
1424
940
            # "get_parent_map" it means the node is a ghost. So fix up the
1454
970
        # TODO: Manage this incrementally to avoid covering the same path
1455
971
        # repeatedly. (The server will have to on each request, but the less
1456
972
        # work done the better).
1457
 
        #
1458
 
        # Negative caching notes:
1459
 
        # new server sends missing when a request including the revid
1460
 
        # 'include-missing:' is present in the request.
1461
 
        # missing keys are serialised as missing:X, and we then call
1462
 
        # provider.note_missing(X) for-all X
1463
 
        parents_map = self._unstacked_provider.get_cached_map()
 
973
        parents_map = self._parents_map
1464
974
        if parents_map is None:
1465
975
            # Repository is not locked, so there's no cache.
1466
976
            parents_map = {}
1467
 
        # start_set is all the keys in the cache
1468
977
        start_set = set(parents_map)
1469
 
        # result set is all the references to keys in the cache
1470
978
        result_parents = set()
1471
979
        for parents in parents_map.itervalues():
1472
980
            result_parents.update(parents)
1473
981
        stop_keys = result_parents.difference(start_set)
1474
 
        # We don't need to send ghosts back to the server as a position to
1475
 
        # stop either.
1476
 
        stop_keys.difference_update(self._unstacked_provider.missing_keys)
1477
 
        key_count = len(parents_map)
1478
 
        if (NULL_REVISION in result_parents
1479
 
            and NULL_REVISION in self._unstacked_provider.missing_keys):
1480
 
            # If we pruned NULL_REVISION from the stop_keys because it's also
1481
 
            # in our cache of "missing" keys we need to increment our key count
1482
 
            # by 1, because the reconsitituted SearchResult on the server will
1483
 
            # still consider NULL_REVISION to be an included key.
1484
 
            key_count += 1
1485
982
        included_keys = start_set.intersection(result_parents)
1486
983
        start_set.difference_update(included_keys)
1487
 
        recipe = ('manual', start_set, stop_keys, key_count)
 
984
        recipe = (start_set, stop_keys, len(parents_map))
1488
985
        body = self._serialise_search_recipe(recipe)
1489
986
        path = self.bzrdir._path_for_remote_call(self._client)
1490
987
        for key in keys:
1492
989
                raise ValueError(
1493
990
                    "key %r not a plain string" % (key,))
1494
991
        verb = 'Repository.get_parent_map'
1495
 
        args = (path, 'include-missing:') + tuple(keys)
 
992
        args = (path,) + tuple(keys)
1496
993
        try:
1497
994
            response = self._call_with_body_bytes_expecting_body(
1498
995
                verb, args, body)
1508
1005
            # To avoid having to disconnect repeatedly, we keep track of the
1509
1006
            # fact the server doesn't understand remote methods added in 1.2.
1510
1007
            medium._remember_remote_is_before((1, 2))
1511
 
            # Recurse just once and we should use the fallback code.
1512
 
            return self._get_parent_map_rpc(keys)
 
1008
            return self.get_revision_graph(None)
1513
1009
        response_tuple, response_handler = response
1514
1010
        if response_tuple[0] not in ['ok']:
1515
1011
            response_handler.cancel_read_body()
1526
1022
                if len(d) > 1:
1527
1023
                    revision_graph[d[0]] = d[1:]
1528
1024
                else:
1529
 
                    # No parents:
1530
 
                    if d[0].startswith('missing:'):
1531
 
                        revid = d[0][8:]
1532
 
                        self._unstacked_provider.note_missing_key(revid)
1533
 
                    else:
1534
 
                        # no parents - so give the Graph result
1535
 
                        # (NULL_REVISION,).
1536
 
                        revision_graph[d[0]] = (NULL_REVISION,)
 
1025
                    # No parents - so give the Graph result (NULL_REVISION,).
 
1026
                    revision_graph[d[0]] = (NULL_REVISION,)
1537
1027
            return revision_graph
1538
1028
 
1539
1029
    @needs_read_lock
1542
1032
        return self._real_repository.get_signature_text(revision_id)
1543
1033
 
1544
1034
    @needs_read_lock
1545
 
    def _get_inventory_xml(self, revision_id):
1546
 
        self._ensure_real()
1547
 
        return self._real_repository._get_inventory_xml(revision_id)
 
1035
    @symbol_versioning.deprecated_method(symbol_versioning.one_three)
 
1036
    def get_revision_graph_with_ghosts(self, revision_ids=None):
 
1037
        self._ensure_real()
 
1038
        return self._real_repository.get_revision_graph_with_ghosts(
 
1039
            revision_ids=revision_ids)
 
1040
 
 
1041
    @needs_read_lock
 
1042
    def get_inventory_xml(self, revision_id):
 
1043
        self._ensure_real()
 
1044
        return self._real_repository.get_inventory_xml(revision_id)
 
1045
 
 
1046
    def deserialise_inventory(self, revision_id, xml):
 
1047
        self._ensure_real()
 
1048
        return self._real_repository.deserialise_inventory(revision_id, xml)
1548
1049
 
1549
1050
    def reconcile(self, other=None, thorough=False):
1550
1051
        self._ensure_real()
1551
1052
        return self._real_repository.reconcile(other=other, thorough=thorough)
1552
 
 
 
1053
        
1553
1054
    def all_revision_ids(self):
1554
1055
        self._ensure_real()
1555
1056
        return self._real_repository.all_revision_ids()
1556
 
 
1557
 
    @needs_read_lock
1558
 
    def get_deltas_for_revisions(self, revisions, specific_fileids=None):
1559
 
        self._ensure_real()
1560
 
        return self._real_repository.get_deltas_for_revisions(revisions,
1561
 
            specific_fileids=specific_fileids)
1562
 
 
1563
 
    @needs_read_lock
1564
 
    def get_revision_delta(self, revision_id, specific_fileids=None):
1565
 
        self._ensure_real()
1566
 
        return self._real_repository.get_revision_delta(revision_id,
1567
 
            specific_fileids=specific_fileids)
 
1057
    
 
1058
    @needs_read_lock
 
1059
    def get_deltas_for_revisions(self, revisions):
 
1060
        self._ensure_real()
 
1061
        return self._real_repository.get_deltas_for_revisions(revisions)
 
1062
 
 
1063
    @needs_read_lock
 
1064
    def get_revision_delta(self, revision_id):
 
1065
        self._ensure_real()
 
1066
        return self._real_repository.get_revision_delta(revision_id)
1568
1067
 
1569
1068
    @needs_read_lock
1570
1069
    def revision_trees(self, revision_ids):
1577
1076
        return self._real_repository.get_revision_reconcile(revision_id)
1578
1077
 
1579
1078
    @needs_read_lock
1580
 
    def check(self, revision_ids=None, callback_refs=None, check_repo=True):
 
1079
    def check(self, revision_ids=None):
1581
1080
        self._ensure_real()
1582
 
        return self._real_repository.check(revision_ids=revision_ids,
1583
 
            callback_refs=callback_refs, check_repo=check_repo)
 
1081
        return self._real_repository.check(revision_ids=revision_ids)
1584
1082
 
1585
1083
    def copy_content_into(self, destination, revision_id=None):
1586
1084
        self._ensure_real()
1626
1124
        return self._real_repository.inventories
1627
1125
 
1628
1126
    @needs_write_lock
1629
 
    def pack(self, hint=None, clean_obsolete_packs=False):
 
1127
    def pack(self):
1630
1128
        """Compress the data within the repository.
1631
1129
 
1632
1130
        This is not currently implemented within the smart server.
1633
1131
        """
1634
1132
        self._ensure_real()
1635
 
        return self._real_repository.pack(hint=hint, clean_obsolete_packs=clean_obsolete_packs)
 
1133
        return self._real_repository.pack()
1636
1134
 
1637
1135
    @property
1638
1136
    def revisions(self):
1647
1145
        return self._real_repository.revisions
1648
1146
 
1649
1147
    def set_make_working_trees(self, new_value):
1650
 
        if new_value:
1651
 
            new_value_str = "True"
1652
 
        else:
1653
 
            new_value_str = "False"
1654
 
        path = self.bzrdir._path_for_remote_call(self._client)
1655
 
        try:
1656
 
            response = self._call(
1657
 
                'Repository.set_make_working_trees', path, new_value_str)
1658
 
        except errors.UnknownSmartMethod:
1659
 
            self._ensure_real()
1660
 
            self._real_repository.set_make_working_trees(new_value)
1661
 
        else:
1662
 
            if response[0] != 'ok':
1663
 
                raise errors.UnexpectedSmartServerResponse(response)
 
1148
        self._ensure_real()
 
1149
        self._real_repository.set_make_working_trees(new_value)
1664
1150
 
1665
1151
    @property
1666
1152
    def signatures(self):
1693
1179
        return self._real_repository.get_revisions(revision_ids)
1694
1180
 
1695
1181
    def supports_rich_root(self):
1696
 
        return self._format.rich_root_data
 
1182
        self._ensure_real()
 
1183
        return self._real_repository.supports_rich_root()
1697
1184
 
1698
1185
    def iter_reverse_revision_history(self, revision_id):
1699
1186
        self._ensure_real()
1701
1188
 
1702
1189
    @property
1703
1190
    def _serializer(self):
1704
 
        return self._format._serializer
 
1191
        self._ensure_real()
 
1192
        return self._real_repository._serializer
1705
1193
 
1706
1194
    def store_revision_signature(self, gpg_strategy, plaintext, revision_id):
1707
1195
        self._ensure_real()
1726
1214
        self._ensure_real()
1727
1215
        return self._real_repository.revision_graph_can_have_wrong_parents()
1728
1216
 
1729
 
    def _find_inconsistent_revision_parents(self, revisions_iterator=None):
 
1217
    def _find_inconsistent_revision_parents(self):
1730
1218
        self._ensure_real()
1731
 
        return self._real_repository._find_inconsistent_revision_parents(
1732
 
            revisions_iterator)
 
1219
        return self._real_repository._find_inconsistent_revision_parents()
1733
1220
 
1734
1221
    def _check_for_inconsistent_revision_parents(self):
1735
1222
        self._ensure_real()
1736
1223
        return self._real_repository._check_for_inconsistent_revision_parents()
1737
1224
 
1738
 
    def _make_parents_provider(self, other=None):
1739
 
        providers = [self._unstacked_provider]
1740
 
        if other is not None:
1741
 
            providers.insert(0, other)
 
1225
    def _make_parents_provider(self):
 
1226
        providers = [_UnstackedParentsProvider(self)]
1742
1227
        providers.extend(r._make_parents_provider() for r in
1743
1228
                         self._fallback_repositories)
1744
 
        return graph.StackedParentsProvider(providers)
 
1229
        return graph._StackedParentsProvider(providers)
1745
1230
 
1746
1231
    def _serialise_search_recipe(self, recipe):
1747
1232
        """Serialise a graph search recipe.
1749
1234
        :param recipe: A search recipe (start, stop, count).
1750
1235
        :return: Serialised bytes.
1751
1236
        """
1752
 
        start_keys = ' '.join(recipe[1])
1753
 
        stop_keys = ' '.join(recipe[2])
1754
 
        count = str(recipe[3])
 
1237
        start_keys = ' '.join(recipe[0])
 
1238
        stop_keys = ' '.join(recipe[1])
 
1239
        count = str(recipe[2])
1755
1240
        return '\n'.join((start_keys, stop_keys, count))
1756
1241
 
1757
 
    def _serialise_search_result(self, search_result):
1758
 
        if isinstance(search_result, graph.PendingAncestryResult):
1759
 
            parts = ['ancestry-of']
1760
 
            parts.extend(search_result.heads)
1761
 
        else:
1762
 
            recipe = search_result.get_recipe()
1763
 
            parts = [recipe[0], self._serialise_search_recipe(recipe)]
1764
 
        return '\n'.join(parts)
1765
 
 
1766
1242
    def autopack(self):
1767
1243
        path = self.bzrdir._path_for_remote_call(self._client)
1768
1244
        try:
1771
1247
            self._ensure_real()
1772
1248
            self._real_repository._pack_collection.autopack()
1773
1249
            return
1774
 
        self.refresh_data()
 
1250
        if self._real_repository is not None:
 
1251
            # Reset the real repository's cache of pack names.
 
1252
            # XXX: At some point we may be able to skip this and just rely on
 
1253
            # the automatic retry logic to do the right thing, but for now we
 
1254
            # err on the side of being correct rather than being optimal.
 
1255
            self._real_repository._pack_collection.reload_pack_names()
1775
1256
        if response[0] != 'ok':
1776
1257
            raise errors.UnexpectedSmartServerResponse(response)
1777
1258
 
1778
1259
 
1779
 
class RemoteStreamSink(repository.StreamSink):
1780
 
 
1781
 
    def _insert_real(self, stream, src_format, resume_tokens):
1782
 
        self.target_repo._ensure_real()
1783
 
        sink = self.target_repo._real_repository._get_sink()
1784
 
        result = sink.insert_stream(stream, src_format, resume_tokens)
1785
 
        if not result:
1786
 
            self.target_repo.autopack()
1787
 
        return result
1788
 
 
1789
 
    def insert_stream(self, stream, src_format, resume_tokens):
1790
 
        target = self.target_repo
1791
 
        target._unstacked_provider.missing_keys.clear()
1792
 
        candidate_calls = [('Repository.insert_stream_1.19', (1, 19))]
1793
 
        if target._lock_token:
1794
 
            candidate_calls.append(('Repository.insert_stream_locked', (1, 14)))
1795
 
            lock_args = (target._lock_token or '',)
1796
 
        else:
1797
 
            candidate_calls.append(('Repository.insert_stream', (1, 13)))
1798
 
            lock_args = ()
1799
 
        client = target._client
1800
 
        medium = client._medium
1801
 
        path = target.bzrdir._path_for_remote_call(client)
1802
 
        # Probe for the verb to use with an empty stream before sending the
1803
 
        # real stream to it.  We do this both to avoid the risk of sending a
1804
 
        # large request that is then rejected, and because we don't want to
1805
 
        # implement a way to buffer, rewind, or restart the stream.
1806
 
        found_verb = False
1807
 
        for verb, required_version in candidate_calls:
1808
 
            if medium._is_remote_before(required_version):
1809
 
                continue
1810
 
            if resume_tokens:
1811
 
                # We've already done the probing (and set _is_remote_before) on
1812
 
                # a previous insert.
1813
 
                found_verb = True
1814
 
                break
1815
 
            byte_stream = smart_repo._stream_to_byte_stream([], src_format)
1816
 
            try:
1817
 
                response = client.call_with_body_stream(
1818
 
                    (verb, path, '') + lock_args, byte_stream)
1819
 
            except errors.UnknownSmartMethod:
1820
 
                medium._remember_remote_is_before(required_version)
1821
 
            else:
1822
 
                found_verb = True
1823
 
                break
1824
 
        if not found_verb:
1825
 
            # Have to use VFS.
1826
 
            return self._insert_real(stream, src_format, resume_tokens)
1827
 
        self._last_inv_record = None
1828
 
        self._last_substream = None
1829
 
        if required_version < (1, 19):
1830
 
            # Remote side doesn't support inventory deltas.  Wrap the stream to
1831
 
            # make sure we don't send any.  If the stream contains inventory
1832
 
            # deltas we'll interrupt the smart insert_stream request and
1833
 
            # fallback to VFS.
1834
 
            stream = self._stop_stream_if_inventory_delta(stream)
1835
 
        byte_stream = smart_repo._stream_to_byte_stream(
1836
 
            stream, src_format)
1837
 
        resume_tokens = ' '.join(resume_tokens)
1838
 
        response = client.call_with_body_stream(
1839
 
            (verb, path, resume_tokens) + lock_args, byte_stream)
1840
 
        if response[0][0] not in ('ok', 'missing-basis'):
1841
 
            raise errors.UnexpectedSmartServerResponse(response)
1842
 
        if self._last_substream is not None:
1843
 
            # The stream included an inventory-delta record, but the remote
1844
 
            # side isn't new enough to support them.  So we need to send the
1845
 
            # rest of the stream via VFS.
1846
 
            self.target_repo.refresh_data()
1847
 
            return self._resume_stream_with_vfs(response, src_format)
1848
 
        if response[0][0] == 'missing-basis':
1849
 
            tokens, missing_keys = bencode.bdecode_as_tuple(response[0][1])
1850
 
            resume_tokens = tokens
1851
 
            return resume_tokens, set(missing_keys)
1852
 
        else:
1853
 
            self.target_repo.refresh_data()
1854
 
            return [], set()
1855
 
 
1856
 
    def _resume_stream_with_vfs(self, response, src_format):
1857
 
        """Resume sending a stream via VFS, first resending the record and
1858
 
        substream that couldn't be sent via an insert_stream verb.
1859
 
        """
1860
 
        if response[0][0] == 'missing-basis':
1861
 
            tokens, missing_keys = bencode.bdecode_as_tuple(response[0][1])
1862
 
            # Ignore missing_keys, we haven't finished inserting yet
1863
 
        else:
1864
 
            tokens = []
1865
 
        def resume_substream():
1866
 
            # Yield the substream that was interrupted.
1867
 
            for record in self._last_substream:
1868
 
                yield record
1869
 
            self._last_substream = None
1870
 
        def resume_stream():
1871
 
            # Finish sending the interrupted substream
1872
 
            yield ('inventory-deltas', resume_substream())
1873
 
            # Then simply continue sending the rest of the stream.
1874
 
            for substream_kind, substream in self._last_stream:
1875
 
                yield substream_kind, substream
1876
 
        return self._insert_real(resume_stream(), src_format, tokens)
1877
 
 
1878
 
    def _stop_stream_if_inventory_delta(self, stream):
1879
 
        """Normally this just lets the original stream pass-through unchanged.
1880
 
 
1881
 
        However if any 'inventory-deltas' substream occurs it will stop
1882
 
        streaming, and store the interrupted substream and stream in
1883
 
        self._last_substream and self._last_stream so that the stream can be
1884
 
        resumed by _resume_stream_with_vfs.
1885
 
        """
1886
 
                    
1887
 
        stream_iter = iter(stream)
1888
 
        for substream_kind, substream in stream_iter:
1889
 
            if substream_kind == 'inventory-deltas':
1890
 
                self._last_substream = substream
1891
 
                self._last_stream = stream_iter
1892
 
                return
1893
 
            else:
1894
 
                yield substream_kind, substream
1895
 
            
1896
 
 
1897
 
class RemoteStreamSource(repository.StreamSource):
1898
 
    """Stream data from a remote server."""
1899
 
 
1900
 
    def get_stream(self, search):
1901
 
        if (self.from_repository._fallback_repositories and
1902
 
            self.to_format._fetch_order == 'topological'):
1903
 
            return self._real_stream(self.from_repository, search)
1904
 
        sources = []
1905
 
        seen = set()
1906
 
        repos = [self.from_repository]
1907
 
        while repos:
1908
 
            repo = repos.pop(0)
1909
 
            if repo in seen:
1910
 
                continue
1911
 
            seen.add(repo)
1912
 
            repos.extend(repo._fallback_repositories)
1913
 
            sources.append(repo)
1914
 
        return self.missing_parents_chain(search, sources)
1915
 
 
1916
 
    def get_stream_for_missing_keys(self, missing_keys):
1917
 
        self.from_repository._ensure_real()
1918
 
        real_repo = self.from_repository._real_repository
1919
 
        real_source = real_repo._get_source(self.to_format)
1920
 
        return real_source.get_stream_for_missing_keys(missing_keys)
1921
 
 
1922
 
    def _real_stream(self, repo, search):
1923
 
        """Get a stream for search from repo.
1924
 
        
1925
 
        This never called RemoteStreamSource.get_stream, and is a heler
1926
 
        for RemoteStreamSource._get_stream to allow getting a stream 
1927
 
        reliably whether fallback back because of old servers or trying
1928
 
        to stream from a non-RemoteRepository (which the stacked support
1929
 
        code will do).
1930
 
        """
1931
 
        source = repo._get_source(self.to_format)
1932
 
        if isinstance(source, RemoteStreamSource):
1933
 
            repo._ensure_real()
1934
 
            source = repo._real_repository._get_source(self.to_format)
1935
 
        return source.get_stream(search)
1936
 
 
1937
 
    def _get_stream(self, repo, search):
1938
 
        """Core worker to get a stream from repo for search.
1939
 
 
1940
 
        This is used by both get_stream and the stacking support logic. It
1941
 
        deliberately gets a stream for repo which does not need to be
1942
 
        self.from_repository. In the event that repo is not Remote, or
1943
 
        cannot do a smart stream, a fallback is made to the generic
1944
 
        repository._get_stream() interface, via self._real_stream.
1945
 
 
1946
 
        In the event of stacking, streams from _get_stream will not
1947
 
        contain all the data for search - this is normal (see get_stream).
1948
 
 
1949
 
        :param repo: A repository.
1950
 
        :param search: A search.
1951
 
        """
1952
 
        # Fallbacks may be non-smart
1953
 
        if not isinstance(repo, RemoteRepository):
1954
 
            return self._real_stream(repo, search)
1955
 
        client = repo._client
1956
 
        medium = client._medium
1957
 
        path = repo.bzrdir._path_for_remote_call(client)
1958
 
        search_bytes = repo._serialise_search_result(search)
1959
 
        args = (path, self.to_format.network_name())
1960
 
        candidate_verbs = [
1961
 
            ('Repository.get_stream_1.19', (1, 19)),
1962
 
            ('Repository.get_stream', (1, 13))]
1963
 
        found_verb = False
1964
 
        for verb, version in candidate_verbs:
1965
 
            if medium._is_remote_before(version):
1966
 
                continue
1967
 
            try:
1968
 
                response = repo._call_with_body_bytes_expecting_body(
1969
 
                    verb, args, search_bytes)
1970
 
            except errors.UnknownSmartMethod:
1971
 
                medium._remember_remote_is_before(version)
1972
 
            else:
1973
 
                response_tuple, response_handler = response
1974
 
                found_verb = True
1975
 
                break
1976
 
        if not found_verb:
1977
 
            return self._real_stream(repo, search)
1978
 
        if response_tuple[0] != 'ok':
1979
 
            raise errors.UnexpectedSmartServerResponse(response_tuple)
1980
 
        byte_stream = response_handler.read_streamed_body()
1981
 
        src_format, stream = smart_repo._byte_stream_to_stream(byte_stream)
1982
 
        if src_format.network_name() != repo._format.network_name():
1983
 
            raise AssertionError(
1984
 
                "Mismatched RemoteRepository and stream src %r, %r" % (
1985
 
                src_format.network_name(), repo._format.network_name()))
1986
 
        return stream
1987
 
 
1988
 
    def missing_parents_chain(self, search, sources):
1989
 
        """Chain multiple streams together to handle stacking.
1990
 
 
1991
 
        :param search: The overall search to satisfy with streams.
1992
 
        :param sources: A list of Repository objects to query.
1993
 
        """
1994
 
        self.from_serialiser = self.from_repository._format._serializer
1995
 
        self.seen_revs = set()
1996
 
        self.referenced_revs = set()
1997
 
        # If there are heads in the search, or the key count is > 0, we are not
1998
 
        # done.
1999
 
        while not search.is_empty() and len(sources) > 1:
2000
 
            source = sources.pop(0)
2001
 
            stream = self._get_stream(source, search)
2002
 
            for kind, substream in stream:
2003
 
                if kind != 'revisions':
2004
 
                    yield kind, substream
2005
 
                else:
2006
 
                    yield kind, self.missing_parents_rev_handler(substream)
2007
 
            search = search.refine(self.seen_revs, self.referenced_revs)
2008
 
            self.seen_revs = set()
2009
 
            self.referenced_revs = set()
2010
 
        if not search.is_empty():
2011
 
            for kind, stream in self._get_stream(sources[0], search):
2012
 
                yield kind, stream
2013
 
 
2014
 
    def missing_parents_rev_handler(self, substream):
2015
 
        for content in substream:
2016
 
            revision_bytes = content.get_bytes_as('fulltext')
2017
 
            revision = self.from_serialiser.read_revision_from_string(
2018
 
                revision_bytes)
2019
 
            self.seen_revs.add(content.key[-1])
2020
 
            self.referenced_revs.update(revision.parent_ids)
2021
 
            yield content
2022
 
 
2023
 
 
2024
1260
class RemoteBranchLockableFiles(LockableFiles):
2025
1261
    """A 'LockableFiles' implementation that talks to a smart server.
2026
 
 
 
1262
    
2027
1263
    This is not a public interface class.
2028
1264
    """
2029
1265
 
2043
1279
 
2044
1280
class RemoteBranchFormat(branch.BranchFormat):
2045
1281
 
2046
 
    def __init__(self, network_name=None):
 
1282
    def __init__(self):
2047
1283
        super(RemoteBranchFormat, self).__init__()
2048
1284
        self._matchingbzrdir = RemoteBzrDirFormat()
2049
1285
        self._matchingbzrdir.set_branch_format(self)
2050
 
        self._custom_format = None
2051
 
        self._network_name = network_name
2052
1286
 
2053
1287
    def __eq__(self, other):
2054
 
        return (isinstance(other, RemoteBranchFormat) and
 
1288
        return (isinstance(other, RemoteBranchFormat) and 
2055
1289
            self.__dict__ == other.__dict__)
2056
1290
 
2057
 
    def _ensure_real(self):
2058
 
        if self._custom_format is None:
2059
 
            self._custom_format = branch.network_format_registry.get(
2060
 
                self._network_name)
2061
 
 
2062
1291
    def get_format_description(self):
2063
 
        self._ensure_real()
2064
 
        return 'Remote: ' + self._custom_format.get_format_description()
2065
 
 
2066
 
    def network_name(self):
2067
 
        return self._network_name
2068
 
 
2069
 
    def open(self, a_bzrdir, name=None, ignore_fallbacks=False):
2070
 
        return a_bzrdir.open_branch(name=name, 
2071
 
            ignore_fallbacks=ignore_fallbacks)
2072
 
 
2073
 
    def _vfs_initialize(self, a_bzrdir, name):
2074
 
        # Initialisation when using a local bzrdir object, or a non-vfs init
2075
 
        # method is not available on the server.
2076
 
        # self._custom_format is always set - the start of initialize ensures
2077
 
        # that.
2078
 
        if isinstance(a_bzrdir, RemoteBzrDir):
2079
 
            a_bzrdir._ensure_real()
2080
 
            result = self._custom_format.initialize(a_bzrdir._real_bzrdir,
2081
 
                name)
2082
 
        else:
2083
 
            # We assume the bzrdir is parameterised; it may not be.
2084
 
            result = self._custom_format.initialize(a_bzrdir, name)
2085
 
        if (isinstance(a_bzrdir, RemoteBzrDir) and
2086
 
            not isinstance(result, RemoteBranch)):
2087
 
            result = RemoteBranch(a_bzrdir, a_bzrdir.find_repository(), result,
2088
 
                                  name=name)
2089
 
        return result
2090
 
 
2091
 
    def initialize(self, a_bzrdir, name=None):
2092
 
        # 1) get the network name to use.
2093
 
        if self._custom_format:
2094
 
            network_name = self._custom_format.network_name()
2095
 
        else:
2096
 
            # Select the current bzrlib default and ask for that.
2097
 
            reference_bzrdir_format = bzrdir.format_registry.get('default')()
2098
 
            reference_format = reference_bzrdir_format.get_branch_format()
2099
 
            self._custom_format = reference_format
2100
 
            network_name = reference_format.network_name()
2101
 
        # Being asked to create on a non RemoteBzrDir:
2102
 
        if not isinstance(a_bzrdir, RemoteBzrDir):
2103
 
            return self._vfs_initialize(a_bzrdir, name=name)
2104
 
        medium = a_bzrdir._client._medium
2105
 
        if medium._is_remote_before((1, 13)):
2106
 
            return self._vfs_initialize(a_bzrdir, name=name)
2107
 
        # Creating on a remote bzr dir.
2108
 
        # 2) try direct creation via RPC
2109
 
        path = a_bzrdir._path_for_remote_call(a_bzrdir._client)
2110
 
        if name is not None:
2111
 
            # XXX JRV20100304: Support creating colocated branches
2112
 
            raise errors.NoColocatedBranchSupport(self)
2113
 
        verb = 'BzrDir.create_branch'
2114
 
        try:
2115
 
            response = a_bzrdir._call(verb, path, network_name)
2116
 
        except errors.UnknownSmartMethod:
2117
 
            # Fallback - use vfs methods
2118
 
            medium._remember_remote_is_before((1, 13))
2119
 
            return self._vfs_initialize(a_bzrdir, name=name)
2120
 
        if response[0] != 'ok':
2121
 
            raise errors.UnexpectedSmartServerResponse(response)
2122
 
        # Turn the response into a RemoteRepository object.
2123
 
        format = RemoteBranchFormat(network_name=response[1])
2124
 
        repo_format = response_tuple_to_repo_format(response[3:])
2125
 
        if response[2] == '':
2126
 
            repo_bzrdir = a_bzrdir
2127
 
        else:
2128
 
            repo_bzrdir = RemoteBzrDir(
2129
 
                a_bzrdir.root_transport.clone(response[2]), a_bzrdir._format,
2130
 
                a_bzrdir._client)
2131
 
        remote_repo = RemoteRepository(repo_bzrdir, repo_format)
2132
 
        remote_branch = RemoteBranch(a_bzrdir, remote_repo,
2133
 
            format=format, setup_stacking=False, name=name)
2134
 
        # XXX: We know this is a new branch, so it must have revno 0, revid
2135
 
        # NULL_REVISION. Creating the branch locked would make this be unable
2136
 
        # to be wrong; here its simply very unlikely to be wrong. RBC 20090225
2137
 
        remote_branch._last_revision_info_cache = 0, NULL_REVISION
2138
 
        return remote_branch
2139
 
 
2140
 
    def make_tags(self, branch):
2141
 
        self._ensure_real()
2142
 
        return self._custom_format.make_tags(branch)
 
1292
        return 'Remote BZR Branch'
 
1293
 
 
1294
    def get_format_string(self):
 
1295
        return 'Remote BZR Branch'
 
1296
 
 
1297
    def open(self, a_bzrdir):
 
1298
        return a_bzrdir.open_branch()
 
1299
 
 
1300
    def initialize(self, a_bzrdir):
 
1301
        return a_bzrdir.create_branch()
2143
1302
 
2144
1303
    def supports_tags(self):
2145
1304
        # Remote branches might support tags, but we won't know until we
2146
1305
        # access the real remote branch.
2147
 
        self._ensure_real()
2148
 
        return self._custom_format.supports_tags()
2149
 
 
2150
 
    def supports_stacking(self):
2151
 
        self._ensure_real()
2152
 
        return self._custom_format.supports_stacking()
2153
 
 
2154
 
    def supports_set_append_revisions_only(self):
2155
 
        self._ensure_real()
2156
 
        return self._custom_format.supports_set_append_revisions_only()
2157
 
 
2158
 
 
2159
 
class RemoteBranch(branch.Branch, _RpcHelper, lock._RelockDebugMixin):
 
1306
        return True
 
1307
 
 
1308
 
 
1309
class RemoteBranch(branch.Branch, _RpcHelper):
2160
1310
    """Branch stored on a server accessed by HPSS RPC.
2161
1311
 
2162
1312
    At the moment most operations are mapped down to simple file operations.
2163
1313
    """
2164
1314
 
2165
1315
    def __init__(self, remote_bzrdir, remote_repository, real_branch=None,
2166
 
        _client=None, format=None, setup_stacking=True, name=None):
 
1316
        _client=None):
2167
1317
        """Create a RemoteBranch instance.
2168
1318
 
2169
1319
        :param real_branch: An optional local implementation of the branch
2170
1320
            format, usually accessing the data via the VFS.
2171
1321
        :param _client: Private parameter for testing.
2172
 
        :param format: A RemoteBranchFormat object, None to create one
2173
 
            automatically. If supplied it should have a network_name already
2174
 
            supplied.
2175
 
        :param setup_stacking: If True make an RPC call to determine the
2176
 
            stacked (or not) status of the branch. If False assume the branch
2177
 
            is not stacked.
2178
 
        :param name: Colocated branch name
2179
1322
        """
2180
1323
        # We intentionally don't call the parent class's __init__, because it
2181
1324
        # will try to assign to self.tags, which is a property in this subclass.
2182
1325
        # And the parent's __init__ doesn't do much anyway.
 
1326
        self._revision_id_to_revno_cache = None
 
1327
        self._revision_history_cache = None
 
1328
        self._last_revision_info_cache = None
2183
1329
        self.bzrdir = remote_bzrdir
2184
1330
        if _client is not None:
2185
1331
            self._client = _client
2198
1344
            self._real_branch.repository = self.repository
2199
1345
        else:
2200
1346
            self._real_branch = None
2201
 
        # Fill out expected attributes of branch for bzrlib API users.
2202
 
        self._clear_cached_state()
2203
 
        # TODO: deprecate self.base in favor of user_url
2204
 
        self.base = self.bzrdir.user_url
2205
 
        self._name = name
 
1347
        # Fill out expected attributes of branch for bzrlib api users.
 
1348
        self._format = RemoteBranchFormat()
 
1349
        self.base = self.bzrdir.root_transport.base
2206
1350
        self._control_files = None
2207
1351
        self._lock_mode = None
2208
1352
        self._lock_token = None
2209
1353
        self._repo_lock_token = None
2210
1354
        self._lock_count = 0
2211
1355
        self._leave_lock = False
2212
 
        # Setup a format: note that we cannot call _ensure_real until all the
2213
 
        # attributes above are set: This code cannot be moved higher up in this
2214
 
        # function.
2215
 
        if format is None:
2216
 
            self._format = RemoteBranchFormat()
2217
 
            if real_branch is not None:
2218
 
                self._format._network_name = \
2219
 
                    self._real_branch._format.network_name()
2220
 
        else:
2221
 
            self._format = format
2222
 
        # when we do _ensure_real we may need to pass ignore_fallbacks to the
2223
 
        # branch.open_branch method.
2224
 
        self._real_ignore_fallbacks = not setup_stacking
2225
 
        if not self._format._network_name:
2226
 
            # Did not get from open_branchV2 - old server.
2227
 
            self._ensure_real()
2228
 
            self._format._network_name = \
2229
 
                self._real_branch._format.network_name()
2230
 
        self.tags = self._format.make_tags(self)
2231
1356
        # The base class init is not called, so we duplicate this:
2232
1357
        hooks = branch.Branch.hooks['open']
2233
1358
        for hook in hooks:
2234
1359
            hook(self)
2235
 
        self._is_stacked = False
2236
 
        if setup_stacking:
2237
 
            self._setup_stacking()
 
1360
        self._setup_stacking()
2238
1361
 
2239
1362
    def _setup_stacking(self):
2240
1363
        # configure stacking into the remote repository, by reading it from
2244
1367
        except (errors.NotStacked, errors.UnstackableBranchFormat,
2245
1368
            errors.UnstackableRepositoryFormat), e:
2246
1369
            return
2247
 
        self._is_stacked = True
2248
 
        self._activate_fallback_location(fallback_url)
2249
 
 
2250
 
    def _get_config(self):
2251
 
        return RemoteBranchConfig(self)
 
1370
        # it's relative to this branch...
 
1371
        fallback_url = urlutils.join(self.base, fallback_url)
 
1372
        transports = [self.bzrdir.root_transport]
 
1373
        if self._real_branch is not None:
 
1374
            transports.append(self._real_branch._transport)
 
1375
        stacked_on = branch.Branch.open(fallback_url,
 
1376
                                        possible_transports=transports)
 
1377
        self.repository.add_fallback_repository(stacked_on.repository)
2252
1378
 
2253
1379
    def _get_real_transport(self):
2254
1380
        # if we try vfs access, return the real branch's vfs transport
2272
1398
                raise AssertionError('smart server vfs must be enabled '
2273
1399
                    'to use vfs implementation')
2274
1400
            self.bzrdir._ensure_real()
2275
 
            self._real_branch = self.bzrdir._real_bzrdir.open_branch(
2276
 
                ignore_fallbacks=self._real_ignore_fallbacks, name=self._name)
 
1401
            self._real_branch = self.bzrdir._real_bzrdir.open_branch()
2277
1402
            if self.repository._real_repository is None:
2278
1403
                # Give the remote repository the matching real repo.
2279
1404
                real_repo = self._real_branch.repository
2308
1433
        too, in fact doing so might harm performance.
2309
1434
        """
2310
1435
        super(RemoteBranch, self)._clear_cached_state()
2311
 
 
 
1436
        
2312
1437
    @property
2313
1438
    def control_files(self):
2314
1439
        # Defer actually creating RemoteBranchLockableFiles until its needed,
2353
1478
            raise errors.UnexpectedSmartServerResponse(response)
2354
1479
        return response[1]
2355
1480
 
2356
 
    def set_stacked_on_url(self, url):
2357
 
        branch.Branch.set_stacked_on_url(self, url)
2358
 
        if not url:
2359
 
            self._is_stacked = False
2360
 
        else:
2361
 
            self._is_stacked = True
2362
 
        
2363
 
    def _vfs_get_tags_bytes(self):
2364
 
        self._ensure_real()
2365
 
        return self._real_branch._get_tags_bytes()
2366
 
 
2367
 
    def _get_tags_bytes(self):
2368
 
        medium = self._client._medium
2369
 
        if medium._is_remote_before((1, 13)):
2370
 
            return self._vfs_get_tags_bytes()
2371
 
        try:
2372
 
            response = self._call('Branch.get_tags_bytes', self._remote_path())
2373
 
        except errors.UnknownSmartMethod:
2374
 
            medium._remember_remote_is_before((1, 13))
2375
 
            return self._vfs_get_tags_bytes()
2376
 
        return response[0]
2377
 
 
2378
 
    def _vfs_set_tags_bytes(self, bytes):
2379
 
        self._ensure_real()
2380
 
        return self._real_branch._set_tags_bytes(bytes)
2381
 
 
2382
 
    def _set_tags_bytes(self, bytes):
2383
 
        medium = self._client._medium
2384
 
        if medium._is_remote_before((1, 18)):
2385
 
            self._vfs_set_tags_bytes(bytes)
2386
 
            return
2387
 
        try:
2388
 
            args = (
2389
 
                self._remote_path(), self._lock_token, self._repo_lock_token)
2390
 
            response = self._call_with_body_bytes(
2391
 
                'Branch.set_tags_bytes', args, bytes)
2392
 
        except errors.UnknownSmartMethod:
2393
 
            medium._remember_remote_is_before((1, 18))
2394
 
            self._vfs_set_tags_bytes(bytes)
2395
 
 
2396
1481
    def lock_read(self):
2397
 
        """Lock the branch for read operations.
2398
 
 
2399
 
        :return: An object with an unlock method which will release the lock
2400
 
            obtained.
2401
 
        """
2402
1482
        self.repository.lock_read()
2403
1483
        if not self._lock_mode:
2404
 
            self._note_lock('r')
2405
1484
            self._lock_mode = 'r'
2406
1485
            self._lock_count = 1
2407
1486
            if self._real_branch is not None:
2408
1487
                self._real_branch.lock_read()
2409
1488
        else:
2410
1489
            self._lock_count += 1
2411
 
        return self
2412
1490
 
2413
1491
    def _remote_lock_write(self, token):
2414
1492
        if token is None:
2415
1493
            branch_token = repo_token = ''
2416
1494
        else:
2417
1495
            branch_token = token
2418
 
            repo_token = self.repository.lock_write().repository_token
 
1496
            repo_token = self.repository.lock_write()
2419
1497
            self.repository.unlock()
2420
1498
        err_context = {'token': token}
2421
1499
        response = self._call(
2425
1503
            raise errors.UnexpectedSmartServerResponse(response)
2426
1504
        ok, branch_token, repo_token = response
2427
1505
        return branch_token, repo_token
2428
 
 
 
1506
            
2429
1507
    def lock_write(self, token=None):
2430
1508
        if not self._lock_mode:
2431
 
            self._note_lock('w')
2432
1509
            # Lock the branch and repo in one remote call.
2433
1510
            remote_tokens = self._remote_lock_write(token)
2434
1511
            self._lock_token, self._repo_lock_token = remote_tokens
2458
1535
            self._lock_count += 1
2459
1536
            # Re-lock the repository too.
2460
1537
            self.repository.lock_write(self._repo_lock_token)
2461
 
        return BranchWriteLockResult(self.unlock, self._lock_token or None)
 
1538
        return self._lock_token or None
2462
1539
 
2463
1540
    def _unlock(self, branch_token, repo_token):
2464
1541
        err_context = {'token': str((branch_token, repo_token))}
2469
1546
            return
2470
1547
        raise errors.UnexpectedSmartServerResponse(response)
2471
1548
 
2472
 
    @only_raises(errors.LockNotHeld, errors.LockBroken)
2473
1549
    def unlock(self):
2474
1550
        try:
2475
1551
            self._lock_count -= 1
2488
1564
                    self._real_branch.unlock()
2489
1565
                if mode != 'w':
2490
1566
                    # Only write-locked branched need to make a remote method
2491
 
                    # call to perform the unlock.
 
1567
                    # call to perfom the unlock.
2492
1568
                    return
2493
1569
                if not self._lock_token:
2494
1570
                    raise AssertionError('Locked, but no token!')
2515
1591
            raise NotImplementedError(self.dont_leave_lock_in_place)
2516
1592
        self._leave_lock = False
2517
1593
 
2518
 
    @needs_read_lock
2519
 
    def get_rev_id(self, revno, history=None):
2520
 
        if revno == 0:
2521
 
            return _mod_revision.NULL_REVISION
2522
 
        last_revision_info = self.last_revision_info()
2523
 
        ok, result = self.repository.get_rev_id_for_revno(
2524
 
            revno, last_revision_info)
2525
 
        if ok:
2526
 
            return result
2527
 
        missing_parent = result[1]
2528
 
        # Either the revision named by the server is missing, or its parent
2529
 
        # is.  Call get_parent_map to determine which, so that we report a
2530
 
        # useful error.
2531
 
        parent_map = self.repository.get_parent_map([missing_parent])
2532
 
        if missing_parent in parent_map:
2533
 
            missing_parent = parent_map[missing_parent]
2534
 
        raise errors.RevisionNotPresent(missing_parent, self.repository)
2535
 
 
2536
1594
    def _last_revision_info(self):
2537
1595
        response = self._call('Branch.last_revision_info', self._remote_path())
2538
1596
        if response[0] != 'ok':
2543
1601
 
2544
1602
    def _gen_revision_history(self):
2545
1603
        """See Branch._gen_revision_history()."""
2546
 
        if self._is_stacked:
2547
 
            self._ensure_real()
2548
 
            return self._real_branch._gen_revision_history()
2549
1604
        response_tuple, response_handler = self._call_expecting_body(
2550
1605
            'Branch.revision_history', self._remote_path())
2551
1606
        if response_tuple[0] != 'ok':
2560
1615
 
2561
1616
    def _set_last_revision_descendant(self, revision_id, other_branch,
2562
1617
            allow_diverged=False, allow_overwrite_descendant=False):
2563
 
        # This performs additional work to meet the hook contract; while its
2564
 
        # undesirable, we have to synthesise the revno to call the hook, and
2565
 
        # not calling the hook is worse as it means changes can't be prevented.
2566
 
        # Having calculated this though, we can't just call into
2567
 
        # set_last_revision_info as a simple call, because there is a set_rh
2568
 
        # hook that some folk may still be using.
2569
 
        old_revno, old_revid = self.last_revision_info()
2570
 
        history = self._lefthand_history(revision_id)
2571
 
        self._run_pre_change_branch_tip_hooks(len(history), revision_id)
2572
1618
        err_context = {'other_branch': other_branch}
2573
1619
        response = self._call('Branch.set_last_revision_ex',
2574
1620
            self._remote_path(), self._lock_token, self._repo_lock_token,
2579
1625
            raise errors.UnexpectedSmartServerResponse(response)
2580
1626
        new_revno, new_revision_id = response[1:]
2581
1627
        self._last_revision_info_cache = new_revno, new_revision_id
2582
 
        self._run_post_change_branch_tip_hooks(old_revno, old_revid)
2583
1628
        if self._real_branch is not None:
2584
1629
            cache = new_revno, new_revision_id
2585
1630
            self._real_branch._last_revision_info_cache = cache
2586
1631
 
2587
1632
    def _set_last_revision(self, revision_id):
2588
 
        old_revno, old_revid = self.last_revision_info()
2589
 
        # This performs additional work to meet the hook contract; while its
2590
 
        # undesirable, we have to synthesise the revno to call the hook, and
2591
 
        # not calling the hook is worse as it means changes can't be prevented.
2592
 
        # Having calculated this though, we can't just call into
2593
 
        # set_last_revision_info as a simple call, because there is a set_rh
2594
 
        # hook that some folk may still be using.
2595
 
        history = self._lefthand_history(revision_id)
2596
 
        self._run_pre_change_branch_tip_hooks(len(history), revision_id)
2597
1633
        self._clear_cached_state()
2598
1634
        response = self._call('Branch.set_last_revision',
2599
1635
            self._remote_path(), self._lock_token, self._repo_lock_token,
2600
1636
            revision_id)
2601
1637
        if response != ('ok',):
2602
1638
            raise errors.UnexpectedSmartServerResponse(response)
2603
 
        self._run_post_change_branch_tip_hooks(old_revno, old_revid)
2604
1639
 
2605
1640
    @needs_write_lock
2606
1641
    def set_revision_history(self, rev_history):
2612
1647
        else:
2613
1648
            rev_id = rev_history[-1]
2614
1649
        self._set_last_revision(rev_id)
2615
 
        for hook in branch.Branch.hooks['set_rh']:
2616
 
            hook(self, rev_history)
2617
1650
        self._cache_revision_history(rev_history)
2618
1651
 
2619
 
    def _get_parent_location(self):
2620
 
        medium = self._client._medium
2621
 
        if medium._is_remote_before((1, 13)):
2622
 
            return self._vfs_get_parent_location()
2623
 
        try:
2624
 
            response = self._call('Branch.get_parent', self._remote_path())
2625
 
        except errors.UnknownSmartMethod:
2626
 
            medium._remember_remote_is_before((1, 13))
2627
 
            return self._vfs_get_parent_location()
2628
 
        if len(response) != 1:
2629
 
            raise errors.UnexpectedSmartServerResponse(response)
2630
 
        parent_location = response[0]
2631
 
        if parent_location == '':
2632
 
            return None
2633
 
        return parent_location
2634
 
 
2635
 
    def _vfs_get_parent_location(self):
2636
 
        self._ensure_real()
2637
 
        return self._real_branch._get_parent_location()
2638
 
 
2639
 
    def _set_parent_location(self, url):
2640
 
        medium = self._client._medium
2641
 
        if medium._is_remote_before((1, 15)):
2642
 
            return self._vfs_set_parent_location(url)
2643
 
        try:
2644
 
            call_url = url or ''
2645
 
            if type(call_url) is not str:
2646
 
                raise AssertionError('url must be a str or None (%s)' % url)
2647
 
            response = self._call('Branch.set_parent_location',
2648
 
                self._remote_path(), self._lock_token, self._repo_lock_token,
2649
 
                call_url)
2650
 
        except errors.UnknownSmartMethod:
2651
 
            medium._remember_remote_is_before((1, 15))
2652
 
            return self._vfs_set_parent_location(url)
2653
 
        if response != ():
2654
 
            raise errors.UnexpectedSmartServerResponse(response)
2655
 
 
2656
 
    def _vfs_set_parent_location(self, url):
2657
 
        self._ensure_real()
2658
 
        return self._real_branch._set_parent_location(url)
 
1652
    def get_parent(self):
 
1653
        self._ensure_real()
 
1654
        return self._real_branch.get_parent()
 
1655
        
 
1656
    def set_parent(self, url):
 
1657
        self._ensure_real()
 
1658
        return self._real_branch.set_parent(url)
 
1659
        
 
1660
    def set_stacked_on_url(self, stacked_location):
 
1661
        """Set the URL this branch is stacked against.
 
1662
 
 
1663
        :raises UnstackableBranchFormat: If the branch does not support
 
1664
            stacking.
 
1665
        :raises UnstackableRepositoryFormat: If the repository does not support
 
1666
            stacking.
 
1667
        """
 
1668
        self._ensure_real()
 
1669
        return self._real_branch.set_stacked_on_url(stacked_location)
 
1670
 
 
1671
    def sprout(self, to_bzrdir, revision_id=None):
 
1672
        branch_format = to_bzrdir._format._branch_format
 
1673
        if (branch_format is None or
 
1674
            isinstance(branch_format, RemoteBranchFormat)):
 
1675
            # The to_bzrdir specifies RemoteBranchFormat (or no format, which
 
1676
            # implies the same thing), but RemoteBranches can't be created at
 
1677
            # arbitrary URLs.  So create a branch in the same format as
 
1678
            # _real_branch instead.
 
1679
            # XXX: if to_bzrdir is a RemoteBzrDir, this should perhaps do
 
1680
            # to_bzrdir.create_branch to create a RemoteBranch after all...
 
1681
            self._ensure_real()
 
1682
            result = self._real_branch._format.initialize(to_bzrdir)
 
1683
            self.copy_content_into(result, revision_id=revision_id)
 
1684
            result.set_parent(self.bzrdir.root_transport.base)
 
1685
        else:
 
1686
            result = branch.Branch.sprout(
 
1687
                self, to_bzrdir, revision_id=revision_id)
 
1688
        return result
2659
1689
 
2660
1690
    @needs_write_lock
2661
1691
    def pull(self, source, overwrite=False, stop_revision=None,
2683
1713
 
2684
1714
    @needs_write_lock
2685
1715
    def set_last_revision_info(self, revno, revision_id):
2686
 
        # XXX: These should be returned by the set_last_revision_info verb
2687
 
        old_revno, old_revid = self.last_revision_info()
2688
 
        self._run_pre_change_branch_tip_hooks(revno, revision_id)
2689
1716
        revision_id = ensure_null(revision_id)
2690
1717
        try:
2691
1718
            response = self._call('Branch.set_last_revision_info',
2700
1727
        if response == ('ok',):
2701
1728
            self._clear_cached_state()
2702
1729
            self._last_revision_info_cache = revno, revision_id
2703
 
            self._run_post_change_branch_tip_hooks(old_revno, old_revid)
2704
1730
            # Update the _real_branch's cache too.
2705
1731
            if self._real_branch is not None:
2706
1732
                cache = self._last_revision_info_cache
2713
1739
                                  other_branch=None):
2714
1740
        medium = self._client._medium
2715
1741
        if not medium._is_remote_before((1, 6)):
2716
 
            # Use a smart method for 1.6 and above servers
2717
1742
            try:
2718
1743
                self._set_last_revision_descendant(revision_id, other_branch,
2719
1744
                    allow_diverged=True, allow_overwrite_descendant=True)
2721
1746
            except errors.UnknownSmartMethod:
2722
1747
                medium._remember_remote_is_before((1, 6))
2723
1748
        self._clear_cached_state_of_remote_branch_only()
2724
 
        self.set_revision_history(self._lefthand_history(revision_id,
2725
 
            last_rev=last_rev,other_branch=other_branch))
 
1749
        self._ensure_real()
 
1750
        self._real_branch.generate_revision_history(
 
1751
            revision_id, last_rev=last_rev, other_branch=other_branch)
 
1752
 
 
1753
    @property
 
1754
    def tags(self):
 
1755
        self._ensure_real()
 
1756
        return self._real_branch.tags
2726
1757
 
2727
1758
    def set_push_location(self, location):
2728
1759
        self._ensure_real()
2729
1760
        return self._real_branch.set_push_location(location)
2730
1761
 
2731
 
 
2732
 
class RemoteConfig(object):
2733
 
    """A Config that reads and writes from smart verbs.
2734
 
 
2735
 
    It is a low-level object that considers config data to be name/value pairs
2736
 
    that may be associated with a section. Assigning meaning to the these
2737
 
    values is done at higher levels like bzrlib.config.TreeConfig.
2738
 
    """
2739
 
 
2740
 
    def get_option(self, name, section=None, default=None):
2741
 
        """Return the value associated with a named option.
2742
 
 
2743
 
        :param name: The name of the value
2744
 
        :param section: The section the option is in (if any)
2745
 
        :param default: The value to return if the value is not set
2746
 
        :return: The value or default value
2747
 
        """
 
1762
    @needs_write_lock
 
1763
    def update_revisions(self, other, stop_revision=None, overwrite=False,
 
1764
                         graph=None):
 
1765
        """See Branch.update_revisions."""
 
1766
        other.lock_read()
2748
1767
        try:
2749
 
            configobj = self._get_configobj()
2750
 
            if section is None:
2751
 
                section_obj = configobj
 
1768
            if stop_revision is None:
 
1769
                stop_revision = other.last_revision()
 
1770
                if revision.is_null(stop_revision):
 
1771
                    # if there are no commits, we're done.
 
1772
                    return
 
1773
            self.fetch(other, stop_revision)
 
1774
 
 
1775
            if overwrite:
 
1776
                # Just unconditionally set the new revision.  We don't care if
 
1777
                # the branches have diverged.
 
1778
                self._set_last_revision(stop_revision)
2752
1779
            else:
2753
 
                try:
2754
 
                    section_obj = configobj[section]
2755
 
                except KeyError:
2756
 
                    return default
2757
 
            return section_obj.get(name, default)
2758
 
        except errors.UnknownSmartMethod:
2759
 
            return self._vfs_get_option(name, section, default)
2760
 
 
2761
 
    def _response_to_configobj(self, response):
2762
 
        if len(response[0]) and response[0][0] != 'ok':
2763
 
            raise errors.UnexpectedSmartServerResponse(response)
2764
 
        lines = response[1].read_body_bytes().splitlines()
2765
 
        return config.ConfigObj(lines, encoding='utf-8')
2766
 
 
2767
 
 
2768
 
class RemoteBranchConfig(RemoteConfig):
2769
 
    """A RemoteConfig for Branches."""
2770
 
 
2771
 
    def __init__(self, branch):
2772
 
        self._branch = branch
2773
 
 
2774
 
    def _get_configobj(self):
2775
 
        path = self._branch._remote_path()
2776
 
        response = self._branch._client.call_expecting_body(
2777
 
            'Branch.get_config_file', path)
2778
 
        return self._response_to_configobj(response)
2779
 
 
2780
 
    def set_option(self, value, name, section=None):
2781
 
        """Set the value associated with a named option.
2782
 
 
2783
 
        :param value: The value to set
2784
 
        :param name: The name of the value to set
2785
 
        :param section: The section the option is in (if any)
2786
 
        """
2787
 
        medium = self._branch._client._medium
2788
 
        if medium._is_remote_before((1, 14)):
2789
 
            return self._vfs_set_option(value, name, section)
2790
 
        try:
2791
 
            path = self._branch._remote_path()
2792
 
            response = self._branch._client.call('Branch.set_config_option',
2793
 
                path, self._branch._lock_token, self._branch._repo_lock_token,
2794
 
                value.encode('utf8'), name, section or '')
2795
 
        except errors.UnknownSmartMethod:
2796
 
            medium._remember_remote_is_before((1, 14))
2797
 
            return self._vfs_set_option(value, name, section)
2798
 
        if response != ():
2799
 
            raise errors.UnexpectedSmartServerResponse(response)
2800
 
 
2801
 
    def _real_object(self):
2802
 
        self._branch._ensure_real()
2803
 
        return self._branch._real_branch
2804
 
 
2805
 
    def _vfs_set_option(self, value, name, section=None):
2806
 
        return self._real_object()._get_config().set_option(
2807
 
            value, name, section)
2808
 
 
2809
 
 
2810
 
class RemoteBzrDirConfig(RemoteConfig):
2811
 
    """A RemoteConfig for BzrDirs."""
2812
 
 
2813
 
    def __init__(self, bzrdir):
2814
 
        self._bzrdir = bzrdir
2815
 
 
2816
 
    def _get_configobj(self):
2817
 
        medium = self._bzrdir._client._medium
2818
 
        verb = 'BzrDir.get_config_file'
2819
 
        if medium._is_remote_before((1, 15)):
2820
 
            raise errors.UnknownSmartMethod(verb)
2821
 
        path = self._bzrdir._path_for_remote_call(self._bzrdir._client)
2822
 
        response = self._bzrdir._call_expecting_body(
2823
 
            verb, path)
2824
 
        return self._response_to_configobj(response)
2825
 
 
2826
 
    def _vfs_get_option(self, name, section, default):
2827
 
        return self._real_object()._get_config().get_option(
2828
 
            name, section, default)
2829
 
 
2830
 
    def set_option(self, value, name, section=None):
2831
 
        """Set the value associated with a named option.
2832
 
 
2833
 
        :param value: The value to set
2834
 
        :param name: The name of the value to set
2835
 
        :param section: The section the option is in (if any)
2836
 
        """
2837
 
        return self._real_object()._get_config().set_option(
2838
 
            value, name, section)
2839
 
 
2840
 
    def _real_object(self):
2841
 
        self._bzrdir._ensure_real()
2842
 
        return self._bzrdir._real_bzrdir
2843
 
 
 
1780
                medium = self._client._medium
 
1781
                if not medium._is_remote_before((1, 6)):
 
1782
                    try:
 
1783
                        self._set_last_revision_descendant(stop_revision, other)
 
1784
                        return
 
1785
                    except errors.UnknownSmartMethod:
 
1786
                        medium._remember_remote_is_before((1, 6))
 
1787
                # Fallback for pre-1.6 servers: check for divergence
 
1788
                # client-side, then do _set_last_revision.
 
1789
                last_rev = revision.ensure_null(self.last_revision())
 
1790
                if graph is None:
 
1791
                    graph = self.repository.get_graph()
 
1792
                if self._check_if_descendant_or_diverged(
 
1793
                        stop_revision, last_rev, graph, other):
 
1794
                    # stop_revision is a descendant of last_rev, but we aren't
 
1795
                    # overwriting, so we're done.
 
1796
                    return
 
1797
                self._set_last_revision(stop_revision)
 
1798
        finally:
 
1799
            other.unlock()
2844
1800
 
2845
1801
 
2846
1802
def _extract_tar(tar, to_dir):
2886
1842
                    'Missing key %r in context %r', key_err.args[0], context)
2887
1843
                raise err
2888
1844
 
2889
 
    if err.error_verb == 'IncompatibleRepositories':
2890
 
        raise errors.IncompatibleRepositories(err.error_args[0],
2891
 
            err.error_args[1], err.error_args[2])
2892
 
    elif err.error_verb == 'NoSuchRevision':
 
1845
    if err.error_verb == 'NoSuchRevision':
2893
1846
        raise NoSuchRevision(find('branch'), err.error_args[0])
2894
1847
    elif err.error_verb == 'nosuchrevision':
2895
1848
        raise NoSuchRevision(find('repository'), err.error_args[0])
2896
 
    elif err.error_verb == 'nobranch':
2897
 
        if len(err.error_args) >= 1:
2898
 
            extra = err.error_args[0]
2899
 
        else:
2900
 
            extra = None
2901
 
        raise errors.NotBranchError(path=find('bzrdir').root_transport.base,
2902
 
            detail=extra)
 
1849
    elif err.error_tuple == ('nobranch',):
 
1850
        raise errors.NotBranchError(path=find('bzrdir').root_transport.base)
2903
1851
    elif err.error_verb == 'norepository':
2904
1852
        raise errors.NoRepositoryPresent(find('bzrdir'))
2905
1853
    elif err.error_verb == 'LockContention':