/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/remote.py

  • Committer: Robert Collins
  • Date: 2010-05-11 08:36:16 UTC
  • mto: This revision was merged to the branch mainline in revision 5223.
  • Revision ID: robertc@robertcollins.net-20100511083616-b8fjb19zomwupid0
Make all lock methods return Result objects, rather than lock_read returning self, as per John's review.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2006, 2007, 2008 Canonical Ltd
 
1
# Copyright (C) 2006-2010 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
 
 
17
 
# TODO: At some point, handle upgrades by just passing the whole request
18
 
# across to run on the server.
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19
16
 
20
17
import bz2
21
18
 
22
19
from bzrlib import (
 
20
    bencode,
23
21
    branch,
 
22
    bzrdir,
 
23
    config,
24
24
    debug,
25
25
    errors,
26
26
    graph,
 
27
    lock,
27
28
    lockdir,
28
29
    repository,
 
30
    repository as _mod_repository,
29
31
    revision,
 
32
    revision as _mod_revision,
 
33
    static_tuple,
30
34
    symbol_versioning,
31
 
    urlutils,
32
35
)
33
 
from bzrlib.branch import BranchReferenceFormat
 
36
from bzrlib.branch import BranchReferenceFormat, BranchWriteLockResult
34
37
from bzrlib.bzrdir import BzrDir, RemoteBzrDirFormat
35
 
from bzrlib.decorators import needs_read_lock, needs_write_lock
 
38
from bzrlib.decorators import needs_read_lock, needs_write_lock, only_raises
36
39
from bzrlib.errors import (
37
40
    NoSuchRevision,
38
41
    SmartProtocolError,
39
42
    )
40
43
from bzrlib.lockable_files import LockableFiles
41
 
from bzrlib.smart import client, vfs
 
44
from bzrlib.smart import client, vfs, repository as smart_repo
42
45
from bzrlib.revision import ensure_null, NULL_REVISION
 
46
from bzrlib.repository import RepositoryWriteLockResult
43
47
from bzrlib.trace import mutter, note, warning
44
48
 
45
49
 
51
55
            return self._client.call(method, *args)
52
56
        except errors.ErrorFromSmartServer, err:
53
57
            self._translate_error(err, **err_context)
54
 
        
 
58
 
55
59
    def _call_expecting_body(self, method, *args, **err_context):
56
60
        try:
57
61
            return self._client.call_expecting_body(method, *args)
58
62
        except errors.ErrorFromSmartServer, err:
59
63
            self._translate_error(err, **err_context)
60
 
        
 
64
 
 
65
    def _call_with_body_bytes(self, method, args, body_bytes, **err_context):
 
66
        try:
 
67
            return self._client.call_with_body_bytes(method, args, body_bytes)
 
68
        except errors.ErrorFromSmartServer, err:
 
69
            self._translate_error(err, **err_context)
 
70
 
61
71
    def _call_with_body_bytes_expecting_body(self, method, args, body_bytes,
62
72
                                             **err_context):
63
73
        try:
65
75
                method, args, body_bytes)
66
76
        except errors.ErrorFromSmartServer, err:
67
77
            self._translate_error(err, **err_context)
68
 
        
 
78
 
 
79
 
 
80
def response_tuple_to_repo_format(response):
 
81
    """Convert a response tuple describing a repository format to a format."""
 
82
    format = RemoteRepositoryFormat()
 
83
    format._rich_root_data = (response[0] == 'yes')
 
84
    format._supports_tree_reference = (response[1] == 'yes')
 
85
    format._supports_external_lookups = (response[2] == 'yes')
 
86
    format._network_name = response[3]
 
87
    return format
 
88
 
 
89
 
69
90
# Note: RemoteBzrDirFormat is in bzrdir.py
70
91
 
71
92
class RemoteBzrDir(BzrDir, _RpcHelper):
72
93
    """Control directory on a remote server, accessed via bzr:// or similar."""
73
94
 
74
 
    def __init__(self, transport, _client=None):
 
95
    def __init__(self, transport, format, _client=None, _force_probe=False):
75
96
        """Construct a RemoteBzrDir.
76
97
 
77
98
        :param _client: Private parameter for testing. Disables probing and the
78
99
            use of a real bzrdir.
79
100
        """
80
 
        BzrDir.__init__(self, transport, RemoteBzrDirFormat())
 
101
        BzrDir.__init__(self, transport, format)
81
102
        # this object holds a delegated bzrdir that uses file-level operations
82
103
        # to talk to the other side
83
104
        self._real_bzrdir = None
 
105
        self._has_working_tree = None
 
106
        # 1-shot cache for the call pattern 'create_branch; open_branch' - see
 
107
        # create_branch for details.
 
108
        self._next_open_branch_result = None
84
109
 
85
110
        if _client is None:
86
111
            medium = transport.get_smart_medium()
87
112
            self._client = client._SmartClient(medium)
88
113
        else:
89
114
            self._client = _client
90
 
            return
91
 
 
 
115
            if not _force_probe:
 
116
                return
 
117
 
 
118
        self._probe_bzrdir()
 
119
 
 
120
    def __repr__(self):
 
121
        return '%s(%r)' % (self.__class__.__name__, self._client)
 
122
 
 
123
    def _probe_bzrdir(self):
 
124
        medium = self._client._medium
92
125
        path = self._path_for_remote_call(self._client)
 
126
        if medium._is_remote_before((2, 1)):
 
127
            self._rpc_open(path)
 
128
            return
 
129
        try:
 
130
            self._rpc_open_2_1(path)
 
131
            return
 
132
        except errors.UnknownSmartMethod:
 
133
            medium._remember_remote_is_before((2, 1))
 
134
            self._rpc_open(path)
 
135
 
 
136
    def _rpc_open_2_1(self, path):
 
137
        response = self._call('BzrDir.open_2.1', path)
 
138
        if response == ('no',):
 
139
            raise errors.NotBranchError(path=self.root_transport.base)
 
140
        elif response[0] == 'yes':
 
141
            if response[1] == 'yes':
 
142
                self._has_working_tree = True
 
143
            elif response[1] == 'no':
 
144
                self._has_working_tree = False
 
145
            else:
 
146
                raise errors.UnexpectedSmartServerResponse(response)
 
147
        else:
 
148
            raise errors.UnexpectedSmartServerResponse(response)
 
149
 
 
150
    def _rpc_open(self, path):
93
151
        response = self._call('BzrDir.open', path)
94
152
        if response not in [('yes',), ('no',)]:
95
153
            raise errors.UnexpectedSmartServerResponse(response)
96
154
        if response == ('no',):
97
 
            raise errors.NotBranchError(path=transport.base)
 
155
            raise errors.NotBranchError(path=self.root_transport.base)
98
156
 
99
157
    def _ensure_real(self):
100
158
        """Ensure that there is a _real_bzrdir set.
102
160
        Used before calls to self._real_bzrdir.
103
161
        """
104
162
        if not self._real_bzrdir:
 
163
            if 'hpssvfs' in debug.debug_flags:
 
164
                import traceback
 
165
                warning('VFS BzrDir access triggered\n%s',
 
166
                    ''.join(traceback.format_stack()))
105
167
            self._real_bzrdir = BzrDir.open_from_transport(
106
168
                self.root_transport, _server_formats=False)
 
169
            self._format._network_name = \
 
170
                self._real_bzrdir._format.network_name()
107
171
 
108
172
    def _translate_error(self, err, **context):
109
173
        _translate_error(err, bzrdir=self, **context)
110
174
 
111
 
    def cloning_metadir(self, stacked=False):
 
175
    def break_lock(self):
 
176
        # Prevent aliasing problems in the next_open_branch_result cache.
 
177
        # See create_branch for rationale.
 
178
        self._next_open_branch_result = None
 
179
        return BzrDir.break_lock(self)
 
180
 
 
181
    def _vfs_cloning_metadir(self, require_stacking=False):
112
182
        self._ensure_real()
113
 
        return self._real_bzrdir.cloning_metadir(stacked)
 
183
        return self._real_bzrdir.cloning_metadir(
 
184
            require_stacking=require_stacking)
 
185
 
 
186
    def cloning_metadir(self, require_stacking=False):
 
187
        medium = self._client._medium
 
188
        if medium._is_remote_before((1, 13)):
 
189
            return self._vfs_cloning_metadir(require_stacking=require_stacking)
 
190
        verb = 'BzrDir.cloning_metadir'
 
191
        if require_stacking:
 
192
            stacking = 'True'
 
193
        else:
 
194
            stacking = 'False'
 
195
        path = self._path_for_remote_call(self._client)
 
196
        try:
 
197
            response = self._call(verb, path, stacking)
 
198
        except errors.UnknownSmartMethod:
 
199
            medium._remember_remote_is_before((1, 13))
 
200
            return self._vfs_cloning_metadir(require_stacking=require_stacking)
 
201
        except errors.UnknownErrorFromSmartServer, err:
 
202
            if err.error_tuple != ('BranchReference',):
 
203
                raise
 
204
            # We need to resolve the branch reference to determine the
 
205
            # cloning_metadir.  This causes unnecessary RPCs to open the
 
206
            # referenced branch (and bzrdir, etc) but only when the caller
 
207
            # didn't already resolve the branch reference.
 
208
            referenced_branch = self.open_branch()
 
209
            return referenced_branch.bzrdir.cloning_metadir()
 
210
        if len(response) != 3:
 
211
            raise errors.UnexpectedSmartServerResponse(response)
 
212
        control_name, repo_name, branch_info = response
 
213
        if len(branch_info) != 2:
 
214
            raise errors.UnexpectedSmartServerResponse(response)
 
215
        branch_ref, branch_name = branch_info
 
216
        format = bzrdir.network_format_registry.get(control_name)
 
217
        if repo_name:
 
218
            format.repository_format = repository.network_format_registry.get(
 
219
                repo_name)
 
220
        if branch_ref == 'ref':
 
221
            # XXX: we need possible_transports here to avoid reopening the
 
222
            # connection to the referenced location
 
223
            ref_bzrdir = BzrDir.open(branch_name)
 
224
            branch_format = ref_bzrdir.cloning_metadir().get_branch_format()
 
225
            format.set_branch_format(branch_format)
 
226
        elif branch_ref == 'branch':
 
227
            if branch_name:
 
228
                format.set_branch_format(
 
229
                    branch.network_format_registry.get(branch_name))
 
230
        else:
 
231
            raise errors.UnexpectedSmartServerResponse(response)
 
232
        return format
114
233
 
115
234
    def create_repository(self, shared=False):
116
 
        self._ensure_real()
117
 
        self._real_bzrdir.create_repository(shared=shared)
118
 
        return self.open_repository()
 
235
        # as per meta1 formats - just delegate to the format object which may
 
236
        # be parameterised.
 
237
        result = self._format.repository_format.initialize(self, shared)
 
238
        if not isinstance(result, RemoteRepository):
 
239
            return self.open_repository()
 
240
        else:
 
241
            return result
119
242
 
120
243
    def destroy_repository(self):
121
244
        """See BzrDir.destroy_repository"""
122
245
        self._ensure_real()
123
246
        self._real_bzrdir.destroy_repository()
124
247
 
125
 
    def create_branch(self):
126
 
        self._ensure_real()
127
 
        real_branch = self._real_bzrdir.create_branch()
128
 
        return RemoteBranch(self, self.find_repository(), real_branch)
 
248
    def create_branch(self, name=None):
 
249
        # as per meta1 formats - just delegate to the format object which may
 
250
        # be parameterised.
 
251
        real_branch = self._format.get_branch_format().initialize(self,
 
252
            name=name)
 
253
        if not isinstance(real_branch, RemoteBranch):
 
254
            result = RemoteBranch(self, self.find_repository(), real_branch,
 
255
                                  name=name)
 
256
        else:
 
257
            result = real_branch
 
258
        # BzrDir.clone_on_transport() uses the result of create_branch but does
 
259
        # not return it to its callers; we save approximately 8% of our round
 
260
        # trips by handing the branch we created back to the first caller to
 
261
        # open_branch rather than probing anew. Long term we need a API in
 
262
        # bzrdir that doesn't discard result objects (like result_branch).
 
263
        # RBC 20090225
 
264
        self._next_open_branch_result = result
 
265
        return result
129
266
 
130
 
    def destroy_branch(self):
 
267
    def destroy_branch(self, name=None):
131
268
        """See BzrDir.destroy_branch"""
132
269
        self._ensure_real()
133
 
        self._real_bzrdir.destroy_branch()
 
270
        self._real_bzrdir.destroy_branch(name=name)
 
271
        self._next_open_branch_result = None
134
272
 
135
273
    def create_workingtree(self, revision_id=None, from_branch=None):
136
274
        raise errors.NotLocalUrl(self.transport.base)
145
283
 
146
284
    def get_branch_reference(self):
147
285
        """See BzrDir.get_branch_reference()."""
 
286
        response = self._get_branch_reference()
 
287
        if response[0] == 'ref':
 
288
            return response[1]
 
289
        else:
 
290
            return None
 
291
 
 
292
    def _get_branch_reference(self):
148
293
        path = self._path_for_remote_call(self._client)
149
 
        response = self._call('BzrDir.open_branch', path)
150
 
        if response[0] == 'ok':
151
 
            if response[1] == '':
152
 
                # branch at this location.
153
 
                return None
154
 
            else:
155
 
                # a branch reference, use the existing BranchReference logic.
156
 
                return response[1]
157
 
        else:
 
294
        medium = self._client._medium
 
295
        candidate_calls = [
 
296
            ('BzrDir.open_branchV3', (2, 1)),
 
297
            ('BzrDir.open_branchV2', (1, 13)),
 
298
            ('BzrDir.open_branch', None),
 
299
            ]
 
300
        for verb, required_version in candidate_calls:
 
301
            if required_version and medium._is_remote_before(required_version):
 
302
                continue
 
303
            try:
 
304
                response = self._call(verb, path)
 
305
            except errors.UnknownSmartMethod:
 
306
                if required_version is None:
 
307
                    raise
 
308
                medium._remember_remote_is_before(required_version)
 
309
            else:
 
310
                break
 
311
        if verb == 'BzrDir.open_branch':
 
312
            if response[0] != 'ok':
 
313
                raise errors.UnexpectedSmartServerResponse(response)
 
314
            if response[1] != '':
 
315
                return ('ref', response[1])
 
316
            else:
 
317
                return ('branch', '')
 
318
        if response[0] not in ('ref', 'branch'):
158
319
            raise errors.UnexpectedSmartServerResponse(response)
 
320
        return response
159
321
 
160
322
    def _get_tree_branch(self):
161
323
        """See BzrDir._get_tree_branch()."""
162
324
        return None, self.open_branch()
163
325
 
164
 
    def open_branch(self, _unsupported=False):
165
 
        if _unsupported:
 
326
    def open_branch(self, name=None, unsupported=False,
 
327
                    ignore_fallbacks=False):
 
328
        if unsupported:
166
329
            raise NotImplementedError('unsupported flag support not implemented yet.')
167
 
        reference_url = self.get_branch_reference()
168
 
        if reference_url is None:
169
 
            # branch at this location.
170
 
            return RemoteBranch(self, self.find_repository())
171
 
        else:
 
330
        if self._next_open_branch_result is not None:
 
331
            # See create_branch for details.
 
332
            result = self._next_open_branch_result
 
333
            self._next_open_branch_result = None
 
334
            return result
 
335
        response = self._get_branch_reference()
 
336
        if response[0] == 'ref':
172
337
            # a branch reference, use the existing BranchReference logic.
173
338
            format = BranchReferenceFormat()
174
 
            return format.open(self, _found=True, location=reference_url)
175
 
                
 
339
            return format.open(self, name=name, _found=True,
 
340
                location=response[1], ignore_fallbacks=ignore_fallbacks)
 
341
        branch_format_name = response[1]
 
342
        if not branch_format_name:
 
343
            branch_format_name = None
 
344
        format = RemoteBranchFormat(network_name=branch_format_name)
 
345
        return RemoteBranch(self, self.find_repository(), format=format,
 
346
            setup_stacking=not ignore_fallbacks, name=name)
 
347
 
 
348
    def _open_repo_v1(self, path):
 
349
        verb = 'BzrDir.find_repository'
 
350
        response = self._call(verb, path)
 
351
        if response[0] != 'ok':
 
352
            raise errors.UnexpectedSmartServerResponse(response)
 
353
        # servers that only support the v1 method don't support external
 
354
        # references either.
 
355
        self._ensure_real()
 
356
        repo = self._real_bzrdir.open_repository()
 
357
        response = response + ('no', repo._format.network_name())
 
358
        return response, repo
 
359
 
 
360
    def _open_repo_v2(self, path):
 
361
        verb = 'BzrDir.find_repositoryV2'
 
362
        response = self._call(verb, path)
 
363
        if response[0] != 'ok':
 
364
            raise errors.UnexpectedSmartServerResponse(response)
 
365
        self._ensure_real()
 
366
        repo = self._real_bzrdir.open_repository()
 
367
        response = response + (repo._format.network_name(),)
 
368
        return response, repo
 
369
 
 
370
    def _open_repo_v3(self, path):
 
371
        verb = 'BzrDir.find_repositoryV3'
 
372
        medium = self._client._medium
 
373
        if medium._is_remote_before((1, 13)):
 
374
            raise errors.UnknownSmartMethod(verb)
 
375
        try:
 
376
            response = self._call(verb, path)
 
377
        except errors.UnknownSmartMethod:
 
378
            medium._remember_remote_is_before((1, 13))
 
379
            raise
 
380
        if response[0] != 'ok':
 
381
            raise errors.UnexpectedSmartServerResponse(response)
 
382
        return response, None
 
383
 
176
384
    def open_repository(self):
177
385
        path = self._path_for_remote_call(self._client)
178
 
        verb = 'BzrDir.find_repositoryV2'
179
 
        try:
180
 
            response = self._call(verb, path)
181
 
        except errors.UnknownSmartMethod:
182
 
            verb = 'BzrDir.find_repository'
183
 
            response = self._call(verb, path)
 
386
        response = None
 
387
        for probe in [self._open_repo_v3, self._open_repo_v2,
 
388
            self._open_repo_v1]:
 
389
            try:
 
390
                response, real_repo = probe(path)
 
391
                break
 
392
            except errors.UnknownSmartMethod:
 
393
                pass
 
394
        if response is None:
 
395
            raise errors.UnknownSmartMethod('BzrDir.find_repository{3,2,}')
184
396
        if response[0] != 'ok':
185
397
            raise errors.UnexpectedSmartServerResponse(response)
186
 
        if verb == 'BzrDir.find_repository':
187
 
            # servers that don't support the V2 method don't support external
188
 
            # references either.
189
 
            response = response + ('no', )
190
 
        if not (len(response) == 5):
 
398
        if len(response) != 6:
191
399
            raise SmartProtocolError('incorrect response length %s' % (response,))
192
400
        if response[1] == '':
193
 
            format = RemoteRepositoryFormat()
194
 
            format.rich_root_data = (response[2] == 'yes')
195
 
            format.supports_tree_reference = (response[3] == 'yes')
196
 
            # No wire format to check this yet.
197
 
            format.supports_external_lookups = (response[4] == 'yes')
 
401
            # repo is at this dir.
 
402
            format = response_tuple_to_repo_format(response[2:])
198
403
            # Used to support creating a real format instance when needed.
199
404
            format._creating_bzrdir = self
200
 
            return RemoteRepository(self, format)
 
405
            remote_repo = RemoteRepository(self, format)
 
406
            format._creating_repo = remote_repo
 
407
            if real_repo is not None:
 
408
                remote_repo._set_real_repository(real_repo)
 
409
            return remote_repo
201
410
        else:
202
411
            raise errors.NoRepositoryPresent(self)
203
412
 
 
413
    def has_workingtree(self):
 
414
        if self._has_working_tree is None:
 
415
            self._ensure_real()
 
416
            self._has_working_tree = self._real_bzrdir.has_workingtree()
 
417
        return self._has_working_tree
 
418
 
204
419
    def open_workingtree(self, recommend_upgrade=True):
205
 
        self._ensure_real()
206
 
        if self._real_bzrdir.has_workingtree():
 
420
        if self.has_workingtree():
207
421
            raise errors.NotLocalUrl(self.root_transport)
208
422
        else:
209
423
            raise errors.NoWorkingTree(self.root_transport.base)
212
426
        """Return the path to be used for this bzrdir in a remote call."""
213
427
        return client.remote_path_from_transport(self.root_transport)
214
428
 
215
 
    def get_branch_transport(self, branch_format):
 
429
    def get_branch_transport(self, branch_format, name=None):
216
430
        self._ensure_real()
217
 
        return self._real_bzrdir.get_branch_transport(branch_format)
 
431
        return self._real_bzrdir.get_branch_transport(branch_format, name=name)
218
432
 
219
433
    def get_repository_transport(self, repository_format):
220
434
        self._ensure_real()
230
444
 
231
445
    def needs_format_conversion(self, format=None):
232
446
        """Upgrading of remote bzrdirs is not supported yet."""
 
447
        if format is None:
 
448
            symbol_versioning.warn(symbol_versioning.deprecated_in((1, 13, 0))
 
449
                % 'needs_format_conversion(format=None)')
233
450
        return False
234
451
 
235
452
    def clone(self, url, revision_id=None, force_new_repo=False,
238
455
        return self._real_bzrdir.clone(url, revision_id=revision_id,
239
456
            force_new_repo=force_new_repo, preserve_stacking=preserve_stacking)
240
457
 
241
 
    def get_config(self):
242
 
        self._ensure_real()
243
 
        return self._real_bzrdir.get_config()
 
458
    def _get_config(self):
 
459
        return RemoteBzrDirConfig(self)
244
460
 
245
461
 
246
462
class RemoteRepositoryFormat(repository.RepositoryFormat):
254
470
    the attributes rich_root_data and supports_tree_reference are set
255
471
    on a per instance basis, and are not set (and should not be) at
256
472
    the class level.
 
473
 
 
474
    :ivar _custom_format: If set, a specific concrete repository format that
 
475
        will be used when initializing a repository with this
 
476
        RemoteRepositoryFormat.
 
477
    :ivar _creating_repo: If set, the repository object that this
 
478
        RemoteRepositoryFormat was created for: it can be called into
 
479
        to obtain data like the network name.
257
480
    """
258
481
 
259
482
    _matchingbzrdir = RemoteBzrDirFormat()
260
483
 
261
 
    def initialize(self, a_bzrdir, shared=False):
262
 
        if not isinstance(a_bzrdir, RemoteBzrDir):
 
484
    def __init__(self):
 
485
        repository.RepositoryFormat.__init__(self)
 
486
        self._custom_format = None
 
487
        self._network_name = None
 
488
        self._creating_bzrdir = None
 
489
        self._supports_chks = None
 
490
        self._supports_external_lookups = None
 
491
        self._supports_tree_reference = None
 
492
        self._rich_root_data = None
 
493
 
 
494
    def __repr__(self):
 
495
        return "%s(_network_name=%r)" % (self.__class__.__name__,
 
496
            self._network_name)
 
497
 
 
498
    @property
 
499
    def fast_deltas(self):
 
500
        self._ensure_real()
 
501
        return self._custom_format.fast_deltas
 
502
 
 
503
    @property
 
504
    def rich_root_data(self):
 
505
        if self._rich_root_data is None:
 
506
            self._ensure_real()
 
507
            self._rich_root_data = self._custom_format.rich_root_data
 
508
        return self._rich_root_data
 
509
 
 
510
    @property
 
511
    def supports_chks(self):
 
512
        if self._supports_chks is None:
 
513
            self._ensure_real()
 
514
            self._supports_chks = self._custom_format.supports_chks
 
515
        return self._supports_chks
 
516
 
 
517
    @property
 
518
    def supports_external_lookups(self):
 
519
        if self._supports_external_lookups is None:
 
520
            self._ensure_real()
 
521
            self._supports_external_lookups = \
 
522
                self._custom_format.supports_external_lookups
 
523
        return self._supports_external_lookups
 
524
 
 
525
    @property
 
526
    def supports_tree_reference(self):
 
527
        if self._supports_tree_reference is None:
 
528
            self._ensure_real()
 
529
            self._supports_tree_reference = \
 
530
                self._custom_format.supports_tree_reference
 
531
        return self._supports_tree_reference
 
532
 
 
533
    def _vfs_initialize(self, a_bzrdir, shared):
 
534
        """Helper for common code in initialize."""
 
535
        if self._custom_format:
 
536
            # Custom format requested
 
537
            result = self._custom_format.initialize(a_bzrdir, shared=shared)
 
538
        elif self._creating_bzrdir is not None:
 
539
            # Use the format that the repository we were created to back
 
540
            # has.
263
541
            prior_repo = self._creating_bzrdir.open_repository()
264
542
            prior_repo._ensure_real()
265
 
            return prior_repo._real_repository._format.initialize(
 
543
            result = prior_repo._real_repository._format.initialize(
266
544
                a_bzrdir, shared=shared)
267
 
        return a_bzrdir.create_repository(shared=shared)
268
 
    
 
545
        else:
 
546
            # assume that a_bzr is a RemoteBzrDir but the smart server didn't
 
547
            # support remote initialization.
 
548
            # We delegate to a real object at this point (as RemoteBzrDir
 
549
            # delegate to the repository format which would lead to infinite
 
550
            # recursion if we just called a_bzrdir.create_repository.
 
551
            a_bzrdir._ensure_real()
 
552
            result = a_bzrdir._real_bzrdir.create_repository(shared=shared)
 
553
        if not isinstance(result, RemoteRepository):
 
554
            return self.open(a_bzrdir)
 
555
        else:
 
556
            return result
 
557
 
 
558
    def initialize(self, a_bzrdir, shared=False):
 
559
        # Being asked to create on a non RemoteBzrDir:
 
560
        if not isinstance(a_bzrdir, RemoteBzrDir):
 
561
            return self._vfs_initialize(a_bzrdir, shared)
 
562
        medium = a_bzrdir._client._medium
 
563
        if medium._is_remote_before((1, 13)):
 
564
            return self._vfs_initialize(a_bzrdir, shared)
 
565
        # Creating on a remote bzr dir.
 
566
        # 1) get the network name to use.
 
567
        if self._custom_format:
 
568
            network_name = self._custom_format.network_name()
 
569
        elif self._network_name:
 
570
            network_name = self._network_name
 
571
        else:
 
572
            # Select the current bzrlib default and ask for that.
 
573
            reference_bzrdir_format = bzrdir.format_registry.get('default')()
 
574
            reference_format = reference_bzrdir_format.repository_format
 
575
            network_name = reference_format.network_name()
 
576
        # 2) try direct creation via RPC
 
577
        path = a_bzrdir._path_for_remote_call(a_bzrdir._client)
 
578
        verb = 'BzrDir.create_repository'
 
579
        if shared:
 
580
            shared_str = 'True'
 
581
        else:
 
582
            shared_str = 'False'
 
583
        try:
 
584
            response = a_bzrdir._call(verb, path, network_name, shared_str)
 
585
        except errors.UnknownSmartMethod:
 
586
            # Fallback - use vfs methods
 
587
            medium._remember_remote_is_before((1, 13))
 
588
            return self._vfs_initialize(a_bzrdir, shared)
 
589
        else:
 
590
            # Turn the response into a RemoteRepository object.
 
591
            format = response_tuple_to_repo_format(response[1:])
 
592
            # Used to support creating a real format instance when needed.
 
593
            format._creating_bzrdir = a_bzrdir
 
594
            remote_repo = RemoteRepository(a_bzrdir, format)
 
595
            format._creating_repo = remote_repo
 
596
            return remote_repo
 
597
 
269
598
    def open(self, a_bzrdir):
270
599
        if not isinstance(a_bzrdir, RemoteBzrDir):
271
600
            raise AssertionError('%r is not a RemoteBzrDir' % (a_bzrdir,))
272
601
        return a_bzrdir.open_repository()
273
602
 
 
603
    def _ensure_real(self):
 
604
        if self._custom_format is None:
 
605
            self._custom_format = repository.network_format_registry.get(
 
606
                self._network_name)
 
607
 
 
608
    @property
 
609
    def _fetch_order(self):
 
610
        self._ensure_real()
 
611
        return self._custom_format._fetch_order
 
612
 
 
613
    @property
 
614
    def _fetch_uses_deltas(self):
 
615
        self._ensure_real()
 
616
        return self._custom_format._fetch_uses_deltas
 
617
 
 
618
    @property
 
619
    def _fetch_reconcile(self):
 
620
        self._ensure_real()
 
621
        return self._custom_format._fetch_reconcile
 
622
 
274
623
    def get_format_description(self):
275
 
        return 'bzr remote repository'
 
624
        self._ensure_real()
 
625
        return 'Remote: ' + self._custom_format.get_format_description()
276
626
 
277
627
    def __eq__(self, other):
278
 
        return self.__class__ == other.__class__
279
 
 
280
 
    def check_conversion_target(self, target_format):
281
 
        if self.rich_root_data and not target_format.rich_root_data:
282
 
            raise errors.BadConversionTarget(
283
 
                'Does not support rich root data.', target_format)
284
 
        if (self.supports_tree_reference and
285
 
            not getattr(target_format, 'supports_tree_reference', False)):
286
 
            raise errors.BadConversionTarget(
287
 
                'Does not support nested trees', target_format)
288
 
 
289
 
 
290
 
class _UnstackedParentsProvider(object):
291
 
    """ParentsProvider for RemoteRepository that ignores stacking."""
292
 
 
293
 
    def __init__(self, remote_repository):
294
 
        self._remote_repository = remote_repository
295
 
 
296
 
    def get_parent_map(self, revision_ids):
297
 
        """See RemoteRepository.get_parent_map."""
298
 
        return self._remote_repository._get_parent_map(revision_ids)
299
 
 
300
 
 
301
 
class RemoteRepository(_RpcHelper):
 
628
        return self.__class__ is other.__class__
 
629
 
 
630
    def network_name(self):
 
631
        if self._network_name:
 
632
            return self._network_name
 
633
        self._creating_repo._ensure_real()
 
634
        return self._creating_repo._real_repository._format.network_name()
 
635
 
 
636
    @property
 
637
    def pack_compresses(self):
 
638
        self._ensure_real()
 
639
        return self._custom_format.pack_compresses
 
640
 
 
641
    @property
 
642
    def _serializer(self):
 
643
        self._ensure_real()
 
644
        return self._custom_format._serializer
 
645
 
 
646
 
 
647
class RemoteRepository(_RpcHelper, lock._RelockDebugMixin,
 
648
    bzrdir.ControlComponent):
302
649
    """Repository accessed over rpc.
303
650
 
304
651
    For the moment most operations are performed using local transport-backed
307
654
 
308
655
    def __init__(self, remote_bzrdir, format, real_repository=None, _client=None):
309
656
        """Create a RemoteRepository instance.
310
 
        
 
657
 
311
658
        :param remote_bzrdir: The bzrdir hosting this repository.
312
659
        :param format: The RemoteFormat object to use.
313
660
        :param real_repository: If not None, a local implementation of the
330
677
        self._lock_token = None
331
678
        self._lock_count = 0
332
679
        self._leave_lock = False
333
 
        # A cache of looked up revision parent data; reset at unlock time.
334
 
        self._parents_map = None
335
 
        if 'hpss' in debug.debug_flags:
336
 
            self._requested_parents = None
 
680
        # Cache of revision parents; misses are cached during read locks, and
 
681
        # write locks when no _real_repository has been set.
 
682
        self._unstacked_provider = graph.CachingParentsProvider(
 
683
            get_parent_map=self._get_parent_map_rpc)
 
684
        self._unstacked_provider.disable_cache()
337
685
        # For tests:
338
686
        # These depend on the actual remote format, so force them off for
339
687
        # maximum compatibility. XXX: In future these should depend on the
346
694
        # Additional places to query for data.
347
695
        self._fallback_repositories = []
348
696
 
 
697
    @property
 
698
    def user_transport(self):
 
699
        return self.bzrdir.user_transport
 
700
 
 
701
    @property
 
702
    def control_transport(self):
 
703
        # XXX: Normally you shouldn't directly get at the remote repository
 
704
        # transport, but I'm not sure it's worth making this method
 
705
        # optional -- mbp 2010-04-21
 
706
        return self.bzrdir.get_repository_transport(None)
 
707
        
349
708
    def __str__(self):
350
709
        return "%s(%s)" % (self.__class__.__name__, self.base)
351
710
 
353
712
 
354
713
    def abort_write_group(self, suppress_errors=False):
355
714
        """Complete a write group on the decorated repository.
356
 
        
357
 
        Smart methods peform operations in a single step so this api
 
715
 
 
716
        Smart methods perform operations in a single step so this API
358
717
        is not really applicable except as a compatibility thunk
359
718
        for older plugins that don't use e.g. the CommitBuilder
360
719
        facility.
365
724
        return self._real_repository.abort_write_group(
366
725
            suppress_errors=suppress_errors)
367
726
 
 
727
    @property
 
728
    def chk_bytes(self):
 
729
        """Decorate the real repository for now.
 
730
 
 
731
        In the long term a full blown network facility is needed to avoid
 
732
        creating a real repository object locally.
 
733
        """
 
734
        self._ensure_real()
 
735
        return self._real_repository.chk_bytes
 
736
 
368
737
    def commit_write_group(self):
369
738
        """Complete a write group on the decorated repository.
370
 
        
371
 
        Smart methods peform operations in a single step so this api
 
739
 
 
740
        Smart methods perform operations in a single step so this API
372
741
        is not really applicable except as a compatibility thunk
373
742
        for older plugins that don't use e.g. the CommitBuilder
374
743
        facility.
376
745
        self._ensure_real()
377
746
        return self._real_repository.commit_write_group()
378
747
 
 
748
    def resume_write_group(self, tokens):
 
749
        self._ensure_real()
 
750
        return self._real_repository.resume_write_group(tokens)
 
751
 
 
752
    def suspend_write_group(self):
 
753
        self._ensure_real()
 
754
        return self._real_repository.suspend_write_group()
 
755
 
 
756
    def get_missing_parent_inventories(self, check_for_missing_texts=True):
 
757
        self._ensure_real()
 
758
        return self._real_repository.get_missing_parent_inventories(
 
759
            check_for_missing_texts=check_for_missing_texts)
 
760
 
 
761
    def _get_rev_id_for_revno_vfs(self, revno, known_pair):
 
762
        self._ensure_real()
 
763
        return self._real_repository.get_rev_id_for_revno(
 
764
            revno, known_pair)
 
765
 
 
766
    def get_rev_id_for_revno(self, revno, known_pair):
 
767
        """See Repository.get_rev_id_for_revno."""
 
768
        path = self.bzrdir._path_for_remote_call(self._client)
 
769
        try:
 
770
            if self._client._medium._is_remote_before((1, 17)):
 
771
                return self._get_rev_id_for_revno_vfs(revno, known_pair)
 
772
            response = self._call(
 
773
                'Repository.get_rev_id_for_revno', path, revno, known_pair)
 
774
        except errors.UnknownSmartMethod:
 
775
            self._client._medium._remember_remote_is_before((1, 17))
 
776
            return self._get_rev_id_for_revno_vfs(revno, known_pair)
 
777
        if response[0] == 'ok':
 
778
            return True, response[1]
 
779
        elif response[0] == 'history-incomplete':
 
780
            known_pair = response[1:3]
 
781
            for fallback in self._fallback_repositories:
 
782
                found, result = fallback.get_rev_id_for_revno(revno, known_pair)
 
783
                if found:
 
784
                    return True, result
 
785
                else:
 
786
                    known_pair = result
 
787
            # Not found in any fallbacks
 
788
            return False, known_pair
 
789
        else:
 
790
            raise errors.UnexpectedSmartServerResponse(response)
 
791
 
379
792
    def _ensure_real(self):
380
793
        """Ensure that there is a _real_repository set.
381
794
 
382
795
        Used before calls to self._real_repository.
 
796
 
 
797
        Note that _ensure_real causes many roundtrips to the server which are
 
798
        not desirable, and prevents the use of smart one-roundtrip RPC's to
 
799
        perform complex operations (such as accessing parent data, streaming
 
800
        revisions etc). Adding calls to _ensure_real should only be done when
 
801
        bringing up new functionality, adding fallbacks for smart methods that
 
802
        require a fallback path, and never to replace an existing smart method
 
803
        invocation. If in doubt chat to the bzr network team.
383
804
        """
384
805
        if self._real_repository is None:
 
806
            if 'hpssvfs' in debug.debug_flags:
 
807
                import traceback
 
808
                warning('VFS Repository access triggered\n%s',
 
809
                    ''.join(traceback.format_stack()))
 
810
            self._unstacked_provider.missing_keys.clear()
385
811
            self.bzrdir._ensure_real()
386
812
            self._set_real_repository(
387
813
                self.bzrdir._real_bzrdir.open_repository())
414
840
        self._ensure_real()
415
841
        return self._real_repository._generate_text_key_index()
416
842
 
417
 
    @symbol_versioning.deprecated_method(symbol_versioning.one_four)
418
 
    def get_revision_graph(self, revision_id=None):
419
 
        """See Repository.get_revision_graph()."""
420
 
        return self._get_revision_graph(revision_id)
421
 
 
422
843
    def _get_revision_graph(self, revision_id):
423
844
        """Private method for using with old (< 1.2) servers to fallback."""
424
845
        if revision_id is None:
441
862
        for line in lines:
442
863
            d = tuple(line.split())
443
864
            revision_graph[d[0]] = d[1:]
444
 
            
 
865
 
445
866
        return revision_graph
446
867
 
 
868
    def _get_sink(self):
 
869
        """See Repository._get_sink()."""
 
870
        return RemoteStreamSink(self)
 
871
 
 
872
    def _get_source(self, to_format):
 
873
        """Return a source for streaming from this repository."""
 
874
        return RemoteStreamSource(self, to_format)
 
875
 
 
876
    @needs_read_lock
447
877
    def has_revision(self, revision_id):
448
 
        """See Repository.has_revision()."""
449
 
        if revision_id == NULL_REVISION:
450
 
            # The null revision is always present.
451
 
            return True
452
 
        path = self.bzrdir._path_for_remote_call(self._client)
453
 
        response = self._call('Repository.has_revision', path, revision_id)
454
 
        if response[0] not in ('yes', 'no'):
455
 
            raise errors.UnexpectedSmartServerResponse(response)
456
 
        if response[0] == 'yes':
457
 
            return True
458
 
        for fallback_repo in self._fallback_repositories:
459
 
            if fallback_repo.has_revision(revision_id):
460
 
                return True
461
 
        return False
 
878
        """True if this repository has a copy of the revision."""
 
879
        # Copy of bzrlib.repository.Repository.has_revision
 
880
        return revision_id in self.has_revisions((revision_id,))
462
881
 
 
882
    @needs_read_lock
463
883
    def has_revisions(self, revision_ids):
464
 
        """See Repository.has_revisions()."""
465
 
        # FIXME: This does many roundtrips, particularly when there are
466
 
        # fallback repositories.  -- mbp 20080905
467
 
        result = set()
468
 
        for revision_id in revision_ids:
469
 
            if self.has_revision(revision_id):
470
 
                result.add(revision_id)
 
884
        """Probe to find out the presence of multiple revisions.
 
885
 
 
886
        :param revision_ids: An iterable of revision_ids.
 
887
        :return: A set of the revision_ids that were present.
 
888
        """
 
889
        # Copy of bzrlib.repository.Repository.has_revisions
 
890
        parent_map = self.get_parent_map(revision_ids)
 
891
        result = set(parent_map)
 
892
        if _mod_revision.NULL_REVISION in revision_ids:
 
893
            result.add(_mod_revision.NULL_REVISION)
471
894
        return result
472
895
 
 
896
    def _has_same_fallbacks(self, other_repo):
 
897
        """Returns true if the repositories have the same fallbacks."""
 
898
        # XXX: copied from Repository; it should be unified into a base class
 
899
        # <https://bugs.edge.launchpad.net/bzr/+bug/401622>
 
900
        my_fb = self._fallback_repositories
 
901
        other_fb = other_repo._fallback_repositories
 
902
        if len(my_fb) != len(other_fb):
 
903
            return False
 
904
        for f, g in zip(my_fb, other_fb):
 
905
            if not f.has_same_location(g):
 
906
                return False
 
907
        return True
 
908
 
473
909
    def has_same_location(self, other):
474
 
        return (self.__class__ == other.__class__ and
 
910
        # TODO: Move to RepositoryBase and unify with the regular Repository
 
911
        # one; unfortunately the tests rely on slightly different behaviour at
 
912
        # present -- mbp 20090710
 
913
        return (self.__class__ is other.__class__ and
475
914
                self.bzrdir.transport.base == other.bzrdir.transport.base)
476
915
 
477
916
    def get_graph(self, other_repository=None):
478
917
        """Return the graph for this repository format"""
479
 
        parents_provider = self._make_parents_provider()
480
 
        if (other_repository is not None and
481
 
            other_repository.bzrdir.transport.base !=
482
 
            self.bzrdir.transport.base):
483
 
            parents_provider = graph._StackedParentsProvider(
484
 
                [parents_provider, other_repository._make_parents_provider()])
 
918
        parents_provider = self._make_parents_provider(other_repository)
485
919
        return graph.Graph(parents_provider)
486
920
 
 
921
    @needs_read_lock
 
922
    def get_known_graph_ancestry(self, revision_ids):
 
923
        """Return the known graph for a set of revision ids and their ancestors.
 
924
        """
 
925
        st = static_tuple.StaticTuple
 
926
        revision_keys = [st(r_id).intern() for r_id in revision_ids]
 
927
        known_graph = self.revisions.get_known_graph_ancestry(revision_keys)
 
928
        return graph.GraphThunkIdsToKeys(known_graph)
 
929
 
487
930
    def gather_stats(self, revid=None, committers=None):
488
931
        """See Repository.gather_stats()."""
489
932
        path = self.bzrdir._path_for_remote_call(self._client)
549
992
    def is_write_locked(self):
550
993
        return self._lock_mode == 'w'
551
994
 
 
995
    def _warn_if_deprecated(self, branch=None):
 
996
        # If we have a real repository, the check will be done there, if we
 
997
        # don't the check will be done remotely.
 
998
        pass
 
999
 
552
1000
    def lock_read(self):
 
1001
        """Lock the repository for read operations.
 
1002
 
 
1003
        :return: A bzrlib.lock.LogicalLockResult.
 
1004
        """
553
1005
        # wrong eventually - want a local lock cache context
554
1006
        if not self._lock_mode:
 
1007
            self._note_lock('r')
555
1008
            self._lock_mode = 'r'
556
1009
            self._lock_count = 1
557
 
            self._parents_map = {}
558
 
            if 'hpss' in debug.debug_flags:
559
 
                self._requested_parents = set()
 
1010
            self._unstacked_provider.enable_cache(cache_misses=True)
560
1011
            if self._real_repository is not None:
561
1012
                self._real_repository.lock_read()
 
1013
            for repo in self._fallback_repositories:
 
1014
                repo.lock_read()
562
1015
        else:
563
1016
            self._lock_count += 1
 
1017
        return lock.LogicalLockResult(self.unlock)
564
1018
 
565
1019
    def _remote_lock_write(self, token):
566
1020
        path = self.bzrdir._path_for_remote_call(self._client)
577
1031
 
578
1032
    def lock_write(self, token=None, _skip_rpc=False):
579
1033
        if not self._lock_mode:
 
1034
            self._note_lock('w')
580
1035
            if _skip_rpc:
581
1036
                if self._lock_token is not None:
582
1037
                    if token != self._lock_token:
596
1051
                self._leave_lock = False
597
1052
            self._lock_mode = 'w'
598
1053
            self._lock_count = 1
599
 
            self._parents_map = {}
600
 
            if 'hpss' in debug.debug_flags:
601
 
                self._requested_parents = set()
 
1054
            cache_misses = self._real_repository is None
 
1055
            self._unstacked_provider.enable_cache(cache_misses=cache_misses)
 
1056
            for repo in self._fallback_repositories:
 
1057
                # Writes don't affect fallback repos
 
1058
                repo.lock_read()
602
1059
        elif self._lock_mode == 'r':
603
1060
            raise errors.ReadOnlyError(self)
604
1061
        else:
605
1062
            self._lock_count += 1
606
 
        return self._lock_token or None
 
1063
        return RepositoryWriteLockResult(self.unlock, self._lock_token or None)
607
1064
 
608
1065
    def leave_lock_in_place(self):
609
1066
        if not self._lock_token:
622
1079
            implemented operations.
623
1080
        """
624
1081
        if self._real_repository is not None:
625
 
            raise AssertionError('_real_repository is already set')
 
1082
            # Replacing an already set real repository.
 
1083
            # We cannot do this [currently] if the repository is locked -
 
1084
            # synchronised state might be lost.
 
1085
            if self.is_locked():
 
1086
                raise AssertionError('_real_repository is already set')
626
1087
        if isinstance(repository, RemoteRepository):
627
1088
            raise AssertionError()
628
1089
        self._real_repository = repository
 
1090
        # three code paths happen here:
 
1091
        # 1) old servers, RemoteBranch.open() calls _ensure_real before setting
 
1092
        # up stacking. In this case self._fallback_repositories is [], and the
 
1093
        # real repo is already setup. Preserve the real repo and
 
1094
        # RemoteRepository.add_fallback_repository will avoid adding
 
1095
        # duplicates.
 
1096
        # 2) new servers, RemoteBranch.open() sets up stacking, and when
 
1097
        # ensure_real is triggered from a branch, the real repository to
 
1098
        # set already has a matching list with separate instances, but
 
1099
        # as they are also RemoteRepositories we don't worry about making the
 
1100
        # lists be identical.
 
1101
        # 3) new servers, RemoteRepository.ensure_real is triggered before
 
1102
        # RemoteBranch.ensure real, in this case we get a repo with no fallbacks
 
1103
        # and need to populate it.
 
1104
        if (self._fallback_repositories and
 
1105
            len(self._real_repository._fallback_repositories) !=
 
1106
            len(self._fallback_repositories)):
 
1107
            if len(self._real_repository._fallback_repositories):
 
1108
                raise AssertionError(
 
1109
                    "cannot cleanly remove existing _fallback_repositories")
629
1110
        for fb in self._fallback_repositories:
630
1111
            self._real_repository.add_fallback_repository(fb)
631
1112
        if self._lock_mode == 'w':
637
1118
 
638
1119
    def start_write_group(self):
639
1120
        """Start a write group on the decorated repository.
640
 
        
641
 
        Smart methods peform operations in a single step so this api
 
1121
 
 
1122
        Smart methods perform operations in a single step so this API
642
1123
        is not really applicable except as a compatibility thunk
643
1124
        for older plugins that don't use e.g. the CommitBuilder
644
1125
        facility.
659
1140
        else:
660
1141
            raise errors.UnexpectedSmartServerResponse(response)
661
1142
 
 
1143
    @only_raises(errors.LockNotHeld, errors.LockBroken)
662
1144
    def unlock(self):
 
1145
        if not self._lock_count:
 
1146
            return lock.cant_unlock_not_held(self)
663
1147
        self._lock_count -= 1
664
1148
        if self._lock_count > 0:
665
1149
            return
666
 
        self._parents_map = None
667
 
        if 'hpss' in debug.debug_flags:
668
 
            self._requested_parents = None
 
1150
        self._unstacked_provider.disable_cache()
669
1151
        old_mode = self._lock_mode
670
1152
        self._lock_mode = None
671
1153
        try:
681
1163
            # problem releasing the vfs-based lock.
682
1164
            if old_mode == 'w':
683
1165
                # Only write-locked repositories need to make a remote method
684
 
                # call to perfom the unlock.
 
1166
                # call to perform the unlock.
685
1167
                old_token = self._lock_token
686
1168
                self._lock_token = None
687
1169
                if not self._leave_lock:
688
1170
                    self._unlock(old_token)
 
1171
        # Fallbacks are always 'lock_read()' so we don't pay attention to
 
1172
        # self._leave_lock
 
1173
        for repo in self._fallback_repositories:
 
1174
            repo.unlock()
689
1175
 
690
1176
    def break_lock(self):
691
1177
        # should hand off to the network
694
1180
 
695
1181
    def _get_tarball(self, compression):
696
1182
        """Return a TemporaryFile containing a repository tarball.
697
 
        
 
1183
 
698
1184
        Returns None if the server does not support sending tarballs.
699
1185
        """
700
1186
        import tempfile
746
1232
 
747
1233
    def add_fallback_repository(self, repository):
748
1234
        """Add a repository to use for looking up data not held locally.
749
 
        
 
1235
 
750
1236
        :param repository: A repository.
751
1237
        """
752
 
        # XXX: At the moment the RemoteRepository will allow fallbacks
753
 
        # unconditionally - however, a _real_repository will usually exist,
754
 
        # and may raise an error if it's not accommodated by the underlying
755
 
        # format.  Eventually we should check when opening the repository
756
 
        # whether it's willing to allow them or not.
757
 
        #
 
1238
        if not self._format.supports_external_lookups:
 
1239
            raise errors.UnstackableRepositoryFormat(
 
1240
                self._format.network_name(), self.base)
758
1241
        # We need to accumulate additional repositories here, to pass them in
759
1242
        # on various RPC's.
 
1243
        #
 
1244
        if self.is_locked():
 
1245
            # We will call fallback.unlock() when we transition to the unlocked
 
1246
            # state, so always add a lock here. If a caller passes us a locked
 
1247
            # repository, they are responsible for unlocking it later.
 
1248
            repository.lock_read()
 
1249
        self._check_fallback_repository(repository)
760
1250
        self._fallback_repositories.append(repository)
761
 
        # They are also seen by the fallback repository.  If it doesn't exist
762
 
        # yet they'll be added then.  This implicitly copies them.
763
 
        self._ensure_real()
 
1251
        # If self._real_repository was parameterised already (e.g. because a
 
1252
        # _real_branch had its get_stacked_on_url method called), then the
 
1253
        # repository to be added may already be in the _real_repositories list.
 
1254
        if self._real_repository is not None:
 
1255
            fallback_locations = [repo.user_url for repo in
 
1256
                self._real_repository._fallback_repositories]
 
1257
            if repository.user_url not in fallback_locations:
 
1258
                self._real_repository.add_fallback_repository(repository)
 
1259
 
 
1260
    def _check_fallback_repository(self, repository):
 
1261
        """Check that this repository can fallback to repository safely.
 
1262
 
 
1263
        Raise an error if not.
 
1264
 
 
1265
        :param repository: A repository to fallback to.
 
1266
        """
 
1267
        return _mod_repository.InterRepository._assert_same_model(
 
1268
            self, repository)
764
1269
 
765
1270
    def add_inventory(self, revid, inv, parents):
766
1271
        self._ensure_real()
767
1272
        return self._real_repository.add_inventory(revid, inv, parents)
768
1273
 
 
1274
    def add_inventory_by_delta(self, basis_revision_id, delta, new_revision_id,
 
1275
            parents, basis_inv=None, propagate_caches=False):
 
1276
        self._ensure_real()
 
1277
        return self._real_repository.add_inventory_by_delta(basis_revision_id,
 
1278
            delta, new_revision_id, parents, basis_inv=basis_inv,
 
1279
            propagate_caches=propagate_caches)
 
1280
 
769
1281
    def add_revision(self, rev_id, rev, inv=None, config=None):
770
1282
        self._ensure_real()
771
1283
        return self._real_repository.add_revision(
776
1288
        self._ensure_real()
777
1289
        return self._real_repository.get_inventory(revision_id)
778
1290
 
779
 
    def iter_inventories(self, revision_ids):
 
1291
    def iter_inventories(self, revision_ids, ordering=None):
780
1292
        self._ensure_real()
781
 
        return self._real_repository.iter_inventories(revision_ids)
 
1293
        return self._real_repository.iter_inventories(revision_ids, ordering)
782
1294
 
783
1295
    @needs_read_lock
784
1296
    def get_revision(self, revision_id):
799
1311
        self._ensure_real()
800
1312
        return self._real_repository.make_working_trees()
801
1313
 
 
1314
    def refresh_data(self):
 
1315
        """Re-read any data needed to to synchronise with disk.
 
1316
 
 
1317
        This method is intended to be called after another repository instance
 
1318
        (such as one used by a smart server) has inserted data into the
 
1319
        repository. It may not be called during a write group, but may be
 
1320
        called at any other time.
 
1321
        """
 
1322
        if self.is_in_write_group():
 
1323
            raise errors.InternalBzrError(
 
1324
                "May not refresh_data while in a write group.")
 
1325
        if self._real_repository is not None:
 
1326
            self._real_repository.refresh_data()
 
1327
 
802
1328
    def revision_ids_to_search_result(self, result_set):
803
1329
        """Convert a set of revision ids to a graph SearchResult."""
804
1330
        result_parents = set()
815
1341
    @needs_read_lock
816
1342
    def search_missing_revision_ids(self, other, revision_id=None, find_ghosts=True):
817
1343
        """Return the revision ids that other has that this does not.
818
 
        
 
1344
 
819
1345
        These are returned in topological order.
820
1346
 
821
1347
        revision_id: only return revision ids included by revision_id.
823
1349
        return repository.InterRepository.get(
824
1350
            other, self).search_missing_revision_ids(revision_id, find_ghosts)
825
1351
 
826
 
    def fetch(self, source, revision_id=None, pb=None, find_ghosts=False):
827
 
        # Not delegated to _real_repository so that InterRepository.get has a
828
 
        # chance to find an InterRepository specialised for RemoteRepository.
829
 
        if self.has_same_location(source):
 
1352
    def fetch(self, source, revision_id=None, pb=None, find_ghosts=False,
 
1353
            fetch_spec=None):
 
1354
        # No base implementation to use as RemoteRepository is not a subclass
 
1355
        # of Repository; so this is a copy of Repository.fetch().
 
1356
        if fetch_spec is not None and revision_id is not None:
 
1357
            raise AssertionError(
 
1358
                "fetch_spec and revision_id are mutually exclusive.")
 
1359
        if self.is_in_write_group():
 
1360
            raise errors.InternalBzrError(
 
1361
                "May not fetch while in a write group.")
 
1362
        # fast path same-url fetch operations
 
1363
        if (self.has_same_location(source)
 
1364
            and fetch_spec is None
 
1365
            and self._has_same_fallbacks(source)):
830
1366
            # check that last_revision is in 'from' and then return a
831
1367
            # no-operation.
832
1368
            if (revision_id is not None and
833
1369
                not revision.is_null(revision_id)):
834
1370
                self.get_revision(revision_id)
835
1371
            return 0, []
 
1372
        # if there is no specific appropriate InterRepository, this will get
 
1373
        # the InterRepository base class, which raises an
 
1374
        # IncompatibleRepositories when asked to fetch.
836
1375
        inter = repository.InterRepository.get(source, self)
837
 
        try:
838
 
            return inter.fetch(revision_id=revision_id, pb=pb, find_ghosts=find_ghosts)
839
 
        except NotImplementedError:
840
 
            raise errors.IncompatibleRepositories(source, self)
 
1376
        return inter.fetch(revision_id=revision_id, pb=pb,
 
1377
            find_ghosts=find_ghosts, fetch_spec=fetch_spec)
841
1378
 
842
1379
    def create_bundle(self, target, base, fileobj, format=None):
843
1380
        self._ensure_real()
856
1393
        self._ensure_real()
857
1394
        return self._real_repository._get_versioned_file_checker(
858
1395
            revisions, revision_versions_cache)
859
 
        
 
1396
 
860
1397
    def iter_files_bytes(self, desired_files):
861
1398
        """See Repository.iter_file_bytes.
862
1399
        """
863
1400
        self._ensure_real()
864
1401
        return self._real_repository.iter_files_bytes(desired_files)
865
1402
 
866
 
    @property
867
 
    def _fetch_order(self):
868
 
        """Decorate the real repository for now.
869
 
 
870
 
        In the long term getting this back from the remote repository as part
871
 
        of open would be more efficient.
872
 
        """
873
 
        self._ensure_real()
874
 
        return self._real_repository._fetch_order
875
 
 
876
 
    @property
877
 
    def _fetch_uses_deltas(self):
878
 
        """Decorate the real repository for now.
879
 
 
880
 
        In the long term getting this back from the remote repository as part
881
 
        of open would be more efficient.
882
 
        """
883
 
        self._ensure_real()
884
 
        return self._real_repository._fetch_uses_deltas
885
 
 
886
 
    @property
887
 
    def _fetch_reconcile(self):
888
 
        """Decorate the real repository for now.
889
 
 
890
 
        In the long term getting this back from the remote repository as part
891
 
        of open would be more efficient.
892
 
        """
893
 
        self._ensure_real()
894
 
        return self._real_repository._fetch_reconcile
895
 
 
896
1403
    def get_parent_map(self, revision_ids):
897
1404
        """See bzrlib.Graph.get_parent_map()."""
898
1405
        return self._make_parents_provider().get_parent_map(revision_ids)
899
1406
 
900
 
    def _get_parent_map(self, keys):
901
 
        """Implementation of get_parent_map() that ignores fallbacks."""
902
 
        # Hack to build up the caching logic.
903
 
        ancestry = self._parents_map
904
 
        if ancestry is None:
905
 
            # Repository is not locked, so there's no cache.
906
 
            missing_revisions = set(keys)
907
 
            ancestry = {}
908
 
        else:
909
 
            missing_revisions = set(key for key in keys if key not in ancestry)
910
 
        if missing_revisions:
911
 
            parent_map = self._get_parent_map_rpc(missing_revisions)
912
 
            if 'hpss' in debug.debug_flags:
913
 
                mutter('retransmitted revisions: %d of %d',
914
 
                        len(set(ancestry).intersection(parent_map)),
915
 
                        len(parent_map))
916
 
            ancestry.update(parent_map)
917
 
        present_keys = [k for k in keys if k in ancestry]
918
 
        if 'hpss' in debug.debug_flags:
919
 
            if self._requested_parents is not None and len(ancestry) != 0:
920
 
                self._requested_parents.update(present_keys)
921
 
                mutter('Current RemoteRepository graph hit rate: %d%%',
922
 
                    100.0 * len(self._requested_parents) / len(ancestry))
923
 
        return dict((k, ancestry[k]) for k in present_keys)
924
 
 
925
1407
    def _get_parent_map_rpc(self, keys):
926
1408
        """Helper for get_parent_map that performs the RPC."""
927
1409
        medium = self._client._medium
929
1411
            # We already found out that the server can't understand
930
1412
            # Repository.get_parent_map requests, so just fetch the whole
931
1413
            # graph.
932
 
            # XXX: Note that this will issue a deprecation warning. This is ok
933
 
            # :- its because we're working with a deprecated server anyway, and
934
 
            # the user will almost certainly have seen a warning about the
935
 
            # server version already.
936
 
            rg = self.get_revision_graph()
937
 
            # There is an api discrepency between get_parent_map and
 
1414
            #
 
1415
            # Note that this reads the whole graph, when only some keys are
 
1416
            # wanted.  On this old server there's no way (?) to get them all
 
1417
            # in one go, and the user probably will have seen a warning about
 
1418
            # the server being old anyhow.
 
1419
            rg = self._get_revision_graph(None)
 
1420
            # There is an API discrepancy between get_parent_map and
938
1421
            # get_revision_graph. Specifically, a "key:()" pair in
939
1422
            # get_revision_graph just means a node has no parents. For
940
1423
            # "get_parent_map" it means the node is a ghost. So fix up the
970
1453
        # TODO: Manage this incrementally to avoid covering the same path
971
1454
        # repeatedly. (The server will have to on each request, but the less
972
1455
        # work done the better).
973
 
        parents_map = self._parents_map
 
1456
        #
 
1457
        # Negative caching notes:
 
1458
        # new server sends missing when a request including the revid
 
1459
        # 'include-missing:' is present in the request.
 
1460
        # missing keys are serialised as missing:X, and we then call
 
1461
        # provider.note_missing(X) for-all X
 
1462
        parents_map = self._unstacked_provider.get_cached_map()
974
1463
        if parents_map is None:
975
1464
            # Repository is not locked, so there's no cache.
976
1465
            parents_map = {}
 
1466
        # start_set is all the keys in the cache
977
1467
        start_set = set(parents_map)
 
1468
        # result set is all the references to keys in the cache
978
1469
        result_parents = set()
979
1470
        for parents in parents_map.itervalues():
980
1471
            result_parents.update(parents)
981
1472
        stop_keys = result_parents.difference(start_set)
 
1473
        # We don't need to send ghosts back to the server as a position to
 
1474
        # stop either.
 
1475
        stop_keys.difference_update(self._unstacked_provider.missing_keys)
 
1476
        key_count = len(parents_map)
 
1477
        if (NULL_REVISION in result_parents
 
1478
            and NULL_REVISION in self._unstacked_provider.missing_keys):
 
1479
            # If we pruned NULL_REVISION from the stop_keys because it's also
 
1480
            # in our cache of "missing" keys we need to increment our key count
 
1481
            # by 1, because the reconsitituted SearchResult on the server will
 
1482
            # still consider NULL_REVISION to be an included key.
 
1483
            key_count += 1
982
1484
        included_keys = start_set.intersection(result_parents)
983
1485
        start_set.difference_update(included_keys)
984
 
        recipe = (start_set, stop_keys, len(parents_map))
 
1486
        recipe = ('manual', start_set, stop_keys, key_count)
985
1487
        body = self._serialise_search_recipe(recipe)
986
1488
        path = self.bzrdir._path_for_remote_call(self._client)
987
1489
        for key in keys:
989
1491
                raise ValueError(
990
1492
                    "key %r not a plain string" % (key,))
991
1493
        verb = 'Repository.get_parent_map'
992
 
        args = (path,) + tuple(keys)
 
1494
        args = (path, 'include-missing:') + tuple(keys)
993
1495
        try:
994
1496
            response = self._call_with_body_bytes_expecting_body(
995
1497
                verb, args, body)
1005
1507
            # To avoid having to disconnect repeatedly, we keep track of the
1006
1508
            # fact the server doesn't understand remote methods added in 1.2.
1007
1509
            medium._remember_remote_is_before((1, 2))
1008
 
            return self.get_revision_graph(None)
 
1510
            # Recurse just once and we should use the fallback code.
 
1511
            return self._get_parent_map_rpc(keys)
1009
1512
        response_tuple, response_handler = response
1010
1513
        if response_tuple[0] not in ['ok']:
1011
1514
            response_handler.cancel_read_body()
1022
1525
                if len(d) > 1:
1023
1526
                    revision_graph[d[0]] = d[1:]
1024
1527
                else:
1025
 
                    # No parents - so give the Graph result (NULL_REVISION,).
1026
 
                    revision_graph[d[0]] = (NULL_REVISION,)
 
1528
                    # No parents:
 
1529
                    if d[0].startswith('missing:'):
 
1530
                        revid = d[0][8:]
 
1531
                        self._unstacked_provider.note_missing_key(revid)
 
1532
                    else:
 
1533
                        # no parents - so give the Graph result
 
1534
                        # (NULL_REVISION,).
 
1535
                        revision_graph[d[0]] = (NULL_REVISION,)
1027
1536
            return revision_graph
1028
1537
 
1029
1538
    @needs_read_lock
1032
1541
        return self._real_repository.get_signature_text(revision_id)
1033
1542
 
1034
1543
    @needs_read_lock
1035
 
    @symbol_versioning.deprecated_method(symbol_versioning.one_three)
1036
 
    def get_revision_graph_with_ghosts(self, revision_ids=None):
1037
 
        self._ensure_real()
1038
 
        return self._real_repository.get_revision_graph_with_ghosts(
1039
 
            revision_ids=revision_ids)
1040
 
 
1041
 
    @needs_read_lock
1042
 
    def get_inventory_xml(self, revision_id):
1043
 
        self._ensure_real()
1044
 
        return self._real_repository.get_inventory_xml(revision_id)
1045
 
 
1046
 
    def deserialise_inventory(self, revision_id, xml):
1047
 
        self._ensure_real()
1048
 
        return self._real_repository.deserialise_inventory(revision_id, xml)
 
1544
    def _get_inventory_xml(self, revision_id):
 
1545
        self._ensure_real()
 
1546
        return self._real_repository._get_inventory_xml(revision_id)
1049
1547
 
1050
1548
    def reconcile(self, other=None, thorough=False):
1051
1549
        self._ensure_real()
1052
1550
        return self._real_repository.reconcile(other=other, thorough=thorough)
1053
 
        
 
1551
 
1054
1552
    def all_revision_ids(self):
1055
1553
        self._ensure_real()
1056
1554
        return self._real_repository.all_revision_ids()
1057
 
    
1058
 
    @needs_read_lock
1059
 
    def get_deltas_for_revisions(self, revisions):
1060
 
        self._ensure_real()
1061
 
        return self._real_repository.get_deltas_for_revisions(revisions)
1062
 
 
1063
 
    @needs_read_lock
1064
 
    def get_revision_delta(self, revision_id):
1065
 
        self._ensure_real()
1066
 
        return self._real_repository.get_revision_delta(revision_id)
 
1555
 
 
1556
    @needs_read_lock
 
1557
    def get_deltas_for_revisions(self, revisions, specific_fileids=None):
 
1558
        self._ensure_real()
 
1559
        return self._real_repository.get_deltas_for_revisions(revisions,
 
1560
            specific_fileids=specific_fileids)
 
1561
 
 
1562
    @needs_read_lock
 
1563
    def get_revision_delta(self, revision_id, specific_fileids=None):
 
1564
        self._ensure_real()
 
1565
        return self._real_repository.get_revision_delta(revision_id,
 
1566
            specific_fileids=specific_fileids)
1067
1567
 
1068
1568
    @needs_read_lock
1069
1569
    def revision_trees(self, revision_ids):
1076
1576
        return self._real_repository.get_revision_reconcile(revision_id)
1077
1577
 
1078
1578
    @needs_read_lock
1079
 
    def check(self, revision_ids=None):
 
1579
    def check(self, revision_ids=None, callback_refs=None, check_repo=True):
1080
1580
        self._ensure_real()
1081
 
        return self._real_repository.check(revision_ids=revision_ids)
 
1581
        return self._real_repository.check(revision_ids=revision_ids,
 
1582
            callback_refs=callback_refs, check_repo=check_repo)
1082
1583
 
1083
1584
    def copy_content_into(self, destination, revision_id=None):
1084
1585
        self._ensure_real()
1124
1625
        return self._real_repository.inventories
1125
1626
 
1126
1627
    @needs_write_lock
1127
 
    def pack(self):
 
1628
    def pack(self, hint=None, clean_obsolete_packs=False):
1128
1629
        """Compress the data within the repository.
1129
1630
 
1130
1631
        This is not currently implemented within the smart server.
1131
1632
        """
1132
1633
        self._ensure_real()
1133
 
        return self._real_repository.pack()
 
1634
        return self._real_repository.pack(hint=hint, clean_obsolete_packs=clean_obsolete_packs)
1134
1635
 
1135
1636
    @property
1136
1637
    def revisions(self):
1145
1646
        return self._real_repository.revisions
1146
1647
 
1147
1648
    def set_make_working_trees(self, new_value):
1148
 
        self._ensure_real()
1149
 
        self._real_repository.set_make_working_trees(new_value)
 
1649
        if new_value:
 
1650
            new_value_str = "True"
 
1651
        else:
 
1652
            new_value_str = "False"
 
1653
        path = self.bzrdir._path_for_remote_call(self._client)
 
1654
        try:
 
1655
            response = self._call(
 
1656
                'Repository.set_make_working_trees', path, new_value_str)
 
1657
        except errors.UnknownSmartMethod:
 
1658
            self._ensure_real()
 
1659
            self._real_repository.set_make_working_trees(new_value)
 
1660
        else:
 
1661
            if response[0] != 'ok':
 
1662
                raise errors.UnexpectedSmartServerResponse(response)
1150
1663
 
1151
1664
    @property
1152
1665
    def signatures(self):
1179
1692
        return self._real_repository.get_revisions(revision_ids)
1180
1693
 
1181
1694
    def supports_rich_root(self):
1182
 
        self._ensure_real()
1183
 
        return self._real_repository.supports_rich_root()
 
1695
        return self._format.rich_root_data
1184
1696
 
1185
1697
    def iter_reverse_revision_history(self, revision_id):
1186
1698
        self._ensure_real()
1188
1700
 
1189
1701
    @property
1190
1702
    def _serializer(self):
1191
 
        self._ensure_real()
1192
 
        return self._real_repository._serializer
 
1703
        return self._format._serializer
1193
1704
 
1194
1705
    def store_revision_signature(self, gpg_strategy, plaintext, revision_id):
1195
1706
        self._ensure_real()
1214
1725
        self._ensure_real()
1215
1726
        return self._real_repository.revision_graph_can_have_wrong_parents()
1216
1727
 
1217
 
    def _find_inconsistent_revision_parents(self):
 
1728
    def _find_inconsistent_revision_parents(self, revisions_iterator=None):
1218
1729
        self._ensure_real()
1219
 
        return self._real_repository._find_inconsistent_revision_parents()
 
1730
        return self._real_repository._find_inconsistent_revision_parents(
 
1731
            revisions_iterator)
1220
1732
 
1221
1733
    def _check_for_inconsistent_revision_parents(self):
1222
1734
        self._ensure_real()
1223
1735
        return self._real_repository._check_for_inconsistent_revision_parents()
1224
1736
 
1225
 
    def _make_parents_provider(self):
1226
 
        providers = [_UnstackedParentsProvider(self)]
 
1737
    def _make_parents_provider(self, other=None):
 
1738
        providers = [self._unstacked_provider]
 
1739
        if other is not None:
 
1740
            providers.insert(0, other)
1227
1741
        providers.extend(r._make_parents_provider() for r in
1228
1742
                         self._fallback_repositories)
1229
 
        return graph._StackedParentsProvider(providers)
 
1743
        return graph.StackedParentsProvider(providers)
1230
1744
 
1231
1745
    def _serialise_search_recipe(self, recipe):
1232
1746
        """Serialise a graph search recipe.
1234
1748
        :param recipe: A search recipe (start, stop, count).
1235
1749
        :return: Serialised bytes.
1236
1750
        """
1237
 
        start_keys = ' '.join(recipe[0])
1238
 
        stop_keys = ' '.join(recipe[1])
1239
 
        count = str(recipe[2])
 
1751
        start_keys = ' '.join(recipe[1])
 
1752
        stop_keys = ' '.join(recipe[2])
 
1753
        count = str(recipe[3])
1240
1754
        return '\n'.join((start_keys, stop_keys, count))
1241
1755
 
 
1756
    def _serialise_search_result(self, search_result):
 
1757
        if isinstance(search_result, graph.PendingAncestryResult):
 
1758
            parts = ['ancestry-of']
 
1759
            parts.extend(search_result.heads)
 
1760
        else:
 
1761
            recipe = search_result.get_recipe()
 
1762
            parts = [recipe[0], self._serialise_search_recipe(recipe)]
 
1763
        return '\n'.join(parts)
 
1764
 
1242
1765
    def autopack(self):
1243
1766
        path = self.bzrdir._path_for_remote_call(self._client)
1244
1767
        try:
1247
1770
            self._ensure_real()
1248
1771
            self._real_repository._pack_collection.autopack()
1249
1772
            return
1250
 
        if self._real_repository is not None:
1251
 
            # Reset the real repository's cache of pack names.
1252
 
            # XXX: At some point we may be able to skip this and just rely on
1253
 
            # the automatic retry logic to do the right thing, but for now we
1254
 
            # err on the side of being correct rather than being optimal.
1255
 
            self._real_repository._pack_collection.reload_pack_names()
 
1773
        self.refresh_data()
1256
1774
        if response[0] != 'ok':
1257
1775
            raise errors.UnexpectedSmartServerResponse(response)
1258
1776
 
1259
1777
 
 
1778
class RemoteStreamSink(repository.StreamSink):
 
1779
 
 
1780
    def _insert_real(self, stream, src_format, resume_tokens):
 
1781
        self.target_repo._ensure_real()
 
1782
        sink = self.target_repo._real_repository._get_sink()
 
1783
        result = sink.insert_stream(stream, src_format, resume_tokens)
 
1784
        if not result:
 
1785
            self.target_repo.autopack()
 
1786
        return result
 
1787
 
 
1788
    def insert_stream(self, stream, src_format, resume_tokens):
 
1789
        target = self.target_repo
 
1790
        target._unstacked_provider.missing_keys.clear()
 
1791
        candidate_calls = [('Repository.insert_stream_1.19', (1, 19))]
 
1792
        if target._lock_token:
 
1793
            candidate_calls.append(('Repository.insert_stream_locked', (1, 14)))
 
1794
            lock_args = (target._lock_token or '',)
 
1795
        else:
 
1796
            candidate_calls.append(('Repository.insert_stream', (1, 13)))
 
1797
            lock_args = ()
 
1798
        client = target._client
 
1799
        medium = client._medium
 
1800
        path = target.bzrdir._path_for_remote_call(client)
 
1801
        # Probe for the verb to use with an empty stream before sending the
 
1802
        # real stream to it.  We do this both to avoid the risk of sending a
 
1803
        # large request that is then rejected, and because we don't want to
 
1804
        # implement a way to buffer, rewind, or restart the stream.
 
1805
        found_verb = False
 
1806
        for verb, required_version in candidate_calls:
 
1807
            if medium._is_remote_before(required_version):
 
1808
                continue
 
1809
            if resume_tokens:
 
1810
                # We've already done the probing (and set _is_remote_before) on
 
1811
                # a previous insert.
 
1812
                found_verb = True
 
1813
                break
 
1814
            byte_stream = smart_repo._stream_to_byte_stream([], src_format)
 
1815
            try:
 
1816
                response = client.call_with_body_stream(
 
1817
                    (verb, path, '') + lock_args, byte_stream)
 
1818
            except errors.UnknownSmartMethod:
 
1819
                medium._remember_remote_is_before(required_version)
 
1820
            else:
 
1821
                found_verb = True
 
1822
                break
 
1823
        if not found_verb:
 
1824
            # Have to use VFS.
 
1825
            return self._insert_real(stream, src_format, resume_tokens)
 
1826
        self._last_inv_record = None
 
1827
        self._last_substream = None
 
1828
        if required_version < (1, 19):
 
1829
            # Remote side doesn't support inventory deltas.  Wrap the stream to
 
1830
            # make sure we don't send any.  If the stream contains inventory
 
1831
            # deltas we'll interrupt the smart insert_stream request and
 
1832
            # fallback to VFS.
 
1833
            stream = self._stop_stream_if_inventory_delta(stream)
 
1834
        byte_stream = smart_repo._stream_to_byte_stream(
 
1835
            stream, src_format)
 
1836
        resume_tokens = ' '.join(resume_tokens)
 
1837
        response = client.call_with_body_stream(
 
1838
            (verb, path, resume_tokens) + lock_args, byte_stream)
 
1839
        if response[0][0] not in ('ok', 'missing-basis'):
 
1840
            raise errors.UnexpectedSmartServerResponse(response)
 
1841
        if self._last_substream is not None:
 
1842
            # The stream included an inventory-delta record, but the remote
 
1843
            # side isn't new enough to support them.  So we need to send the
 
1844
            # rest of the stream via VFS.
 
1845
            self.target_repo.refresh_data()
 
1846
            return self._resume_stream_with_vfs(response, src_format)
 
1847
        if response[0][0] == 'missing-basis':
 
1848
            tokens, missing_keys = bencode.bdecode_as_tuple(response[0][1])
 
1849
            resume_tokens = tokens
 
1850
            return resume_tokens, set(missing_keys)
 
1851
        else:
 
1852
            self.target_repo.refresh_data()
 
1853
            return [], set()
 
1854
 
 
1855
    def _resume_stream_with_vfs(self, response, src_format):
 
1856
        """Resume sending a stream via VFS, first resending the record and
 
1857
        substream that couldn't be sent via an insert_stream verb.
 
1858
        """
 
1859
        if response[0][0] == 'missing-basis':
 
1860
            tokens, missing_keys = bencode.bdecode_as_tuple(response[0][1])
 
1861
            # Ignore missing_keys, we haven't finished inserting yet
 
1862
        else:
 
1863
            tokens = []
 
1864
        def resume_substream():
 
1865
            # Yield the substream that was interrupted.
 
1866
            for record in self._last_substream:
 
1867
                yield record
 
1868
            self._last_substream = None
 
1869
        def resume_stream():
 
1870
            # Finish sending the interrupted substream
 
1871
            yield ('inventory-deltas', resume_substream())
 
1872
            # Then simply continue sending the rest of the stream.
 
1873
            for substream_kind, substream in self._last_stream:
 
1874
                yield substream_kind, substream
 
1875
        return self._insert_real(resume_stream(), src_format, tokens)
 
1876
 
 
1877
    def _stop_stream_if_inventory_delta(self, stream):
 
1878
        """Normally this just lets the original stream pass-through unchanged.
 
1879
 
 
1880
        However if any 'inventory-deltas' substream occurs it will stop
 
1881
        streaming, and store the interrupted substream and stream in
 
1882
        self._last_substream and self._last_stream so that the stream can be
 
1883
        resumed by _resume_stream_with_vfs.
 
1884
        """
 
1885
                    
 
1886
        stream_iter = iter(stream)
 
1887
        for substream_kind, substream in stream_iter:
 
1888
            if substream_kind == 'inventory-deltas':
 
1889
                self._last_substream = substream
 
1890
                self._last_stream = stream_iter
 
1891
                return
 
1892
            else:
 
1893
                yield substream_kind, substream
 
1894
            
 
1895
 
 
1896
class RemoteStreamSource(repository.StreamSource):
 
1897
    """Stream data from a remote server."""
 
1898
 
 
1899
    def get_stream(self, search):
 
1900
        if (self.from_repository._fallback_repositories and
 
1901
            self.to_format._fetch_order == 'topological'):
 
1902
            return self._real_stream(self.from_repository, search)
 
1903
        sources = []
 
1904
        seen = set()
 
1905
        repos = [self.from_repository]
 
1906
        while repos:
 
1907
            repo = repos.pop(0)
 
1908
            if repo in seen:
 
1909
                continue
 
1910
            seen.add(repo)
 
1911
            repos.extend(repo._fallback_repositories)
 
1912
            sources.append(repo)
 
1913
        return self.missing_parents_chain(search, sources)
 
1914
 
 
1915
    def get_stream_for_missing_keys(self, missing_keys):
 
1916
        self.from_repository._ensure_real()
 
1917
        real_repo = self.from_repository._real_repository
 
1918
        real_source = real_repo._get_source(self.to_format)
 
1919
        return real_source.get_stream_for_missing_keys(missing_keys)
 
1920
 
 
1921
    def _real_stream(self, repo, search):
 
1922
        """Get a stream for search from repo.
 
1923
        
 
1924
        This never called RemoteStreamSource.get_stream, and is a heler
 
1925
        for RemoteStreamSource._get_stream to allow getting a stream 
 
1926
        reliably whether fallback back because of old servers or trying
 
1927
        to stream from a non-RemoteRepository (which the stacked support
 
1928
        code will do).
 
1929
        """
 
1930
        source = repo._get_source(self.to_format)
 
1931
        if isinstance(source, RemoteStreamSource):
 
1932
            repo._ensure_real()
 
1933
            source = repo._real_repository._get_source(self.to_format)
 
1934
        return source.get_stream(search)
 
1935
 
 
1936
    def _get_stream(self, repo, search):
 
1937
        """Core worker to get a stream from repo for search.
 
1938
 
 
1939
        This is used by both get_stream and the stacking support logic. It
 
1940
        deliberately gets a stream for repo which does not need to be
 
1941
        self.from_repository. In the event that repo is not Remote, or
 
1942
        cannot do a smart stream, a fallback is made to the generic
 
1943
        repository._get_stream() interface, via self._real_stream.
 
1944
 
 
1945
        In the event of stacking, streams from _get_stream will not
 
1946
        contain all the data for search - this is normal (see get_stream).
 
1947
 
 
1948
        :param repo: A repository.
 
1949
        :param search: A search.
 
1950
        """
 
1951
        # Fallbacks may be non-smart
 
1952
        if not isinstance(repo, RemoteRepository):
 
1953
            return self._real_stream(repo, search)
 
1954
        client = repo._client
 
1955
        medium = client._medium
 
1956
        path = repo.bzrdir._path_for_remote_call(client)
 
1957
        search_bytes = repo._serialise_search_result(search)
 
1958
        args = (path, self.to_format.network_name())
 
1959
        candidate_verbs = [
 
1960
            ('Repository.get_stream_1.19', (1, 19)),
 
1961
            ('Repository.get_stream', (1, 13))]
 
1962
        found_verb = False
 
1963
        for verb, version in candidate_verbs:
 
1964
            if medium._is_remote_before(version):
 
1965
                continue
 
1966
            try:
 
1967
                response = repo._call_with_body_bytes_expecting_body(
 
1968
                    verb, args, search_bytes)
 
1969
            except errors.UnknownSmartMethod:
 
1970
                medium._remember_remote_is_before(version)
 
1971
            else:
 
1972
                response_tuple, response_handler = response
 
1973
                found_verb = True
 
1974
                break
 
1975
        if not found_verb:
 
1976
            return self._real_stream(repo, search)
 
1977
        if response_tuple[0] != 'ok':
 
1978
            raise errors.UnexpectedSmartServerResponse(response_tuple)
 
1979
        byte_stream = response_handler.read_streamed_body()
 
1980
        src_format, stream = smart_repo._byte_stream_to_stream(byte_stream)
 
1981
        if src_format.network_name() != repo._format.network_name():
 
1982
            raise AssertionError(
 
1983
                "Mismatched RemoteRepository and stream src %r, %r" % (
 
1984
                src_format.network_name(), repo._format.network_name()))
 
1985
        return stream
 
1986
 
 
1987
    def missing_parents_chain(self, search, sources):
 
1988
        """Chain multiple streams together to handle stacking.
 
1989
 
 
1990
        :param search: The overall search to satisfy with streams.
 
1991
        :param sources: A list of Repository objects to query.
 
1992
        """
 
1993
        self.from_serialiser = self.from_repository._format._serializer
 
1994
        self.seen_revs = set()
 
1995
        self.referenced_revs = set()
 
1996
        # If there are heads in the search, or the key count is > 0, we are not
 
1997
        # done.
 
1998
        while not search.is_empty() and len(sources) > 1:
 
1999
            source = sources.pop(0)
 
2000
            stream = self._get_stream(source, search)
 
2001
            for kind, substream in stream:
 
2002
                if kind != 'revisions':
 
2003
                    yield kind, substream
 
2004
                else:
 
2005
                    yield kind, self.missing_parents_rev_handler(substream)
 
2006
            search = search.refine(self.seen_revs, self.referenced_revs)
 
2007
            self.seen_revs = set()
 
2008
            self.referenced_revs = set()
 
2009
        if not search.is_empty():
 
2010
            for kind, stream in self._get_stream(sources[0], search):
 
2011
                yield kind, stream
 
2012
 
 
2013
    def missing_parents_rev_handler(self, substream):
 
2014
        for content in substream:
 
2015
            revision_bytes = content.get_bytes_as('fulltext')
 
2016
            revision = self.from_serialiser.read_revision_from_string(
 
2017
                revision_bytes)
 
2018
            self.seen_revs.add(content.key[-1])
 
2019
            self.referenced_revs.update(revision.parent_ids)
 
2020
            yield content
 
2021
 
 
2022
 
1260
2023
class RemoteBranchLockableFiles(LockableFiles):
1261
2024
    """A 'LockableFiles' implementation that talks to a smart server.
1262
 
    
 
2025
 
1263
2026
    This is not a public interface class.
1264
2027
    """
1265
2028
 
1279
2042
 
1280
2043
class RemoteBranchFormat(branch.BranchFormat):
1281
2044
 
1282
 
    def __init__(self):
 
2045
    def __init__(self, network_name=None):
1283
2046
        super(RemoteBranchFormat, self).__init__()
1284
2047
        self._matchingbzrdir = RemoteBzrDirFormat()
1285
2048
        self._matchingbzrdir.set_branch_format(self)
 
2049
        self._custom_format = None
 
2050
        self._network_name = network_name
1286
2051
 
1287
2052
    def __eq__(self, other):
1288
 
        return (isinstance(other, RemoteBranchFormat) and 
 
2053
        return (isinstance(other, RemoteBranchFormat) and
1289
2054
            self.__dict__ == other.__dict__)
1290
2055
 
 
2056
    def _ensure_real(self):
 
2057
        if self._custom_format is None:
 
2058
            self._custom_format = branch.network_format_registry.get(
 
2059
                self._network_name)
 
2060
 
1291
2061
    def get_format_description(self):
1292
 
        return 'Remote BZR Branch'
1293
 
 
1294
 
    def get_format_string(self):
1295
 
        return 'Remote BZR Branch'
1296
 
 
1297
 
    def open(self, a_bzrdir):
1298
 
        return a_bzrdir.open_branch()
1299
 
 
1300
 
    def initialize(self, a_bzrdir):
1301
 
        return a_bzrdir.create_branch()
 
2062
        self._ensure_real()
 
2063
        return 'Remote: ' + self._custom_format.get_format_description()
 
2064
 
 
2065
    def network_name(self):
 
2066
        return self._network_name
 
2067
 
 
2068
    def open(self, a_bzrdir, name=None, ignore_fallbacks=False):
 
2069
        return a_bzrdir.open_branch(name=name, 
 
2070
            ignore_fallbacks=ignore_fallbacks)
 
2071
 
 
2072
    def _vfs_initialize(self, a_bzrdir, name):
 
2073
        # Initialisation when using a local bzrdir object, or a non-vfs init
 
2074
        # method is not available on the server.
 
2075
        # self._custom_format is always set - the start of initialize ensures
 
2076
        # that.
 
2077
        if isinstance(a_bzrdir, RemoteBzrDir):
 
2078
            a_bzrdir._ensure_real()
 
2079
            result = self._custom_format.initialize(a_bzrdir._real_bzrdir,
 
2080
                name)
 
2081
        else:
 
2082
            # We assume the bzrdir is parameterised; it may not be.
 
2083
            result = self._custom_format.initialize(a_bzrdir, name)
 
2084
        if (isinstance(a_bzrdir, RemoteBzrDir) and
 
2085
            not isinstance(result, RemoteBranch)):
 
2086
            result = RemoteBranch(a_bzrdir, a_bzrdir.find_repository(), result,
 
2087
                                  name=name)
 
2088
        return result
 
2089
 
 
2090
    def initialize(self, a_bzrdir, name=None):
 
2091
        # 1) get the network name to use.
 
2092
        if self._custom_format:
 
2093
            network_name = self._custom_format.network_name()
 
2094
        else:
 
2095
            # Select the current bzrlib default and ask for that.
 
2096
            reference_bzrdir_format = bzrdir.format_registry.get('default')()
 
2097
            reference_format = reference_bzrdir_format.get_branch_format()
 
2098
            self._custom_format = reference_format
 
2099
            network_name = reference_format.network_name()
 
2100
        # Being asked to create on a non RemoteBzrDir:
 
2101
        if not isinstance(a_bzrdir, RemoteBzrDir):
 
2102
            return self._vfs_initialize(a_bzrdir, name=name)
 
2103
        medium = a_bzrdir._client._medium
 
2104
        if medium._is_remote_before((1, 13)):
 
2105
            return self._vfs_initialize(a_bzrdir, name=name)
 
2106
        # Creating on a remote bzr dir.
 
2107
        # 2) try direct creation via RPC
 
2108
        path = a_bzrdir._path_for_remote_call(a_bzrdir._client)
 
2109
        if name is not None:
 
2110
            # XXX JRV20100304: Support creating colocated branches
 
2111
            raise errors.NoColocatedBranchSupport(self)
 
2112
        verb = 'BzrDir.create_branch'
 
2113
        try:
 
2114
            response = a_bzrdir._call(verb, path, network_name)
 
2115
        except errors.UnknownSmartMethod:
 
2116
            # Fallback - use vfs methods
 
2117
            medium._remember_remote_is_before((1, 13))
 
2118
            return self._vfs_initialize(a_bzrdir, name=name)
 
2119
        if response[0] != 'ok':
 
2120
            raise errors.UnexpectedSmartServerResponse(response)
 
2121
        # Turn the response into a RemoteRepository object.
 
2122
        format = RemoteBranchFormat(network_name=response[1])
 
2123
        repo_format = response_tuple_to_repo_format(response[3:])
 
2124
        if response[2] == '':
 
2125
            repo_bzrdir = a_bzrdir
 
2126
        else:
 
2127
            repo_bzrdir = RemoteBzrDir(
 
2128
                a_bzrdir.root_transport.clone(response[2]), a_bzrdir._format,
 
2129
                a_bzrdir._client)
 
2130
        remote_repo = RemoteRepository(repo_bzrdir, repo_format)
 
2131
        remote_branch = RemoteBranch(a_bzrdir, remote_repo,
 
2132
            format=format, setup_stacking=False, name=name)
 
2133
        # XXX: We know this is a new branch, so it must have revno 0, revid
 
2134
        # NULL_REVISION. Creating the branch locked would make this be unable
 
2135
        # to be wrong; here its simply very unlikely to be wrong. RBC 20090225
 
2136
        remote_branch._last_revision_info_cache = 0, NULL_REVISION
 
2137
        return remote_branch
 
2138
 
 
2139
    def make_tags(self, branch):
 
2140
        self._ensure_real()
 
2141
        return self._custom_format.make_tags(branch)
1302
2142
 
1303
2143
    def supports_tags(self):
1304
2144
        # Remote branches might support tags, but we won't know until we
1305
2145
        # access the real remote branch.
1306
 
        return True
1307
 
 
1308
 
 
1309
 
class RemoteBranch(branch.Branch, _RpcHelper):
 
2146
        self._ensure_real()
 
2147
        return self._custom_format.supports_tags()
 
2148
 
 
2149
    def supports_stacking(self):
 
2150
        self._ensure_real()
 
2151
        return self._custom_format.supports_stacking()
 
2152
 
 
2153
    def supports_set_append_revisions_only(self):
 
2154
        self._ensure_real()
 
2155
        return self._custom_format.supports_set_append_revisions_only()
 
2156
 
 
2157
 
 
2158
class RemoteBranch(branch.Branch, _RpcHelper, lock._RelockDebugMixin):
1310
2159
    """Branch stored on a server accessed by HPSS RPC.
1311
2160
 
1312
2161
    At the moment most operations are mapped down to simple file operations.
1313
2162
    """
1314
2163
 
1315
2164
    def __init__(self, remote_bzrdir, remote_repository, real_branch=None,
1316
 
        _client=None):
 
2165
        _client=None, format=None, setup_stacking=True, name=None):
1317
2166
        """Create a RemoteBranch instance.
1318
2167
 
1319
2168
        :param real_branch: An optional local implementation of the branch
1320
2169
            format, usually accessing the data via the VFS.
1321
2170
        :param _client: Private parameter for testing.
 
2171
        :param format: A RemoteBranchFormat object, None to create one
 
2172
            automatically. If supplied it should have a network_name already
 
2173
            supplied.
 
2174
        :param setup_stacking: If True make an RPC call to determine the
 
2175
            stacked (or not) status of the branch. If False assume the branch
 
2176
            is not stacked.
 
2177
        :param name: Colocated branch name
1322
2178
        """
1323
2179
        # We intentionally don't call the parent class's __init__, because it
1324
2180
        # will try to assign to self.tags, which is a property in this subclass.
1325
2181
        # And the parent's __init__ doesn't do much anyway.
1326
 
        self._revision_id_to_revno_cache = None
1327
 
        self._revision_history_cache = None
1328
 
        self._last_revision_info_cache = None
1329
2182
        self.bzrdir = remote_bzrdir
1330
2183
        if _client is not None:
1331
2184
            self._client = _client
1344
2197
            self._real_branch.repository = self.repository
1345
2198
        else:
1346
2199
            self._real_branch = None
1347
 
        # Fill out expected attributes of branch for bzrlib api users.
1348
 
        self._format = RemoteBranchFormat()
1349
 
        self.base = self.bzrdir.root_transport.base
 
2200
        # Fill out expected attributes of branch for bzrlib API users.
 
2201
        self._clear_cached_state()
 
2202
        # TODO: deprecate self.base in favor of user_url
 
2203
        self.base = self.bzrdir.user_url
 
2204
        self._name = name
1350
2205
        self._control_files = None
1351
2206
        self._lock_mode = None
1352
2207
        self._lock_token = None
1353
2208
        self._repo_lock_token = None
1354
2209
        self._lock_count = 0
1355
2210
        self._leave_lock = False
 
2211
        # Setup a format: note that we cannot call _ensure_real until all the
 
2212
        # attributes above are set: This code cannot be moved higher up in this
 
2213
        # function.
 
2214
        if format is None:
 
2215
            self._format = RemoteBranchFormat()
 
2216
            if real_branch is not None:
 
2217
                self._format._network_name = \
 
2218
                    self._real_branch._format.network_name()
 
2219
        else:
 
2220
            self._format = format
 
2221
        # when we do _ensure_real we may need to pass ignore_fallbacks to the
 
2222
        # branch.open_branch method.
 
2223
        self._real_ignore_fallbacks = not setup_stacking
 
2224
        if not self._format._network_name:
 
2225
            # Did not get from open_branchV2 - old server.
 
2226
            self._ensure_real()
 
2227
            self._format._network_name = \
 
2228
                self._real_branch._format.network_name()
 
2229
        self.tags = self._format.make_tags(self)
1356
2230
        # The base class init is not called, so we duplicate this:
1357
2231
        hooks = branch.Branch.hooks['open']
1358
2232
        for hook in hooks:
1359
2233
            hook(self)
1360
 
        self._setup_stacking()
 
2234
        self._is_stacked = False
 
2235
        if setup_stacking:
 
2236
            self._setup_stacking()
1361
2237
 
1362
2238
    def _setup_stacking(self):
1363
2239
        # configure stacking into the remote repository, by reading it from
1367
2243
        except (errors.NotStacked, errors.UnstackableBranchFormat,
1368
2244
            errors.UnstackableRepositoryFormat), e:
1369
2245
            return
1370
 
        # it's relative to this branch...
1371
 
        fallback_url = urlutils.join(self.base, fallback_url)
1372
 
        transports = [self.bzrdir.root_transport]
1373
 
        if self._real_branch is not None:
1374
 
            transports.append(self._real_branch._transport)
1375
 
        stacked_on = branch.Branch.open(fallback_url,
1376
 
                                        possible_transports=transports)
1377
 
        self.repository.add_fallback_repository(stacked_on.repository)
 
2246
        self._is_stacked = True
 
2247
        self._activate_fallback_location(fallback_url)
 
2248
 
 
2249
    def _get_config(self):
 
2250
        return RemoteBranchConfig(self)
1378
2251
 
1379
2252
    def _get_real_transport(self):
1380
2253
        # if we try vfs access, return the real branch's vfs transport
1398
2271
                raise AssertionError('smart server vfs must be enabled '
1399
2272
                    'to use vfs implementation')
1400
2273
            self.bzrdir._ensure_real()
1401
 
            self._real_branch = self.bzrdir._real_bzrdir.open_branch()
 
2274
            self._real_branch = self.bzrdir._real_bzrdir.open_branch(
 
2275
                ignore_fallbacks=self._real_ignore_fallbacks, name=self._name)
1402
2276
            if self.repository._real_repository is None:
1403
2277
                # Give the remote repository the matching real repo.
1404
2278
                real_repo = self._real_branch.repository
1433
2307
        too, in fact doing so might harm performance.
1434
2308
        """
1435
2309
        super(RemoteBranch, self)._clear_cached_state()
1436
 
        
 
2310
 
1437
2311
    @property
1438
2312
    def control_files(self):
1439
2313
        # Defer actually creating RemoteBranchLockableFiles until its needed,
1478
2352
            raise errors.UnexpectedSmartServerResponse(response)
1479
2353
        return response[1]
1480
2354
 
 
2355
    def set_stacked_on_url(self, url):
 
2356
        branch.Branch.set_stacked_on_url(self, url)
 
2357
        if not url:
 
2358
            self._is_stacked = False
 
2359
        else:
 
2360
            self._is_stacked = True
 
2361
        
 
2362
    def _vfs_get_tags_bytes(self):
 
2363
        self._ensure_real()
 
2364
        return self._real_branch._get_tags_bytes()
 
2365
 
 
2366
    def _get_tags_bytes(self):
 
2367
        medium = self._client._medium
 
2368
        if medium._is_remote_before((1, 13)):
 
2369
            return self._vfs_get_tags_bytes()
 
2370
        try:
 
2371
            response = self._call('Branch.get_tags_bytes', self._remote_path())
 
2372
        except errors.UnknownSmartMethod:
 
2373
            medium._remember_remote_is_before((1, 13))
 
2374
            return self._vfs_get_tags_bytes()
 
2375
        return response[0]
 
2376
 
 
2377
    def _vfs_set_tags_bytes(self, bytes):
 
2378
        self._ensure_real()
 
2379
        return self._real_branch._set_tags_bytes(bytes)
 
2380
 
 
2381
    def _set_tags_bytes(self, bytes):
 
2382
        medium = self._client._medium
 
2383
        if medium._is_remote_before((1, 18)):
 
2384
            self._vfs_set_tags_bytes(bytes)
 
2385
            return
 
2386
        try:
 
2387
            args = (
 
2388
                self._remote_path(), self._lock_token, self._repo_lock_token)
 
2389
            response = self._call_with_body_bytes(
 
2390
                'Branch.set_tags_bytes', args, bytes)
 
2391
        except errors.UnknownSmartMethod:
 
2392
            medium._remember_remote_is_before((1, 18))
 
2393
            self._vfs_set_tags_bytes(bytes)
 
2394
 
1481
2395
    def lock_read(self):
 
2396
        """Lock the branch for read operations.
 
2397
 
 
2398
        :return: A bzrlib.lock.LogicalLockResult.
 
2399
        """
1482
2400
        self.repository.lock_read()
1483
2401
        if not self._lock_mode:
 
2402
            self._note_lock('r')
1484
2403
            self._lock_mode = 'r'
1485
2404
            self._lock_count = 1
1486
2405
            if self._real_branch is not None:
1487
2406
                self._real_branch.lock_read()
1488
2407
        else:
1489
2408
            self._lock_count += 1
 
2409
        return lock.LogicalLockResult(self.unlock)
1490
2410
 
1491
2411
    def _remote_lock_write(self, token):
1492
2412
        if token is None:
1493
2413
            branch_token = repo_token = ''
1494
2414
        else:
1495
2415
            branch_token = token
1496
 
            repo_token = self.repository.lock_write()
 
2416
            repo_token = self.repository.lock_write().repository_token
1497
2417
            self.repository.unlock()
1498
2418
        err_context = {'token': token}
1499
2419
        response = self._call(
1503
2423
            raise errors.UnexpectedSmartServerResponse(response)
1504
2424
        ok, branch_token, repo_token = response
1505
2425
        return branch_token, repo_token
1506
 
            
 
2426
 
1507
2427
    def lock_write(self, token=None):
1508
2428
        if not self._lock_mode:
 
2429
            self._note_lock('w')
1509
2430
            # Lock the branch and repo in one remote call.
1510
2431
            remote_tokens = self._remote_lock_write(token)
1511
2432
            self._lock_token, self._repo_lock_token = remote_tokens
1535
2456
            self._lock_count += 1
1536
2457
            # Re-lock the repository too.
1537
2458
            self.repository.lock_write(self._repo_lock_token)
1538
 
        return self._lock_token or None
 
2459
        return BranchWriteLockResult(self.unlock, self._lock_token or None)
1539
2460
 
1540
2461
    def _unlock(self, branch_token, repo_token):
1541
2462
        err_context = {'token': str((branch_token, repo_token))}
1546
2467
            return
1547
2468
        raise errors.UnexpectedSmartServerResponse(response)
1548
2469
 
 
2470
    @only_raises(errors.LockNotHeld, errors.LockBroken)
1549
2471
    def unlock(self):
1550
2472
        try:
1551
2473
            self._lock_count -= 1
1564
2486
                    self._real_branch.unlock()
1565
2487
                if mode != 'w':
1566
2488
                    # Only write-locked branched need to make a remote method
1567
 
                    # call to perfom the unlock.
 
2489
                    # call to perform the unlock.
1568
2490
                    return
1569
2491
                if not self._lock_token:
1570
2492
                    raise AssertionError('Locked, but no token!')
1591
2513
            raise NotImplementedError(self.dont_leave_lock_in_place)
1592
2514
        self._leave_lock = False
1593
2515
 
 
2516
    @needs_read_lock
 
2517
    def get_rev_id(self, revno, history=None):
 
2518
        if revno == 0:
 
2519
            return _mod_revision.NULL_REVISION
 
2520
        last_revision_info = self.last_revision_info()
 
2521
        ok, result = self.repository.get_rev_id_for_revno(
 
2522
            revno, last_revision_info)
 
2523
        if ok:
 
2524
            return result
 
2525
        missing_parent = result[1]
 
2526
        # Either the revision named by the server is missing, or its parent
 
2527
        # is.  Call get_parent_map to determine which, so that we report a
 
2528
        # useful error.
 
2529
        parent_map = self.repository.get_parent_map([missing_parent])
 
2530
        if missing_parent in parent_map:
 
2531
            missing_parent = parent_map[missing_parent]
 
2532
        raise errors.RevisionNotPresent(missing_parent, self.repository)
 
2533
 
1594
2534
    def _last_revision_info(self):
1595
2535
        response = self._call('Branch.last_revision_info', self._remote_path())
1596
2536
        if response[0] != 'ok':
1601
2541
 
1602
2542
    def _gen_revision_history(self):
1603
2543
        """See Branch._gen_revision_history()."""
 
2544
        if self._is_stacked:
 
2545
            self._ensure_real()
 
2546
            return self._real_branch._gen_revision_history()
1604
2547
        response_tuple, response_handler = self._call_expecting_body(
1605
2548
            'Branch.revision_history', self._remote_path())
1606
2549
        if response_tuple[0] != 'ok':
1615
2558
 
1616
2559
    def _set_last_revision_descendant(self, revision_id, other_branch,
1617
2560
            allow_diverged=False, allow_overwrite_descendant=False):
 
2561
        # This performs additional work to meet the hook contract; while its
 
2562
        # undesirable, we have to synthesise the revno to call the hook, and
 
2563
        # not calling the hook is worse as it means changes can't be prevented.
 
2564
        # Having calculated this though, we can't just call into
 
2565
        # set_last_revision_info as a simple call, because there is a set_rh
 
2566
        # hook that some folk may still be using.
 
2567
        old_revno, old_revid = self.last_revision_info()
 
2568
        history = self._lefthand_history(revision_id)
 
2569
        self._run_pre_change_branch_tip_hooks(len(history), revision_id)
1618
2570
        err_context = {'other_branch': other_branch}
1619
2571
        response = self._call('Branch.set_last_revision_ex',
1620
2572
            self._remote_path(), self._lock_token, self._repo_lock_token,
1625
2577
            raise errors.UnexpectedSmartServerResponse(response)
1626
2578
        new_revno, new_revision_id = response[1:]
1627
2579
        self._last_revision_info_cache = new_revno, new_revision_id
 
2580
        self._run_post_change_branch_tip_hooks(old_revno, old_revid)
1628
2581
        if self._real_branch is not None:
1629
2582
            cache = new_revno, new_revision_id
1630
2583
            self._real_branch._last_revision_info_cache = cache
1631
2584
 
1632
2585
    def _set_last_revision(self, revision_id):
 
2586
        old_revno, old_revid = self.last_revision_info()
 
2587
        # This performs additional work to meet the hook contract; while its
 
2588
        # undesirable, we have to synthesise the revno to call the hook, and
 
2589
        # not calling the hook is worse as it means changes can't be prevented.
 
2590
        # Having calculated this though, we can't just call into
 
2591
        # set_last_revision_info as a simple call, because there is a set_rh
 
2592
        # hook that some folk may still be using.
 
2593
        history = self._lefthand_history(revision_id)
 
2594
        self._run_pre_change_branch_tip_hooks(len(history), revision_id)
1633
2595
        self._clear_cached_state()
1634
2596
        response = self._call('Branch.set_last_revision',
1635
2597
            self._remote_path(), self._lock_token, self._repo_lock_token,
1636
2598
            revision_id)
1637
2599
        if response != ('ok',):
1638
2600
            raise errors.UnexpectedSmartServerResponse(response)
 
2601
        self._run_post_change_branch_tip_hooks(old_revno, old_revid)
1639
2602
 
1640
2603
    @needs_write_lock
1641
2604
    def set_revision_history(self, rev_history):
1647
2610
        else:
1648
2611
            rev_id = rev_history[-1]
1649
2612
        self._set_last_revision(rev_id)
 
2613
        for hook in branch.Branch.hooks['set_rh']:
 
2614
            hook(self, rev_history)
1650
2615
        self._cache_revision_history(rev_history)
1651
2616
 
1652
 
    def get_parent(self):
1653
 
        self._ensure_real()
1654
 
        return self._real_branch.get_parent()
1655
 
        
1656
 
    def set_parent(self, url):
1657
 
        self._ensure_real()
1658
 
        return self._real_branch.set_parent(url)
1659
 
        
1660
 
    def set_stacked_on_url(self, stacked_location):
1661
 
        """Set the URL this branch is stacked against.
1662
 
 
1663
 
        :raises UnstackableBranchFormat: If the branch does not support
1664
 
            stacking.
1665
 
        :raises UnstackableRepositoryFormat: If the repository does not support
1666
 
            stacking.
1667
 
        """
1668
 
        self._ensure_real()
1669
 
        return self._real_branch.set_stacked_on_url(stacked_location)
1670
 
 
1671
 
    def sprout(self, to_bzrdir, revision_id=None):
1672
 
        branch_format = to_bzrdir._format._branch_format
1673
 
        if (branch_format is None or
1674
 
            isinstance(branch_format, RemoteBranchFormat)):
1675
 
            # The to_bzrdir specifies RemoteBranchFormat (or no format, which
1676
 
            # implies the same thing), but RemoteBranches can't be created at
1677
 
            # arbitrary URLs.  So create a branch in the same format as
1678
 
            # _real_branch instead.
1679
 
            # XXX: if to_bzrdir is a RemoteBzrDir, this should perhaps do
1680
 
            # to_bzrdir.create_branch to create a RemoteBranch after all...
1681
 
            self._ensure_real()
1682
 
            result = self._real_branch._format.initialize(to_bzrdir)
1683
 
            self.copy_content_into(result, revision_id=revision_id)
1684
 
            result.set_parent(self.bzrdir.root_transport.base)
1685
 
        else:
1686
 
            result = branch.Branch.sprout(
1687
 
                self, to_bzrdir, revision_id=revision_id)
1688
 
        return result
 
2617
    def _get_parent_location(self):
 
2618
        medium = self._client._medium
 
2619
        if medium._is_remote_before((1, 13)):
 
2620
            return self._vfs_get_parent_location()
 
2621
        try:
 
2622
            response = self._call('Branch.get_parent', self._remote_path())
 
2623
        except errors.UnknownSmartMethod:
 
2624
            medium._remember_remote_is_before((1, 13))
 
2625
            return self._vfs_get_parent_location()
 
2626
        if len(response) != 1:
 
2627
            raise errors.UnexpectedSmartServerResponse(response)
 
2628
        parent_location = response[0]
 
2629
        if parent_location == '':
 
2630
            return None
 
2631
        return parent_location
 
2632
 
 
2633
    def _vfs_get_parent_location(self):
 
2634
        self._ensure_real()
 
2635
        return self._real_branch._get_parent_location()
 
2636
 
 
2637
    def _set_parent_location(self, url):
 
2638
        medium = self._client._medium
 
2639
        if medium._is_remote_before((1, 15)):
 
2640
            return self._vfs_set_parent_location(url)
 
2641
        try:
 
2642
            call_url = url or ''
 
2643
            if type(call_url) is not str:
 
2644
                raise AssertionError('url must be a str or None (%s)' % url)
 
2645
            response = self._call('Branch.set_parent_location',
 
2646
                self._remote_path(), self._lock_token, self._repo_lock_token,
 
2647
                call_url)
 
2648
        except errors.UnknownSmartMethod:
 
2649
            medium._remember_remote_is_before((1, 15))
 
2650
            return self._vfs_set_parent_location(url)
 
2651
        if response != ():
 
2652
            raise errors.UnexpectedSmartServerResponse(response)
 
2653
 
 
2654
    def _vfs_set_parent_location(self, url):
 
2655
        self._ensure_real()
 
2656
        return self._real_branch._set_parent_location(url)
1689
2657
 
1690
2658
    @needs_write_lock
1691
2659
    def pull(self, source, overwrite=False, stop_revision=None,
1713
2681
 
1714
2682
    @needs_write_lock
1715
2683
    def set_last_revision_info(self, revno, revision_id):
 
2684
        # XXX: These should be returned by the set_last_revision_info verb
 
2685
        old_revno, old_revid = self.last_revision_info()
 
2686
        self._run_pre_change_branch_tip_hooks(revno, revision_id)
1716
2687
        revision_id = ensure_null(revision_id)
1717
2688
        try:
1718
2689
            response = self._call('Branch.set_last_revision_info',
1727
2698
        if response == ('ok',):
1728
2699
            self._clear_cached_state()
1729
2700
            self._last_revision_info_cache = revno, revision_id
 
2701
            self._run_post_change_branch_tip_hooks(old_revno, old_revid)
1730
2702
            # Update the _real_branch's cache too.
1731
2703
            if self._real_branch is not None:
1732
2704
                cache = self._last_revision_info_cache
1739
2711
                                  other_branch=None):
1740
2712
        medium = self._client._medium
1741
2713
        if not medium._is_remote_before((1, 6)):
 
2714
            # Use a smart method for 1.6 and above servers
1742
2715
            try:
1743
2716
                self._set_last_revision_descendant(revision_id, other_branch,
1744
2717
                    allow_diverged=True, allow_overwrite_descendant=True)
1746
2719
            except errors.UnknownSmartMethod:
1747
2720
                medium._remember_remote_is_before((1, 6))
1748
2721
        self._clear_cached_state_of_remote_branch_only()
1749
 
        self._ensure_real()
1750
 
        self._real_branch.generate_revision_history(
1751
 
            revision_id, last_rev=last_rev, other_branch=other_branch)
1752
 
 
1753
 
    @property
1754
 
    def tags(self):
1755
 
        self._ensure_real()
1756
 
        return self._real_branch.tags
 
2722
        self.set_revision_history(self._lefthand_history(revision_id,
 
2723
            last_rev=last_rev,other_branch=other_branch))
1757
2724
 
1758
2725
    def set_push_location(self, location):
1759
2726
        self._ensure_real()
1760
2727
        return self._real_branch.set_push_location(location)
1761
2728
 
1762
 
    @needs_write_lock
1763
 
    def update_revisions(self, other, stop_revision=None, overwrite=False,
1764
 
                         graph=None):
1765
 
        """See Branch.update_revisions."""
1766
 
        other.lock_read()
 
2729
 
 
2730
class RemoteConfig(object):
 
2731
    """A Config that reads and writes from smart verbs.
 
2732
 
 
2733
    It is a low-level object that considers config data to be name/value pairs
 
2734
    that may be associated with a section. Assigning meaning to the these
 
2735
    values is done at higher levels like bzrlib.config.TreeConfig.
 
2736
    """
 
2737
 
 
2738
    def get_option(self, name, section=None, default=None):
 
2739
        """Return the value associated with a named option.
 
2740
 
 
2741
        :param name: The name of the value
 
2742
        :param section: The section the option is in (if any)
 
2743
        :param default: The value to return if the value is not set
 
2744
        :return: The value or default value
 
2745
        """
1767
2746
        try:
1768
 
            if stop_revision is None:
1769
 
                stop_revision = other.last_revision()
1770
 
                if revision.is_null(stop_revision):
1771
 
                    # if there are no commits, we're done.
1772
 
                    return
1773
 
            self.fetch(other, stop_revision)
1774
 
 
1775
 
            if overwrite:
1776
 
                # Just unconditionally set the new revision.  We don't care if
1777
 
                # the branches have diverged.
1778
 
                self._set_last_revision(stop_revision)
 
2747
            configobj = self._get_configobj()
 
2748
            if section is None:
 
2749
                section_obj = configobj
1779
2750
            else:
1780
 
                medium = self._client._medium
1781
 
                if not medium._is_remote_before((1, 6)):
1782
 
                    try:
1783
 
                        self._set_last_revision_descendant(stop_revision, other)
1784
 
                        return
1785
 
                    except errors.UnknownSmartMethod:
1786
 
                        medium._remember_remote_is_before((1, 6))
1787
 
                # Fallback for pre-1.6 servers: check for divergence
1788
 
                # client-side, then do _set_last_revision.
1789
 
                last_rev = revision.ensure_null(self.last_revision())
1790
 
                if graph is None:
1791
 
                    graph = self.repository.get_graph()
1792
 
                if self._check_if_descendant_or_diverged(
1793
 
                        stop_revision, last_rev, graph, other):
1794
 
                    # stop_revision is a descendant of last_rev, but we aren't
1795
 
                    # overwriting, so we're done.
1796
 
                    return
1797
 
                self._set_last_revision(stop_revision)
1798
 
        finally:
1799
 
            other.unlock()
 
2751
                try:
 
2752
                    section_obj = configobj[section]
 
2753
                except KeyError:
 
2754
                    return default
 
2755
            return section_obj.get(name, default)
 
2756
        except errors.UnknownSmartMethod:
 
2757
            return self._vfs_get_option(name, section, default)
 
2758
 
 
2759
    def _response_to_configobj(self, response):
 
2760
        if len(response[0]) and response[0][0] != 'ok':
 
2761
            raise errors.UnexpectedSmartServerResponse(response)
 
2762
        lines = response[1].read_body_bytes().splitlines()
 
2763
        return config.ConfigObj(lines, encoding='utf-8')
 
2764
 
 
2765
 
 
2766
class RemoteBranchConfig(RemoteConfig):
 
2767
    """A RemoteConfig for Branches."""
 
2768
 
 
2769
    def __init__(self, branch):
 
2770
        self._branch = branch
 
2771
 
 
2772
    def _get_configobj(self):
 
2773
        path = self._branch._remote_path()
 
2774
        response = self._branch._client.call_expecting_body(
 
2775
            'Branch.get_config_file', path)
 
2776
        return self._response_to_configobj(response)
 
2777
 
 
2778
    def set_option(self, value, name, section=None):
 
2779
        """Set the value associated with a named option.
 
2780
 
 
2781
        :param value: The value to set
 
2782
        :param name: The name of the value to set
 
2783
        :param section: The section the option is in (if any)
 
2784
        """
 
2785
        medium = self._branch._client._medium
 
2786
        if medium._is_remote_before((1, 14)):
 
2787
            return self._vfs_set_option(value, name, section)
 
2788
        try:
 
2789
            path = self._branch._remote_path()
 
2790
            response = self._branch._client.call('Branch.set_config_option',
 
2791
                path, self._branch._lock_token, self._branch._repo_lock_token,
 
2792
                value.encode('utf8'), name, section or '')
 
2793
        except errors.UnknownSmartMethod:
 
2794
            medium._remember_remote_is_before((1, 14))
 
2795
            return self._vfs_set_option(value, name, section)
 
2796
        if response != ():
 
2797
            raise errors.UnexpectedSmartServerResponse(response)
 
2798
 
 
2799
    def _real_object(self):
 
2800
        self._branch._ensure_real()
 
2801
        return self._branch._real_branch
 
2802
 
 
2803
    def _vfs_set_option(self, value, name, section=None):
 
2804
        return self._real_object()._get_config().set_option(
 
2805
            value, name, section)
 
2806
 
 
2807
 
 
2808
class RemoteBzrDirConfig(RemoteConfig):
 
2809
    """A RemoteConfig for BzrDirs."""
 
2810
 
 
2811
    def __init__(self, bzrdir):
 
2812
        self._bzrdir = bzrdir
 
2813
 
 
2814
    def _get_configobj(self):
 
2815
        medium = self._bzrdir._client._medium
 
2816
        verb = 'BzrDir.get_config_file'
 
2817
        if medium._is_remote_before((1, 15)):
 
2818
            raise errors.UnknownSmartMethod(verb)
 
2819
        path = self._bzrdir._path_for_remote_call(self._bzrdir._client)
 
2820
        response = self._bzrdir._call_expecting_body(
 
2821
            verb, path)
 
2822
        return self._response_to_configobj(response)
 
2823
 
 
2824
    def _vfs_get_option(self, name, section, default):
 
2825
        return self._real_object()._get_config().get_option(
 
2826
            name, section, default)
 
2827
 
 
2828
    def set_option(self, value, name, section=None):
 
2829
        """Set the value associated with a named option.
 
2830
 
 
2831
        :param value: The value to set
 
2832
        :param name: The name of the value to set
 
2833
        :param section: The section the option is in (if any)
 
2834
        """
 
2835
        return self._real_object()._get_config().set_option(
 
2836
            value, name, section)
 
2837
 
 
2838
    def _real_object(self):
 
2839
        self._bzrdir._ensure_real()
 
2840
        return self._bzrdir._real_bzrdir
 
2841
 
1800
2842
 
1801
2843
 
1802
2844
def _extract_tar(tar, to_dir):
1842
2884
                    'Missing key %r in context %r', key_err.args[0], context)
1843
2885
                raise err
1844
2886
 
1845
 
    if err.error_verb == 'NoSuchRevision':
 
2887
    if err.error_verb == 'IncompatibleRepositories':
 
2888
        raise errors.IncompatibleRepositories(err.error_args[0],
 
2889
            err.error_args[1], err.error_args[2])
 
2890
    elif err.error_verb == 'NoSuchRevision':
1846
2891
        raise NoSuchRevision(find('branch'), err.error_args[0])
1847
2892
    elif err.error_verb == 'nosuchrevision':
1848
2893
        raise NoSuchRevision(find('repository'), err.error_args[0])
1849
 
    elif err.error_tuple == ('nobranch',):
1850
 
        raise errors.NotBranchError(path=find('bzrdir').root_transport.base)
 
2894
    elif err.error_verb == 'nobranch':
 
2895
        if len(err.error_args) >= 1:
 
2896
            extra = err.error_args[0]
 
2897
        else:
 
2898
            extra = None
 
2899
        raise errors.NotBranchError(path=find('bzrdir').root_transport.base,
 
2900
            detail=extra)
1851
2901
    elif err.error_verb == 'norepository':
1852
2902
        raise errors.NoRepositoryPresent(find('bzrdir'))
1853
2903
    elif err.error_verb == 'LockContention':