/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/transport/remote.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2008-05-19 18:56:45 UTC
  • mfrom: (3373.5.5 dont_log_view_none_211661)
  • Revision ID: pqm@pqm.ubuntu.com-20080519185645-whhuax9pml5sebk5
(jam) Proper fix for bug #211661,
        passing None to get_parent_map() is illegal

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/transport/remote.py
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
"""RemoteTransport client for the smart-server.
18
18
 
28
28
    config,
29
29
    debug,
30
30
    errors,
31
 
    remote,
32
31
    trace,
33
32
    transport,
34
33
    urlutils,
35
34
    )
36
35
from bzrlib.smart import client, medium
37
 
from bzrlib.symbol_versioning import (
38
 
    deprecated_method,
39
 
    )
 
36
from bzrlib.symbol_versioning import (deprecated_method, one_four)
40
37
 
41
38
 
42
39
class _SmartStat(object):
54
51
 
55
52
    The connection has a notion of the current directory to which it's
56
53
    connected; this is incorporated in filenames passed to the server.
57
 
 
58
 
    This supports some higher-level RPC operations and can also be treated
 
54
    
 
55
    This supports some higher-level RPC operations and can also be treated 
59
56
    like a Transport to do file-like operations.
60
57
 
61
58
    The connection can be made over a tcp socket, an ssh pipe or a series of
63
60
    RemoteTCPTransport, etc.
64
61
    """
65
62
 
66
 
    # When making a readv request, cap it at requesting 5MB of data
67
 
    _max_readv_bytes = 5*1024*1024
68
 
 
69
63
    # IMPORTANT FOR IMPLEMENTORS: RemoteTransport MUST NOT be given encoding
70
64
    # responsibilities: Put those on SmartClient or similar. This is vital for
71
65
    # the ability to support multiple versions of the smart protocol over time:
72
 
    # RemoteTransport is an adapter from the Transport object model to the
 
66
    # RemoteTransport is an adapter from the Transport object model to the 
73
67
    # SmartClient model, not an encoder.
74
68
 
75
69
    # FIXME: the medium parameter should be private, only the tests requires
83
77
            one is being cloned from.  Attributes such as the medium will
84
78
            be reused.
85
79
 
86
 
        :param medium: The medium to use for this RemoteTransport.  If None,
87
 
            the medium from the _from_transport is shared.  If both this
88
 
            and _from_transport are None, a new medium will be built.
89
 
            _from_transport and medium cannot both be specified.
 
80
        :param medium: The medium to use for this RemoteTransport. This must be
 
81
            supplied if _from_transport is None.
90
82
 
91
83
        :param _client: Override the _SmartClient used by this transport.  This
92
84
            should only be used for testing purposes; normally this is
93
85
            determined from the medium.
94
86
        """
95
 
        super(RemoteTransport, self).__init__(
96
 
            url, _from_transport=_from_transport)
 
87
        super(RemoteTransport, self).__init__(url,
 
88
                                              _from_transport=_from_transport)
97
89
 
98
90
        # The medium is the connection, except when we need to share it with
99
91
        # other objects (RemoteBzrDir, RemoteRepository etc). In these cases
100
92
        # what we want to share is really the shared connection.
101
93
 
102
 
        if (_from_transport is not None
103
 
            and isinstance(_from_transport, RemoteTransport)):
104
 
            _client = _from_transport._client
105
 
        elif _from_transport is None:
 
94
        if _from_transport is None:
106
95
            # If no _from_transport is specified, we need to intialize the
107
96
            # shared medium.
108
97
            credentials = None
114
103
            self._shared_connection = transport._SharedConnection(medium,
115
104
                                                                  credentials,
116
105
                                                                  self.base)
117
 
        elif medium is None:
118
 
            # No medium was specified, so share the medium from the
119
 
            # _from_transport.
120
 
            medium = self._shared_connection.connection
121
106
        else:
122
 
            raise AssertionError(
123
 
                "Both _from_transport (%r) and medium (%r) passed to "
124
 
                "RemoteTransport.__init__, but these parameters are mutally "
125
 
                "exclusive." % (_from_transport, medium))
 
107
            if medium is None:
 
108
                # No medium was specified, so share the medium from the
 
109
                # _from_transport.
 
110
                medium = self._shared_connection.connection
126
111
 
127
112
        if _client is None:
128
 
            self._client = client._SmartClient(medium)
 
113
            self._client = client._SmartClient(medium, self.base)
129
114
        else:
130
115
            self._client = _client
131
116
 
138
123
        # No credentials
139
124
        return None, None
140
125
 
141
 
    def _report_activity(self, bytes, direction):
142
 
        """See Transport._report_activity.
143
 
 
144
 
        Does nothing; the smart medium will report activity triggered by a
145
 
        RemoteTransport.
146
 
        """
147
 
        pass
148
 
 
149
126
    def is_readonly(self):
150
127
        """Smart server transport can do read/write file operations."""
151
128
        try:
160
137
        elif resp == ('no', ):
161
138
            return False
162
139
        else:
163
 
            raise errors.UnexpectedSmartServerResponse(resp)
 
140
            self._translate_error(resp)
 
141
        raise errors.UnexpectedSmartServerResponse(resp)
164
142
 
165
143
    def get_smart_client(self):
166
144
        return self._get_connection()
168
146
    def get_smart_medium(self):
169
147
        return self._get_connection()
170
148
 
 
149
    @deprecated_method(one_four)
 
150
    def get_shared_medium(self):
 
151
        return self._get_shared_connection()
 
152
 
171
153
    def _remote_path(self, relpath):
172
154
        """Returns the Unicode version of the absolute path for relpath."""
173
155
        return self._combine_paths(self._path, relpath)
174
156
 
175
157
    def _call(self, method, *args):
176
 
        resp = self._call2(method, *args)
177
 
        self._ensure_ok(resp)
 
158
        try:
 
159
            resp = self._call2(method, *args)
 
160
        except errors.ErrorFromSmartServer, err:
 
161
            self._translate_error(err.error_tuple)
 
162
        self._translate_error(resp)
178
163
 
179
164
    def _call2(self, method, *args):
180
165
        """Call a method on the remote server."""
181
166
        try:
182
167
            return self._client.call(method, *args)
183
168
        except errors.ErrorFromSmartServer, err:
184
 
            # The first argument, if present, is always a path.
185
 
            if args:
186
 
                context = {'relpath': args[0]}
187
 
            else:
188
 
                context = {}
189
 
            self._translate_error(err, **context)
 
169
            self._translate_error(err.error_tuple)
190
170
 
191
171
    def _call_with_body_bytes(self, method, args, body):
192
172
        """Call a method on the remote server with body bytes."""
193
173
        try:
194
174
            return self._client.call_with_body_bytes(method, args, body)
195
175
        except errors.ErrorFromSmartServer, err:
196
 
            # The first argument, if present, is always a path.
197
 
            if args:
198
 
                context = {'relpath': args[0]}
199
 
            else:
200
 
                context = {}
201
 
            self._translate_error(err, **context)
 
176
            self._translate_error(err.error_tuple)
202
177
 
203
178
    def has(self, relpath):
204
179
        """Indicate whether a remote file of the given name exists or not.
211
186
        elif resp == ('no', ):
212
187
            return False
213
188
        else:
214
 
            raise errors.UnexpectedSmartServerResponse(resp)
 
189
            self._translate_error(resp)
215
190
 
216
191
    def get(self, relpath):
217
192
        """Return file-like object reading the contents of a remote file.
218
 
 
 
193
        
219
194
        :see: Transport.get_bytes()/get_file()
220
195
        """
221
196
        return StringIO(self.get_bytes(relpath))
225
200
        try:
226
201
            resp, response_handler = self._client.call_expecting_body('get', remote)
227
202
        except errors.ErrorFromSmartServer, err:
228
 
            self._translate_error(err, relpath)
 
203
            self._translate_error(err.error_tuple, relpath)
229
204
        if resp != ('ok', ):
230
205
            response_handler.cancel_read_body()
231
206
            raise errors.UnexpectedSmartServerResponse(resp)
240
215
    def mkdir(self, relpath, mode=None):
241
216
        resp = self._call2('mkdir', self._remote_path(relpath),
242
217
            self._serialise_optional_mode(mode))
 
218
        self._translate_error(resp)
243
219
 
244
220
    def open_write_stream(self, relpath, mode=None):
245
221
        """See Transport.open_write_stream."""
261
237
        resp = self._call_with_body_bytes('put',
262
238
            (self._remote_path(relpath), self._serialise_optional_mode(mode)),
263
239
            upload_contents)
264
 
        self._ensure_ok(resp)
 
240
        self._translate_error(resp)
265
241
        return len(upload_contents)
266
242
 
267
243
    def put_bytes_non_atomic(self, relpath, bytes, mode=None,
278
254
            (self._remote_path(relpath), self._serialise_optional_mode(mode),
279
255
             create_parent_str, self._serialise_optional_mode(dir_mode)),
280
256
            bytes)
281
 
        self._ensure_ok(resp)
 
257
        self._translate_error(resp)
282
258
 
283
259
    def put_file(self, relpath, upload_file, mode=None):
284
260
        # its not ideal to seek back, but currently put_non_atomic_file depends
300
276
 
301
277
    def append_file(self, relpath, from_file, mode=None):
302
278
        return self.append_bytes(relpath, from_file.read(), mode)
303
 
 
 
279
        
304
280
    def append_bytes(self, relpath, bytes, mode=None):
305
281
        resp = self._call_with_body_bytes(
306
282
            'append',
308
284
            bytes)
309
285
        if resp[0] == 'appended':
310
286
            return int(resp[1])
311
 
        raise errors.UnexpectedSmartServerResponse(resp)
 
287
        self._translate_error(resp)
312
288
 
313
289
    def delete(self, relpath):
314
290
        resp = self._call2('delete', self._remote_path(relpath))
315
 
        self._ensure_ok(resp)
 
291
        self._translate_error(resp)
316
292
 
317
293
    def external_url(self):
318
294
        """See bzrlib.transport.Transport.external_url."""
322
298
    def recommended_page_size(self):
323
299
        """Return the recommended page size for this transport."""
324
300
        return 64 * 1024
325
 
 
 
301
        
326
302
    def _readv(self, relpath, offsets):
327
303
        if not offsets:
328
304
            return
330
306
        offsets = list(offsets)
331
307
 
332
308
        sorted_offsets = sorted(offsets)
 
309
        # turn the list of offsets into a stack
 
310
        offset_stack = iter(offsets)
 
311
        cur_offset_and_size = offset_stack.next()
333
312
        coalesced = list(self._coalesce_offsets(sorted_offsets,
334
313
                               limit=self._max_readv_combine,
335
 
                               fudge_factor=self._bytes_to_read_before_seek,
336
 
                               max_size=self._max_readv_bytes))
337
 
 
338
 
        # now that we've coallesced things, avoid making enormous requests
339
 
        requests = []
340
 
        cur_request = []
341
 
        cur_len = 0
342
 
        for c in coalesced:
343
 
            if c.length + cur_len > self._max_readv_bytes:
344
 
                requests.append(cur_request)
345
 
                cur_request = [c]
346
 
                cur_len = c.length
347
 
                continue
348
 
            cur_request.append(c)
349
 
            cur_len += c.length
350
 
        if cur_request:
351
 
            requests.append(cur_request)
352
 
        if 'hpss' in debug.debug_flags:
353
 
            trace.mutter('%s.readv %s offsets => %s coalesced'
354
 
                         ' => %s requests (%s)',
355
 
                         self.__class__.__name__, len(offsets), len(coalesced),
356
 
                         len(requests), sum(map(len, requests)))
 
314
                               fudge_factor=self._bytes_to_read_before_seek))
 
315
 
 
316
        try:
 
317
            result = self._client.call_with_body_readv_array(
 
318
                ('readv', self._remote_path(relpath),),
 
319
                [(c.start, c.length) for c in coalesced])
 
320
            resp, response_handler = result
 
321
        except errors.ErrorFromSmartServer, err:
 
322
            self._translate_error(err.error_tuple)
 
323
 
 
324
        if resp[0] != 'readv':
 
325
            # This should raise an exception
 
326
            response_handler.cancel_read_body()
 
327
            raise errors.UnexpectedSmartServerResponse(resp)
 
328
 
 
329
        # FIXME: this should know how many bytes are needed, for clarity.
 
330
        data = response_handler.read_body_bytes()
357
331
        # Cache the results, but only until they have been fulfilled
358
332
        data_map = {}
359
 
        # turn the list of offsets into a single stack to iterate
360
 
        offset_stack = iter(offsets)
361
 
        # using a list so it can be modified when passing down and coming back
362
 
        next_offset = [offset_stack.next()]
363
 
        for cur_request in requests:
364
 
            try:
365
 
                result = self._client.call_with_body_readv_array(
366
 
                    ('readv', self._remote_path(relpath),),
367
 
                    [(c.start, c.length) for c in cur_request])
368
 
                resp, response_handler = result
369
 
            except errors.ErrorFromSmartServer, err:
370
 
                self._translate_error(err, relpath)
371
 
 
372
 
            if resp[0] != 'readv':
373
 
                # This should raise an exception
374
 
                response_handler.cancel_read_body()
375
 
                raise errors.UnexpectedSmartServerResponse(resp)
376
 
 
377
 
            for res in self._handle_response(offset_stack, cur_request,
378
 
                                             response_handler,
379
 
                                             data_map,
380
 
                                             next_offset):
381
 
                yield res
382
 
 
383
 
    def _handle_response(self, offset_stack, coalesced, response_handler,
384
 
                         data_map, next_offset):
385
 
        cur_offset_and_size = next_offset[0]
386
 
        # FIXME: this should know how many bytes are needed, for clarity.
387
 
        data = response_handler.read_body_bytes()
388
 
        data_offset = 0
389
333
        for c_offset in coalesced:
390
334
            if len(data) < c_offset.length:
391
335
                raise errors.ShortReadvError(relpath, c_offset.start,
392
336
                            c_offset.length, actual=len(data))
393
337
            for suboffset, subsize in c_offset.ranges:
394
338
                key = (c_offset.start+suboffset, subsize)
395
 
                this_data = data[data_offset+suboffset:
396
 
                                 data_offset+suboffset+subsize]
397
 
                # Special case when the data is in-order, rather than packing
398
 
                # into a map and then back out again. Benchmarking shows that
399
 
                # this has 100% hit rate, but leave in the data_map work just
400
 
                # in case.
401
 
                # TODO: Could we get away with using buffer() to avoid the
402
 
                #       memory copy?  Callers would need to realize they may
403
 
                #       not have a real string.
404
 
                if key == cur_offset_and_size:
405
 
                    yield cur_offset_and_size[0], this_data
406
 
                    cur_offset_and_size = next_offset[0] = offset_stack.next()
407
 
                else:
408
 
                    data_map[key] = this_data
409
 
            data_offset += c_offset.length
 
339
                data_map[key] = data[suboffset:suboffset+subsize]
 
340
            data = data[c_offset.length:]
410
341
 
411
342
            # Now that we've read some data, see if we can yield anything back
412
343
            while cur_offset_and_size in data_map:
413
344
                this_data = data_map.pop(cur_offset_and_size)
414
345
                yield cur_offset_and_size[0], this_data
415
 
                cur_offset_and_size = next_offset[0] = offset_stack.next()
 
346
                cur_offset_and_size = offset_stack.next()
416
347
 
417
348
    def rename(self, rel_from, rel_to):
418
349
        self._call('rename',
427
358
    def rmdir(self, relpath):
428
359
        resp = self._call('rmdir', self._remote_path(relpath))
429
360
 
430
 
    def _ensure_ok(self, resp):
431
 
        if resp[0] != 'ok':
432
 
            raise errors.UnexpectedSmartServerResponse(resp)
433
 
 
434
 
    def _translate_error(self, err, relpath=None):
435
 
        remote._translate_error(err, path=relpath)
 
361
    def _translate_error(self, resp, orig_path=None):
 
362
        """Raise an exception from a response"""
 
363
        if resp is None:
 
364
            what = None
 
365
        else:
 
366
            what = resp[0]
 
367
        if what == 'ok':
 
368
            return
 
369
        elif what == 'NoSuchFile':
 
370
            if orig_path is not None:
 
371
                error_path = orig_path
 
372
            else:
 
373
                error_path = resp[1]
 
374
            raise errors.NoSuchFile(error_path)
 
375
        elif what == 'error':
 
376
            raise errors.SmartProtocolError(unicode(resp[1]))
 
377
        elif what == 'FileExists':
 
378
            raise errors.FileExists(resp[1])
 
379
        elif what == 'DirectoryNotEmpty':
 
380
            raise errors.DirectoryNotEmpty(resp[1])
 
381
        elif what == 'ShortReadvError':
 
382
            raise errors.ShortReadvError(resp[1], int(resp[2]),
 
383
                                         int(resp[3]), int(resp[4]))
 
384
        elif what in ('UnicodeEncodeError', 'UnicodeDecodeError'):
 
385
            encoding = str(resp[1]) # encoding must always be a string
 
386
            val = resp[2]
 
387
            start = int(resp[3])
 
388
            end = int(resp[4])
 
389
            reason = str(resp[5]) # reason must always be a string
 
390
            if val.startswith('u:'):
 
391
                val = val[2:].decode('utf-8')
 
392
            elif val.startswith('s:'):
 
393
                val = val[2:].decode('base64')
 
394
            if what == 'UnicodeDecodeError':
 
395
                raise UnicodeDecodeError(encoding, val, start, end, reason)
 
396
            elif what == 'UnicodeEncodeError':
 
397
                raise UnicodeEncodeError(encoding, val, start, end, reason)
 
398
        elif what == "ReadOnlyError":
 
399
            raise errors.TransportNotPossible('readonly transport')
 
400
        elif what == "ReadError":
 
401
            if orig_path is not None:
 
402
                error_path = orig_path
 
403
            else:
 
404
                error_path = resp[1]
 
405
            raise errors.ReadError(error_path)
 
406
        elif what == "PermissionDenied":
 
407
            if orig_path is not None:
 
408
                error_path = orig_path
 
409
            else:
 
410
                error_path = resp[1]
 
411
            raise errors.PermissionDenied(error_path)
 
412
        else:
 
413
            raise errors.SmartProtocolError('unexpected smart server error: %r' % (resp,))
436
414
 
437
415
    def disconnect(self):
438
416
        self.get_smart_medium().disconnect()
439
417
 
 
418
    def delete_tree(self, relpath):
 
419
        raise errors.TransportNotPossible('readonly transport')
 
420
 
440
421
    def stat(self, relpath):
441
422
        resp = self._call2('stat', self._remote_path(relpath))
442
423
        if resp[0] == 'stat':
443
424
            return _SmartStat(int(resp[1]), int(resp[2], 8))
444
 
        raise errors.UnexpectedSmartServerResponse(resp)
 
425
        else:
 
426
            self._translate_error(resp)
445
427
 
446
428
    ## def lock_read(self, relpath):
447
429
    ##     """Lock the given file for shared (read) access.
463
445
        resp = self._call2('list_dir', self._remote_path(relpath))
464
446
        if resp[0] == 'names':
465
447
            return [name.encode('ascii') for name in resp[1:]]
466
 
        raise errors.UnexpectedSmartServerResponse(resp)
 
448
        else:
 
449
            self._translate_error(resp)
467
450
 
468
451
    def iter_files_recursive(self):
469
452
        resp = self._call2('iter_files_recursive', self._remote_path(''))
470
453
        if resp[0] == 'names':
471
454
            return resp[1:]
472
 
        raise errors.UnexpectedSmartServerResponse(resp)
 
455
        else:
 
456
            self._translate_error(resp)
473
457
 
474
458
 
475
459
class RemoteTCPTransport(RemoteTransport):
476
460
    """Connection to smart server over plain tcp.
477
 
 
 
461
    
478
462
    This is essentially just a factory to get 'RemoteTransport(url,
479
463
        SmartTCPClientMedium).
480
464
    """
481
465
 
482
466
    def _build_medium(self):
483
 
        client_medium = medium.SmartTCPClientMedium(
484
 
            self._host, self._port, self.base)
485
 
        return client_medium, None
486
 
 
487
 
 
488
 
class RemoteTCPTransportV2Only(RemoteTransport):
489
 
    """Connection to smart server over plain tcp with the client hard-coded to
490
 
    assume protocol v2 and remote server version <= 1.6.
491
 
 
492
 
    This should only be used for testing.
493
 
    """
494
 
 
495
 
    def _build_medium(self):
496
 
        client_medium = medium.SmartTCPClientMedium(
497
 
            self._host, self._port, self.base)
498
 
        client_medium._protocol_version = 2
499
 
        client_medium._remember_remote_is_before((1, 6))
500
 
        return client_medium, None
 
467
        return medium.SmartTCPClientMedium(self._host, self._port), None
501
468
 
502
469
 
503
470
class RemoteSSHTransport(RemoteTransport):
508
475
    """
509
476
 
510
477
    def _build_medium(self):
 
478
        # ssh will prompt the user for a password if needed and if none is
 
479
        # provided but it will not give it back, so no credentials can be
 
480
        # stored.
511
481
        location_config = config.LocationConfig(self.base)
512
482
        bzr_remote_path = location_config.get_bzr_remote_path()
513
 
        user = self._user
514
 
        if user is None:
515
 
            auth = config.AuthenticationConfig()
516
 
            user = auth.get_user('ssh', self._host, self._port)
517
 
        client_medium = medium.SmartSSHClientMedium(self._host, self._port,
518
 
            user, self._password, self.base,
519
 
            bzr_remote_path=bzr_remote_path)
520
 
        return client_medium, (user, self._password)
 
483
        return medium.SmartSSHClientMedium(self._host, self._port,
 
484
            self._user, self._password, bzr_remote_path=bzr_remote_path), None
521
485
 
522
486
 
523
487
class RemoteHTTPTransport(RemoteTransport):
524
488
    """Just a way to connect between a bzr+http:// url and http://.
525
 
 
 
489
    
526
490
    This connection operates slightly differently than the RemoteSSHTransport.
527
491
    It uses a plain http:// transport underneath, which defines what remote
528
492
    .bzr/smart URL we are connected to. From there, all paths that are sent are
577
541
                                   _from_transport=self,
578
542
                                   http_transport=self._http_transport)
579
543
 
580
 
    def _redirected_to(self, source, target):
581
 
        """See transport._redirected_to"""
582
 
        redirected = self._http_transport._redirected_to(source, target)
583
 
        if (redirected is not None
584
 
            and isinstance(redirected, type(self._http_transport))):
585
 
            return RemoteHTTPTransport('bzr+' + redirected.external_url(),
586
 
                                       http_transport=redirected)
587
 
        else:
588
 
            # Either None or a transport for a different protocol
589
 
            return redirected
590
 
 
591
 
 
592
 
class HintingSSHTransport(transport.Transport):
593
 
    """Simple transport that handles ssh:// and points out bzr+ssh://."""
594
 
 
595
 
    def __init__(self, url):
596
 
        raise errors.UnsupportedProtocol(url,
597
 
            'bzr supports bzr+ssh to operate over ssh, use "bzr+%s".' % url)
598
 
 
599
544
 
600
545
def get_test_permutations():
601
546
    """Return (transport, server) permutations for testing."""
602
547
    ### We may need a little more test framework support to construct an
603
548
    ### appropriate RemoteTransport in the future.
604
 
    from bzrlib.tests import test_server
605
 
    return [(RemoteTCPTransport, test_server.SmartTCPServer_for_testing)]
 
549
    from bzrlib.smart import server
 
550
    return [(RemoteTCPTransport, server.SmartTCPServer_for_testing)]