/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to breezy/tests/stub_sftp.py

  • Committer: Breezy landing bot
  • Author(s): Jelmer Vernooij
  • Date: 2018-09-13 12:50:28 UTC
  • mfrom: (7096.2.2 empty-port)
  • Revision ID: breezy.the.bot@gmail.com-20180913125028-mja5gz8xsams9iey
Allow port to be empty when parsing URLs.

Merged from https://code.launchpad.net/~jelmer/brz/empty-port/+merge/354640

Show diffs side-by-side

added added

removed removed

Lines of Context:
breezy/tests/stub_sftp.py
1
 
# Copyright (C) 2005, 2006, 2008, 2009, 2010 Robey Pointer <robey@lag.net>, Canonical Ltd
 
1
# Copyright (C) 2005, 2006, 2008-2011 Robey Pointer <robey@lag.net>, Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
21
21
 
22
22
import os
23
23
import paramiko
24
 
import select
25
24
import socket
 
25
try:
 
26
    import socketserver
 
27
except ImportError:
 
28
    import SocketServer as socketserver
26
29
import sys
27
 
import threading
28
30
import time
29
31
 
30
 
from bzrlib import (
 
32
from .. import (
31
33
    osutils,
32
34
    trace,
33
35
    urlutils,
34
36
    )
35
 
from bzrlib.transport import (
 
37
from ..transport import (
36
38
    ssh,
37
39
    )
38
 
from bzrlib.tests import test_server
39
 
 
40
 
 
41
 
class StubServer (paramiko.ServerInterface):
42
 
 
43
 
    def __init__(self, test_case):
 
40
from . import test_server
 
41
 
 
42
 
 
43
class StubServer(paramiko.ServerInterface):
 
44
 
 
45
    def __init__(self, test_case_server):
44
46
        paramiko.ServerInterface.__init__(self)
45
 
        self._test_case = test_case
 
47
        self.log = test_case_server.log
46
48
 
47
49
    def check_auth_password(self, username, password):
48
50
        # all are allowed
49
 
        self._test_case.log('sftpserver - authorizing: %s' % (username,))
 
51
        self.log('sftpserver - authorizing: %s' % (username,))
50
52
        return paramiko.AUTH_SUCCESSFUL
51
53
 
52
54
    def check_channel_request(self, kind, chanid):
53
 
        self._test_case.log(
54
 
            'sftpserver - channel request: %s, %s' % (kind, chanid))
 
55
        self.log('sftpserver - channel request: %s, %s' % (kind, chanid))
55
56
        return paramiko.OPEN_SUCCEEDED
56
57
 
57
58
 
58
 
class StubSFTPHandle (paramiko.SFTPHandle):
 
59
class StubSFTPHandle(paramiko.SFTPHandle):
 
60
 
59
61
    def stat(self):
60
62
        try:
61
63
            return paramiko.SFTPAttributes.from_stat(
62
64
                os.fstat(self.readfile.fileno()))
63
 
        except OSError, e:
 
65
        except OSError as e:
64
66
            return paramiko.SFTPServer.convert_errno(e.errno)
65
67
 
66
68
    def chattr(self, attr):
69
71
        trace.mutter('Changing permissions on %s to %s', self.filename, attr)
70
72
        try:
71
73
            paramiko.SFTPServer.set_file_attr(self.filename, attr)
72
 
        except OSError, e:
 
74
        except OSError as e:
73
75
            return paramiko.SFTPServer.convert_errno(e.errno)
74
76
 
75
77
 
76
 
class StubSFTPServer (paramiko.SFTPServerInterface):
 
78
class StubSFTPServer(paramiko.SFTPServerInterface):
77
79
 
78
80
    def __init__(self, server, root, home=None):
79
81
        paramiko.SFTPServerInterface.__init__(self, server)
90
92
            self.home = home[len(self.root):]
91
93
        if self.home.startswith('/'):
92
94
            self.home = self.home[1:]
93
 
        server._test_case.log('sftpserver - new connection')
 
95
        server.log('sftpserver - new connection')
94
96
 
95
97
    def _realpath(self, path):
96
98
        # paths returned from self.canonicalize() always start with
119
121
    else:
120
122
        def canonicalize(self, path):
121
123
            if os.path.isabs(path):
122
 
                return os.path.normpath(path)
 
124
                return osutils.normpath(path)
123
125
            else:
124
 
                return os.path.normpath('/' + os.path.join(self.home, path))
 
126
                return osutils.normpath('/' + os.path.join(self.home, path))
125
127
 
126
128
    def chattr(self, path, attr):
127
129
        try:
128
130
            paramiko.SFTPServer.set_file_attr(path, attr)
129
 
        except OSError, e:
 
131
        except OSError as e:
130
132
            return paramiko.SFTPServer.convert_errno(e.errno)
131
133
        return paramiko.SFTP_OK
132
134
 
135
137
        try:
136
138
            out = [ ]
137
139
            # TODO: win32 incorrectly lists paths with non-ascii if path is not
138
 
            # unicode. However on Linux the server should only deal with
 
140
            # unicode. However on unix the server should only deal with
139
141
            # bytestreams and posix.listdir does the right thing
140
142
            if sys.platform == 'win32':
141
143
                flist = [f.encode('utf8') for f in os.listdir(path)]
147
149
                attr.filename = fname
148
150
                out.append(attr)
149
151
            return out
150
 
        except OSError, e:
 
152
        except OSError as e:
151
153
            return paramiko.SFTPServer.convert_errno(e.errno)
152
154
 
153
155
    def stat(self, path):
154
156
        path = self._realpath(path)
155
157
        try:
156
158
            return paramiko.SFTPAttributes.from_stat(os.stat(path))
157
 
        except OSError, e:
 
159
        except OSError as e:
158
160
            return paramiko.SFTPServer.convert_errno(e.errno)
159
161
 
160
162
    def lstat(self, path):
161
163
        path = self._realpath(path)
162
164
        try:
163
165
            return paramiko.SFTPAttributes.from_stat(os.lstat(path))
164
 
        except OSError, e:
 
166
        except OSError as e:
165
167
            return paramiko.SFTPServer.convert_errno(e.errno)
166
168
 
167
169
    def open(self, path, flags, attr):
173
175
            else:
174
176
                # os.open() defaults to 0777 which is
175
177
                # an odd default mode for files
176
 
                fd = os.open(path, flags, 0666)
177
 
        except OSError, e:
 
178
                fd = os.open(path, flags, 0o666)
 
179
        except OSError as e:
178
180
            return paramiko.SFTPServer.convert_errno(e.errno)
179
181
 
180
182
        if (flags & os.O_CREAT) and (attr is not None):
189
191
            fstr = 'rb'
190
192
        try:
191
193
            f = os.fdopen(fd, fstr)
192
 
        except (IOError, OSError), e:
 
194
        except (IOError, OSError) as e:
193
195
            return paramiko.SFTPServer.convert_errno(e.errno)
194
196
        fobj = StubSFTPHandle()
195
197
        fobj.filename = path
201
203
        path = self._realpath(path)
202
204
        try:
203
205
            os.remove(path)
204
 
        except OSError, e:
 
206
        except OSError as e:
205
207
            return paramiko.SFTPServer.convert_errno(e.errno)
206
208
        return paramiko.SFTP_OK
207
209
 
210
212
        newpath = self._realpath(newpath)
211
213
        try:
212
214
            os.rename(oldpath, newpath)
213
 
        except OSError, e:
 
215
        except OSError as e:
 
216
            return paramiko.SFTPServer.convert_errno(e.errno)
 
217
        return paramiko.SFTP_OK
 
218
 
 
219
    def symlink(self, target_path, path):
 
220
        path = self._realpath(path)
 
221
        try:
 
222
            os.symlink(target_path, path)
 
223
        except OSError as e:
214
224
            return paramiko.SFTPServer.convert_errno(e.errno)
215
225
        return paramiko.SFTP_OK
216
226
 
226
236
            if attr is not None:
227
237
                attr._flags &= ~attr.FLAG_PERMISSIONS
228
238
                paramiko.SFTPServer.set_file_attr(path, attr)
229
 
        except OSError, e:
 
239
        except OSError as e:
230
240
            return paramiko.SFTPServer.convert_errno(e.errno)
231
241
        return paramiko.SFTP_OK
232
242
 
234
244
        path = self._realpath(path)
235
245
        try:
236
246
            os.rmdir(path)
237
 
        except OSError, e:
 
247
        except OSError as e:
238
248
            return paramiko.SFTPServer.convert_errno(e.errno)
239
249
        return paramiko.SFTP_OK
240
250
 
241
251
    # removed: chattr, symlink, readlink
242
252
    # (nothing in bzr's sftp transport uses those)
243
253
 
 
254
 
244
255
# ------------- server test implementation --------------
245
256
 
246
257
STUB_SERVER_KEY = """
262
273
"""
263
274
 
264
275
 
265
 
class SocketListener(threading.Thread):
266
 
 
267
 
    def __init__(self, callback):
268
 
        threading.Thread.__init__(self)
269
 
        self._callback = callback
270
 
        self._socket = socket.socket()
271
 
        self._socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
272
 
        self._socket.bind(('localhost', 0))
273
 
        self._socket.listen(1)
274
 
        self.host, self.port = self._socket.getsockname()[:2]
275
 
        self._stop_event = threading.Event()
276
 
 
277
 
    def stop(self):
278
 
        # called from outside this thread
279
 
        self._stop_event.set()
280
 
        # use a timeout here, because if the test fails, the server thread may
281
 
        # never notice the stop_event.
282
 
        self.join(5.0)
283
 
        self._socket.close()
284
 
 
285
 
    def run(self):
286
 
        while True:
287
 
            readable, writable_unused, exception_unused = \
288
 
                select.select([self._socket], [], [], 0.1)
289
 
            if self._stop_event.isSet():
290
 
                return
291
 
            if len(readable) == 0:
292
 
                continue
293
 
            try:
294
 
                s, addr_unused = self._socket.accept()
295
 
                # because the loopback socket is inline, and transports are
296
 
                # never explicitly closed, best to launch a new thread.
297
 
                threading.Thread(target=self._callback, args=(s,)).start()
298
 
            except socket.error, x:
299
 
                sys.excepthook(*sys.exc_info())
300
 
                trace.warning('Socket error during accept() '
301
 
                              'within unit test server thread: %r' % x)
302
 
            except Exception, x:
303
 
                # probably a failed test; unit test thread will log the
304
 
                # failure/error
305
 
                sys.excepthook(*sys.exc_info())
306
 
                trace.warning(
307
 
                    'Exception from within unit test server thread: %r' % x)
308
 
 
309
 
 
310
276
class SocketDelay(object):
311
277
    """A socket decorator to make TCP appear slower.
312
278
 
382
348
        return bytes_sent
383
349
 
384
350
 
385
 
class SFTPServer(test_server.TestServer):
 
351
class TestingSFTPConnectionHandler(socketserver.BaseRequestHandler):
 
352
 
 
353
    def setup(self):
 
354
        self.wrap_for_latency()
 
355
        tcs = self.server.test_case_server
 
356
        ptrans = paramiko.Transport(self.request)
 
357
        self.paramiko_transport = ptrans
 
358
        # Set it to a channel under 'bzr' so that we get debug info
 
359
        ptrans.set_log_channel('brz.paramiko.transport')
 
360
        ptrans.add_server_key(tcs.get_host_key())
 
361
        ptrans.set_subsystem_handler('sftp', paramiko.SFTPServer,
 
362
                                     StubSFTPServer, root=tcs._root,
 
363
                                     home=tcs._server_homedir)
 
364
        server = tcs._server_interface(tcs)
 
365
        # This blocks until the key exchange has been done
 
366
        ptrans.start_server(None, server)
 
367
 
 
368
    def finish(self):
 
369
        # Wait for the conversation to finish, when the paramiko.Transport
 
370
        # thread finishes
 
371
        # TODO: Consider timing out after XX seconds rather than hanging.
 
372
        #       Also we could check paramiko_transport.active and possibly
 
373
        #       paramiko_transport.getException().
 
374
        self.paramiko_transport.join()
 
375
 
 
376
    def wrap_for_latency(self):
 
377
        tcs = self.server.test_case_server
 
378
        if tcs.add_latency:
 
379
            # Give the socket (which the request really is) a latency adding
 
380
            # decorator.
 
381
            self.request = SocketDelay(self.request, tcs.add_latency)
 
382
 
 
383
 
 
384
class TestingSFTPWithoutSSHConnectionHandler(TestingSFTPConnectionHandler):
 
385
 
 
386
    def setup(self):
 
387
        self.wrap_for_latency()
 
388
        # Re-import these as locals, so that they're still accessible during
 
389
        # interpreter shutdown (when all module globals get set to None, leading
 
390
        # to confusing errors like "'NoneType' object has no attribute 'error'".
 
391
        class FakeChannel(object):
 
392
            def get_transport(self):
 
393
                return self
 
394
            def get_log_channel(self):
 
395
                return 'brz.paramiko'
 
396
            def get_name(self):
 
397
                return '1'
 
398
            def get_hexdump(self):
 
399
                return False
 
400
            def close(self):
 
401
                pass
 
402
 
 
403
        tcs = self.server.test_case_server
 
404
        sftp_server = paramiko.SFTPServer(
 
405
            FakeChannel(), 'sftp', StubServer(tcs), StubSFTPServer,
 
406
            root=tcs._root, home=tcs._server_homedir)
 
407
        self.sftp_server = sftp_server
 
408
        sys_stderr = sys.stderr # Used in error reporting during shutdown
 
409
        try:
 
410
            sftp_server.start_subsystem(
 
411
                'sftp', None, ssh.SocketAsChannelAdapter(self.request))
 
412
        except socket.error as e:
 
413
            if (len(e.args) > 0) and (e.args[0] == errno.EPIPE):
 
414
                # it's okay for the client to disconnect abruptly
 
415
                # (bug in paramiko 1.6: it should absorb this exception)
 
416
                pass
 
417
            else:
 
418
                raise
 
419
        except Exception as e:
 
420
            # This typically seems to happen during interpreter shutdown, so
 
421
            # most of the useful ways to report this error won't work.
 
422
            # Writing the exception type, and then the text of the exception,
 
423
            # seems to be the best we can do.
 
424
            # FIXME: All interpreter shutdown errors should have been related
 
425
            # to daemon threads, cleanup needed -- vila 20100623
 
426
            sys_stderr.write('\nEXCEPTION %r: ' % (e.__class__,))
 
427
            sys_stderr.write('%s\n\n' % (e,))
 
428
 
 
429
    def finish(self):
 
430
        self.sftp_server.finish_subsystem()
 
431
 
 
432
 
 
433
class TestingSFTPServer(test_server.TestingThreadingTCPServer):
 
434
 
 
435
    def __init__(self, server_address, request_handler_class, test_case_server):
 
436
        test_server.TestingThreadingTCPServer.__init__(
 
437
            self, server_address, request_handler_class)
 
438
        self.test_case_server = test_case_server
 
439
 
 
440
 
 
441
class SFTPServer(test_server.TestingTCPServerInAThread):
386
442
    """Common code for SFTP server facilities."""
387
443
 
388
444
    def __init__(self, server_interface=StubServer):
 
445
        self.host = '127.0.0.1'
 
446
        self.port = 0
 
447
        super(SFTPServer, self).__init__((self.host, self.port),
 
448
                                         TestingSFTPServer,
 
449
                                         TestingSFTPConnectionHandler)
389
450
        self._original_vendor = None
390
 
        self._homedir = None
391
 
        self._server_homedir = None
392
 
        self._listener = None
393
 
        self._root = None
394
451
        self._vendor = ssh.ParamikoVendor()
395
452
        self._server_interface = server_interface
396
 
        # sftp server logs
 
453
        self._host_key = None
397
454
        self.logs = []
398
455
        self.add_latency = 0
 
456
        self._homedir = None
 
457
        self._server_homedir = None
 
458
        self._root = None
399
459
 
400
460
    def _get_sftp_url(self, path):
401
461
        """Calculate an sftp url to this server for path."""
402
 
        return 'sftp://foo:bar@%s:%d/%s' % (self._listener.host,
403
 
                                            self._listener.port, path)
 
462
        return "sftp://foo:bar@%s:%s/%s" % (self.host, self.port, path)
404
463
 
405
464
    def log(self, message):
406
465
        """StubServer uses this to log when a new server is created."""
407
466
        self.logs.append(message)
408
467
 
409
 
    def _run_server_entry(self, sock):
410
 
        """Entry point for all implementations of _run_server.
411
 
 
412
 
        If self.add_latency is > 0.000001 then sock is given a latency adding
413
 
        decorator.
414
 
        """
415
 
        if self.add_latency > 0.000001:
416
 
            sock = SocketDelay(sock, self.add_latency)
417
 
        return self._run_server(sock)
418
 
 
419
 
    def _run_server(self, s):
420
 
        ssh_server = paramiko.Transport(s)
421
 
        key_file = osutils.pathjoin(self._homedir, 'test_rsa.key')
422
 
        f = open(key_file, 'w')
423
 
        f.write(STUB_SERVER_KEY)
424
 
        f.close()
425
 
        host_key = paramiko.RSAKey.from_private_key_file(key_file)
426
 
        ssh_server.add_server_key(host_key)
427
 
        server = self._server_interface(self)
428
 
        ssh_server.set_subsystem_handler('sftp', paramiko.SFTPServer,
429
 
                                         StubSFTPServer, root=self._root,
430
 
                                         home=self._server_homedir)
431
 
        event = threading.Event()
432
 
        ssh_server.start_server(event, server)
433
 
        event.wait(5.0)
 
468
    def create_server(self):
 
469
        server = self.server_class((self.host, self.port),
 
470
                                   self.request_handler_class,
 
471
                                   self)
 
472
        return server
 
473
 
 
474
    def get_host_key(self):
 
475
        if self._host_key is None:
 
476
            key_file = osutils.pathjoin(self._homedir, 'test_rsa.key')
 
477
            f = open(key_file, 'w')
 
478
            try:
 
479
                f.write(STUB_SERVER_KEY)
 
480
            finally:
 
481
                f.close()
 
482
            self._host_key = paramiko.RSAKey.from_private_key_file(key_file)
 
483
        return self._host_key
434
484
 
435
485
    def start_server(self, backing_server=None):
436
486
        # XXX: TODO: make sftpserver back onto backing_server rather than local
442
492
                'the local current working directory.' % (backing_server,))
443
493
        self._original_vendor = ssh._ssh_vendor_manager._cached_ssh_vendor
444
494
        ssh._ssh_vendor_manager._cached_ssh_vendor = self._vendor
445
 
        # FIXME: the following block should certainly just be self._homedir =
446
 
        # osutils.getcwd() but that fails badly on Unix -- vila 20100224
 
495
        self._homedir = osutils.getcwd()
447
496
        if sys.platform == 'win32':
448
 
            # Win32 needs to use the UNICODE api
449
 
            self._homedir = os.getcwdu()
 
497
            # Normalize the path or it will be wrongly escaped
 
498
            self._homedir = osutils.normpath(self._homedir)
450
499
        else:
451
 
            # But Linux SFTP servers should just deal in bytestreams
452
 
            self._homedir = os.getcwd()
 
500
            self._homedir = self._homedir
453
501
        if self._server_homedir is None:
454
502
            self._server_homedir = self._homedir
455
503
        self._root = '/'
456
504
        if sys.platform == 'win32':
457
505
            self._root = ''
458
 
        self._listener = SocketListener(self._run_server_entry)
459
 
        self._listener.setDaemon(True)
460
 
        self._listener.start()
 
506
        super(SFTPServer, self).start_server()
461
507
 
462
508
    def stop_server(self):
463
 
        self._listener.stop()
464
 
        ssh._ssh_vendor_manager._cached_ssh_vendor = self._original_vendor
 
509
        try:
 
510
            super(SFTPServer, self).stop_server()
 
511
        finally:
 
512
            ssh._ssh_vendor_manager._cached_ssh_vendor = self._original_vendor
465
513
 
466
514
    def get_bogus_url(self):
467
 
        """See bzrlib.transport.Server.get_bogus_url."""
468
 
        # this is chosen to try to prevent trouble with proxies, wierd dns, etc
 
515
        """See breezy.transport.Server.get_bogus_url."""
 
516
        # this is chosen to try to prevent trouble with proxies, weird dns, etc
469
517
        # we bind a random socket, so that we get a guaranteed unused port
470
518
        # we just never listen on that port
471
519
        s = socket.socket()
477
525
    """A test server for sftp transports, using absolute urls and ssh."""
478
526
 
479
527
    def get_url(self):
480
 
        """See bzrlib.transport.Server.get_url."""
 
528
        """See breezy.transport.Server.get_url."""
481
529
        homedir = self._homedir
482
530
        if sys.platform != 'win32':
483
531
            # Remove the initial '/' on all platforms but win32
491
539
    def __init__(self):
492
540
        super(SFTPServerWithoutSSH, self).__init__()
493
541
        self._vendor = ssh.LoopbackVendor()
494
 
 
495
 
    def _run_server(self, sock):
496
 
        # Re-import these as locals, so that they're still accessible during
497
 
        # interpreter shutdown (when all module globals get set to None, leading
498
 
        # to confusing errors like "'NoneType' object has no attribute 'error'".
499
 
        class FakeChannel(object):
500
 
            def get_transport(self):
501
 
                return self
502
 
            def get_log_channel(self):
503
 
                return 'paramiko'
504
 
            def get_name(self):
505
 
                return '1'
506
 
            def get_hexdump(self):
507
 
                return False
508
 
            def close(self):
509
 
                pass
510
 
 
511
 
        server = paramiko.SFTPServer(
512
 
            FakeChannel(), 'sftp', StubServer(self), StubSFTPServer,
513
 
            root=self._root, home=self._server_homedir)
514
 
        try:
515
 
            server.start_subsystem(
516
 
                'sftp', None, ssh.SocketAsChannelAdapter(sock))
517
 
        except socket.error, e:
518
 
            if (len(e.args) > 0) and (e.args[0] == errno.EPIPE):
519
 
                # it's okay for the client to disconnect abruptly
520
 
                # (bug in paramiko 1.6: it should absorb this exception)
521
 
                pass
522
 
            else:
523
 
                raise
524
 
        except Exception, e:
525
 
            # This typically seems to happen during interpreter shutdown, so
526
 
            # most of the useful ways to report this error are won't work.
527
 
            # Writing the exception type, and then the text of the exception,
528
 
            # seems to be the best we can do.
529
 
            import sys
530
 
            sys.stderr.write('\nEXCEPTION %r: ' % (e.__class__,))
531
 
            sys.stderr.write('%s\n\n' % (e,))
532
 
        server.finish_subsystem()
 
542
        self.request_handler_class = TestingSFTPWithoutSSHConnectionHandler
 
543
 
 
544
    def get_host_key():
 
545
        return None
533
546
 
534
547
 
535
548
class SFTPAbsoluteServer(SFTPServerWithoutSSH):
536
549
    """A test server for sftp transports, using absolute urls."""
537
550
 
538
551
    def get_url(self):
539
 
        """See bzrlib.transport.Server.get_url."""
 
552
        """See breezy.transport.Server.get_url."""
540
553
        homedir = self._homedir
541
554
        if sys.platform != 'win32':
542
555
            # Remove the initial '/' on all platforms but win32
548
561
    """A test server for sftp transports, using homedir relative urls."""
549
562
 
550
563
    def get_url(self):
551
 
        """See bzrlib.transport.Server.get_url."""
552
 
        return self._get_sftp_url("~/")
 
564
        """See breezy.transport.Server.get_url."""
 
565
        return self._get_sftp_url("%7E/")
553
566
 
554
567
 
555
568
class SFTPSiblingAbsoluteServer(SFTPAbsoluteServer):
558
571
    It does this by serving from a deeply-nested directory that doesn't exist.
559
572
    """
560
573
 
561
 
    def start_server(self, backing_server=None):
562
 
        self._server_homedir = '/dev/noone/runs/tests/here'
563
 
        super(SFTPSiblingAbsoluteServer, self).start_server(backing_server)
 
574
    def create_server(self):
 
575
        # FIXME: Can't we do that in a cleaner way ? -- vila 20100623
 
576
        server = super(SFTPSiblingAbsoluteServer, self).create_server()
 
577
        server._server_homedir = '/dev/noone/runs/tests/here'
 
578
        return server
564
579