/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to breezy/tests/blackbox/test_serve.py

  • Committer: Jelmer Vernooij
  • Date: 2018-11-23 01:35:56 UTC
  • mto: (7211.10.3 git-empty-dirs)
  • mto: This revision was merged to the branch mainline in revision 7215.
  • Revision ID: jelmer@jelmer.uk-20181123013556-mu7ct9ovl7fozjc2
Update comment about ssl.

Show diffs side-by-side

added added

removed removed

Lines of Context:
breezy/tests/blackbox/test_serve.py
 
1
# Copyright (C) 2006-2011 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
 
 
18
"""Tests of the brz serve command."""
 
19
 
 
20
import os
 
21
import signal
 
22
import sys
 
23
try:
 
24
    from _thread import interrupt_main
 
25
except ImportError:  # Python < 3
 
26
    from thread import interrupt_main
 
27
 
 
28
import threading
 
29
 
 
30
from ... import (
 
31
    builtins,
 
32
    config,
 
33
    errors,
 
34
    osutils,
 
35
    revision as _mod_revision,
 
36
    trace,
 
37
    transport,
 
38
    urlutils,
 
39
    )
 
40
from ...branch import Branch
 
41
from ...controldir import ControlDir
 
42
from ...bzr.smart import client, medium
 
43
from ...bzr.smart.server import (
 
44
    BzrServerFactory,
 
45
    SmartTCPServer,
 
46
    )
 
47
from .. import (
 
48
    TestCaseWithMemoryTransport,
 
49
    TestCaseWithTransport,
 
50
    )
 
51
from ...transport import remote
 
52
 
 
53
 
 
54
class TestBzrServeBase(TestCaseWithTransport):
 
55
 
 
56
    def run_bzr_serve_then_func(self, serve_args, retcode=0, func=None,
 
57
                                *func_args, **func_kwargs):
 
58
        """Run 'brz serve', and run the given func in a thread once the server
 
59
        has started.
 
60
 
 
61
        When 'func' terminates, the server will be terminated too.
 
62
 
 
63
        Returns stdout and stderr.
 
64
        """
 
65
        def on_server_start_thread(tcp_server):
 
66
            """This runs concurrently with the server thread.
 
67
 
 
68
            The server is interrupted as soon as ``func`` finishes, even if an
 
69
            exception is encountered.
 
70
            """
 
71
            try:
 
72
                # Run func if set
 
73
                self.tcp_server = tcp_server
 
74
                if func is not None:
 
75
                    try:
 
76
                        func(*func_args, **func_kwargs)
 
77
                    except Exception as e:
 
78
                        # Log errors to make some test failures a little less
 
79
                        # mysterious.
 
80
                        trace.mutter('func broke: %r', e)
 
81
            finally:
 
82
                # Then stop the server
 
83
                trace.mutter('interrupting...')
 
84
                interrupt_main()
 
85
        # When the hook is fired, it just starts ``on_server_start_thread`` and
 
86
        # return
 
87
 
 
88
        def on_server_start(backing_urls, tcp_server):
 
89
            t = threading.Thread(
 
90
                target=on_server_start_thread, args=(tcp_server,))
 
91
            t.start()
 
92
        # install hook
 
93
        SmartTCPServer.hooks.install_named_hook(
 
94
            'server_started_ex', on_server_start,
 
95
            'run_bzr_serve_then_func hook')
 
96
        # It seems interrupt_main() will not raise KeyboardInterrupt
 
97
        # until after socket.accept returns. So we set the timeout low to make
 
98
        # the test faster.
 
99
        self.overrideAttr(SmartTCPServer, '_ACCEPT_TIMEOUT', 0.1)
 
100
        # start a TCP server
 
101
        try:
 
102
            out, err = self.run_bzr(['serve'] + list(serve_args),
 
103
                                    retcode=retcode)
 
104
        except KeyboardInterrupt as e:
 
105
            return (self._last_cmd_stdout.getvalue(),
 
106
                    self._last_cmd_stderr.getvalue())
 
107
        return out, err
 
108
 
 
109
 
 
110
class TestBzrServe(TestBzrServeBase):
 
111
 
 
112
    def setUp(self):
 
113
        super(TestBzrServe, self).setUp()
 
114
        self.disable_missing_extensions_warning()
 
115
 
 
116
    def test_server_exception_with_hook(self):
 
117
        """Catch exception from the server in the server_exception hook.
 
118
 
 
119
        We use ``run_bzr_serve_then_func`` without a ``func`` so the server
 
120
        will receive a KeyboardInterrupt exception we want to catch.
 
121
        """
 
122
        def hook(exception):
 
123
            if exception[0] is KeyboardInterrupt:
 
124
                sys.stderr.write(b'catching KeyboardInterrupt\n')
 
125
                return True
 
126
            else:
 
127
                return False
 
128
        SmartTCPServer.hooks.install_named_hook(
 
129
            'server_exception', hook,
 
130
            'test_server_except_hook hook')
 
131
        args = ['--listen', 'localhost', '--port', '0', '--quiet']
 
132
        out, err = self.run_bzr_serve_then_func(args, retcode=0)
 
133
        self.assertEqual('catching KeyboardInterrupt\n', err)
 
134
 
 
135
    def test_server_exception_no_hook(self):
 
136
        """test exception without hook returns error"""
 
137
        args = []
 
138
        out, err = self.run_bzr_serve_then_func(args, retcode=3)
 
139
 
 
140
    def assertInetServerShutsdownCleanly(self, process):
 
141
        """Shutdown the server process looking for errors."""
 
142
        # Shutdown the server: the server should shut down when it cannot read
 
143
        # from stdin anymore.
 
144
        process.stdin.close()
 
145
        # Hide stdin from the subprocess module, so it won't fail to close it.
 
146
        process.stdin = None
 
147
        result = self.finish_bzr_subprocess(process)
 
148
        self.assertEqual(b'', result[0])
 
149
        self.assertEqual(b'', result[1])
 
150
 
 
151
    def assertServerFinishesCleanly(self, process):
 
152
        """Shutdown the brz serve instance process looking for errors."""
 
153
        # Shutdown the server
 
154
        result = self.finish_bzr_subprocess(process, retcode=3,
 
155
                                            send_signal=signal.SIGINT)
 
156
        self.assertEqual(b'', result[0])
 
157
        self.assertEqual(b'brz: interrupted\n', result[1])
 
158
 
 
159
    def make_read_requests(self, branch):
 
160
        """Do some read only requests."""
 
161
        with branch.lock_read():
 
162
            branch.repository.all_revision_ids()
 
163
            self.assertEqual(_mod_revision.NULL_REVISION,
 
164
                             _mod_revision.ensure_null(branch.last_revision()))
 
165
 
 
166
    def start_server_inet(self, extra_options=()):
 
167
        """Start a brz server subprocess using the --inet option.
 
168
 
 
169
        :param extra_options: extra options to give the server.
 
170
        :return: a tuple with the brz process handle for passing to
 
171
            finish_bzr_subprocess, a client for the server, and a transport.
 
172
        """
 
173
        # Serve from the current directory
 
174
        args = ['serve', '--inet']
 
175
        args.extend(extra_options)
 
176
        process = self.start_bzr_subprocess(args)
 
177
 
 
178
        # Connect to the server
 
179
        # We use this url because while this is no valid URL to connect to this
 
180
        # server instance, the transport needs a URL.
 
181
        url = 'bzr://localhost/'
 
182
        self.permit_url(url)
 
183
        client_medium = medium.SmartSimplePipesClientMedium(
 
184
            process.stdout, process.stdin, url)
 
185
        transport = remote.RemoteTransport(url, medium=client_medium)
 
186
        return process, transport
 
187
 
 
188
    def start_server_port(self, extra_options=()):
 
189
        """Start a brz server subprocess.
 
190
 
 
191
        :param extra_options: extra options to give the server.
 
192
        :return: a tuple with the brz process handle for passing to
 
193
            finish_bzr_subprocess, and the base url for the server.
 
194
        """
 
195
        # Serve from the current directory
 
196
        args = ['serve', '--listen', 'localhost', '--port', '0']
 
197
        args.extend(extra_options)
 
198
        process = self.start_bzr_subprocess(args, skip_if_plan_to_signal=True)
 
199
        port_line = process.stderr.readline()
 
200
        prefix = b'listening on port: '
 
201
        self.assertStartsWith(port_line, prefix)
 
202
        port = int(port_line[len(prefix):])
 
203
        url = 'bzr://localhost:%d/' % port
 
204
        self.permit_url(url)
 
205
        return process, url
 
206
 
 
207
    def test_bzr_serve_quiet(self):
 
208
        self.make_branch('.')
 
209
        args = ['--listen', 'localhost', '--port', '0', '--quiet']
 
210
        out, err = self.run_bzr_serve_then_func(args, retcode=3)
 
211
        self.assertEqual('', out)
 
212
        self.assertEqual('', err)
 
213
 
 
214
    def test_bzr_serve_inet_readonly(self):
 
215
        """brz server should provide a read only filesystem by default."""
 
216
        process, transport = self.start_server_inet()
 
217
        self.assertRaises(errors.TransportNotPossible, transport.mkdir, 'adir')
 
218
        self.assertInetServerShutsdownCleanly(process)
 
219
 
 
220
    def test_bzr_serve_inet_readwrite(self):
 
221
        # Make a branch
 
222
        self.make_branch('.')
 
223
 
 
224
        process, transport = self.start_server_inet(['--allow-writes'])
 
225
 
 
226
        # We get a working branch, and can create a directory
 
227
        branch = ControlDir.open_from_transport(transport).open_branch()
 
228
        self.make_read_requests(branch)
 
229
        transport.mkdir('adir')
 
230
        self.assertInetServerShutsdownCleanly(process)
 
231
 
 
232
    def test_bzr_serve_port_readonly(self):
 
233
        """brz server should provide a read only filesystem by default."""
 
234
        process, url = self.start_server_port()
 
235
        t = transport.get_transport_from_url(url)
 
236
        self.assertRaises(errors.TransportNotPossible, t.mkdir, 'adir')
 
237
        self.assertServerFinishesCleanly(process)
 
238
 
 
239
    def test_bzr_serve_port_readwrite(self):
 
240
        # Make a branch
 
241
        self.make_branch('.')
 
242
 
 
243
        process, url = self.start_server_port(['--allow-writes'])
 
244
 
 
245
        # Connect to the server
 
246
        branch = Branch.open(url)
 
247
        self.make_read_requests(branch)
 
248
        self.assertServerFinishesCleanly(process)
 
249
 
 
250
    def test_bzr_serve_supports_protocol(self):
 
251
        # Make a branch
 
252
        self.make_branch('.')
 
253
 
 
254
        process, url = self.start_server_port(['--allow-writes',
 
255
                                               '--protocol=bzr'])
 
256
 
 
257
        # Connect to the server
 
258
        branch = Branch.open(url)
 
259
        self.make_read_requests(branch)
 
260
        self.assertServerFinishesCleanly(process)
 
261
 
 
262
    def test_bzr_serve_dhpss(self):
 
263
        # This is a smoke test that the server doesn't crash when run with
 
264
        # -Dhpss, and does drop some hpss logging to the file.
 
265
        self.make_branch('.')
 
266
        log_fname = self.test_dir + '/server.log'
 
267
        self.overrideEnv('BRZ_LOG', log_fname)
 
268
        process, transport = self.start_server_inet(['-Dhpss'])
 
269
        branch = ControlDir.open_from_transport(transport).open_branch()
 
270
        self.make_read_requests(branch)
 
271
        self.assertInetServerShutsdownCleanly(process)
 
272
        f = open(log_fname, 'rb')
 
273
        content = f.read()
 
274
        f.close()
 
275
        self.assertContainsRe(content, br'hpss request: \[[0-9-]+\]')
 
276
 
 
277
    def test_bzr_serve_supports_configurable_timeout(self):
 
278
        gs = config.GlobalStack()
 
279
        gs.set('serve.client_timeout', 0.2)
 
280
        # Save the config as the subprocess will use it
 
281
        gs.store.save()
 
282
        process, url = self.start_server_port()
 
283
        self.build_tree_contents([('a_file', b'contents\n')])
 
284
        # We can connect and issue a request
 
285
        t = transport.get_transport_from_url(url)
 
286
        self.assertEqual(b'contents\n', t.get_bytes('a_file'))
 
287
        # However, if we just wait for more content from the server, it will
 
288
        # eventually disconnect us.
 
289
        m = t.get_smart_medium()
 
290
        m.read_bytes(1)
 
291
        # Now, we wait for timeout to trigger
 
292
        err = process.stderr.readline()
 
293
        self.assertEqual(
 
294
            b'Connection Timeout: disconnecting client after 0.2 seconds\n',
 
295
            err)
 
296
        self.assertServerFinishesCleanly(process)
 
297
 
 
298
    def test_bzr_serve_supports_client_timeout(self):
 
299
        process, url = self.start_server_port(['--client-timeout=0.1'])
 
300
        self.build_tree_contents([('a_file', b'contents\n')])
 
301
        # We can connect and issue a request
 
302
        t = transport.get_transport_from_url(url)
 
303
        self.assertEqual(b'contents\n', t.get_bytes('a_file'))
 
304
        # However, if we just wait for more content from the server, it will
 
305
        # eventually disconnect us.
 
306
        # TODO: Use something like signal.alarm() so that if the server doesn't
 
307
        #       properly handle the timeout, we end up failing the test instead
 
308
        #       of hanging forever.
 
309
        m = t.get_smart_medium()
 
310
        m.read_bytes(1)
 
311
        # Now, we wait for timeout to trigger
 
312
        err = process.stderr.readline()
 
313
        self.assertEqual(
 
314
            b'Connection Timeout: disconnecting client after 0.1 seconds\n',
 
315
            err)
 
316
        self.assertServerFinishesCleanly(process)
 
317
 
 
318
    def test_bzr_serve_graceful_shutdown(self):
 
319
        big_contents = b'a' * 64 * 1024
 
320
        self.build_tree_contents([('bigfile', big_contents)])
 
321
        process, url = self.start_server_port(['--client-timeout=1.0'])
 
322
        t = transport.get_transport_from_url(url)
 
323
        m = t.get_smart_medium()
 
324
        c = client._SmartClient(m)
 
325
        # Start, but don't finish a response
 
326
        resp, response_handler = c.call_expecting_body(b'get', b'bigfile')
 
327
        self.assertEqual((b'ok',), resp)
 
328
        # Note: process.send_signal is a Python 2.6ism
 
329
        process.send_signal(signal.SIGHUP)
 
330
        # Wait for the server to notice the signal, and then read the actual
 
331
        # body of the response. That way we know that it is waiting for the
 
332
        # request to finish
 
333
        self.assertEqual(b'Requested to stop gracefully\n',
 
334
                         process.stderr.readline())
 
335
        self.assertIn(process.stderr.readline(),
 
336
                      (b'', b'Waiting for 1 client(s) to finish\n'))
 
337
        body = response_handler.read_body_bytes()
 
338
        if body != big_contents:
 
339
            self.fail('Failed to properly read the contents of "bigfile"')
 
340
        # Now that our request is finished, the medium should notice it has
 
341
        # been disconnected.
 
342
        self.assertEqual(b'', m.read_bytes(1))
 
343
        # And the server should be stopping
 
344
        self.assertEqual(0, process.wait())
 
345
 
 
346
 
 
347
class TestCmdServeChrooting(TestBzrServeBase):
 
348
 
 
349
    def test_serve_tcp(self):
 
350
        """'brz serve' wraps the given --directory in a ChrootServer.
 
351
 
 
352
        So requests that search up through the parent directories (like
 
353
        find_repositoryV3) will give "not found" responses, rather than
 
354
        InvalidURLJoin or jail break errors.
 
355
        """
 
356
        t = self.get_transport()
 
357
        t.mkdir('server-root')
 
358
        self.run_bzr_serve_then_func(
 
359
            ['--listen', '127.0.0.1', '--port', '0',
 
360
             '--directory', t.local_abspath('server-root'),
 
361
             '--allow-writes'],
 
362
            func=self.when_server_started)
 
363
        # The when_server_started method issued a find_repositoryV3 that should
 
364
        # fail with 'norepository' because there are no repositories inside the
 
365
        # --directory.
 
366
        self.assertEqual((b'norepository',), self.client_resp)
 
367
 
 
368
    def when_server_started(self):
 
369
        # Connect to the TCP server and issue some requests and see what comes
 
370
        # back.
 
371
        client_medium = medium.SmartTCPClientMedium(
 
372
            '127.0.0.1', self.tcp_server.port,
 
373
            'bzr://localhost:%d/' % (self.tcp_server.port,))
 
374
        smart_client = client._SmartClient(client_medium)
 
375
        resp = smart_client.call('mkdir', 'foo', '')
 
376
        resp = smart_client.call('BzrDirFormat.initialize', 'foo/')
 
377
        try:
 
378
            resp = smart_client.call('BzrDir.find_repositoryV3', 'foo/')
 
379
        except errors.ErrorFromSmartServer as e:
 
380
            resp = e.error_tuple
 
381
        self.client_resp = resp
 
382
        client_medium.disconnect()
 
383
 
 
384
 
 
385
class TestUserdirExpansion(TestCaseWithMemoryTransport):
 
386
 
 
387
    @staticmethod
 
388
    def fake_expanduser(path):
 
389
        """A simple, environment-independent, function for the duration of this
 
390
        test.
 
391
 
 
392
        Paths starting with a path segment of '~user' will expand to start with
 
393
        '/home/user/'.  Every other path will be unchanged.
 
394
        """
 
395
        if path.split('/', 1)[0] == '~user':
 
396
            return '/home/user' + path[len('~user'):]
 
397
        return path
 
398
 
 
399
    def make_test_server(self, base_path='/'):
 
400
        """Make and start a BzrServerFactory, backed by a memory transport, and
 
401
        creat '/home/user' in that transport.
 
402
        """
 
403
        bzr_server = BzrServerFactory(
 
404
            self.fake_expanduser, lambda t: base_path)
 
405
        mem_transport = self.get_transport()
 
406
        mem_transport.mkdir('home')
 
407
        mem_transport.mkdir('home/user')
 
408
        bzr_server.set_up(mem_transport, None, None, inet=True, timeout=4.0)
 
409
        self.addCleanup(bzr_server.tear_down)
 
410
        return bzr_server
 
411
 
 
412
    def test_bzr_serve_expands_userdir(self):
 
413
        bzr_server = self.make_test_server()
 
414
        self.assertTrue(bzr_server.smart_server.backing_transport.has('~user'))
 
415
 
 
416
    def test_bzr_serve_does_not_expand_userdir_outside_base(self):
 
417
        bzr_server = self.make_test_server('/foo')
 
418
        self.assertFalse(
 
419
            bzr_server.smart_server.backing_transport.has('~user'))
 
420
 
 
421
    def test_get_base_path(self):
 
422
        """cmd_serve will turn the --directory option into a LocalTransport
 
423
        (optionally decorated with 'readonly+').  BzrServerFactory can
 
424
        determine the original --directory from that transport.
 
425
        """
 
426
        # URLs always include the trailing slash, and get_base_path returns it
 
427
        base_dir = osutils.abspath('/a/b/c') + '/'
 
428
        base_url = urlutils.local_path_to_url(base_dir) + '/'
 
429
        # Define a fake 'protocol' to capture the transport that cmd_serve
 
430
        # passes to serve_bzr.
 
431
 
 
432
        def capture_transport(transport, host, port, inet, timeout):
 
433
            self.bzr_serve_transport = transport
 
434
        cmd = builtins.cmd_serve()
 
435
        # Read-only
 
436
        cmd.run(directory=base_dir, protocol=capture_transport)
 
437
        server_maker = BzrServerFactory()
 
438
        self.assertEqual(
 
439
            'readonly+%s' % base_url, self.bzr_serve_transport.base)
 
440
        self.assertEqual(
 
441
            base_dir, server_maker.get_base_path(self.bzr_serve_transport))
 
442
        # Read-write
 
443
        cmd.run(directory=base_dir, protocol=capture_transport,
 
444
                allow_writes=True)
 
445
        server_maker = BzrServerFactory()
 
446
        self.assertEqual(base_url, self.bzr_serve_transport.base)
 
447
        self.assertEqual(base_dir,
 
448
                         server_maker.get_base_path(self.bzr_serve_transport))
 
449
        # Read-only, from a URL
 
450
        cmd.run(directory=base_url, protocol=capture_transport)
 
451
        server_maker = BzrServerFactory()
 
452
        self.assertEqual(
 
453
            'readonly+%s' % base_url, self.bzr_serve_transport.base)
 
454
        self.assertEqual(
 
455
            base_dir, server_maker.get_base_path(self.bzr_serve_transport))