/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/tests/http_server.py

  • Committer: Vincent Ladeuil
  • Date: 2007-12-21 12:20:33 UTC
  • mto: (3146.3.1 179368) (3156.2.1 trunk)
  • mto: This revision was merged to the branch mainline in revision 3158.
  • Revision ID: v.ladeuil+lp@free.fr-20071221122033-42bc21re0zj4kqbg
Merge back test_http_implementations.pc into test_http.py.

* bzrlib/tests/test_http.py: 
Merge test_http_implementations.py now that we have rewritten
load_tests. That should reduce the noise in the final proposed
patch.

* bzrlib/tests/http_server.py:
(TestingHTTPRequestHandler.log_message): Ghaaa, don't over spell-check.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/tests/http_server.py
1
 
# Copyright (C) 2006-2010 Canonical Ltd
 
1
# Copyright (C) 2006, 2007 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
 
17
import BaseHTTPServer
17
18
import errno
18
19
import httplib
19
20
import os
20
21
import posixpath
21
22
import random
22
23
import re
23
 
import select
24
24
import SimpleHTTPServer
25
25
import socket
26
26
import SocketServer
31
31
import urlparse
32
32
 
33
33
from bzrlib import transport
34
 
from bzrlib.tests import test_server
35
34
from bzrlib.transport import local
36
35
 
37
36
 
 
37
class WebserverNotAvailable(Exception):
 
38
    pass
 
39
 
 
40
 
38
41
class BadWebserverPath(ValueError):
39
42
    def __str__(self):
40
43
        return 'path %s is not in %s' % self.args
43
46
class TestingHTTPRequestHandler(SimpleHTTPServer.SimpleHTTPRequestHandler):
44
47
    """Handles one request.
45
48
 
46
 
    A TestingHTTPRequestHandler is instantiated for every request received by
47
 
    the associated server. Note that 'request' here is inherited from the base
48
 
    TCPServer class, for the HTTP server it is really a connection which itself
49
 
    will handle one or several HTTP requests.
 
49
    A TestingHTTPRequestHandler is instantiated for every request
 
50
    received by the associated server.
50
51
    """
51
 
    # Default protocol version
52
 
    protocol_version = 'HTTP/1.1'
53
 
 
54
52
    # The Message-like class used to parse the request headers
55
53
    MessageClass = httplib.HTTPMessage
56
54
 
57
55
    def setup(self):
58
56
        SimpleHTTPServer.SimpleHTTPRequestHandler.setup(self)
59
 
        self._cwd = self.server._home_dir
60
57
        tcs = self.server.test_case_server
61
58
        if tcs.protocol_version is not None:
62
59
            # If the test server forced a protocol version, use it
80
77
        try:
81
78
            SimpleHTTPServer.SimpleHTTPRequestHandler.handle_one_request(self)
82
79
        except socket.error, e:
83
 
            # Any socket error should close the connection, but some errors are
84
 
            # due to the client closing early and we don't want to pollute test
85
 
            # results, so we raise only the others.
86
 
            self.close_connection = 1
87
 
            if (len(e.args) == 0
88
 
                or e.args[0] not in (errno.EPIPE, errno.ECONNRESET,
89
 
                                     errno.ECONNABORTED, errno.EBADF)):
 
80
            if (len(e.args) > 0
 
81
                and e.args[0] in (errno.EPIPE, errno.ECONNRESET,
 
82
                                  errno.ECONNABORTED,)):
 
83
                self.close_connection = 1
 
84
            else:
90
85
                raise
91
86
 
92
87
    _range_regexp = re.compile(r'^(?P<start>\d+)-(?P<end>\d+)$')
125
120
                    return 0, []
126
121
        return tail, ranges
127
122
 
128
 
    def _header_line_length(self, keyword, value):
129
 
        header_line = '%s: %s\r\n' % (keyword, value)
130
 
        return len(header_line)
131
 
 
132
 
    def send_head(self):
133
 
        """Overrides base implementation to work around a bug in python2.5."""
134
 
        path = self.translate_path(self.path)
135
 
        if os.path.isdir(path) and not self.path.endswith('/'):
136
 
            # redirect browser - doing basically what apache does when
137
 
            # DirectorySlash option is On which is quite common (braindead, but
138
 
            # common)
139
 
            self.send_response(301)
140
 
            self.send_header("Location", self.path + "/")
141
 
            # Indicates that the body is empty for HTTP/1.1 clients
142
 
            self.send_header('Content-Length', '0')
143
 
            self.end_headers()
144
 
            return None
145
 
 
146
 
        return SimpleHTTPServer.SimpleHTTPRequestHandler.send_head(self)
147
 
 
148
123
    def send_range_content(self, file, start, length):
149
124
        file.seek(start)
150
125
        self.wfile.write(file.read(length))
165
140
    def get_multiple_ranges(self, file, file_size, ranges):
166
141
        self.send_response(206)
167
142
        self.send_header('Accept-Ranges', 'bytes')
168
 
        boundary = '%d' % random.randint(0,0x7FFFFFFF)
169
 
        self.send_header('Content-Type',
170
 
                         'multipart/byteranges; boundary=%s' % boundary)
171
 
        boundary_line = '--%s\r\n' % boundary
172
 
        # Calculate the Content-Length
173
 
        content_length = 0
174
 
        for (start, end) in ranges:
175
 
            content_length += len(boundary_line)
176
 
            content_length += self._header_line_length(
177
 
                'Content-type', 'application/octet-stream')
178
 
            content_length += self._header_line_length(
179
 
                'Content-Range', 'bytes %d-%d/%d' % (start, end, file_size))
180
 
            content_length += len('\r\n') # end headers
181
 
            content_length += end - start + 1
182
 
        content_length += len(boundary_line)
183
 
        self.send_header('Content-length', content_length)
 
143
        boundary = "%d" % random.randint(0,0x7FFFFFFF)
 
144
        self.send_header("Content-Type",
 
145
                         "multipart/byteranges; boundary=%s" % boundary)
184
146
        self.end_headers()
185
 
 
186
 
        # Send the multipart body
187
147
        for (start, end) in ranges:
188
 
            self.wfile.write(boundary_line)
189
 
            self.send_header('Content-type', 'application/octet-stream')
190
 
            self.send_header('Content-Range', 'bytes %d-%d/%d'
191
 
                             % (start, end, file_size))
 
148
            self.wfile.write("--%s\r\n" % boundary)
 
149
            self.send_header("Content-type", 'application/octet-stream')
 
150
            self.send_header("Content-Range", "bytes %d-%d/%d" % (start,
 
151
                                                                  end,
 
152
                                                                  file_size))
192
153
            self.end_headers()
193
154
            self.send_range_content(file, start, end - start + 1)
194
155
        # Final boundary
195
 
        self.wfile.write(boundary_line)
 
156
        self.wfile.write("--%s\r\n" % boundary)
196
157
 
197
158
    def do_GET(self):
198
159
        """Serve a GET request.
283
244
        return self._translate_path(path)
284
245
 
285
246
    def _translate_path(self, path):
286
 
        """Translate a /-separated PATH to the local filename syntax.
287
 
 
288
 
        Note that we're translating http URLs here, not file URLs.
289
 
        The URL root location is the server's startup directory.
290
 
        Components that mean special things to the local file system
291
 
        (e.g. drive or directory names) are ignored.  (XXX They should
292
 
        probably be diagnosed.)
293
 
 
294
 
        Override from python standard library to stop it calling os.getcwd()
295
 
        """
296
 
        # abandon query parameters
297
 
        path = urlparse.urlparse(path)[2]
298
 
        path = posixpath.normpath(urllib.unquote(path))
299
 
        path = path.decode('utf-8')
300
 
        words = path.split('/')
301
 
        words = filter(None, words)
302
 
        path = self._cwd
303
 
        for num, word in enumerate(words):
304
 
            if num == 0:
 
247
        return SimpleHTTPServer.SimpleHTTPRequestHandler.translate_path(
 
248
            self, path)
 
249
 
 
250
    if sys.platform == 'win32':
 
251
        # On win32 you cannot access non-ascii filenames without
 
252
        # decoding them into unicode first.
 
253
        # However, under Linux, you can access bytestream paths
 
254
        # without any problems. If this function was always active
 
255
        # it would probably break tests when LANG=C was set
 
256
        def _translate_path(self, path):
 
257
            """Translate a /-separated PATH to the local filename syntax.
 
258
 
 
259
            For bzr, all url paths are considered to be utf8 paths.
 
260
            On Linux, you can access these paths directly over the bytestream
 
261
            request, but on win32, you must decode them, and access them
 
262
            as Unicode files.
 
263
            """
 
264
            # abandon query parameters
 
265
            path = urlparse.urlparse(path)[2]
 
266
            path = posixpath.normpath(urllib.unquote(path))
 
267
            path = path.decode('utf-8')
 
268
            words = path.split('/')
 
269
            words = filter(None, words)
 
270
            path = os.getcwdu()
 
271
            for word in words:
305
272
                drive, word = os.path.splitdrive(word)
306
 
            head, word = os.path.split(word)
307
 
            if word in (os.curdir, os.pardir): continue
308
 
            path = os.path.join(path, word)
309
 
        return path
310
 
 
311
 
 
312
 
class TestingHTTPServerMixin:
313
 
 
314
 
    def __init__(self, test_case_server):
 
273
                head, word = os.path.split(word)
 
274
                if word in (os.curdir, os.pardir): continue
 
275
                path = os.path.join(path, word)
 
276
            return path
 
277
 
 
278
 
 
279
class TestingHTTPServerWrapper(object):
 
280
    """Isolate the wrapper itself to make the server use transparent.
 
281
 
 
282
    Daughter classes can override any method and/or directly call the _server
 
283
    methods.
 
284
    """
 
285
 
 
286
    def __init__(self, server_class, test_case_server,
 
287
                 server_address, request_handler_class):
 
288
        self._server = server_class(server_address, request_handler_class)
315
289
        # test_case_server can be used to communicate between the
316
290
        # tests and the server (or the request handler and the
317
291
        # server), allowing dynamic behaviors to be defined from
318
292
        # the tests cases.
319
 
        self.test_case_server = test_case_server
320
 
        self._home_dir = test_case_server._home_dir
321
 
 
322
 
    def stop_server(self):
 
293
        self._server.test_case_server = test_case_server
 
294
 
 
295
    def __getattr__(self, name):
 
296
        return getattr(self._server, name)
 
297
 
 
298
    def server_bind(self):
 
299
        """Override server_bind to store the server name."""
 
300
        self._server.server_bind()
 
301
        host, port = self._server.socket.getsockname()[:2]
 
302
        self._server.server_name = socket.getfqdn(host)
 
303
        self._server.server_port = port
 
304
 
 
305
    def server_close(self):
323
306
         """Called to clean-up the server.
324
 
 
 
307
 
325
308
         Since the server may be (surely is, even) in a blocking listen, we
326
309
         shutdown its socket before closing it.
327
310
         """
328
311
         # Note that is this executed as part of the implicit tear down in the
329
312
         # main thread while the server runs in its own thread. The clean way
330
 
         # to tear down the server is to instruct him to stop accepting
331
 
         # connections and wait for the current connection(s) to end
332
 
         # naturally. To end the connection naturally, the http transports
333
 
         # should close their socket when they do not need to talk to the
334
 
         # server anymore. This happens naturally during the garbage collection
335
 
         # phase of the test transport objetcs (the server clients), so we
336
 
         # don't have to worry about them.  So, for the server, we must tear
337
 
         # down here, from the main thread, when the test have ended.  Note
338
 
         # that since the server is in a blocking operation and since python
339
 
         # use select internally, shutting down the socket is reliable and
340
 
         # relatively clean.
341
 
         try:
342
 
             self.socket.shutdown(socket.SHUT_RDWR)
343
 
         except socket.error, e:
344
 
             # WSAENOTCONN (10057) 'Socket is not connected' is harmless on
345
 
             # windows (occurs before the first connection attempt
346
 
             # vila--20071230)
347
 
 
348
 
             # 'Socket is not connected' can also occur on OSX, with a
349
 
             # "regular" ENOTCONN (when something went wrong during test case
350
 
             # setup leading to self.setUp() *not* being called but
351
 
             # self.stop_server() still being called -- vila20081106
352
 
             if not len(e.args) or e.args[0] not in (errno.ENOTCONN, 10057):
353
 
                 raise
 
313
         # to tear down the server will be to instruct him to stop accepting
 
314
         # connections and wait for the current connection to end naturally. To
 
315
         # end the connection naturally, the http transports should close their
 
316
         # socket when they do not need to talk to the server anymore.  We
 
317
         # don't want to impose such a constraint on the http transports (and
 
318
         # we can't anyway ;). So we must tear down here, from the main thread,
 
319
         # when the test have ended.  Note that since the server is in a
 
320
         # blocking operation and since python use select internally, shutting
 
321
         # down the socket is reliable and relatively clean.
 
322
         self._server.socket.shutdown(socket.SHUT_RDWR)
354
323
         # Let the server properly close the socket
355
 
         self.server_close()
356
 
 
357
 
 
358
 
class TestingHTTPServer(SocketServer.TCPServer, TestingHTTPServerMixin):
359
 
 
360
 
    def __init__(self, server_address, request_handler_class,
361
 
                 test_case_server):
362
 
        TestingHTTPServerMixin.__init__(self, test_case_server)
363
 
        SocketServer.TCPServer.__init__(self, server_address,
364
 
                                        request_handler_class)
365
 
 
366
 
 
367
 
class TestingThreadingHTTPServer(SocketServer.ThreadingTCPServer,
368
 
                                 TestingHTTPServerMixin):
 
324
         self._server.server_close()
 
325
 
 
326
class TestingHTTPServer(TestingHTTPServerWrapper):
 
327
 
 
328
    def __init__(self, server_address, request_handler_class, test_case_server):
 
329
        super(TestingHTTPServer, self).__init__(
 
330
            SocketServer.TCPServer, test_case_server,
 
331
            server_address, request_handler_class)
 
332
 
 
333
 
 
334
class TestingThreadingHTTPServer(TestingHTTPServerWrapper):
369
335
    """A threading HTTP test server for HTTP 1.1.
370
336
 
371
337
    Since tests can initiate several concurrent connections to the same http
373
339
    by spawning a new thread for each connection.
374
340
    """
375
341
 
376
 
    def __init__(self, server_address, request_handler_class,
377
 
                 test_case_server):
378
 
        TestingHTTPServerMixin.__init__(self, test_case_server)
379
 
        SocketServer.ThreadingTCPServer.__init__(self, server_address,
380
 
                                                 request_handler_class)
 
342
    def __init__(self, server_address, request_handler_class, test_case_server):
 
343
        super(TestingThreadingHTTPServer, self).__init__(
 
344
            SocketServer.ThreadingTCPServer, test_case_server,
 
345
            server_address, request_handler_class)
381
346
        # Decides how threads will act upon termination of the main
382
347
        # process. This is prophylactic as we should not leave the threads
383
348
        # lying around.
384
 
        self.daemon_threads = True
385
 
 
386
 
    def process_request_thread(self, request, client_address):
387
 
        SocketServer.ThreadingTCPServer.process_request_thread(
388
 
            self, request, client_address)
389
 
        # Under some circumstances (as in bug #383920), we need to force the
390
 
        # shutdown as python delays it until gc occur otherwise and the client
391
 
        # may hang.
392
 
        try:
393
 
            # The request process has been completed, the thread is about to
394
 
            # die, let's shutdown the socket if we can.
395
 
            request.shutdown(socket.SHUT_RDWR)
396
 
        except (socket.error, select.error), e:
397
 
            if e[0] in (errno.EBADF, errno.ENOTCONN):
398
 
                # Right, the socket is already down
399
 
                pass
400
 
            else:
401
 
                raise
 
349
        self._server.daemon_threads = True
402
350
 
403
351
 
404
352
class HttpServer(transport.Server):
419
367
    # used to form the url that connects to this server
420
368
    _url_protocol = 'http'
421
369
 
 
370
    # Subclasses can provide a specific request handler
422
371
    def __init__(self, request_handler=TestingHTTPRequestHandler,
423
372
                 protocol_version=None):
424
373
        """Constructor.
438
387
        # Allows tests to verify number of GET requests issued
439
388
        self.GET_request_nb = 0
440
389
 
441
 
    def create_httpd(self, serv_cls, rhandler_cls):
442
 
        return serv_cls((self.host, self.port), self.request_handler, self)
443
 
 
444
 
    def __repr__(self):
445
 
        return "%s(%s:%s)" % \
446
 
            (self.__class__.__name__, self.host, self.port)
447
 
 
448
390
    def _get_httpd(self):
449
391
        if self._httpd is None:
450
392
            rhandler = self.request_handler
451
 
            # Depending on the protocol version, we will create the approriate
452
 
            # server
453
393
            if self.protocol_version is None:
454
 
                # Use the request handler one
455
394
                proto_vers = rhandler.protocol_version
456
395
            else:
457
 
                # Use our own, it will be used to override the request handler
458
 
                # one too.
459
396
                proto_vers = self.protocol_version
460
397
            # Create the appropriate server for the required protocol
461
398
            serv_cls = self.http_server_class.get(proto_vers, None)
462
399
            if serv_cls is None:
463
400
                raise httplib.UnknownProtocol(proto_vers)
464
401
            else:
465
 
                self._httpd = self.create_httpd(serv_cls, rhandler)
466
 
            self.host, self.port = self._httpd.socket.getsockname()
 
402
                self._httpd = serv_cls((self.host, self.port), rhandler, self)
 
403
            host, self.port = self._httpd.socket.getsockname()
467
404
        return self._httpd
468
405
 
469
406
    def _http_start(self):
494
431
                httpd.handle_request()
495
432
            except socket.timeout:
496
433
                pass
497
 
            except (socket.error, select.error), e:
498
 
                if (e[0] == errno.EBADF
499
 
                    or (sys.platform == 'win32' and e[0] == 10038)):
500
 
                    # Starting with python-2.6, handle_request may raise socket
501
 
                    # or select exceptions when the server is shut down (as we
502
 
                    # do).
503
 
                    # 10038 = WSAENOTSOCK
504
 
                    # http://msdn.microsoft.com/en-us/library/ms740668%28VS.85%29.aspx
505
 
                    pass
506
 
                else:
507
 
                    raise
508
434
 
509
435
    def _get_remote_url(self, path):
510
436
        path_parts = path.split(os.path.sep)
522
448
        """Capture Server log output."""
523
449
        self.logs.append(format % args)
524
450
 
525
 
    def start_server(self, backing_transport_server=None):
526
 
        """See bzrlib.transport.Server.start_server.
527
 
 
 
451
    def setUp(self, backing_transport_server=None):
 
452
        """See bzrlib.transport.Server.setUp.
 
453
        
528
454
        :param backing_transport_server: The transport that requests over this
529
455
            protocol should be forwarded to. Note that this is currently not
530
456
            supported for HTTP.
531
457
        """
532
458
        # XXX: TODO: make the server back onto vfs_server rather than local
533
459
        # disk.
534
 
        if not (backing_transport_server is None
535
 
                or isinstance(backing_transport_server,
536
 
                              test_server.LocalURLServer)):
537
 
            raise AssertionError(
538
 
                "HTTPServer currently assumes local transport, got %s" % \
539
 
                backing_transport_server)
 
460
        assert backing_transport_server is None or \
 
461
            isinstance(backing_transport_server, local.LocalURLServer), \
 
462
            "HTTPServer currently assumes local transport, got %s" % \
 
463
            backing_transport_server
540
464
        self._home_dir = os.getcwdu()
541
465
        self._local_path_parts = self._home_dir.split(os.path.sep)
542
466
        self._http_base_url = None
553
477
        self._http_starting.acquire()
554
478
 
555
479
        if self._http_exception is not None:
556
 
            # Something went wrong during server start
557
480
            exc_class, exc_value, exc_tb = self._http_exception
558
481
            raise exc_class, exc_value, exc_tb
559
482
        self._http_starting.release()
560
483
        self.logs = []
561
484
 
562
 
    def stop_server(self):
563
 
        self._httpd.stop_server()
 
485
    def tearDown(self):
 
486
        """See bzrlib.transport.Server.tearDown."""
 
487
        self._httpd.server_close()
564
488
        self._http_running = False
565
 
        # We don't need to 'self._http_thread.join()' here since the thread is
566
 
        # a daemonic one and will be garbage collected anyway. Joining just
567
 
        # slows us down for no added benefit.
 
489
        self._http_thread.join()
568
490
 
569
491
    def get_url(self):
570
492
        """See bzrlib.transport.Server.get_url."""