/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/smart/server.py

  • Committer: Vincent Ladeuil
  • Date: 2010-07-07 11:21:19 UTC
  • mto: (5193.7.1 unify-confs)
  • mto: This revision was merged to the branch mainline in revision 5349.
  • Revision ID: v.ladeuil+lp@free.fr-20100707112119-jwyh312df41w6l0o
Revert previous change as I can't reproduce the related problem anymore.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/smart/server.py
1
 
# Copyright (C) 2006-2011 Canonical Ltd
 
1
# Copyright (C) 2006-2010 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
20
20
import os.path
21
21
import socket
22
22
import sys
23
 
import time
24
23
import threading
25
24
 
26
 
from ...hooks import Hooks
27
 
from ... import (
 
25
from bzrlib.hooks import HookPoint, Hooks
 
26
from bzrlib import (
28
27
    errors,
29
28
    trace,
30
 
    transport as _mod_transport,
 
29
    transport,
31
30
)
32
 
from ...i18n import gettext
33
 
from ...lazy_import import lazy_import
 
31
from bzrlib.lazy_import import lazy_import
34
32
lazy_import(globals(), """
35
 
from breezy.bzr.smart import (
36
 
    medium,
37
 
    signals,
38
 
    )
39
 
from breezy.transport import (
 
33
from bzrlib.smart import medium
 
34
from bzrlib.transport import (
40
35
    chroot,
 
36
    get_transport,
41
37
    pathfilter,
42
38
    )
43
 
from breezy import (
44
 
    config,
 
39
from bzrlib import (
45
40
    urlutils,
46
41
    )
47
42
""")
56
51
    hooks: An instance of SmartServerHooks.
57
52
    """
58
53
 
59
 
    # This is the timeout on the socket we use .accept() on. It is exposed here
60
 
    # so the test suite can set it faster. (It thread.interrupt_main() will not
61
 
    # fire a KeyboardInterrupt during socket.accept)
62
 
    _ACCEPT_TIMEOUT = 1.0
63
 
    _SHUTDOWN_POLL_TIMEOUT = 1.0
64
 
    _LOG_WAITING_TIMEOUT = 10.0
65
 
 
66
 
    _timer = time.time
67
 
 
68
 
    def __init__(self, backing_transport, root_client_path='/',
69
 
                 client_timeout=None):
 
54
    def __init__(self, backing_transport, host='127.0.0.1', port=0,
 
55
                 root_client_path='/'):
70
56
        """Construct a new server.
71
57
 
72
58
        To actually start it running, call either start_background_thread or
73
59
        serve.
74
60
 
75
61
        :param backing_transport: The transport to serve.
 
62
        :param host: Name of the interface to listen on.
 
63
        :param port: TCP port to listen on, or 0 to allocate a transient port.
76
64
        :param root_client_path: The client path that will correspond to root
77
65
            of backing_transport.
78
 
        :param client_timeout: See SmartServerSocketStreamMedium's timeout
79
 
            parameter.
80
 
        """
81
 
        self.backing_transport = backing_transport
82
 
        self.root_client_path = root_client_path
83
 
        self._client_timeout = client_timeout
84
 
        self._active_connections = []
85
 
        # This is set to indicate we want to wait for clients to finish before
86
 
        # we disconnect.
87
 
        self._gracefully_stopping = False
88
 
 
89
 
    def start_server(self, host, port):
90
 
        """Create the server listening socket.
91
 
 
92
 
        :param host: Name of the interface to listen on.
93
 
        :param port: TCP port to listen on, or 0 to allocate a transient port.
94
66
        """
95
67
        # let connections timeout so that we get a chance to terminate
96
68
        # Keep a reference to the exceptions we want to catch because the socket
100
72
        self._socket_error = socket_error
101
73
        self._socket_timeout = socket_timeout
102
74
        addrs = socket.getaddrinfo(host, port, socket.AF_UNSPEC,
103
 
                                   socket.SOCK_STREAM, 0, socket.AI_PASSIVE)[0]
 
75
            socket.SOCK_STREAM, 0, socket.AI_PASSIVE)[0]
104
76
 
105
77
        (family, socktype, proto, canonname, sockaddr) = addrs
106
78
 
108
80
        # SO_REUSERADDR has a different meaning on Windows
109
81
        if sys.platform != 'win32':
110
82
            self._server_socket.setsockopt(socket.SOL_SOCKET,
111
 
                                           socket.SO_REUSEADDR, 1)
 
83
                socket.SO_REUSEADDR, 1)
112
84
        try:
113
85
            self._server_socket.bind(sockaddr)
114
 
        except self._socket_error as message:
 
86
        except self._socket_error, message:
115
87
            raise errors.CannotBindAddress(host, port, message)
116
88
        self._sockname = self._server_socket.getsockname()
117
89
        self.port = self._sockname[1]
118
90
        self._server_socket.listen(1)
119
 
        self._server_socket.settimeout(self._ACCEPT_TIMEOUT)
120
 
        # Once we start accept()ing connections, we set started.
 
91
        self._server_socket.settimeout(1)
 
92
        self.backing_transport = backing_transport
121
93
        self._started = threading.Event()
122
 
        # Once we stop accept()ing connections (and are closing the socket) we
123
 
        # set _stopped
124
94
        self._stopped = threading.Event()
125
 
        # Once we have finished waiting for all clients, etc. We set
126
 
        # _fully_stopped
127
 
        self._fully_stopped = threading.Event()
 
95
        self.root_client_path = root_client_path
128
96
 
129
 
    def _backing_urls(self):
 
97
    def serve(self, thread_name_suffix=''):
 
98
        self._should_terminate = False
 
99
        # for hooks we are letting code know that a server has started (and
 
100
        # later stopped).
130
101
        # There are three interesting urls:
131
102
        # The URL the server can be contacted on. (e.g. bzr://host/)
132
103
        # The URL that a commit done on the same machine as the server will
133
104
        # have within the servers space. (e.g. file:///home/user/source)
134
105
        # The URL that will be given to other hooks in the same process -
135
 
        # the URL of the backing transport itself. (e.g. filtered-36195:///)
 
106
        # the URL of the backing transport itself. (e.g. chroot+:///)
136
107
        # We need all three because:
137
108
        #  * other machines see the first
138
109
        #  * local commits on this machine should be able to be mapped to
142
113
        # The latter two urls are different aliases to the servers url,
143
114
        # so we group those in a list - as there might be more aliases
144
115
        # in the future.
145
 
        urls = [self.backing_transport.base]
 
116
        backing_urls = [self.backing_transport.base]
146
117
        try:
147
 
            urls.append(self.backing_transport.external_url())
 
118
            backing_urls.append(self.backing_transport.external_url())
148
119
        except errors.InProcessTransport:
149
120
            pass
150
 
        return urls
151
 
 
152
 
    def run_server_started_hooks(self, backing_urls=None):
153
 
        if backing_urls is None:
154
 
            backing_urls = self._backing_urls()
155
121
        for hook in SmartTCPServer.hooks['server_started']:
156
122
            hook(backing_urls, self.get_url())
157
123
        for hook in SmartTCPServer.hooks['server_started_ex']:
158
124
            hook(backing_urls, self)
159
 
 
160
 
    def run_server_stopped_hooks(self, backing_urls=None):
161
 
        if backing_urls is None:
162
 
            backing_urls = self._backing_urls()
163
 
        for hook in SmartTCPServer.hooks['server_stopped']:
164
 
            hook(backing_urls, self.get_url())
165
 
 
166
 
    def _stop_gracefully(self):
167
 
        trace.note(gettext('Requested to stop gracefully'))
168
 
        self._should_terminate = True
169
 
        self._gracefully_stopping = True
170
 
        for handler, _ in self._active_connections:
171
 
            handler._stop_gracefully()
172
 
 
173
 
    def _wait_for_clients_to_disconnect(self):
174
 
        self._poll_active_connections()
175
 
        if not self._active_connections:
176
 
            return
177
 
        trace.note(gettext('Waiting for %d client(s) to finish')
178
 
                   % (len(self._active_connections),))
179
 
        t_next_log = self._timer() + self._LOG_WAITING_TIMEOUT
180
 
        while self._active_connections:
181
 
            now = self._timer()
182
 
            if now >= t_next_log:
183
 
                trace.note(gettext('Still waiting for %d client(s) to finish')
184
 
                           % (len(self._active_connections),))
185
 
                t_next_log = now + self._LOG_WAITING_TIMEOUT
186
 
            self._poll_active_connections(self._SHUTDOWN_POLL_TIMEOUT)
187
 
 
188
 
    def serve(self, thread_name_suffix=''):
189
 
        # Note: There is a temptation to do
190
 
        #       signals.register_on_hangup(id(self), self._stop_gracefully)
191
 
        #       However, that creates a temporary object which is a bound
192
 
        #       method. signals._on_sighup is a WeakKeyDictionary so it
193
 
        #       immediately gets garbage collected, because nothing else
194
 
        #       references it. Instead, we need to keep a real reference to the
195
 
        #       bound method for the lifetime of the serve() function.
196
 
        stop_gracefully = self._stop_gracefully
197
 
        signals.register_on_hangup(id(self), stop_gracefully)
198
 
        self._should_terminate = False
199
 
        # for hooks we are letting code know that a server has started (and
200
 
        # later stopped).
201
 
        self.run_server_started_hooks()
202
125
        self._started.set()
203
126
        try:
204
127
            try:
208
131
                    except self._socket_timeout:
209
132
                        # just check if we're asked to stop
210
133
                        pass
211
 
                    except self._socket_error as e:
 
134
                    except self._socket_error, e:
212
135
                        # if the socket is closed by stop_background_thread
213
 
                        # we might get a EBADF here, or if we get a signal we
214
 
                        # can get EINTR, any other socket errors should get
215
 
                        # logged.
216
 
                        if e.args[0] not in (errno.EBADF, errno.EINTR):
217
 
                            trace.warning(gettext("listening socket error: %s")
218
 
                                          % (e,))
 
136
                        # we might get a EBADF here, any other socket errors
 
137
                        # should get logged.
 
138
                        if e.args[0] != errno.EBADF:
 
139
                            trace.warning("listening socket error: %s", e)
219
140
                    else:
220
141
                        if self._should_terminate:
221
 
                            conn.close()
222
142
                            break
223
143
                        self.serve_conn(conn, thread_name_suffix)
224
 
                    # Cleanout any threads that have finished processing.
225
 
                    self._poll_active_connections()
226
144
            except KeyboardInterrupt:
227
145
                # dont log when CTRL-C'd.
228
146
                raise
229
 
            except Exception as e:
 
147
            except Exception, e:
230
148
                trace.report_exception(sys.exc_info(), sys.stderr)
231
149
                raise
232
150
        finally:
 
151
            self._stopped.set()
233
152
            try:
234
153
                # ensure the server socket is closed.
235
154
                self._server_socket.close()
236
155
            except self._socket_error:
237
156
                # ignore errors on close
238
157
                pass
239
 
            self._stopped.set()
240
 
            signals.unregister_on_hangup(id(self))
241
 
            self.run_server_stopped_hooks()
242
 
        if self._gracefully_stopping:
243
 
            self._wait_for_clients_to_disconnect()
244
 
        self._fully_stopped.set()
 
158
            for hook in SmartTCPServer.hooks['server_stopped']:
 
159
                hook(backing_urls, self.get_url())
245
160
 
246
161
    def get_url(self):
247
162
        """Return the url of the server"""
248
 
        return "bzr://%s:%s/" % (self._sockname[0], self._sockname[1])
249
 
 
250
 
    def _make_handler(self, conn):
251
 
        return medium.SmartServerSocketStreamMedium(
252
 
            conn, self.backing_transport, self.root_client_path,
253
 
            timeout=self._client_timeout)
254
 
 
255
 
    def _poll_active_connections(self, timeout=0.0):
256
 
        """Check to see if any active connections have finished.
257
 
 
258
 
        This will iterate through self._active_connections, and update any
259
 
        connections that are finished.
260
 
 
261
 
        :param timeout: The timeout to pass to thread.join(). By default, we
262
 
            set it to 0, so that we don't hang if threads are not done yet.
263
 
        :return: None
264
 
        """
265
 
        still_active = []
266
 
        for handler, thread in self._active_connections:
267
 
            thread.join(timeout)
268
 
            if thread.is_alive():
269
 
                still_active.append((handler, thread))
270
 
        self._active_connections = still_active
 
163
        return "bzr://%s:%d/" % self._sockname
271
164
 
272
165
    def serve_conn(self, conn, thread_name_suffix):
273
166
        # For WIN32, where the timeout value from the listening socket
274
167
        # propagates to the newly accepted socket.
275
168
        conn.setblocking(True)
276
169
        conn.setsockopt(socket.IPPROTO_TCP, socket.TCP_NODELAY, 1)
 
170
        handler = medium.SmartServerSocketStreamMedium(
 
171
            conn, self.backing_transport, self.root_client_path)
277
172
        thread_name = 'smart-server-child' + thread_name_suffix
278
 
        handler = self._make_handler(conn)
279
173
        connection_thread = threading.Thread(
280
174
            None, handler.serve, name=thread_name)
281
 
        self._active_connections.append((handler, connection_thread))
282
175
        connection_thread.setDaemon(True)
283
176
        connection_thread.start()
284
 
        return connection_thread
285
177
 
286
178
    def start_background_thread(self, thread_name_suffix=''):
287
179
        self._started.clear()
288
180
        self._server_thread = threading.Thread(None,
289
 
                                               self.serve, args=(
290
 
                                                   thread_name_suffix,),
291
 
                                               name='server-' + self.get_url())
 
181
                self.serve, args=(thread_name_suffix,),
 
182
                name='server-' + self.get_url())
292
183
        self._server_thread.setDaemon(True)
293
184
        self._server_thread.start()
294
185
        self._started.wait()
328
219
        These are all empty initially, because by default nothing should get
329
220
        notified.
330
221
        """
331
 
        Hooks.__init__(self, "breezy.bzr.smart.server", "SmartTCPServer.hooks")
332
 
        self.add_hook('server_started',
333
 
                      "Called by the bzr server when it starts serving a directory. "
334
 
                      "server_started is called with (backing urls, public url), "
335
 
                      "where backing_url is a list of URLs giving the "
336
 
                      "server-specific directory locations, and public_url is the "
337
 
                      "public URL for the directory being served.", (0, 16))
338
 
        self.add_hook('server_started_ex',
339
 
                      "Called by the bzr server when it starts serving a directory. "
340
 
                      "server_started is called with (backing_urls, server_obj).",
341
 
                      (1, 17))
342
 
        self.add_hook('server_stopped',
343
 
                      "Called by the bzr server when it stops serving a directory. "
344
 
                      "server_stopped is called with the same parameters as the "
345
 
                      "server_started hook: (backing_urls, public_url).", (0, 16))
346
 
        self.add_hook('server_exception',
347
 
                      "Called by the bzr server when an exception occurs. "
348
 
                      "server_exception is called with the sys.exc_info() tuple "
349
 
                      "return true for the hook if the exception has been handled, "
350
 
                      "in which case the server will exit normally.", (2, 4))
351
 
 
 
222
        Hooks.__init__(self)
 
223
        self.create_hook(HookPoint('server_started',
 
224
            "Called by the bzr server when it starts serving a directory. "
 
225
            "server_started is called with (backing urls, public url), "
 
226
            "where backing_url is a list of URLs giving the "
 
227
            "server-specific directory locations, and public_url is the "
 
228
            "public URL for the directory being served.", (0, 16), None))
 
229
        self.create_hook(HookPoint('server_started_ex',
 
230
            "Called by the bzr server when it starts serving a directory. "
 
231
            "server_started is called with (backing_urls, server_obj).",
 
232
            (1, 17), None))
 
233
        self.create_hook(HookPoint('server_stopped',
 
234
            "Called by the bzr server when it stops serving a directory. "
 
235
            "server_stopped is called with the same parameters as the "
 
236
            "server_started hook: (backing_urls, public_url).", (0, 16), None))
352
237
 
353
238
SmartTCPServer.hooks = SmartServerHooks()
354
239
 
355
240
 
356
241
def _local_path_for_transport(transport):
357
242
    """Return a local path for transport, if reasonably possible.
358
 
 
 
243
    
359
244
    This function works even if transport's url has a "readonly+" prefix,
360
245
    unlike local_path_from_url.
361
 
 
 
246
    
362
247
    This essentially recovers the --directory argument the user passed to "bzr
363
248
    serve" from the transport passed to serve_bzr.
364
249
    """
372
257
            base_url = base_url[len('readonly+'):]
373
258
        try:
374
259
            return urlutils.local_path_from_url(base_url)
375
 
        except urlutils.InvalidURL:
 
260
        except errors.InvalidURL:
376
261
            return None
377
262
 
378
263
 
420
305
        chroot_server = chroot.ChrootServer(transport)
421
306
        chroot_server.start_server()
422
307
        self.cleanups.append(chroot_server.stop_server)
423
 
        transport = _mod_transport.get_transport_from_url(
424
 
            chroot_server.get_url())
 
308
        transport = get_transport(chroot_server.get_url())
425
309
        if self.base_path is not None:
426
310
            # Decorate the server's backing transport with a filter that can
427
311
            # expand homedirs.
428
312
            expand_userdirs = self._make_expand_userdirs_filter(transport)
429
313
            expand_userdirs.start_server()
430
314
            self.cleanups.append(expand_userdirs.stop_server)
431
 
            transport = _mod_transport.get_transport_from_url(
432
 
                expand_userdirs.get_url())
 
315
            transport = get_transport(expand_userdirs.get_url())
433
316
        self.transport = transport
434
317
 
435
 
    def _get_stdin_stdout(self):
436
 
        return sys.stdin.buffer, sys.stdout.buffer
437
 
 
438
 
    def _make_smart_server(self, host, port, inet, timeout):
439
 
        if timeout is None:
440
 
            c = config.GlobalStack()
441
 
            timeout = c.get('serve.client_timeout')
 
318
    def _make_smart_server(self, host, port, inet):
442
319
        if inet:
443
 
            stdin, stdout = self._get_stdin_stdout()
444
320
            smart_server = medium.SmartServerPipeStreamMedium(
445
 
                stdin, stdout, self.transport, timeout=timeout)
 
321
                sys.stdin, sys.stdout, self.transport)
446
322
        else:
447
323
            if host is None:
448
324
                host = medium.BZR_DEFAULT_INTERFACE
449
325
            if port is None:
450
326
                port = medium.BZR_DEFAULT_PORT
451
 
            smart_server = SmartTCPServer(self.transport,
452
 
                                          client_timeout=timeout)
453
 
            smart_server.start_server(host, port)
454
 
            trace.note(gettext('listening on port: %s'),
455
 
                       str(smart_server.port))
 
327
            smart_server = SmartTCPServer(self.transport, host=host, port=port)
 
328
            trace.note('listening on port: %s' % smart_server.port)
456
329
        self.smart_server = smart_server
457
330
 
458
331
    def _change_globals(self):
459
 
        from breezy import lockdir, ui
 
332
        from bzrlib import lockdir, ui
460
333
        # For the duration of this server, no UI output is permitted. note
461
334
        # that this may cause problems with blackbox tests. This should be
462
335
        # changed with care though, as we dont want to use bandwidth sending
463
336
        # progress over stderr to smart server clients!
464
337
        old_factory = ui.ui_factory
465
338
        old_lockdir_timeout = lockdir._DEFAULT_TIMEOUT_SECONDS
466
 
 
467
339
        def restore_default_ui_factory_and_lockdir_timeout():
468
340
            ui.ui_factory = old_factory
469
341
            lockdir._DEFAULT_TIMEOUT_SECONDS = old_lockdir_timeout
470
342
        self.cleanups.append(restore_default_ui_factory_and_lockdir_timeout)
471
343
        ui.ui_factory = ui.SilentUIFactory()
472
344
        lockdir._DEFAULT_TIMEOUT_SECONDS = 0
473
 
        orig = signals.install_sighup_handler()
474
 
 
475
 
        def restore_signals():
476
 
            signals.restore_sighup_handler(orig)
477
 
        self.cleanups.append(restore_signals)
478
 
 
479
 
    def set_up(self, transport, host, port, inet, timeout):
 
345
 
 
346
    def set_up(self, transport, host, port, inet):
480
347
        self._make_backing_transport(transport)
481
 
        self._make_smart_server(host, port, inet, timeout)
 
348
        self._make_smart_server(host, port, inet)
482
349
        self._change_globals()
483
350
 
484
351
    def tear_down(self):
486
353
            cleanup()
487
354
 
488
355
 
489
 
def serve_bzr(transport, host=None, port=None, inet=False, timeout=None):
 
356
def serve_bzr(transport, host=None, port=None, inet=False):
490
357
    """This is the default implementation of 'bzr serve'.
491
 
 
 
358
    
492
359
    It creates a TCP or pipe smart server on 'transport, and runs it.  The
493
360
    transport will be decorated with a chroot and pathfilter (using
494
361
    os.path.expanduser).
495
362
    """
496
363
    bzr_server = BzrServerFactory()
497
364
    try:
498
 
        bzr_server.set_up(transport, host, port, inet, timeout)
 
365
        bzr_server.set_up(transport, host, port, inet)
499
366
        bzr_server.smart_server.serve()
500
 
    except:
501
 
        hook_caught_exception = False
502
 
        for hook in SmartTCPServer.hooks['server_exception']:
503
 
            hook_caught_exception = hook(sys.exc_info())
504
 
        if not hook_caught_exception:
505
 
            raise
506
367
    finally:
507
368
        bzr_server.tear_down()
 
369