/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/smart/server.py

  • Committer: Marius Kruger
  • Date: 2010-07-10 21:28:56 UTC
  • mto: (5384.1.1 integration)
  • mto: This revision was merged to the branch mainline in revision 5385.
  • Revision ID: marius.kruger@enerweb.co.za-20100710212856-uq4ji3go0u5se7hx
* Update documentation
* add NEWS

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/smart/server.py
1
 
# Copyright (C) 2006-2011 Canonical Ltd
 
1
# Copyright (C) 2006-2010 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
16
16
 
17
17
"""Server for smart-server protocol."""
18
18
 
19
 
from __future__ import absolute_import
20
 
 
21
19
import errno
22
20
import os.path
23
21
import socket
24
22
import sys
25
 
import time
26
23
import threading
27
24
 
28
 
from ...hooks import Hooks
29
 
from ... import (
 
25
from bzrlib.hooks import HookPoint, Hooks
 
26
from bzrlib import (
30
27
    errors,
31
28
    trace,
32
 
    transport as _mod_transport,
 
29
    transport,
33
30
)
34
 
from ...i18n import gettext
35
 
from ...lazy_import import lazy_import
 
31
from bzrlib.lazy_import import lazy_import
36
32
lazy_import(globals(), """
37
 
from breezy.bzr.smart import (
38
 
    medium,
39
 
    signals,
40
 
    )
41
 
from breezy.transport import (
 
33
from bzrlib.smart import medium
 
34
from bzrlib.transport import (
42
35
    chroot,
 
36
    get_transport,
43
37
    pathfilter,
44
38
    )
45
 
from breezy import (
46
 
    config,
 
39
from bzrlib import (
47
40
    urlutils,
48
41
    )
49
42
""")
58
51
    hooks: An instance of SmartServerHooks.
59
52
    """
60
53
 
61
 
    # This is the timeout on the socket we use .accept() on. It is exposed here
62
 
    # so the test suite can set it faster. (It thread.interrupt_main() will not
63
 
    # fire a KeyboardInterrupt during socket.accept)
64
 
    _ACCEPT_TIMEOUT = 1.0
65
 
    _SHUTDOWN_POLL_TIMEOUT = 1.0
66
 
    _LOG_WAITING_TIMEOUT = 10.0
67
 
 
68
 
    _timer = time.time
69
 
 
70
 
    def __init__(self, backing_transport, root_client_path='/',
71
 
                 client_timeout=None):
 
54
    def __init__(self, backing_transport, host='127.0.0.1', port=0,
 
55
                 root_client_path='/'):
72
56
        """Construct a new server.
73
57
 
74
58
        To actually start it running, call either start_background_thread or
75
59
        serve.
76
60
 
77
61
        :param backing_transport: The transport to serve.
 
62
        :param host: Name of the interface to listen on.
 
63
        :param port: TCP port to listen on, or 0 to allocate a transient port.
78
64
        :param root_client_path: The client path that will correspond to root
79
65
            of backing_transport.
80
 
        :param client_timeout: See SmartServerSocketStreamMedium's timeout
81
 
            parameter.
82
 
        """
83
 
        self.backing_transport = backing_transport
84
 
        self.root_client_path = root_client_path
85
 
        self._client_timeout = client_timeout
86
 
        self._active_connections = []
87
 
        # This is set to indicate we want to wait for clients to finish before
88
 
        # we disconnect.
89
 
        self._gracefully_stopping = False
90
 
 
91
 
    def start_server(self, host, port):
92
 
        """Create the server listening socket.
93
 
 
94
 
        :param host: Name of the interface to listen on.
95
 
        :param port: TCP port to listen on, or 0 to allocate a transient port.
96
66
        """
97
67
        # let connections timeout so that we get a chance to terminate
98
68
        # Keep a reference to the exceptions we want to catch because the socket
102
72
        self._socket_error = socket_error
103
73
        self._socket_timeout = socket_timeout
104
74
        addrs = socket.getaddrinfo(host, port, socket.AF_UNSPEC,
105
 
                                   socket.SOCK_STREAM, 0, socket.AI_PASSIVE)[0]
 
75
            socket.SOCK_STREAM, 0, socket.AI_PASSIVE)[0]
106
76
 
107
77
        (family, socktype, proto, canonname, sockaddr) = addrs
108
78
 
110
80
        # SO_REUSERADDR has a different meaning on Windows
111
81
        if sys.platform != 'win32':
112
82
            self._server_socket.setsockopt(socket.SOL_SOCKET,
113
 
                                           socket.SO_REUSEADDR, 1)
 
83
                socket.SO_REUSEADDR, 1)
114
84
        try:
115
85
            self._server_socket.bind(sockaddr)
116
 
        except self._socket_error as message:
 
86
        except self._socket_error, message:
117
87
            raise errors.CannotBindAddress(host, port, message)
118
88
        self._sockname = self._server_socket.getsockname()
119
89
        self.port = self._sockname[1]
120
90
        self._server_socket.listen(1)
121
 
        self._server_socket.settimeout(self._ACCEPT_TIMEOUT)
122
 
        # Once we start accept()ing connections, we set started.
 
91
        self._server_socket.settimeout(1)
 
92
        self.backing_transport = backing_transport
123
93
        self._started = threading.Event()
124
 
        # Once we stop accept()ing connections (and are closing the socket) we
125
 
        # set _stopped
126
94
        self._stopped = threading.Event()
127
 
        # Once we have finished waiting for all clients, etc. We set
128
 
        # _fully_stopped
129
 
        self._fully_stopped = threading.Event()
 
95
        self.root_client_path = root_client_path
130
96
 
131
 
    def _backing_urls(self):
 
97
    def serve(self, thread_name_suffix=''):
 
98
        self._should_terminate = False
 
99
        # for hooks we are letting code know that a server has started (and
 
100
        # later stopped).
132
101
        # There are three interesting urls:
133
102
        # The URL the server can be contacted on. (e.g. bzr://host/)
134
103
        # The URL that a commit done on the same machine as the server will
135
104
        # have within the servers space. (e.g. file:///home/user/source)
136
105
        # The URL that will be given to other hooks in the same process -
137
 
        # the URL of the backing transport itself. (e.g. filtered-36195:///)
 
106
        # the URL of the backing transport itself. (e.g. chroot+:///)
138
107
        # We need all three because:
139
108
        #  * other machines see the first
140
109
        #  * local commits on this machine should be able to be mapped to
144
113
        # The latter two urls are different aliases to the servers url,
145
114
        # so we group those in a list - as there might be more aliases
146
115
        # in the future.
147
 
        urls = [self.backing_transport.base]
 
116
        backing_urls = [self.backing_transport.base]
148
117
        try:
149
 
            urls.append(self.backing_transport.external_url())
 
118
            backing_urls.append(self.backing_transport.external_url())
150
119
        except errors.InProcessTransport:
151
120
            pass
152
 
        return urls
153
 
 
154
 
    def run_server_started_hooks(self, backing_urls=None):
155
 
        if backing_urls is None:
156
 
            backing_urls = self._backing_urls()
157
121
        for hook in SmartTCPServer.hooks['server_started']:
158
122
            hook(backing_urls, self.get_url())
159
123
        for hook in SmartTCPServer.hooks['server_started_ex']:
160
124
            hook(backing_urls, self)
161
 
 
162
 
    def run_server_stopped_hooks(self, backing_urls=None):
163
 
        if backing_urls is None:
164
 
            backing_urls = self._backing_urls()
165
 
        for hook in SmartTCPServer.hooks['server_stopped']:
166
 
            hook(backing_urls, self.get_url())
167
 
 
168
 
    def _stop_gracefully(self):
169
 
        trace.note(gettext('Requested to stop gracefully'))
170
 
        self._should_terminate = True
171
 
        self._gracefully_stopping = True
172
 
        for handler, _ in self._active_connections:
173
 
            handler._stop_gracefully()
174
 
 
175
 
    def _wait_for_clients_to_disconnect(self):
176
 
        self._poll_active_connections()
177
 
        if not self._active_connections:
178
 
            return
179
 
        trace.note(gettext('Waiting for %d client(s) to finish')
180
 
                   % (len(self._active_connections),))
181
 
        t_next_log = self._timer() + self._LOG_WAITING_TIMEOUT
182
 
        while self._active_connections:
183
 
            now = self._timer()
184
 
            if now >= t_next_log:
185
 
                trace.note(gettext('Still waiting for %d client(s) to finish')
186
 
                           % (len(self._active_connections),))
187
 
                t_next_log = now + self._LOG_WAITING_TIMEOUT
188
 
            self._poll_active_connections(self._SHUTDOWN_POLL_TIMEOUT)
189
 
 
190
 
    def serve(self, thread_name_suffix=''):
191
 
        # Note: There is a temptation to do
192
 
        #       signals.register_on_hangup(id(self), self._stop_gracefully)
193
 
        #       However, that creates a temporary object which is a bound
194
 
        #       method. signals._on_sighup is a WeakKeyDictionary so it
195
 
        #       immediately gets garbage collected, because nothing else
196
 
        #       references it. Instead, we need to keep a real reference to the
197
 
        #       bound method for the lifetime of the serve() function.
198
 
        stop_gracefully = self._stop_gracefully
199
 
        signals.register_on_hangup(id(self), stop_gracefully)
200
 
        self._should_terminate = False
201
 
        # for hooks we are letting code know that a server has started (and
202
 
        # later stopped).
203
 
        self.run_server_started_hooks()
204
125
        self._started.set()
205
126
        try:
206
127
            try:
210
131
                    except self._socket_timeout:
211
132
                        # just check if we're asked to stop
212
133
                        pass
213
 
                    except self._socket_error as e:
 
134
                    except self._socket_error, e:
214
135
                        # if the socket is closed by stop_background_thread
215
 
                        # we might get a EBADF here, or if we get a signal we
216
 
                        # can get EINTR, any other socket errors should get
217
 
                        # logged.
218
 
                        if e.args[0] not in (errno.EBADF, errno.EINTR):
219
 
                            trace.warning(gettext("listening socket error: %s")
220
 
                                          % (e,))
 
136
                        # we might get a EBADF here, any other socket errors
 
137
                        # should get logged.
 
138
                        if e.args[0] != errno.EBADF:
 
139
                            trace.warning("listening socket error: %s", e)
221
140
                    else:
222
141
                        if self._should_terminate:
223
 
                            conn.close()
224
142
                            break
225
143
                        self.serve_conn(conn, thread_name_suffix)
226
 
                    # Cleanout any threads that have finished processing.
227
 
                    self._poll_active_connections()
228
144
            except KeyboardInterrupt:
229
145
                # dont log when CTRL-C'd.
230
146
                raise
231
 
            except Exception as e:
 
147
            except Exception, e:
232
148
                trace.report_exception(sys.exc_info(), sys.stderr)
233
149
                raise
234
150
        finally:
 
151
            self._stopped.set()
235
152
            try:
236
153
                # ensure the server socket is closed.
237
154
                self._server_socket.close()
238
155
            except self._socket_error:
239
156
                # ignore errors on close
240
157
                pass
241
 
            self._stopped.set()
242
 
            signals.unregister_on_hangup(id(self))
243
 
            self.run_server_stopped_hooks()
244
 
        if self._gracefully_stopping:
245
 
            self._wait_for_clients_to_disconnect()
246
 
        self._fully_stopped.set()
 
158
            for hook in SmartTCPServer.hooks['server_stopped']:
 
159
                hook(backing_urls, self.get_url())
247
160
 
248
161
    def get_url(self):
249
162
        """Return the url of the server"""
250
 
        return "bzr://%s:%s/" % (self._sockname[0], self._sockname[1])
251
 
 
252
 
    def _make_handler(self, conn):
253
 
        return medium.SmartServerSocketStreamMedium(
254
 
            conn, self.backing_transport, self.root_client_path,
255
 
            timeout=self._client_timeout)
256
 
 
257
 
    def _poll_active_connections(self, timeout=0.0):
258
 
        """Check to see if any active connections have finished.
259
 
 
260
 
        This will iterate through self._active_connections, and update any
261
 
        connections that are finished.
262
 
 
263
 
        :param timeout: The timeout to pass to thread.join(). By default, we
264
 
            set it to 0, so that we don't hang if threads are not done yet.
265
 
        :return: None
266
 
        """
267
 
        still_active = []
268
 
        for handler, thread in self._active_connections:
269
 
            thread.join(timeout)
270
 
            if thread.isAlive():
271
 
                still_active.append((handler, thread))
272
 
        self._active_connections = still_active
 
163
        return "bzr://%s:%d/" % self._sockname
273
164
 
274
165
    def serve_conn(self, conn, thread_name_suffix):
275
166
        # For WIN32, where the timeout value from the listening socket
276
167
        # propagates to the newly accepted socket.
277
168
        conn.setblocking(True)
278
169
        conn.setsockopt(socket.IPPROTO_TCP, socket.TCP_NODELAY, 1)
 
170
        handler = medium.SmartServerSocketStreamMedium(
 
171
            conn, self.backing_transport, self.root_client_path)
279
172
        thread_name = 'smart-server-child' + thread_name_suffix
280
 
        handler = self._make_handler(conn)
281
173
        connection_thread = threading.Thread(
282
174
            None, handler.serve, name=thread_name)
283
 
        self._active_connections.append((handler, connection_thread))
284
175
        connection_thread.setDaemon(True)
285
176
        connection_thread.start()
286
 
        return connection_thread
287
177
 
288
178
    def start_background_thread(self, thread_name_suffix=''):
289
179
        self._started.clear()
290
180
        self._server_thread = threading.Thread(None,
291
 
                                               self.serve, args=(
292
 
                                                   thread_name_suffix,),
293
 
                                               name='server-' + self.get_url())
 
181
                self.serve, args=(thread_name_suffix,),
 
182
                name='server-' + self.get_url())
294
183
        self._server_thread.setDaemon(True)
295
184
        self._server_thread.start()
296
185
        self._started.wait()
330
219
        These are all empty initially, because by default nothing should get
331
220
        notified.
332
221
        """
333
 
        Hooks.__init__(self, "breezy.bzr.smart.server", "SmartTCPServer.hooks")
334
 
        self.add_hook('server_started',
335
 
                      "Called by the bzr server when it starts serving a directory. "
336
 
                      "server_started is called with (backing urls, public url), "
337
 
                      "where backing_url is a list of URLs giving the "
338
 
                      "server-specific directory locations, and public_url is the "
339
 
                      "public URL for the directory being served.", (0, 16))
340
 
        self.add_hook('server_started_ex',
341
 
                      "Called by the bzr server when it starts serving a directory. "
342
 
                      "server_started is called with (backing_urls, server_obj).",
343
 
                      (1, 17))
344
 
        self.add_hook('server_stopped',
345
 
                      "Called by the bzr server when it stops serving a directory. "
346
 
                      "server_stopped is called with the same parameters as the "
347
 
                      "server_started hook: (backing_urls, public_url).", (0, 16))
348
 
        self.add_hook('server_exception',
349
 
                      "Called by the bzr server when an exception occurs. "
350
 
                      "server_exception is called with the sys.exc_info() tuple "
351
 
                      "return true for the hook if the exception has been handled, "
352
 
                      "in which case the server will exit normally.", (2, 4))
353
 
 
 
222
        Hooks.__init__(self)
 
223
        self.create_hook(HookPoint('server_started',
 
224
            "Called by the bzr server when it starts serving a directory. "
 
225
            "server_started is called with (backing urls, public url), "
 
226
            "where backing_url is a list of URLs giving the "
 
227
            "server-specific directory locations, and public_url is the "
 
228
            "public URL for the directory being served.", (0, 16), None))
 
229
        self.create_hook(HookPoint('server_started_ex',
 
230
            "Called by the bzr server when it starts serving a directory. "
 
231
            "server_started is called with (backing_urls, server_obj).",
 
232
            (1, 17), None))
 
233
        self.create_hook(HookPoint('server_stopped',
 
234
            "Called by the bzr server when it stops serving a directory. "
 
235
            "server_stopped is called with the same parameters as the "
 
236
            "server_started hook: (backing_urls, public_url).", (0, 16), None))
354
237
 
355
238
SmartTCPServer.hooks = SmartServerHooks()
356
239
 
357
240
 
358
241
def _local_path_for_transport(transport):
359
242
    """Return a local path for transport, if reasonably possible.
360
 
 
 
243
    
361
244
    This function works even if transport's url has a "readonly+" prefix,
362
245
    unlike local_path_from_url.
363
 
 
 
246
    
364
247
    This essentially recovers the --directory argument the user passed to "bzr
365
248
    serve" from the transport passed to serve_bzr.
366
249
    """
374
257
            base_url = base_url[len('readonly+'):]
375
258
        try:
376
259
            return urlutils.local_path_from_url(base_url)
377
 
        except urlutils.InvalidURL:
 
260
        except errors.InvalidURL:
378
261
            return None
379
262
 
380
263
 
422
305
        chroot_server = chroot.ChrootServer(transport)
423
306
        chroot_server.start_server()
424
307
        self.cleanups.append(chroot_server.stop_server)
425
 
        transport = _mod_transport.get_transport_from_url(
426
 
            chroot_server.get_url())
 
308
        transport = get_transport(chroot_server.get_url())
427
309
        if self.base_path is not None:
428
310
            # Decorate the server's backing transport with a filter that can
429
311
            # expand homedirs.
430
312
            expand_userdirs = self._make_expand_userdirs_filter(transport)
431
313
            expand_userdirs.start_server()
432
314
            self.cleanups.append(expand_userdirs.stop_server)
433
 
            transport = _mod_transport.get_transport_from_url(
434
 
                expand_userdirs.get_url())
 
315
            transport = get_transport(expand_userdirs.get_url())
435
316
        self.transport = transport
436
317
 
437
 
    def _get_stdin_stdout(self):
438
 
        if sys.version_info[0] < 3:
439
 
            return sys.stdin, sys.stdout
440
 
        else:
441
 
            return sys.stdin.buffer, sys.stdout.buffer
442
 
 
443
 
    def _make_smart_server(self, host, port, inet, timeout):
444
 
        if timeout is None:
445
 
            c = config.GlobalStack()
446
 
            timeout = c.get('serve.client_timeout')
 
318
    def _make_smart_server(self, host, port, inet):
447
319
        if inet:
448
 
            stdin, stdout = self._get_stdin_stdout()
449
320
            smart_server = medium.SmartServerPipeStreamMedium(
450
 
                stdin, stdout, self.transport, timeout=timeout)
 
321
                sys.stdin, sys.stdout, self.transport)
451
322
        else:
452
323
            if host is None:
453
324
                host = medium.BZR_DEFAULT_INTERFACE
454
325
            if port is None:
455
326
                port = medium.BZR_DEFAULT_PORT
456
 
            smart_server = SmartTCPServer(self.transport,
457
 
                                          client_timeout=timeout)
458
 
            smart_server.start_server(host, port)
459
 
            trace.note(gettext('listening on port: %s'),
460
 
                       str(smart_server.port))
 
327
            smart_server = SmartTCPServer(self.transport, host=host, port=port)
 
328
            trace.note('listening on port: %s' % smart_server.port)
461
329
        self.smart_server = smart_server
462
330
 
463
331
    def _change_globals(self):
464
 
        from breezy import lockdir, ui
 
332
        from bzrlib import lockdir, ui
465
333
        # For the duration of this server, no UI output is permitted. note
466
334
        # that this may cause problems with blackbox tests. This should be
467
335
        # changed with care though, as we dont want to use bandwidth sending
468
336
        # progress over stderr to smart server clients!
469
337
        old_factory = ui.ui_factory
470
338
        old_lockdir_timeout = lockdir._DEFAULT_TIMEOUT_SECONDS
471
 
 
472
339
        def restore_default_ui_factory_and_lockdir_timeout():
473
340
            ui.ui_factory = old_factory
474
341
            lockdir._DEFAULT_TIMEOUT_SECONDS = old_lockdir_timeout
475
342
        self.cleanups.append(restore_default_ui_factory_and_lockdir_timeout)
476
343
        ui.ui_factory = ui.SilentUIFactory()
477
344
        lockdir._DEFAULT_TIMEOUT_SECONDS = 0
478
 
        orig = signals.install_sighup_handler()
479
 
 
480
 
        def restore_signals():
481
 
            signals.restore_sighup_handler(orig)
482
 
        self.cleanups.append(restore_signals)
483
 
 
484
 
    def set_up(self, transport, host, port, inet, timeout):
 
345
 
 
346
    def set_up(self, transport, host, port, inet):
485
347
        self._make_backing_transport(transport)
486
 
        self._make_smart_server(host, port, inet, timeout)
 
348
        self._make_smart_server(host, port, inet)
487
349
        self._change_globals()
488
350
 
489
351
    def tear_down(self):
491
353
            cleanup()
492
354
 
493
355
 
494
 
def serve_bzr(transport, host=None, port=None, inet=False, timeout=None):
 
356
def serve_bzr(transport, host=None, port=None, inet=False):
495
357
    """This is the default implementation of 'bzr serve'.
496
 
 
 
358
    
497
359
    It creates a TCP or pipe smart server on 'transport, and runs it.  The
498
360
    transport will be decorated with a chroot and pathfilter (using
499
361
    os.path.expanduser).
500
362
    """
501
363
    bzr_server = BzrServerFactory()
502
364
    try:
503
 
        bzr_server.set_up(transport, host, port, inet, timeout)
 
365
        bzr_server.set_up(transport, host, port, inet)
504
366
        bzr_server.smart_server.serve()
505
 
    except:
506
 
        hook_caught_exception = False
507
 
        for hook in SmartTCPServer.hooks['server_exception']:
508
 
            hook_caught_exception = hook(sys.exc_info())
509
 
        if not hook_caught_exception:
510
 
            raise
511
367
    finally:
512
368
        bzr_server.tear_down()
 
369