/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/smart/server.py

  • Committer: Robert Collins
  • Date: 2010-05-06 11:08:10 UTC
  • mto: This revision was merged to the branch mainline in revision 5223.
  • Revision ID: robertc@robertcollins.net-20100506110810-h3j07fh5gmw54s25
Cleaner matcher matching revised unlocking protocol.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/smart/server.py
1
 
# Copyright (C) 2006, 2007 Canonical Ltd
 
1
# Copyright (C) 2006-2010 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
17
"""Server for smart-server protocol."""
18
18
 
19
19
import errno
 
20
import os.path
20
21
import socket
 
22
import sys
21
23
import threading
22
24
 
23
 
from bzrlib.hooks import Hooks
 
25
from bzrlib.hooks import HookPoint, Hooks
24
26
from bzrlib import (
 
27
    errors,
25
28
    trace,
26
29
    transport,
27
30
)
28
 
from bzrlib.smart.medium import SmartServerSocketStreamMedium
 
31
from bzrlib.lazy_import import lazy_import
 
32
lazy_import(globals(), """
 
33
from bzrlib.smart import medium
 
34
from bzrlib.transport import (
 
35
    chroot,
 
36
    get_transport,
 
37
    pathfilter,
 
38
    )
 
39
from bzrlib import (
 
40
    urlutils,
 
41
    )
 
42
""")
29
43
 
30
44
 
31
45
class SmartTCPServer(object):
37
51
    hooks: An instance of SmartServerHooks.
38
52
    """
39
53
 
40
 
    def __init__(self, backing_transport, host='127.0.0.1', port=0):
 
54
    def __init__(self, backing_transport, host='127.0.0.1', port=0,
 
55
                 root_client_path='/'):
41
56
        """Construct a new server.
42
57
 
43
58
        To actually start it running, call either start_background_thread or
44
59
        serve.
45
60
 
 
61
        :param backing_transport: The transport to serve.
46
62
        :param host: Name of the interface to listen on.
47
63
        :param port: TCP port to listen on, or 0 to allocate a transient port.
 
64
        :param root_client_path: The client path that will correspond to root
 
65
            of backing_transport.
48
66
        """
49
67
        # let connections timeout so that we get a chance to terminate
50
68
        # Keep a reference to the exceptions we want to catch because the socket
53
71
        from socket import error as socket_error
54
72
        self._socket_error = socket_error
55
73
        self._socket_timeout = socket_timeout
56
 
        self._server_socket = socket.socket()
57
 
        self._server_socket.bind((host, port))
 
74
        addrs = socket.getaddrinfo(host, port, socket.AF_UNSPEC,
 
75
            socket.SOCK_STREAM, 0, socket.AI_PASSIVE)[0]
 
76
 
 
77
        (family, socktype, proto, canonname, sockaddr) = addrs
 
78
 
 
79
        self._server_socket = socket.socket(family, socktype, proto)
 
80
        # SO_REUSERADDR has a different meaning on Windows
 
81
        if sys.platform != 'win32':
 
82
            self._server_socket.setsockopt(socket.SOL_SOCKET,
 
83
                socket.SO_REUSEADDR, 1)
 
84
        try:
 
85
            self._server_socket.bind(sockaddr)
 
86
        except self._socket_error, message:
 
87
            raise errors.CannotBindAddress(host, port, message)
58
88
        self._sockname = self._server_socket.getsockname()
59
89
        self.port = self._sockname[1]
60
90
        self._server_socket.listen(1)
62
92
        self.backing_transport = backing_transport
63
93
        self._started = threading.Event()
64
94
        self._stopped = threading.Event()
 
95
        self.root_client_path = root_client_path
65
96
 
66
 
    def serve(self):
 
97
    def serve(self, thread_name_suffix=''):
67
98
        self._should_terminate = False
 
99
        # for hooks we are letting code know that a server has started (and
 
100
        # later stopped).
 
101
        # There are three interesting urls:
 
102
        # The URL the server can be contacted on. (e.g. bzr://host/)
 
103
        # The URL that a commit done on the same machine as the server will
 
104
        # have within the servers space. (e.g. file:///home/user/source)
 
105
        # The URL that will be given to other hooks in the same process -
 
106
        # the URL of the backing transport itself. (e.g. chroot+:///)
 
107
        # We need all three because:
 
108
        #  * other machines see the first
 
109
        #  * local commits on this machine should be able to be mapped to
 
110
        #    this server
 
111
        #  * commits the server does itself need to be mapped across to this
 
112
        #    server.
 
113
        # The latter two urls are different aliases to the servers url,
 
114
        # so we group those in a list - as there might be more aliases
 
115
        # in the future.
 
116
        backing_urls = [self.backing_transport.base]
 
117
        try:
 
118
            backing_urls.append(self.backing_transport.external_url())
 
119
        except errors.InProcessTransport:
 
120
            pass
68
121
        for hook in SmartTCPServer.hooks['server_started']:
69
 
            hook(self.backing_transport.base, self.get_url())
 
122
            hook(backing_urls, self.get_url())
 
123
        for hook in SmartTCPServer.hooks['server_started_ex']:
 
124
            hook(backing_urls, self)
70
125
        self._started.set()
71
126
        try:
72
127
            try:
83
138
                        if e.args[0] != errno.EBADF:
84
139
                            trace.warning("listening socket error: %s", e)
85
140
                    else:
86
 
                        self.serve_conn(conn)
 
141
                        if self._should_terminate:
 
142
                            break
 
143
                        self.serve_conn(conn, thread_name_suffix)
87
144
            except KeyboardInterrupt:
88
145
                # dont log when CTRL-C'd.
89
146
                raise
90
147
            except Exception, e:
91
 
                trace.error("Unhandled smart server error.")
92
 
                trace.log_exception_quietly()
 
148
                trace.report_exception(sys.exc_info(), sys.stderr)
93
149
                raise
94
150
        finally:
95
151
            self._stopped.set()
100
156
                # ignore errors on close
101
157
                pass
102
158
            for hook in SmartTCPServer.hooks['server_stopped']:
103
 
                hook(self.backing_transport.base, self.get_url())
 
159
                hook(backing_urls, self.get_url())
104
160
 
105
161
    def get_url(self):
106
162
        """Return the url of the server"""
107
163
        return "bzr://%s:%d/" % self._sockname
108
164
 
109
 
    def serve_conn(self, conn):
 
165
    def serve_conn(self, conn, thread_name_suffix):
110
166
        # For WIN32, where the timeout value from the listening socket
111
 
        # propogates to the newly accepted socket.
 
167
        # propagates to the newly accepted socket.
112
168
        conn.setblocking(True)
113
169
        conn.setsockopt(socket.IPPROTO_TCP, socket.TCP_NODELAY, 1)
114
 
        handler = SmartServerSocketStreamMedium(conn, self.backing_transport)
115
 
        connection_thread = threading.Thread(None, handler.serve, name='smart-server-child')
 
170
        handler = medium.SmartServerSocketStreamMedium(
 
171
            conn, self.backing_transport, self.root_client_path)
 
172
        thread_name = 'smart-server-child' + thread_name_suffix
 
173
        connection_thread = threading.Thread(
 
174
            None, handler.serve, name=thread_name)
116
175
        connection_thread.setDaemon(True)
117
176
        connection_thread.start()
118
177
 
119
 
    def start_background_thread(self):
 
178
    def start_background_thread(self, thread_name_suffix=''):
120
179
        self._started.clear()
121
180
        self._server_thread = threading.Thread(None,
122
 
                self.serve,
 
181
                self.serve, args=(thread_name_suffix,),
123
182
                name='server-' + self.get_url())
124
183
        self._server_thread.setDaemon(True)
125
184
        self._server_thread.start()
131
190
        self._should_terminate = True
132
191
        # close the socket - gives error to connections from here on in,
133
192
        # rather than a connection reset error to connections made during
134
 
        # the period between setting _should_terminate = True and 
 
193
        # the period between setting _should_terminate = True and
135
194
        # the current request completing/aborting. It may also break out the
136
195
        # main loop if it was currently in accept() (on some platforms).
137
196
        try:
161
220
        notified.
162
221
        """
163
222
        Hooks.__init__(self)
164
 
        # Introduced in 0.16:
165
 
        # invoked whenever the server starts serving a directory.
166
 
        # The api signature is (backing url, public url).
167
 
        self['server_started'] = []
168
 
        # Introduced in 0.16:
169
 
        # invoked whenever the server stops serving a directory.
170
 
        # The api signature is (backing url, public url).
171
 
        self['server_stopped'] = []
 
223
        self.create_hook(HookPoint('server_started',
 
224
            "Called by the bzr server when it starts serving a directory. "
 
225
            "server_started is called with (backing urls, public url), "
 
226
            "where backing_url is a list of URLs giving the "
 
227
            "server-specific directory locations, and public_url is the "
 
228
            "public URL for the directory being served.", (0, 16), None))
 
229
        self.create_hook(HookPoint('server_started_ex',
 
230
            "Called by the bzr server when it starts serving a directory. "
 
231
            "server_started is called with (backing_urls, server_obj).",
 
232
            (1, 17), None))
 
233
        self.create_hook(HookPoint('server_stopped',
 
234
            "Called by the bzr server when it stops serving a directory. "
 
235
            "server_stopped is called with the same parameters as the "
 
236
            "server_started hook: (backing_urls, public_url).", (0, 16), None))
172
237
 
173
238
SmartTCPServer.hooks = SmartServerHooks()
174
239
 
175
240
 
176
 
class SmartTCPServer_for_testing(SmartTCPServer):
177
 
    """Server suitable for use by transport tests.
178
 
    
179
 
    This server is backed by the process's cwd.
180
 
    """
181
 
 
182
 
    def __init__(self):
183
 
        SmartTCPServer.__init__(self, None)
184
 
        
185
 
    def get_backing_transport(self, backing_transport_server):
186
 
        """Get a backing transport from a server we are decorating."""
187
 
        return transport.get_transport(backing_transport_server.get_url())
188
 
 
189
 
    def setUp(self, backing_transport_server=None):
190
 
        """Set up server for testing"""
191
 
        from bzrlib.transport.chroot import ChrootServer
192
 
        if backing_transport_server is None:
193
 
            from bzrlib.transport.local import LocalURLServer
194
 
            backing_transport_server = LocalURLServer()
195
 
        self.chroot_server = ChrootServer(
196
 
            self.get_backing_transport(backing_transport_server))
197
 
        self.chroot_server.setUp()
198
 
        self.backing_transport = transport.get_transport(
199
 
            self.chroot_server.get_url())
200
 
        self.start_background_thread()
201
 
 
202
 
    def tearDown(self):
203
 
        self.stop_background_thread()
204
 
        self.chroot_server.tearDown()
205
 
 
206
 
    def get_bogus_url(self):
207
 
        """Return a URL which will fail to connect"""
208
 
        return 'bzr://127.0.0.1:1/'
209
 
 
210
 
 
211
 
class ReadonlySmartTCPServer_for_testing(SmartTCPServer_for_testing):
212
 
    """Get a readonly server for testing."""
213
 
 
214
 
    def get_backing_transport(self, backing_transport_server):
215
 
        """Get a backing transport from a server we are decorating."""
216
 
        url = 'readonly+' + backing_transport_server.get_url()
217
 
        return transport.get_transport(url)
 
241
def _local_path_for_transport(transport):
 
242
    """Return a local path for transport, if reasonably possible.
 
243
    
 
244
    This function works even if transport's url has a "readonly+" prefix,
 
245
    unlike local_path_from_url.
 
246
    
 
247
    This essentially recovers the --directory argument the user passed to "bzr
 
248
    serve" from the transport passed to serve_bzr.
 
249
    """
 
250
    try:
 
251
        base_url = transport.external_url()
 
252
    except (errors.InProcessTransport, NotImplementedError):
 
253
        return None
 
254
    else:
 
255
        # Strip readonly prefix
 
256
        if base_url.startswith('readonly+'):
 
257
            base_url = base_url[len('readonly+'):]
 
258
        try:
 
259
            return urlutils.local_path_from_url(base_url)
 
260
        except errors.InvalidURL:
 
261
            return None
 
262
 
 
263
 
 
264
class BzrServerFactory(object):
 
265
    """Helper class for serve_bzr."""
 
266
 
 
267
    def __init__(self, userdir_expander=None, get_base_path=None):
 
268
        self.cleanups = []
 
269
        self.base_path = None
 
270
        self.backing_transport = None
 
271
        if userdir_expander is None:
 
272
            userdir_expander = os.path.expanduser
 
273
        self.userdir_expander = userdir_expander
 
274
        if get_base_path is None:
 
275
            get_base_path = _local_path_for_transport
 
276
        self.get_base_path = get_base_path
 
277
 
 
278
    def _expand_userdirs(self, path):
 
279
        """Translate /~/ or /~user/ to e.g. /home/foo, using
 
280
        self.userdir_expander (os.path.expanduser by default).
 
281
 
 
282
        If the translated path would fall outside base_path, or the path does
 
283
        not start with ~, then no translation is applied.
 
284
 
 
285
        If the path is inside, it is adjusted to be relative to the base path.
 
286
 
 
287
        e.g. if base_path is /home, and the expanded path is /home/joe, then
 
288
        the translated path is joe.
 
289
        """
 
290
        result = path
 
291
        if path.startswith('~'):
 
292
            expanded = self.userdir_expander(path)
 
293
            if not expanded.endswith('/'):
 
294
                expanded += '/'
 
295
            if expanded.startswith(self.base_path):
 
296
                result = expanded[len(self.base_path):]
 
297
        return result
 
298
 
 
299
    def _make_expand_userdirs_filter(self, transport):
 
300
        return pathfilter.PathFilteringServer(transport, self._expand_userdirs)
 
301
 
 
302
    def _make_backing_transport(self, transport):
 
303
        """Chroot transport, and decorate with userdir expander."""
 
304
        self.base_path = self.get_base_path(transport)
 
305
        chroot_server = chroot.ChrootServer(transport)
 
306
        chroot_server.start_server()
 
307
        self.cleanups.append(chroot_server.stop_server)
 
308
        transport = get_transport(chroot_server.get_url())
 
309
        if self.base_path is not None:
 
310
            # Decorate the server's backing transport with a filter that can
 
311
            # expand homedirs.
 
312
            expand_userdirs = self._make_expand_userdirs_filter(transport)
 
313
            expand_userdirs.start_server()
 
314
            self.cleanups.append(expand_userdirs.stop_server)
 
315
            transport = get_transport(expand_userdirs.get_url())
 
316
        self.transport = transport
 
317
 
 
318
    def _make_smart_server(self, host, port, inet):
 
319
        if inet:
 
320
            smart_server = medium.SmartServerPipeStreamMedium(
 
321
                sys.stdin, sys.stdout, self.transport)
 
322
        else:
 
323
            if host is None:
 
324
                host = medium.BZR_DEFAULT_INTERFACE
 
325
            if port is None:
 
326
                port = medium.BZR_DEFAULT_PORT
 
327
            smart_server = SmartTCPServer(self.transport, host=host, port=port)
 
328
            trace.note('listening on port: %s' % smart_server.port)
 
329
        self.smart_server = smart_server
 
330
 
 
331
    def _change_globals(self):
 
332
        from bzrlib import lockdir, ui
 
333
        # For the duration of this server, no UI output is permitted. note
 
334
        # that this may cause problems with blackbox tests. This should be
 
335
        # changed with care though, as we dont want to use bandwidth sending
 
336
        # progress over stderr to smart server clients!
 
337
        old_factory = ui.ui_factory
 
338
        old_lockdir_timeout = lockdir._DEFAULT_TIMEOUT_SECONDS
 
339
        def restore_default_ui_factory_and_lockdir_timeout():
 
340
            ui.ui_factory = old_factory
 
341
            lockdir._DEFAULT_TIMEOUT_SECONDS = old_lockdir_timeout
 
342
        self.cleanups.append(restore_default_ui_factory_and_lockdir_timeout)
 
343
        ui.ui_factory = ui.SilentUIFactory()
 
344
        lockdir._DEFAULT_TIMEOUT_SECONDS = 0
 
345
 
 
346
    def set_up(self, transport, host, port, inet):
 
347
        self._make_backing_transport(transport)
 
348
        self._make_smart_server(host, port, inet)
 
349
        self._change_globals()
 
350
 
 
351
    def tear_down(self):
 
352
        for cleanup in reversed(self.cleanups):
 
353
            cleanup()
 
354
 
 
355
 
 
356
def serve_bzr(transport, host=None, port=None, inet=False):
 
357
    """This is the default implementation of 'bzr serve'.
 
358
    
 
359
    It creates a TCP or pipe smart server on 'transport, and runs it.  The
 
360
    transport will be decorated with a chroot and pathfilter (using
 
361
    os.path.expanduser).
 
362
    """
 
363
    bzr_server = BzrServerFactory()
 
364
    try:
 
365
        bzr_server.set_up(transport, host, port, inet)
 
366
        bzr_server.smart_server.serve()
 
367
    finally:
 
368
        bzr_server.tear_down()
218
369