/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/smart/server.py

  • Committer: Neil Santos
  • Date: 2010-03-04 02:43:41 UTC
  • mto: (5080.1.1 integration)
  • mto: This revision was merged to the branch mainline in revision 5081.
  • Revision ID: neil_santos@users.sourceforge.net-20100304024341-ra7njxj4lzjb46rl
Removed separate lstat() and reverted LocalTransport and SFTPTransport's stat() methods to using lstat() internally.
Reworked how SFTPTransport's symlink() handles success and signals failure.
Removed lstat() declaration on the Transport base class.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/smart/server.py
 
1
# Copyright (C) 2006-2010 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
"""Server for smart-server protocol."""
 
18
 
 
19
import errno
 
20
import os.path
 
21
import socket
 
22
import sys
 
23
import threading
 
24
 
 
25
from bzrlib.hooks import HookPoint, Hooks
 
26
from bzrlib import (
 
27
    errors,
 
28
    trace,
 
29
    transport,
 
30
)
 
31
from bzrlib.lazy_import import lazy_import
 
32
lazy_import(globals(), """
 
33
from bzrlib.smart import medium
 
34
from bzrlib.transport import (
 
35
    chroot,
 
36
    get_transport,
 
37
    pathfilter,
 
38
    )
 
39
from bzrlib import (
 
40
    urlutils,
 
41
    )
 
42
""")
 
43
 
 
44
 
 
45
class SmartTCPServer(object):
 
46
    """Listens on a TCP socket and accepts connections from smart clients.
 
47
 
 
48
    Each connection will be served by a SmartServerSocketStreamMedium running in
 
49
    a thread.
 
50
 
 
51
    hooks: An instance of SmartServerHooks.
 
52
    """
 
53
 
 
54
    def __init__(self, backing_transport, host='127.0.0.1', port=0,
 
55
                 root_client_path='/'):
 
56
        """Construct a new server.
 
57
 
 
58
        To actually start it running, call either start_background_thread or
 
59
        serve.
 
60
 
 
61
        :param backing_transport: The transport to serve.
 
62
        :param host: Name of the interface to listen on.
 
63
        :param port: TCP port to listen on, or 0 to allocate a transient port.
 
64
        :param root_client_path: The client path that will correspond to root
 
65
            of backing_transport.
 
66
        """
 
67
        # let connections timeout so that we get a chance to terminate
 
68
        # Keep a reference to the exceptions we want to catch because the socket
 
69
        # module's globals get set to None during interpreter shutdown.
 
70
        from socket import timeout as socket_timeout
 
71
        from socket import error as socket_error
 
72
        self._socket_error = socket_error
 
73
        self._socket_timeout = socket_timeout
 
74
        addrs = socket.getaddrinfo(host, port, socket.AF_UNSPEC,
 
75
            socket.SOCK_STREAM, 0, socket.AI_PASSIVE)[0]
 
76
 
 
77
        (family, socktype, proto, canonname, sockaddr) = addrs
 
78
 
 
79
        self._server_socket = socket.socket(family, socktype, proto)
 
80
        # SO_REUSERADDR has a different meaning on Windows
 
81
        if sys.platform != 'win32':
 
82
            self._server_socket.setsockopt(socket.SOL_SOCKET,
 
83
                socket.SO_REUSEADDR, 1)
 
84
        try:
 
85
            self._server_socket.bind(sockaddr)
 
86
        except self._socket_error, message:
 
87
            raise errors.CannotBindAddress(host, port, message)
 
88
        self._sockname = self._server_socket.getsockname()
 
89
        self.port = self._sockname[1]
 
90
        self._server_socket.listen(1)
 
91
        self._server_socket.settimeout(1)
 
92
        self.backing_transport = backing_transport
 
93
        self._started = threading.Event()
 
94
        self._stopped = threading.Event()
 
95
        self.root_client_path = root_client_path
 
96
 
 
97
    def serve(self, thread_name_suffix=''):
 
98
        self._should_terminate = False
 
99
        # for hooks we are letting code know that a server has started (and
 
100
        # later stopped).
 
101
        # There are three interesting urls:
 
102
        # The URL the server can be contacted on. (e.g. bzr://host/)
 
103
        # The URL that a commit done on the same machine as the server will
 
104
        # have within the servers space. (e.g. file:///home/user/source)
 
105
        # The URL that will be given to other hooks in the same process -
 
106
        # the URL of the backing transport itself. (e.g. chroot+:///)
 
107
        # We need all three because:
 
108
        #  * other machines see the first
 
109
        #  * local commits on this machine should be able to be mapped to
 
110
        #    this server
 
111
        #  * commits the server does itself need to be mapped across to this
 
112
        #    server.
 
113
        # The latter two urls are different aliases to the servers url,
 
114
        # so we group those in a list - as there might be more aliases
 
115
        # in the future.
 
116
        backing_urls = [self.backing_transport.base]
 
117
        try:
 
118
            backing_urls.append(self.backing_transport.external_url())
 
119
        except errors.InProcessTransport:
 
120
            pass
 
121
        for hook in SmartTCPServer.hooks['server_started']:
 
122
            hook(backing_urls, self.get_url())
 
123
        for hook in SmartTCPServer.hooks['server_started_ex']:
 
124
            hook(backing_urls, self)
 
125
        self._started.set()
 
126
        try:
 
127
            try:
 
128
                while not self._should_terminate:
 
129
                    try:
 
130
                        conn, client_addr = self._server_socket.accept()
 
131
                    except self._socket_timeout:
 
132
                        # just check if we're asked to stop
 
133
                        pass
 
134
                    except self._socket_error, e:
 
135
                        # if the socket is closed by stop_background_thread
 
136
                        # we might get a EBADF here, any other socket errors
 
137
                        # should get logged.
 
138
                        if e.args[0] != errno.EBADF:
 
139
                            trace.warning("listening socket error: %s", e)
 
140
                    else:
 
141
                        self.serve_conn(conn, thread_name_suffix)
 
142
            except KeyboardInterrupt:
 
143
                # dont log when CTRL-C'd.
 
144
                raise
 
145
            except Exception, e:
 
146
                trace.report_exception(sys.exc_info(), sys.stderr)
 
147
                raise
 
148
        finally:
 
149
            self._stopped.set()
 
150
            try:
 
151
                # ensure the server socket is closed.
 
152
                self._server_socket.close()
 
153
            except self._socket_error:
 
154
                # ignore errors on close
 
155
                pass
 
156
            for hook in SmartTCPServer.hooks['server_stopped']:
 
157
                hook(backing_urls, self.get_url())
 
158
 
 
159
    def get_url(self):
 
160
        """Return the url of the server"""
 
161
        return "bzr://%s:%d/" % self._sockname
 
162
 
 
163
    def serve_conn(self, conn, thread_name_suffix):
 
164
        # For WIN32, where the timeout value from the listening socket
 
165
        # propagates to the newly accepted socket.
 
166
        conn.setblocking(True)
 
167
        conn.setsockopt(socket.IPPROTO_TCP, socket.TCP_NODELAY, 1)
 
168
        handler = medium.SmartServerSocketStreamMedium(
 
169
            conn, self.backing_transport, self.root_client_path)
 
170
        thread_name = 'smart-server-child' + thread_name_suffix
 
171
        connection_thread = threading.Thread(
 
172
            None, handler.serve, name=thread_name)
 
173
        connection_thread.setDaemon(True)
 
174
        connection_thread.start()
 
175
 
 
176
    def start_background_thread(self, thread_name_suffix=''):
 
177
        self._started.clear()
 
178
        self._server_thread = threading.Thread(None,
 
179
                self.serve, args=(thread_name_suffix,),
 
180
                name='server-' + self.get_url())
 
181
        self._server_thread.setDaemon(True)
 
182
        self._server_thread.start()
 
183
        self._started.wait()
 
184
 
 
185
    def stop_background_thread(self):
 
186
        self._stopped.clear()
 
187
        # tell the main loop to quit on the next iteration.
 
188
        self._should_terminate = True
 
189
        # close the socket - gives error to connections from here on in,
 
190
        # rather than a connection reset error to connections made during
 
191
        # the period between setting _should_terminate = True and
 
192
        # the current request completing/aborting. It may also break out the
 
193
        # main loop if it was currently in accept() (on some platforms).
 
194
        try:
 
195
            self._server_socket.close()
 
196
        except self._socket_error:
 
197
            # ignore errors on close
 
198
            pass
 
199
        if not self._stopped.isSet():
 
200
            # server has not stopped (though it may be stopping)
 
201
            # its likely in accept(), so give it a connection
 
202
            temp_socket = socket.socket()
 
203
            temp_socket.setsockopt(socket.IPPROTO_TCP, socket.TCP_NODELAY, 1)
 
204
            if not temp_socket.connect_ex(self._sockname):
 
205
                # and close it immediately: we dont choose to send any requests.
 
206
                temp_socket.close()
 
207
        self._stopped.wait()
 
208
        self._server_thread.join()
 
209
 
 
210
 
 
211
class SmartServerHooks(Hooks):
 
212
    """Hooks for the smart server."""
 
213
 
 
214
    def __init__(self):
 
215
        """Create the default hooks.
 
216
 
 
217
        These are all empty initially, because by default nothing should get
 
218
        notified.
 
219
        """
 
220
        Hooks.__init__(self)
 
221
        self.create_hook(HookPoint('server_started',
 
222
            "Called by the bzr server when it starts serving a directory. "
 
223
            "server_started is called with (backing urls, public url), "
 
224
            "where backing_url is a list of URLs giving the "
 
225
            "server-specific directory locations, and public_url is the "
 
226
            "public URL for the directory being served.", (0, 16), None))
 
227
        self.create_hook(HookPoint('server_started_ex',
 
228
            "Called by the bzr server when it starts serving a directory. "
 
229
            "server_started is called with (backing_urls, server_obj).",
 
230
            (1, 17), None))
 
231
        self.create_hook(HookPoint('server_stopped',
 
232
            "Called by the bzr server when it stops serving a directory. "
 
233
            "server_stopped is called with the same parameters as the "
 
234
            "server_started hook: (backing_urls, public_url).", (0, 16), None))
 
235
 
 
236
SmartTCPServer.hooks = SmartServerHooks()
 
237
 
 
238
 
 
239
def _local_path_for_transport(transport):
 
240
    """Return a local path for transport, if reasonably possible.
 
241
    
 
242
    This function works even if transport's url has a "readonly+" prefix,
 
243
    unlike local_path_from_url.
 
244
    
 
245
    This essentially recovers the --directory argument the user passed to "bzr
 
246
    serve" from the transport passed to serve_bzr.
 
247
    """
 
248
    try:
 
249
        base_url = transport.external_url()
 
250
    except (errors.InProcessTransport, NotImplementedError):
 
251
        return None
 
252
    else:
 
253
        # Strip readonly prefix
 
254
        if base_url.startswith('readonly+'):
 
255
            base_url = base_url[len('readonly+'):]
 
256
        try:
 
257
            return urlutils.local_path_from_url(base_url)
 
258
        except errors.InvalidURL:
 
259
            return None
 
260
 
 
261
 
 
262
class BzrServerFactory(object):
 
263
    """Helper class for serve_bzr."""
 
264
 
 
265
    def __init__(self, userdir_expander=None, get_base_path=None):
 
266
        self.cleanups = []
 
267
        self.base_path = None
 
268
        self.backing_transport = None
 
269
        if userdir_expander is None:
 
270
            userdir_expander = os.path.expanduser
 
271
        self.userdir_expander = userdir_expander
 
272
        if get_base_path is None:
 
273
            get_base_path = _local_path_for_transport
 
274
        self.get_base_path = get_base_path
 
275
 
 
276
    def _expand_userdirs(self, path):
 
277
        """Translate /~/ or /~user/ to e.g. /home/foo, using
 
278
        self.userdir_expander (os.path.expanduser by default).
 
279
 
 
280
        If the translated path would fall outside base_path, or the path does
 
281
        not start with ~, then no translation is applied.
 
282
 
 
283
        If the path is inside, it is adjusted to be relative to the base path.
 
284
 
 
285
        e.g. if base_path is /home, and the expanded path is /home/joe, then
 
286
        the translated path is joe.
 
287
        """
 
288
        result = path
 
289
        if path.startswith('~'):
 
290
            expanded = self.userdir_expander(path)
 
291
            if not expanded.endswith('/'):
 
292
                expanded += '/'
 
293
            if expanded.startswith(self.base_path):
 
294
                result = expanded[len(self.base_path):]
 
295
        return result
 
296
 
 
297
    def _make_expand_userdirs_filter(self, transport):
 
298
        return pathfilter.PathFilteringServer(transport, self._expand_userdirs)
 
299
 
 
300
    def _make_backing_transport(self, transport):
 
301
        """Chroot transport, and decorate with userdir expander."""
 
302
        self.base_path = self.get_base_path(transport)
 
303
        chroot_server = chroot.ChrootServer(transport)
 
304
        chroot_server.start_server()
 
305
        self.cleanups.append(chroot_server.stop_server)
 
306
        transport = get_transport(chroot_server.get_url())
 
307
        if self.base_path is not None:
 
308
            # Decorate the server's backing transport with a filter that can
 
309
            # expand homedirs.
 
310
            expand_userdirs = self._make_expand_userdirs_filter(transport)
 
311
            expand_userdirs.start_server()
 
312
            self.cleanups.append(expand_userdirs.stop_server)
 
313
            transport = get_transport(expand_userdirs.get_url())
 
314
        self.transport = transport
 
315
 
 
316
    def _make_smart_server(self, host, port, inet):
 
317
        if inet:
 
318
            smart_server = medium.SmartServerPipeStreamMedium(
 
319
                sys.stdin, sys.stdout, self.transport)
 
320
        else:
 
321
            if host is None:
 
322
                host = medium.BZR_DEFAULT_INTERFACE
 
323
            if port is None:
 
324
                port = medium.BZR_DEFAULT_PORT
 
325
            smart_server = SmartTCPServer(self.transport, host=host, port=port)
 
326
            trace.note('listening on port: %s' % smart_server.port)
 
327
        self.smart_server = smart_server
 
328
 
 
329
    def _change_globals(self):
 
330
        from bzrlib import lockdir, ui
 
331
        # For the duration of this server, no UI output is permitted. note
 
332
        # that this may cause problems with blackbox tests. This should be
 
333
        # changed with care though, as we dont want to use bandwidth sending
 
334
        # progress over stderr to smart server clients!
 
335
        old_factory = ui.ui_factory
 
336
        old_lockdir_timeout = lockdir._DEFAULT_TIMEOUT_SECONDS
 
337
        def restore_default_ui_factory_and_lockdir_timeout():
 
338
            ui.ui_factory = old_factory
 
339
            lockdir._DEFAULT_TIMEOUT_SECONDS = old_lockdir_timeout
 
340
        self.cleanups.append(restore_default_ui_factory_and_lockdir_timeout)
 
341
        ui.ui_factory = ui.SilentUIFactory()
 
342
        lockdir._DEFAULT_TIMEOUT_SECONDS = 0
 
343
 
 
344
    def set_up(self, transport, host, port, inet):
 
345
        self._make_backing_transport(transport)
 
346
        self._make_smart_server(host, port, inet)
 
347
        self._change_globals()
 
348
 
 
349
    def tear_down(self):
 
350
        for cleanup in reversed(self.cleanups):
 
351
            cleanup()
 
352
 
 
353
 
 
354
def serve_bzr(transport, host=None, port=None, inet=False):
 
355
    """This is the default implementation of 'bzr serve'.
 
356
    
 
357
    It creates a TCP or pipe smart server on 'transport, and runs it.  The
 
358
    transport will be decorated with a chroot and pathfilter (using
 
359
    os.path.expanduser).
 
360
    """
 
361
    bzr_server = BzrServerFactory()
 
362
    try:
 
363
        bzr_server.set_up(transport, host, port, inet)
 
364
        bzr_server.smart_server.serve()
 
365
    finally:
 
366
        bzr_server.tear_down()
 
367