/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/lockdir.py

First attempt to merge .dev and resolve the conflicts (but tests are 
failing)

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/lockdir.py
1
 
# Copyright (C) 2006 Canonical Ltd
 
1
# Copyright (C) 2006, 2007 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
88
88
>>> t = MemoryTransport()
89
89
>>> l = LockDir(t, 'sample-lock')
90
90
>>> l.create()
91
 
>>> l.wait_lock()
 
91
>>> token = l.wait_lock()
92
92
>>> # do something here
93
93
>>> l.unlock()
94
94
 
95
95
"""
96
96
 
 
97
 
 
98
# TODO: We sometimes have the problem that our attempt to rename '1234' to
 
99
# 'held' fails because the transport server moves into an existing directory,
 
100
# rather than failing the rename.  If we made the info file name the same as
 
101
# the locked directory name we would avoid this problem because moving into
 
102
# the held directory would implicitly clash.  However this would not mesh with
 
103
# the existing locking code and needs a new format of the containing object.
 
104
# -- robertc, mbp 20070628
 
105
 
97
106
import os
98
107
import time
99
 
from StringIO import StringIO
 
108
from cStringIO import StringIO
100
109
 
 
110
from bzrlib import (
 
111
    debug,
 
112
    errors,
 
113
    )
101
114
import bzrlib.config
102
115
from bzrlib.errors import (
103
116
        DirectoryNotEmpty,
105
118
        LockBreakMismatch,
106
119
        LockBroken,
107
120
        LockContention,
 
121
        LockFailed,
108
122
        LockNotHeld,
109
123
        NoSuchFile,
110
124
        PathError,
111
125
        ResourceBusy,
 
126
        TransportError,
112
127
        UnlockableTransport,
113
128
        )
114
 
from bzrlib.trace import mutter
 
129
from bzrlib.trace import mutter, note
115
130
from bzrlib.transport import Transport
116
 
from bzrlib.osutils import rand_chars
 
131
from bzrlib.osutils import rand_chars, format_delta
117
132
from bzrlib.rio import read_stanza, Stanza
 
133
import bzrlib.ui
 
134
 
118
135
 
119
136
# XXX: At the moment there is no consideration of thread safety on LockDir
120
137
# objects.  This should perhaps be updated - e.g. if two threads try to take a
130
147
# TODO: Make sure to pass the right file and directory mode bits to all
131
148
# files/dirs created.
132
149
 
 
150
 
133
151
_DEFAULT_TIMEOUT_SECONDS = 300
134
 
_DEFAULT_POLL_SECONDS = 0.5
 
152
_DEFAULT_POLL_SECONDS = 1.0
 
153
 
135
154
 
136
155
class LockDir(object):
137
156
    """Write-lock guarding access to data."""
148
167
        :param path: Path to the lock within the base directory of the 
149
168
            transport.
150
169
        """
151
 
        assert isinstance(transport, Transport), \
152
 
            ("not a transport: %r" % transport)
153
170
        self.transport = transport
154
171
        self.path = path
155
172
        self._lock_held = False
 
173
        self._locked_via_token = False
156
174
        self._fake_read_lock = False
157
175
        self._held_dir = path + '/held'
158
176
        self._held_info_path = self._held_dir + self.__INFO_NAME
159
177
        self._file_modebits = file_modebits
160
178
        self._dir_modebits = dir_modebits
161
 
        self.nonce = rand_chars(20)
 
179
 
 
180
        self._report_function = note
162
181
 
163
182
    def __repr__(self):
164
183
        return '%s(%s%s)' % (self.__class__.__name__,
173
192
        This is typically only called when the object/directory containing the 
174
193
        directory is first created.  The lock is not held when it's created.
175
194
        """
176
 
        if self.transport.is_readonly():
177
 
            raise UnlockableTransport(self.transport)
178
 
        self.transport.mkdir(self.path, mode=mode)
179
 
 
180
 
    def attempt_lock(self):
181
 
        """Take the lock; fail if it's already held.
 
195
        self._trace("create lock directory")
 
196
        try:
 
197
            self.transport.mkdir(self.path, mode=mode)
 
198
        except (TransportError, PathError), e:
 
199
            raise LockFailed(self, e)
 
200
 
 
201
 
 
202
    def _attempt_lock(self):
 
203
        """Make the pending directory and attempt to rename into place.
182
204
        
183
 
        If you wish to block until the lock can be obtained, call wait_lock()
184
 
        instead.
 
205
        If the rename succeeds, we read back the info file to check that we
 
206
        really got the lock.
 
207
 
 
208
        If we fail to acquire the lock, this method is responsible for
 
209
        cleaning up the pending directory if possible.  (But it doesn't do
 
210
        that yet.)
 
211
 
 
212
        :returns: The nonce of the lock, if it was successfully acquired.
 
213
 
 
214
        :raises LockContention: If the lock is held by someone else.  The exception
 
215
            contains the info of the current holder of the lock.
185
216
        """
186
 
        if self._fake_read_lock:
187
 
            raise LockContention(self)
188
 
        if self.transport.is_readonly():
189
 
            raise UnlockableTransport(self.transport)
190
 
        try:
191
 
            tmpname = '%s/pending.%s.tmp' % (self.path, rand_chars(20))
192
 
            try:
193
 
                self.transport.mkdir(tmpname)
194
 
            except NoSuchFile:
195
 
                # This may raise a FileExists exception
196
 
                # which is okay, it will be caught later and determined
197
 
                # to be a LockContention.
198
 
                self.create(mode=self._dir_modebits)
199
 
                
200
 
                # After creating the lock directory, try again
201
 
                self.transport.mkdir(tmpname)
202
 
 
203
 
            info_bytes = self._prepare_info()
204
 
            # We use put_file_non_atomic because we just created a new unique
205
 
            # directory so we don't have to worry about files existing there.
206
 
            # We'll rename the whole directory into place to get atomic
207
 
            # properties
208
 
            self.transport.put_bytes_non_atomic(tmpname + self.__INFO_NAME,
209
 
                                                info_bytes)
210
 
 
 
217
        self._trace("lock_write...")
 
218
        start_time = time.time()
 
219
        try:
 
220
            tmpname = self._create_pending_dir()
 
221
        except (errors.TransportError, PathError), e:
 
222
            self._trace("... failed to create pending dir, %s", e)
 
223
            raise LockFailed(self, e)
 
224
        try:
211
225
            self.transport.rename(tmpname, self._held_dir)
212
 
            self._lock_held = True
213
 
            self.confirm()
214
 
        except (PathError, DirectoryNotEmpty, FileExists, ResourceBusy), e:
215
 
            mutter("contention on %r: %s", self, e)
216
 
            raise LockContention(self)
 
226
        except (errors.TransportError, PathError, DirectoryNotEmpty,
 
227
                FileExists, ResourceBusy), e:
 
228
            self._trace("... contention, %s", e)
 
229
            self._remove_pending_dir(tmpname)
 
230
            raise LockContention(self)
 
231
        except Exception, e:
 
232
            self._trace("... lock failed, %s", e)
 
233
            self._remove_pending_dir(tmpname)
 
234
            raise
 
235
        # We must check we really got the lock, because Launchpad's sftp
 
236
        # server at one time had a bug were the rename would successfully
 
237
        # move the new directory into the existing directory, which was
 
238
        # incorrect.  It's possible some other servers or filesystems will
 
239
        # have a similar bug allowing someone to think they got the lock
 
240
        # when it's already held.
 
241
        info = self.peek()
 
242
        self._trace("after locking, info=%r", info)
 
243
        if info['nonce'] != self.nonce:
 
244
            self._trace("rename succeeded, "
 
245
                "but lock is still held by someone else")
 
246
            raise LockContention(self)
 
247
        self._lock_held = True
 
248
        self._trace("... lock succeeded after %dms",
 
249
                (time.time() - start_time) * 1000)
 
250
        return self.nonce
 
251
 
 
252
    def _remove_pending_dir(self, tmpname):
 
253
        """Remove the pending directory
 
254
 
 
255
        This is called if we failed to rename into place, so that the pending 
 
256
        dirs don't clutter up the lockdir.
 
257
        """
 
258
        self._trace("remove %s", tmpname)
 
259
        try:
 
260
            self.transport.delete(tmpname + self.__INFO_NAME)
 
261
            self.transport.rmdir(tmpname)
 
262
        except PathError, e:
 
263
            note("error removing pending lock: %s", e)
 
264
 
 
265
    def _create_pending_dir(self):
 
266
        tmpname = '%s/%s.tmp' % (self.path, rand_chars(10))
 
267
        try:
 
268
            self.transport.mkdir(tmpname)
 
269
        except NoSuchFile:
 
270
            # This may raise a FileExists exception
 
271
            # which is okay, it will be caught later and determined
 
272
            # to be a LockContention.
 
273
            self._trace("lock directory does not exist, creating it")
 
274
            self.create(mode=self._dir_modebits)
 
275
            # After creating the lock directory, try again
 
276
            self.transport.mkdir(tmpname)
 
277
        self.nonce = rand_chars(20)
 
278
        info_bytes = self._prepare_info()
 
279
        # We use put_file_non_atomic because we just created a new unique
 
280
        # directory so we don't have to worry about files existing there.
 
281
        # We'll rename the whole directory into place to get atomic
 
282
        # properties
 
283
        self.transport.put_bytes_non_atomic(tmpname + self.__INFO_NAME,
 
284
                                            info_bytes)
 
285
        return tmpname
217
286
 
218
287
    def unlock(self):
219
288
        """Release a held lock
223
292
            return
224
293
        if not self._lock_held:
225
294
            raise LockNotHeld(self)
226
 
        # rename before deleting, because we can't atomically remove the whole
227
 
        # tree
228
 
        tmpname = '%s/releasing.%s.tmp' % (self.path, rand_chars(20))
229
 
        # gotta own it to unlock
230
 
        self.confirm()
231
 
        self.transport.rename(self._held_dir, tmpname)
232
 
        self._lock_held = False
233
 
        self.transport.delete(tmpname + self.__INFO_NAME)
234
 
        self.transport.rmdir(tmpname)
 
295
        if self._locked_via_token:
 
296
            self._locked_via_token = False
 
297
            self._lock_held = False
 
298
        else:
 
299
            # rename before deleting, because we can't atomically remove the
 
300
            # whole tree
 
301
            start_time = time.time()
 
302
            self._trace("unlocking")
 
303
            tmpname = '%s/releasing.%s.tmp' % (self.path, rand_chars(20))
 
304
            # gotta own it to unlock
 
305
            self.confirm()
 
306
            self.transport.rename(self._held_dir, tmpname)
 
307
            self._lock_held = False
 
308
            self.transport.delete(tmpname + self.__INFO_NAME)
 
309
            try:
 
310
                self.transport.rmdir(tmpname)
 
311
            except DirectoryNotEmpty, e:
 
312
                # There might have been junk left over by a rename that moved
 
313
                # another locker within the 'held' directory.  do a slower
 
314
                # deletion where we list the directory and remove everything
 
315
                # within it.
 
316
                #
 
317
                # Maybe this should be broader to allow for ftp servers with
 
318
                # non-specific error messages?
 
319
                self._trace("doing recursive deletion of non-empty directory "
 
320
                        "%s", tmpname)
 
321
                self.transport.delete_tree(tmpname)
 
322
            self._trace("... unlock succeeded after %dms",
 
323
                    (time.time() - start_time) * 1000)
235
324
 
236
325
    def break_lock(self):
237
326
        """Break a lock not held by this instance of LockDir.
243
332
        self._check_not_locked()
244
333
        holder_info = self.peek()
245
334
        if holder_info is not None:
246
 
            if bzrlib.ui.ui_factory.get_boolean(
247
 
                "Break lock %s held by %s@%s [process #%s]" % (
248
 
                    self.transport,
249
 
                    holder_info["user"],
250
 
                    holder_info["hostname"],
251
 
                    holder_info["pid"])):
 
335
            lock_info = '\n'.join(self._format_lock_info(holder_info))
 
336
            if bzrlib.ui.ui_factory.get_boolean("Break %s" % lock_info):
252
337
                self.force_break(holder_info)
253
338
        
254
339
    def force_break(self, dead_holder_info):
329
414
        """
330
415
        try:
331
416
            info = self._read_info_file(self._held_info_path)
332
 
            assert isinstance(info, dict), \
333
 
                    "bad parse result %r" % info
 
417
            self._trace("peek -> held")
334
418
            return info
335
419
        except NoSuchFile, e:
336
 
            return None
 
420
            self._trace("peek -> not held")
337
421
 
338
422
    def _prepare_info(self):
339
423
        """Write information about a pending lock to a temporary file.
341
425
        import socket
342
426
        # XXX: is creating this here inefficient?
343
427
        config = bzrlib.config.GlobalConfig()
 
428
        try:
 
429
            user = config.user_email()
 
430
        except errors.NoEmailInUsername:
 
431
            user = config.username()
344
432
        s = Stanza(hostname=socket.gethostname(),
345
433
                   pid=str(os.getpid()),
346
434
                   start_time=str(int(time.time())),
347
435
                   nonce=self.nonce,
348
 
                   user=config.user_email(),
 
436
                   user=user,
349
437
                   )
350
438
        return s.to_string()
351
439
 
352
440
    def _parse_info(self, info_file):
353
441
        return read_stanza(info_file.readlines()).as_dict()
354
442
 
355
 
    def wait_lock(self, timeout=_DEFAULT_TIMEOUT_SECONDS,
356
 
                  poll=_DEFAULT_POLL_SECONDS):
 
443
    def attempt_lock(self):
 
444
        """Take the lock; fail if it's already held.
 
445
        
 
446
        If you wish to block until the lock can be obtained, call wait_lock()
 
447
        instead.
 
448
 
 
449
        :return: The lock token.
 
450
        :raises LockContention: if the lock is held by someone else.
 
451
        """
 
452
        if self._fake_read_lock:
 
453
            raise LockContention(self)
 
454
        return self._attempt_lock()
 
455
 
 
456
    def wait_lock(self, timeout=None, poll=None, max_attempts=None):
357
457
        """Wait a certain period for a lock.
358
458
 
359
459
        If the lock can be acquired within the bounded time, it
361
461
        is raised.  Either way, this function should return within
362
462
        approximately `timeout` seconds.  (It may be a bit more if
363
463
        a transport operation takes a long time to complete.)
 
464
 
 
465
        :param timeout: Approximate maximum amount of time to wait for the
 
466
        lock, in seconds.
 
467
         
 
468
        :param poll: Delay in seconds between retrying the lock.
 
469
 
 
470
        :param max_attempts: Maximum number of times to try to lock.
 
471
 
 
472
        :return: The lock token.
364
473
        """
365
 
        # XXX: the transport interface doesn't let us guard 
366
 
        # against operations there taking a long time.
 
474
        if timeout is None:
 
475
            timeout = _DEFAULT_TIMEOUT_SECONDS
 
476
        if poll is None:
 
477
            poll = _DEFAULT_POLL_SECONDS
 
478
        # XXX: the transport interface doesn't let us guard against operations
 
479
        # there taking a long time, so the total elapsed time or poll interval
 
480
        # may be more than was requested.
367
481
        deadline = time.time() + timeout
 
482
        deadline_str = None
 
483
        last_info = None
 
484
        attempt_count = 0
368
485
        while True:
 
486
            attempt_count += 1
369
487
            try:
370
 
                self.attempt_lock()
371
 
                return
 
488
                return self.attempt_lock()
372
489
            except LockContention:
 
490
                # possibly report the blockage, then try again
373
491
                pass
 
492
            # TODO: In a few cases, we find out that there's contention by
 
493
            # reading the held info and observing that it's not ours.  In
 
494
            # those cases it's a bit redundant to read it again.  However,
 
495
            # the normal case (??) is that the rename fails and so we
 
496
            # don't know who holds the lock.  For simplicity we peek
 
497
            # always.
 
498
            new_info = self.peek()
 
499
            if new_info is not None and new_info != last_info:
 
500
                if last_info is None:
 
501
                    start = 'Unable to obtain'
 
502
                else:
 
503
                    start = 'Lock owner changed for'
 
504
                last_info = new_info
 
505
                formatted_info = self._format_lock_info(new_info)
 
506
                if deadline_str is None:
 
507
                    deadline_str = time.strftime('%H:%M:%S',
 
508
                                                 time.localtime(deadline))
 
509
                lock_url = self.transport.abspath(self.path)
 
510
                self._report_function('%s %s\n'
 
511
                                      '%s\n' # held by
 
512
                                      '%s\n' # locked ... ago
 
513
                                      'Will continue to try until %s, unless '
 
514
                                      'you press Ctrl-C\n'
 
515
                                      'If you\'re sure that it\'s not being '
 
516
                                      'modified, use bzr break-lock %s',
 
517
                                      start,
 
518
                                      formatted_info[0],
 
519
                                      formatted_info[1],
 
520
                                      formatted_info[2],
 
521
                                      deadline_str,
 
522
                                      lock_url)
 
523
 
 
524
            if (max_attempts is not None) and (attempt_count >= max_attempts):
 
525
                self._trace("exceeded %d attempts")
 
526
                raise LockContention(self)
374
527
            if time.time() + poll < deadline:
 
528
                self._trace("waiting %ss", poll)
375
529
                time.sleep(poll)
376
530
            else:
 
531
                self._trace("timeout after waiting %ss", timeout)
377
532
                raise LockContention(self)
378
 
 
379
 
    def lock_write(self):
380
 
        """Wait for and acquire the lock."""
381
 
        self.attempt_lock()
 
533
    
 
534
    def leave_in_place(self):
 
535
        self._locked_via_token = True
 
536
 
 
537
    def dont_leave_in_place(self):
 
538
        self._locked_via_token = False
 
539
 
 
540
    def lock_write(self, token=None):
 
541
        """Wait for and acquire the lock.
 
542
        
 
543
        :param token: if this is already locked, then lock_write will fail
 
544
            unless the token matches the existing lock.
 
545
        :returns: a token if this instance supports tokens, otherwise None.
 
546
        :raises TokenLockingNotSupported: when a token is given but this
 
547
            instance doesn't support using token locks.
 
548
        :raises MismatchedToken: if the specified token doesn't match the token
 
549
            of the existing lock.
 
550
 
 
551
        A token should be passed in if you know that you have locked the object
 
552
        some other way, and need to synchronise this object's state with that
 
553
        fact.
 
554
         
 
555
        XXX: docstring duplicated from LockableFiles.lock_write.
 
556
        """
 
557
        if token is not None:
 
558
            self.validate_token(token)
 
559
            self.nonce = token
 
560
            self._lock_held = True
 
561
            self._locked_via_token = True
 
562
            return token
 
563
        else:
 
564
            return self.wait_lock()
382
565
 
383
566
    def lock_read(self):
384
567
        """Compatibility-mode shared lock.
395
578
            raise LockContention(self)
396
579
        self._fake_read_lock = True
397
580
 
398
 
    def wait(self, timeout=20, poll=0.5):
399
 
        """Wait a certain period for a lock to be released."""
400
 
        # XXX: the transport interface doesn't let us guard 
401
 
        # against operations there taking a long time.
402
 
        deadline = time.time() + timeout
403
 
        while True:
404
 
            if self.peek():
405
 
                return
406
 
            if time.time() + poll < deadline:
407
 
                time.sleep(poll)
408
 
            else:
409
 
                raise LockContention(self)
410
 
 
 
581
    def _format_lock_info(self, info):
 
582
        """Turn the contents of peek() into something for the user"""
 
583
        lock_url = self.transport.abspath(self.path)
 
584
        delta = time.time() - int(info['start_time'])
 
585
        return [
 
586
            'lock %s' % (lock_url,),
 
587
            'held by %(user)s on host %(hostname)s [process #%(pid)s]' % info,
 
588
            'locked %s' % (format_delta(delta),),
 
589
            ]
 
590
 
 
591
    def validate_token(self, token):
 
592
        if token is not None:
 
593
            info = self.peek()
 
594
            if info is None:
 
595
                # Lock isn't held
 
596
                lock_token = None
 
597
            else:
 
598
                lock_token = info.get('nonce')
 
599
            if token != lock_token:
 
600
                raise errors.TokenMismatch(token, lock_token)
 
601
            else:
 
602
                self._trace("revalidated by token %r", token)
 
603
 
 
604
    def _trace(self, format, *args):
 
605
        if 'lock' not in debug.debug_flags:
 
606
            return
 
607
        mutter(str(self) + ": " + (format % args))