/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/lockdir.py

  • Committer: Martin Pool
  • Date: 2007-07-03 07:24:42 UTC
  • mto: This revision was merged to the branch mainline in revision 2584.
  • Revision ID: mbp@sourcefrog.net-20070703072442-y3pwex52rrtsa8gg
Better handling in LockDir of rename that moves one directory within another

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/lockdir.py
1
 
# Copyright (C) 2006-2010 Canonical Ltd
 
1
# Copyright (C) 2006, 2007 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
"""On-disk mutex protecting a resource
18
18
 
21
21
internal locks (such as flock etc) because they can be seen across all
22
22
transports, including http.
23
23
 
24
 
Objects can be read if there is only physical read access; therefore
 
24
Objects can be read if there is only physical read access; therefore 
25
25
readers can never be required to create a lock, though they will
26
26
check whether a writer is using the lock.  Writers can't detect
27
27
whether anyone else is reading from the resource as they write.
56
56
 
57
57
The desired characteristics are:
58
58
 
59
 
* Locks are not reentrant.  (That is, a client that tries to take a
 
59
* Locks are not reentrant.  (That is, a client that tries to take a 
60
60
  lock it already holds may deadlock or fail.)
61
61
* Stale locks can be guessed at by a heuristic
62
62
* Lost locks can be broken by any client
78
78
and deadlocks will likely occur if the locks are aliased.
79
79
 
80
80
In the future we may add a "freshen" method which can be called
81
 
by a lock holder to check that their lock has not been broken, and to
 
81
by a lock holder to check that their lock has not been broken, and to 
82
82
update the timestamp within it.
83
83
 
84
84
Example usage:
105
105
 
106
106
import os
107
107
import time
 
108
from cStringIO import StringIO
108
109
 
109
110
from bzrlib import (
110
111
    debug,
111
112
    errors,
112
 
    lock,
113
 
    osutils,
114
113
    )
115
114
import bzrlib.config
116
 
from bzrlib.decorators import only_raises
117
115
from bzrlib.errors import (
118
116
        DirectoryNotEmpty,
119
117
        FileExists,
120
118
        LockBreakMismatch,
121
119
        LockBroken,
122
120
        LockContention,
123
 
        LockFailed,
124
121
        LockNotHeld,
125
122
        NoSuchFile,
126
123
        PathError,
127
124
        ResourceBusy,
128
 
        TransportError,
 
125
        UnlockableTransport,
129
126
        )
130
127
from bzrlib.trace import mutter, note
131
 
from bzrlib.osutils import format_delta, rand_chars, get_host_name
 
128
from bzrlib.transport import Transport
 
129
from bzrlib.osutils import rand_chars, format_delta
 
130
from bzrlib.rio import read_stanza, Stanza
132
131
import bzrlib.ui
133
132
 
134
 
from bzrlib.lazy_import import lazy_import
135
 
lazy_import(globals(), """
136
 
from bzrlib import rio
137
 
""")
138
133
 
139
134
# XXX: At the moment there is no consideration of thread safety on LockDir
140
135
# objects.  This should perhaps be updated - e.g. if two threads try to take a
155
150
_DEFAULT_POLL_SECONDS = 1.0
156
151
 
157
152
 
158
 
class LockDir(lock.Lock):
159
 
    """Write-lock guarding access to data.
160
 
    """
 
153
class LockDir(object):
 
154
    """Write-lock guarding access to data."""
161
155
 
162
156
    __INFO_NAME = '/info'
163
157
 
168
162
 
169
163
        :param transport: Transport which will contain the lock
170
164
 
171
 
        :param path: Path to the lock within the base directory of the
 
165
        :param path: Path to the lock within the base directory of the 
172
166
            transport.
173
167
        """
 
168
        assert isinstance(transport, Transport), \
 
169
            ("not a transport: %r" % transport)
174
170
        self.transport = transport
175
171
        self.path = path
176
172
        self._lock_held = False
193
189
    def create(self, mode=None):
194
190
        """Create the on-disk lock.
195
191
 
196
 
        This is typically only called when the object/directory containing the
 
192
        This is typically only called when the object/directory containing the 
197
193
        directory is first created.  The lock is not held when it's created.
198
194
        """
 
195
        if self.transport.is_readonly():
 
196
            raise UnlockableTransport(self.transport)
199
197
        self._trace("create lock directory")
200
 
        try:
201
 
            self.transport.mkdir(self.path, mode=mode)
202
 
        except (TransportError, PathError), e:
203
 
            raise LockFailed(self, e)
204
 
 
205
 
 
206
 
    def _attempt_lock(self):
 
198
        self.transport.mkdir(self.path, mode=mode)
 
199
 
 
200
    def _lock_core(self):
207
201
        """Make the pending directory and attempt to rename into place.
208
 
 
 
202
        
209
203
        If the rename succeeds, we read back the info file to check that we
210
204
        really got the lock.
211
205
 
218
212
        :raises LockContention: If the lock is held by someone else.  The exception
219
213
            contains the info of the current holder of the lock.
220
214
        """
221
 
        self._trace("lock_write...")
222
 
        start_time = time.time()
223
215
        try:
 
216
            self._trace("lock_write...")
 
217
            start_time = time.time()
224
218
            tmpname = self._create_pending_dir()
225
 
        except (errors.TransportError, PathError), e:
226
 
            self._trace("... failed to create pending dir, %s", e)
227
 
            raise LockFailed(self, e)
228
 
        try:
 
219
    
229
220
            self.transport.rename(tmpname, self._held_dir)
230
 
        except (errors.TransportError, PathError, DirectoryNotEmpty,
231
 
                FileExists, ResourceBusy), e:
 
221
            # We must check we really got the lock, because Launchpad's sftp
 
222
            # server at one time had a bug were the rename would successfully
 
223
            # move the new directory into the existing directory, which was
 
224
            # incorrect.  It's possible some other servers or filesystems will
 
225
            # have a similar bug allowing someone to think they got the lock
 
226
            # when it's already held.
 
227
            info = self.peek()
 
228
            self._trace("after locking, info=%r", info)
 
229
            if info['nonce'] != self.nonce:
 
230
                self._trace("rename succeeded, "
 
231
                    "but lock is still held by someone else")
 
232
                raise LockContention(self)
 
233
            # we don't call confirm here because we don't want to set
 
234
            # _lock_held til we're sure it's true, and because it's really a
 
235
            # problem, not just regular contention, if this fails
 
236
            self._lock_held = True
 
237
            # FIXME: we should remove the pending lock if we fail, 
 
238
            # https://bugs.launchpad.net/bzr/+bug/109169
 
239
        except errors.PermissionDenied:
 
240
            self._trace("... lock failed, permission denied")
 
241
            raise
 
242
        except (PathError, DirectoryNotEmpty, FileExists, ResourceBusy), e:
232
243
            self._trace("... contention, %s", e)
233
 
            self._remove_pending_dir(tmpname)
234
 
            raise LockContention(self)
235
 
        except Exception, e:
236
 
            self._trace("... lock failed, %s", e)
237
 
            self._remove_pending_dir(tmpname)
238
 
            raise
239
 
        # We must check we really got the lock, because Launchpad's sftp
240
 
        # server at one time had a bug were the rename would successfully
241
 
        # move the new directory into the existing directory, which was
242
 
        # incorrect.  It's possible some other servers or filesystems will
243
 
        # have a similar bug allowing someone to think they got the lock
244
 
        # when it's already held.
245
 
        #
246
 
        # See <https://bugs.edge.launchpad.net/bzr/+bug/498378> for one case.
247
 
        #
248
 
        # Strictly the check is unnecessary and a waste of time for most
249
 
        # people, but probably worth trapping if something is wrong.
250
 
        info = self.peek()
251
 
        self._trace("after locking, info=%r", info)
252
 
        if info is None:
253
 
            raise LockFailed(self, "lock was renamed into place, but "
254
 
                "now is missing!")
255
 
        if info.get('nonce') != self.nonce:
256
 
            self._trace("rename succeeded, "
257
 
                "but lock is still held by someone else")
258
 
            raise LockContention(self)
259
 
        self._lock_held = True
 
244
            raise LockContention(self)
260
245
        self._trace("... lock succeeded after %dms",
261
246
                (time.time() - start_time) * 1000)
262
247
        return self.nonce
263
248
 
264
 
    def _remove_pending_dir(self, tmpname):
265
 
        """Remove the pending directory
266
 
 
267
 
        This is called if we failed to rename into place, so that the pending
268
 
        dirs don't clutter up the lockdir.
269
 
        """
270
 
        self._trace("remove %s", tmpname)
271
 
        try:
272
 
            self.transport.delete(tmpname + self.__INFO_NAME)
273
 
            self.transport.rmdir(tmpname)
274
 
        except PathError, e:
275
 
            note("error removing pending lock: %s", e)
276
 
 
277
249
    def _create_pending_dir(self):
278
250
        tmpname = '%s/%s.tmp' % (self.path, rand_chars(10))
279
251
        try:
296
268
                                            info_bytes)
297
269
        return tmpname
298
270
 
299
 
    @only_raises(LockNotHeld, LockBroken)
300
271
    def unlock(self):
301
272
        """Release a held lock
302
273
        """
304
275
            self._fake_read_lock = False
305
276
            return
306
277
        if not self._lock_held:
307
 
            return lock.cant_unlock_not_held(self)
 
278
            raise LockNotHeld(self)
308
279
        if self._locked_via_token:
309
280
            self._locked_via_token = False
310
281
            self._lock_held = False
311
282
        else:
312
 
            old_nonce = self.nonce
313
283
            # rename before deleting, because we can't atomically remove the
314
284
            # whole tree
315
285
            start_time = time.time()
335
305
                self.transport.delete_tree(tmpname)
336
306
            self._trace("... unlock succeeded after %dms",
337
307
                    (time.time() - start_time) * 1000)
338
 
            result = lock.LockResult(self.transport.abspath(self.path),
339
 
                                     old_nonce)
340
 
            for hook in self.hooks['lock_released']:
341
 
                hook(result)
342
308
 
343
309
    def break_lock(self):
344
310
        """Break a lock not held by this instance of LockDir.
353
319
            lock_info = '\n'.join(self._format_lock_info(holder_info))
354
320
            if bzrlib.ui.ui_factory.get_boolean("Break %s" % lock_info):
355
321
                self.force_break(holder_info)
356
 
 
 
322
        
357
323
    def force_break(self, dead_holder_info):
358
324
        """Release a lock held by another process.
359
325
 
367
333
        LockBreakMismatch is raised.
368
334
 
369
335
        After the lock is broken it will not be held by any process.
370
 
        It is possible that another process may sneak in and take the
 
336
        It is possible that another process may sneak in and take the 
371
337
        lock before the breaking process acquires it.
372
338
        """
373
339
        if not isinstance(dead_holder_info, dict):
382
348
        tmpname = '%s/broken.%s.tmp' % (self.path, rand_chars(20))
383
349
        self.transport.rename(self._held_dir, tmpname)
384
350
        # check that we actually broke the right lock, not someone else;
385
 
        # there's a small race window between checking it and doing the
 
351
        # there's a small race window between checking it and doing the 
386
352
        # rename.
387
353
        broken_info_path = tmpname + self.__INFO_NAME
388
354
        broken_info = self._read_info_file(broken_info_path)
390
356
            raise LockBreakMismatch(self, broken_info, dead_holder_info)
391
357
        self.transport.delete(broken_info_path)
392
358
        self.transport.rmdir(tmpname)
393
 
        result = lock.LockResult(self.transport.abspath(self.path),
394
 
                                 current_info.get('nonce'))
395
 
        for hook in self.hooks['lock_broken']:
396
 
            hook(result)
397
359
 
398
360
    def _check_not_locked(self):
399
361
        """If the lock is held by this instance, raise an error."""
407
369
        or if the lock has been affected by a bug.
408
370
 
409
371
        If the lock is not thought to be held, raises LockNotHeld.  If
410
 
        the lock is thought to be held but has been broken, raises
 
372
        the lock is thought to be held but has been broken, raises 
411
373
        LockBroken.
412
374
        """
413
375
        if not self._lock_held:
419
381
        if info.get('nonce') != self.nonce:
420
382
            # there is a lock, but not ours
421
383
            raise LockBroken(self)
422
 
 
 
384
        
423
385
    def _read_info_file(self, path):
424
386
        """Read one given info file.
425
387
 
426
388
        peek() reads the info file of the lock holder, if any.
427
389
        """
428
 
        return self._parse_info(self.transport.get_bytes(path))
 
390
        return self._parse_info(self.transport.get(path))
429
391
 
430
392
    def peek(self):
431
393
        """Check if the lock is held by anyone.
432
 
 
433
 
        If it is held, this returns the lock info structure as a dict
 
394
        
 
395
        If it is held, this returns the lock info structure as a rio Stanza,
434
396
        which contains some information about the current lock holder.
435
397
        Otherwise returns None.
436
398
        """
437
399
        try:
438
400
            info = self._read_info_file(self._held_info_path)
439
401
            self._trace("peek -> held")
 
402
            assert isinstance(info, dict), \
 
403
                    "bad parse result %r" % info
440
404
            return info
441
405
        except NoSuchFile, e:
442
406
            self._trace("peek -> not held")
444
408
    def _prepare_info(self):
445
409
        """Write information about a pending lock to a temporary file.
446
410
        """
 
411
        import socket
447
412
        # XXX: is creating this here inefficient?
448
413
        config = bzrlib.config.GlobalConfig()
449
414
        try:
450
415
            user = config.user_email()
451
416
        except errors.NoEmailInUsername:
452
417
            user = config.username()
453
 
        s = rio.Stanza(hostname=get_host_name(),
 
418
        s = Stanza(hostname=socket.gethostname(),
454
419
                   pid=str(os.getpid()),
455
420
                   start_time=str(int(time.time())),
456
421
                   nonce=self.nonce,
458
423
                   )
459
424
        return s.to_string()
460
425
 
461
 
    def _parse_info(self, info_bytes):
462
 
        stanza = rio.read_stanza(osutils.split_lines(info_bytes))
463
 
        if stanza is None:
464
 
            # see bug 185013; we fairly often end up with the info file being
465
 
            # empty after an interruption; we could log a message here but
466
 
            # there may not be much we can say
467
 
            return {}
468
 
        else:
469
 
            return stanza.as_dict()
 
426
    def _parse_info(self, info_file):
 
427
        return read_stanza(info_file.readlines()).as_dict()
470
428
 
471
429
    def attempt_lock(self):
472
430
        """Take the lock; fail if it's already held.
473
 
 
 
431
        
474
432
        If you wish to block until the lock can be obtained, call wait_lock()
475
433
        instead.
476
434
 
477
435
        :return: The lock token.
478
436
        :raises LockContention: if the lock is held by someone else.
479
437
        """
480
 
        if self._fake_read_lock:
481
 
            raise LockContention(self)
482
 
        result = self._attempt_lock()
483
 
        hook_result = lock.LockResult(self.transport.abspath(self.path),
484
 
                self.nonce)
485
 
        for hook in self.hooks['lock_acquired']:
486
 
            hook(hook_result)
487
 
        return result
 
438
        return self.wait_lock(max_attempts=1)
488
439
 
489
440
    def wait_lock(self, timeout=None, poll=None, max_attempts=None):
490
441
        """Wait a certain period for a lock.
497
448
 
498
449
        :param timeout: Approximate maximum amount of time to wait for the
499
450
        lock, in seconds.
500
 
 
 
451
         
501
452
        :param poll: Delay in seconds between retrying the lock.
502
453
 
503
454
        :param max_attempts: Maximum number of times to try to lock.
515
466
        deadline_str = None
516
467
        last_info = None
517
468
        attempt_count = 0
 
469
        if self._fake_read_lock:
 
470
            raise LockContention(self)
 
471
        if self.transport.is_readonly():
 
472
            raise UnlockableTransport(self.transport)
518
473
        while True:
519
474
            attempt_count += 1
520
475
            try:
521
 
                return self.attempt_lock()
522
 
            except LockContention:
523
 
                # possibly report the blockage, then try again
524
 
                pass
525
 
            # TODO: In a few cases, we find out that there's contention by
526
 
            # reading the held info and observing that it's not ours.  In
527
 
            # those cases it's a bit redundant to read it again.  However,
528
 
            # the normal case (??) is that the rename fails and so we
529
 
            # don't know who holds the lock.  For simplicity we peek
530
 
            # always.
531
 
            new_info = self.peek()
532
 
            if new_info is not None and new_info != last_info:
533
 
                if last_info is None:
534
 
                    start = 'Unable to obtain'
 
476
                return self._lock_core()
 
477
            except LockContention, err:
 
478
                # TODO: LockContention should only be raised when we're know
 
479
                # that the lock is held by someone else, in which case we
 
480
                # should include the locker info, so it can be used here.
 
481
                # In other cases, such as having a malformed lock present, we
 
482
                # should raise a different.
 
483
                #
 
484
                # we shouldn't need to peek again here, because _lock_core
 
485
                # does it
 
486
                new_info = self.peek()
 
487
                if new_info is not None and new_info != last_info:
 
488
                    if last_info is None:
 
489
                        start = 'Unable to obtain'
 
490
                    else:
 
491
                        start = 'Lock owner changed for'
 
492
                    last_info = new_info
 
493
                    formatted_info = self._format_lock_info(new_info)
 
494
                    if deadline_str is None:
 
495
                        deadline_str = time.strftime('%H:%M:%S',
 
496
                                                     time.localtime(deadline))
 
497
                    self._report_function('%s %s\n'
 
498
                                          '%s\n' # held by
 
499
                                          '%s\n' # locked ... ago
 
500
                                          'Will continue to try until %s\n',
 
501
                                          start,
 
502
                                          formatted_info[0],
 
503
                                          formatted_info[1],
 
504
                                          formatted_info[2],
 
505
                                          deadline_str)
 
506
 
 
507
                if (max_attempts is not None) and (attempt_count >= max_attempts):
 
508
                    self._trace("exceeded %d attempts")
 
509
                    raise LockContention(self)
 
510
                if time.time() + poll < deadline:
 
511
                    self._trace("waiting %ss", poll)
 
512
                    time.sleep(poll)
535
513
                else:
536
 
                    start = 'Lock owner changed for'
537
 
                last_info = new_info
538
 
                formatted_info = self._format_lock_info(new_info)
539
 
                if deadline_str is None:
540
 
                    deadline_str = time.strftime('%H:%M:%S',
541
 
                                                 time.localtime(deadline))
542
 
                lock_url = self.transport.abspath(self.path)
543
 
                # See <https://bugs.edge.launchpad.net/bzr/+bug/250451>
544
 
                # the URL here is sometimes not one that is useful to the
545
 
                # user, perhaps being wrapped in a lp-%d or chroot decorator,
546
 
                # especially if this error is issued from the server.
547
 
                self._report_function('%s %s\n'
548
 
                    '%s\n' # held by
549
 
                    '%s\n' # locked ... ago
550
 
                    'Will continue to try until %s, unless '
551
 
                    'you press Ctrl-C.\n'
552
 
                    'See "bzr help break-lock" for more.',
553
 
                    start,
554
 
                    formatted_info[0],
555
 
                    formatted_info[1],
556
 
                    formatted_info[2],
557
 
                    deadline_str,
558
 
                    )
559
 
 
560
 
            if (max_attempts is not None) and (attempt_count >= max_attempts):
561
 
                self._trace("exceeded %d attempts")
562
 
                raise LockContention(self)
563
 
            if time.time() + poll < deadline:
564
 
                self._trace("waiting %ss", poll)
565
 
                time.sleep(poll)
566
 
            else:
567
 
                self._trace("timeout after waiting %ss", timeout)
568
 
                raise LockContention(self)
569
 
 
 
514
                    self._trace("timeout after waiting %ss", timeout)
 
515
                    raise LockContention(self)
 
516
    
570
517
    def leave_in_place(self):
571
518
        self._locked_via_token = True
572
519
 
575
522
 
576
523
    def lock_write(self, token=None):
577
524
        """Wait for and acquire the lock.
578
 
 
 
525
        
579
526
        :param token: if this is already locked, then lock_write will fail
580
527
            unless the token matches the existing lock.
581
528
        :returns: a token if this instance supports tokens, otherwise None.
587
534
        A token should be passed in if you know that you have locked the object
588
535
        some other way, and need to synchronise this object's state with that
589
536
        fact.
590
 
 
 
537
         
591
538
        XXX: docstring duplicated from LockableFiles.lock_write.
592
539
        """
593
540
        if token is not None:
602
549
    def lock_read(self):
603
550
        """Compatibility-mode shared lock.
604
551
 
605
 
        LockDir doesn't support shared read-only locks, so this
 
552
        LockDir doesn't support shared read-only locks, so this 
606
553
        just pretends that the lock is taken but really does nothing.
607
554
        """
608
 
        # At the moment Branches are commonly locked for read, but
 
555
        # At the moment Branches are commonly locked for read, but 
609
556
        # we can't rely on that remotely.  Once this is cleaned up,
610
 
        # reenable this warning to prevent it coming back in
 
557
        # reenable this warning to prevent it coming back in 
611
558
        # -- mbp 20060303
612
559
        ## warn("LockDir.lock_read falls back to write lock")
613
560
        if self._lock_held or self._fake_read_lock:
614
561
            raise LockContention(self)
615
562
        self._fake_read_lock = True
616
563
 
 
564
    def wait(self, timeout=20, poll=0.5):
 
565
        """Wait a certain period for a lock to be released."""
 
566
        # XXX: the transport interface doesn't let us guard 
 
567
        # against operations there taking a long time.
 
568
        #
 
569
        # XXX: Is this really needed?  Do people want to wait for the lock but
 
570
        # not acquire it?  As of bzr 0.17, this seems to only be called from
 
571
        # the test suite.
 
572
        deadline = time.time() + timeout
 
573
        while True:
 
574
            if self.peek():
 
575
                return
 
576
            if time.time() + poll < deadline:
 
577
                self._trace("waiting %ss", poll)
 
578
                time.sleep(poll)
 
579
            else:
 
580
                self._trace("temeout after waiting %ss", timeout)
 
581
                raise LockContention(self)
 
582
 
617
583
    def _format_lock_info(self, info):
618
584
        """Turn the contents of peek() into something for the user"""
619
585
        lock_url = self.transport.abspath(self.path)
620
 
        start_time = info.get('start_time')
621
 
        if start_time is None:
622
 
            time_ago = '(unknown)'
623
 
        else:
624
 
            time_ago = format_delta(time.time() - int(info['start_time']))
 
586
        delta = time.time() - int(info['start_time'])
625
587
        return [
626
588
            'lock %s' % (lock_url,),
627
 
            'held by %s on host %s [process #%s]' %
628
 
                tuple([info.get(x, '<unknown>') for x in ['user', 'hostname', 'pid']]),
629
 
            'locked %s' % (time_ago,),
 
589
            'held by %(user)s on host %(hostname)s [process #%(pid)s]' % info,
 
590
            'locked %s' % (format_delta(delta),),
630
591
            ]
631
592
 
632
593
    def validate_token(self, token):
640
601
            if token != lock_token:
641
602
                raise errors.TokenMismatch(token, lock_token)
642
603
            else:
643
 
                self._trace("revalidated by token %r", token)
 
604
                self._trace("Revalidated by token %r", token)
644
605
 
645
606
    def _trace(self, format, *args):
646
607
        if 'lock' not in debug.debug_flags: