/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/lockdir.py

  • Committer: Martin Pool
  • Date: 2008-05-27 03:12:19 UTC
  • mto: (3724.1.1 lock-hooks)
  • mto: This revision was merged to the branch mainline in revision 3730.
  • Revision ID: mbp@sourcefrog.net-20080527031219-whr998jr17x233qh
Update test_help for hooks doc

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/lockdir.py
1
 
# Copyright (C) 2006-2010 Canonical Ltd
 
1
# Copyright (C) 2006, 2007, 2008 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
"""On-disk mutex protecting a resource
18
18
 
21
21
internal locks (such as flock etc) because they can be seen across all
22
22
transports, including http.
23
23
 
24
 
Objects can be read if there is only physical read access; therefore
 
24
Objects can be read if there is only physical read access; therefore 
25
25
readers can never be required to create a lock, though they will
26
26
check whether a writer is using the lock.  Writers can't detect
27
27
whether anyone else is reading from the resource as they write.
56
56
 
57
57
The desired characteristics are:
58
58
 
59
 
* Locks are not reentrant.  (That is, a client that tries to take a
 
59
* Locks are not reentrant.  (That is, a client that tries to take a 
60
60
  lock it already holds may deadlock or fail.)
61
61
* Stale locks can be guessed at by a heuristic
62
62
* Lost locks can be broken by any client
78
78
and deadlocks will likely occur if the locks are aliased.
79
79
 
80
80
In the future we may add a "freshen" method which can be called
81
 
by a lock holder to check that their lock has not been broken, and to
 
81
by a lock holder to check that their lock has not been broken, and to 
82
82
update the timestamp within it.
83
83
 
84
84
Example usage:
105
105
 
106
106
import os
107
107
import time
 
108
from cStringIO import StringIO
108
109
 
109
110
from bzrlib import (
110
111
    debug,
111
112
    errors,
112
113
    lock,
113
 
    osutils,
114
114
    )
115
115
import bzrlib.config
116
 
from bzrlib.decorators import only_raises
117
116
from bzrlib.errors import (
118
117
        DirectoryNotEmpty,
119
118
        FileExists,
126
125
        PathError,
127
126
        ResourceBusy,
128
127
        TransportError,
 
128
        UnlockableTransport,
129
129
        )
130
130
from bzrlib.trace import mutter, note
131
 
from bzrlib.osutils import format_delta, rand_chars, get_host_name
 
131
from bzrlib.transport import Transport
 
132
from bzrlib.osutils import rand_chars, format_delta
 
133
from bzrlib.rio import read_stanza, Stanza
132
134
import bzrlib.ui
133
135
 
134
 
from bzrlib.lazy_import import lazy_import
135
 
lazy_import(globals(), """
136
 
from bzrlib import rio
137
 
""")
138
136
 
139
137
# XXX: At the moment there is no consideration of thread safety on LockDir
140
138
# objects.  This should perhaps be updated - e.g. if two threads try to take a
155
153
_DEFAULT_POLL_SECONDS = 1.0
156
154
 
157
155
 
158
 
class LockDir(lock.Lock):
 
156
class LockDir(lock.PhysicalLock):
159
157
    """Write-lock guarding access to data.
160
158
    """
161
159
 
168
166
 
169
167
        :param transport: Transport which will contain the lock
170
168
 
171
 
        :param path: Path to the lock within the base directory of the
 
169
        :param path: Path to the lock within the base directory of the 
172
170
            transport.
173
171
        """
174
172
        self.transport = transport
193
191
    def create(self, mode=None):
194
192
        """Create the on-disk lock.
195
193
 
196
 
        This is typically only called when the object/directory containing the
 
194
        This is typically only called when the object/directory containing the 
197
195
        directory is first created.  The lock is not held when it's created.
198
196
        """
199
197
        self._trace("create lock directory")
205
203
 
206
204
    def _attempt_lock(self):
207
205
        """Make the pending directory and attempt to rename into place.
208
 
 
 
206
        
209
207
        If the rename succeeds, we read back the info file to check that we
210
208
        really got the lock.
211
209
 
242
240
        # incorrect.  It's possible some other servers or filesystems will
243
241
        # have a similar bug allowing someone to think they got the lock
244
242
        # when it's already held.
245
 
        #
246
 
        # See <https://bugs.edge.launchpad.net/bzr/+bug/498378> for one case.
247
 
        #
248
 
        # Strictly the check is unnecessary and a waste of time for most
249
 
        # people, but probably worth trapping if something is wrong.
250
243
        info = self.peek()
251
244
        self._trace("after locking, info=%r", info)
252
 
        if info is None:
253
 
            raise LockFailed(self, "lock was renamed into place, but "
254
 
                "now is missing!")
255
 
        if info.get('nonce') != self.nonce:
 
245
        if info['nonce'] != self.nonce:
256
246
            self._trace("rename succeeded, "
257
247
                "but lock is still held by someone else")
258
248
            raise LockContention(self)
264
254
    def _remove_pending_dir(self, tmpname):
265
255
        """Remove the pending directory
266
256
 
267
 
        This is called if we failed to rename into place, so that the pending
 
257
        This is called if we failed to rename into place, so that the pending 
268
258
        dirs don't clutter up the lockdir.
269
259
        """
270
260
        self._trace("remove %s", tmpname)
296
286
                                            info_bytes)
297
287
        return tmpname
298
288
 
299
 
    @only_raises(LockNotHeld, LockBroken)
300
289
    def unlock(self):
301
290
        """Release a held lock
302
291
        """
304
293
            self._fake_read_lock = False
305
294
            return
306
295
        if not self._lock_held:
307
 
            return lock.cant_unlock_not_held(self)
 
296
            raise LockNotHeld(self)
308
297
        if self._locked_via_token:
309
298
            self._locked_via_token = False
310
299
            self._lock_held = False
336
325
            self._trace("... unlock succeeded after %dms",
337
326
                    (time.time() - start_time) * 1000)
338
327
            result = lock.LockResult(self.transport.abspath(self.path),
339
 
                                     old_nonce)
 
328
                old_nonce)
340
329
            for hook in self.hooks['lock_released']:
341
330
                hook(result)
342
331
 
353
342
            lock_info = '\n'.join(self._format_lock_info(holder_info))
354
343
            if bzrlib.ui.ui_factory.get_boolean("Break %s" % lock_info):
355
344
                self.force_break(holder_info)
356
 
 
 
345
        
357
346
    def force_break(self, dead_holder_info):
358
347
        """Release a lock held by another process.
359
348
 
367
356
        LockBreakMismatch is raised.
368
357
 
369
358
        After the lock is broken it will not be held by any process.
370
 
        It is possible that another process may sneak in and take the
 
359
        It is possible that another process may sneak in and take the 
371
360
        lock before the breaking process acquires it.
372
361
        """
373
362
        if not isinstance(dead_holder_info, dict):
382
371
        tmpname = '%s/broken.%s.tmp' % (self.path, rand_chars(20))
383
372
        self.transport.rename(self._held_dir, tmpname)
384
373
        # check that we actually broke the right lock, not someone else;
385
 
        # there's a small race window between checking it and doing the
 
374
        # there's a small race window between checking it and doing the 
386
375
        # rename.
387
376
        broken_info_path = tmpname + self.__INFO_NAME
388
377
        broken_info = self._read_info_file(broken_info_path)
390
379
            raise LockBreakMismatch(self, broken_info, dead_holder_info)
391
380
        self.transport.delete(broken_info_path)
392
381
        self.transport.rmdir(tmpname)
393
 
        result = lock.LockResult(self.transport.abspath(self.path),
394
 
                                 current_info.get('nonce'))
395
 
        for hook in self.hooks['lock_broken']:
396
 
            hook(result)
397
382
 
398
383
    def _check_not_locked(self):
399
384
        """If the lock is held by this instance, raise an error."""
407
392
        or if the lock has been affected by a bug.
408
393
 
409
394
        If the lock is not thought to be held, raises LockNotHeld.  If
410
 
        the lock is thought to be held but has been broken, raises
 
395
        the lock is thought to be held but has been broken, raises 
411
396
        LockBroken.
412
397
        """
413
398
        if not self._lock_held:
419
404
        if info.get('nonce') != self.nonce:
420
405
            # there is a lock, but not ours
421
406
            raise LockBroken(self)
422
 
 
 
407
        
423
408
    def _read_info_file(self, path):
424
409
        """Read one given info file.
425
410
 
426
411
        peek() reads the info file of the lock holder, if any.
427
412
        """
428
 
        return self._parse_info(self.transport.get_bytes(path))
 
413
        return self._parse_info(self.transport.get(path))
429
414
 
430
415
    def peek(self):
431
416
        """Check if the lock is held by anyone.
432
 
 
433
 
        If it is held, this returns the lock info structure as a dict
 
417
        
 
418
        If it is held, this returns the lock info structure as a rio Stanza,
434
419
        which contains some information about the current lock holder.
435
420
        Otherwise returns None.
436
421
        """
444
429
    def _prepare_info(self):
445
430
        """Write information about a pending lock to a temporary file.
446
431
        """
 
432
        import socket
447
433
        # XXX: is creating this here inefficient?
448
434
        config = bzrlib.config.GlobalConfig()
449
435
        try:
450
436
            user = config.user_email()
451
437
        except errors.NoEmailInUsername:
452
438
            user = config.username()
453
 
        s = rio.Stanza(hostname=get_host_name(),
 
439
        s = Stanza(hostname=socket.gethostname(),
454
440
                   pid=str(os.getpid()),
455
441
                   start_time=str(int(time.time())),
456
442
                   nonce=self.nonce,
458
444
                   )
459
445
        return s.to_string()
460
446
 
461
 
    def _parse_info(self, info_bytes):
462
 
        stanza = rio.read_stanza(osutils.split_lines(info_bytes))
463
 
        if stanza is None:
464
 
            # see bug 185013; we fairly often end up with the info file being
465
 
            # empty after an interruption; we could log a message here but
466
 
            # there may not be much we can say
467
 
            return {}
468
 
        else:
469
 
            return stanza.as_dict()
 
447
    def _parse_info(self, info_file):
 
448
        return read_stanza(info_file.readlines()).as_dict()
470
449
 
471
450
    def attempt_lock(self):
472
451
        """Take the lock; fail if it's already held.
473
 
 
 
452
        
474
453
        If you wish to block until the lock can be obtained, call wait_lock()
475
454
        instead.
476
455
 
497
476
 
498
477
        :param timeout: Approximate maximum amount of time to wait for the
499
478
        lock, in seconds.
500
 
 
 
479
         
501
480
        :param poll: Delay in seconds between retrying the lock.
502
481
 
503
482
        :param max_attempts: Maximum number of times to try to lock.
539
518
                if deadline_str is None:
540
519
                    deadline_str = time.strftime('%H:%M:%S',
541
520
                                                 time.localtime(deadline))
542
 
                lock_url = self.transport.abspath(self.path)
543
 
                # See <https://bugs.edge.launchpad.net/bzr/+bug/250451>
544
 
                # the URL here is sometimes not one that is useful to the
545
 
                # user, perhaps being wrapped in a lp-%d or chroot decorator,
546
 
                # especially if this error is issued from the server.
547
521
                self._report_function('%s %s\n'
548
 
                    '%s\n' # held by
549
 
                    '%s\n' # locked ... ago
550
 
                    'Will continue to try until %s, unless '
551
 
                    'you press Ctrl-C.\n'
552
 
                    'See "bzr help break-lock" for more.',
553
 
                    start,
554
 
                    formatted_info[0],
555
 
                    formatted_info[1],
556
 
                    formatted_info[2],
557
 
                    deadline_str,
558
 
                    )
 
522
                                      '%s\n' # held by
 
523
                                      '%s\n' # locked ... ago
 
524
                                      'Will continue to try until %s\n',
 
525
                                      start,
 
526
                                      formatted_info[0],
 
527
                                      formatted_info[1],
 
528
                                      formatted_info[2],
 
529
                                      deadline_str)
559
530
 
560
531
            if (max_attempts is not None) and (attempt_count >= max_attempts):
561
532
                self._trace("exceeded %d attempts")
566
537
            else:
567
538
                self._trace("timeout after waiting %ss", timeout)
568
539
                raise LockContention(self)
569
 
 
 
540
    
570
541
    def leave_in_place(self):
571
542
        self._locked_via_token = True
572
543
 
575
546
 
576
547
    def lock_write(self, token=None):
577
548
        """Wait for and acquire the lock.
578
 
 
 
549
        
579
550
        :param token: if this is already locked, then lock_write will fail
580
551
            unless the token matches the existing lock.
581
552
        :returns: a token if this instance supports tokens, otherwise None.
587
558
        A token should be passed in if you know that you have locked the object
588
559
        some other way, and need to synchronise this object's state with that
589
560
        fact.
590
 
 
 
561
         
591
562
        XXX: docstring duplicated from LockableFiles.lock_write.
592
563
        """
593
564
        if token is not None:
602
573
    def lock_read(self):
603
574
        """Compatibility-mode shared lock.
604
575
 
605
 
        LockDir doesn't support shared read-only locks, so this
 
576
        LockDir doesn't support shared read-only locks, so this 
606
577
        just pretends that the lock is taken but really does nothing.
607
578
        """
608
 
        # At the moment Branches are commonly locked for read, but
 
579
        # At the moment Branches are commonly locked for read, but 
609
580
        # we can't rely on that remotely.  Once this is cleaned up,
610
 
        # reenable this warning to prevent it coming back in
 
581
        # reenable this warning to prevent it coming back in 
611
582
        # -- mbp 20060303
612
583
        ## warn("LockDir.lock_read falls back to write lock")
613
584
        if self._lock_held or self._fake_read_lock:
617
588
    def _format_lock_info(self, info):
618
589
        """Turn the contents of peek() into something for the user"""
619
590
        lock_url = self.transport.abspath(self.path)
620
 
        start_time = info.get('start_time')
621
 
        if start_time is None:
622
 
            time_ago = '(unknown)'
623
 
        else:
624
 
            time_ago = format_delta(time.time() - int(info['start_time']))
 
591
        delta = time.time() - int(info['start_time'])
625
592
        return [
626
593
            'lock %s' % (lock_url,),
627
 
            'held by %s on host %s [process #%s]' %
628
 
                tuple([info.get(x, '<unknown>') for x in ['user', 'hostname', 'pid']]),
629
 
            'locked %s' % (time_ago,),
 
594
            'held by %(user)s on host %(hostname)s [process #%(pid)s]' % info,
 
595
            'locked %s' % (format_delta(delta),),
630
596
            ]
631
597
 
632
598
    def validate_token(self, token):