/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/osutils.py

  • Committer: Robert Collins
  • Date: 2010-05-06 11:08:10 UTC
  • mto: This revision was merged to the branch mainline in revision 5223.
  • Revision ID: robertc@robertcollins.net-20100506110810-h3j07fh5gmw54s25
Cleaner matcher matching revised unlocking protocol.

Show diffs side-by-side

added added

removed removed

Lines of Context:
17
17
import os
18
18
import re
19
19
import stat
20
 
from stat import (S_ISREG, S_ISDIR, S_ISLNK, ST_MODE, ST_SIZE,
21
 
                  S_ISCHR, S_ISBLK, S_ISFIFO, S_ISSOCK)
 
20
from stat import S_ISREG, S_ISDIR, S_ISLNK, ST_MODE, ST_SIZE
22
21
import sys
23
22
import time
24
23
import codecs
25
 
import warnings
26
24
 
27
25
from bzrlib.lazy_import import lazy_import
28
26
lazy_import(globals(), """
39
37
from shutil import (
40
38
    rmtree,
41
39
    )
42
 
import signal
 
40
import socket
43
41
import subprocess
44
42
import tempfile
45
43
from tempfile import (
50
48
from bzrlib import (
51
49
    cache_utf8,
52
50
    errors,
 
51
    trace,
53
52
    win32utils,
54
53
    )
55
54
""")
56
55
 
 
56
from bzrlib.symbol_versioning import (
 
57
    deprecated_function,
 
58
    deprecated_in,
 
59
    )
 
60
 
57
61
# sha and md5 modules are deprecated in python2.6 but hashlib is available as
58
62
# of 2.5
59
63
if sys.version_info < (2, 5):
356
360
    return _win32_fixdrive(tempfile.mkdtemp(*args, **kwargs).replace('\\', '/'))
357
361
 
358
362
 
 
363
def _add_rename_error_details(e, old, new):
 
364
    new_e = OSError(e.errno, "failed to rename %s to %s: %s"
 
365
        % (old, new, e.strerror))
 
366
    new_e.filename = old
 
367
    new_e.to_filename = new
 
368
    return new_e
 
369
 
 
370
 
359
371
def _win32_rename(old, new):
360
372
    """We expect to be able to atomically replace 'new' with old.
361
373
 
363
375
    and then deleted.
364
376
    """
365
377
    try:
366
 
        fancy_rename(old, new, rename_func=os.rename, unlink_func=os.unlink)
 
378
        fancy_rename(old, new, rename_func=_wrapped_rename, unlink_func=os.unlink)
367
379
    except OSError, e:
368
380
        if e.errno in (errno.EPERM, errno.EACCES, errno.EBUSY, errno.EINVAL):
369
381
            # If we try to rename a non-existant file onto cwd, we get
374
386
        raise
375
387
 
376
388
 
 
389
def _wrapped_rename(old, new):
 
390
    """Rename a file or directory"""
 
391
    try:
 
392
        os.rename(old, new)
 
393
    except (IOError, OSError), e:
 
394
        # this is eventually called by all rename-like functions, so should 
 
395
        # catch all of them
 
396
        raise _add_rename_error_details(e, old, new)
 
397
 
 
398
 
377
399
def _mac_getcwd():
378
400
    return unicodedata.normalize('NFC', os.getcwdu())
379
401
 
384
406
realpath = _posix_realpath
385
407
pathjoin = os.path.join
386
408
normpath = os.path.normpath
 
409
rename = _wrapped_rename # overridden below on win32
387
410
getcwd = os.getcwdu
388
 
rename = os.rename
389
411
dirname = os.path.dirname
390
412
basename = os.path.basename
391
413
split = os.path.split
1125
1147
 
1126
1148
 
1127
1149
def relpath(base, path):
1128
 
    """Return path relative to base, or raise exception.
 
1150
    """Return path relative to base, or raise PathNotChild exception.
1129
1151
 
1130
1152
    The path may be either an absolute path or a path relative to the
1131
1153
    current working directory.
1133
1155
    os.path.commonprefix (python2.4) has a bad bug that it works just
1134
1156
    on string prefixes, assuming that '/u' is a prefix of '/u2'.  This
1135
1157
    avoids that problem.
 
1158
 
 
1159
    NOTE: `base` should not have a trailing slash otherwise you'll get
 
1160
    PathNotChild exceptions regardless of `path`.
1136
1161
    """
1137
1162
 
1138
1163
    if len(base) < MIN_ABS_PATHLENGTH:
1349
1374
    normalized_filename = _inaccessible_normalized_filename
1350
1375
 
1351
1376
 
 
1377
def set_signal_handler(signum, handler, restart_syscall=True):
 
1378
    """A wrapper for signal.signal that also calls siginterrupt(signum, False)
 
1379
    on platforms that support that.
 
1380
 
 
1381
    :param restart_syscall: if set, allow syscalls interrupted by a signal to
 
1382
        automatically restart (by calling `signal.siginterrupt(signum,
 
1383
        False)`).  May be ignored if the feature is not available on this
 
1384
        platform or Python version.
 
1385
    """
 
1386
    try:
 
1387
        import signal
 
1388
        siginterrupt = signal.siginterrupt
 
1389
    except ImportError:
 
1390
        # This python implementation doesn't provide signal support, hence no
 
1391
        # handler exists
 
1392
        return None
 
1393
    except AttributeError:
 
1394
        # siginterrupt doesn't exist on this platform, or for this version
 
1395
        # of Python.
 
1396
        siginterrupt = lambda signum, flag: None
 
1397
    if restart_syscall:
 
1398
        def sig_handler(*args):
 
1399
            # Python resets the siginterrupt flag when a signal is
 
1400
            # received.  <http://bugs.python.org/issue8354>
 
1401
            # As a workaround for some cases, set it back the way we want it.
 
1402
            siginterrupt(signum, False)
 
1403
            # Now run the handler function passed to set_signal_handler.
 
1404
            handler(*args)
 
1405
    else:
 
1406
        sig_handler = handler
 
1407
    old_handler = signal.signal(signum, sig_handler)
 
1408
    if restart_syscall:
 
1409
        siginterrupt(signum, False)
 
1410
    return old_handler
 
1411
 
 
1412
 
1352
1413
default_terminal_width = 80
1353
1414
"""The default terminal width for ttys.
1354
1415
 
1445
1506
 
1446
1507
 
1447
1508
_registered_sigwinch = False
1448
 
 
1449
1509
def watch_sigwinch():
1450
 
    """Register for SIGWINCH, once and only once."""
 
1510
    """Register for SIGWINCH, once and only once.
 
1511
 
 
1512
    Do nothing if the signal module is not available.
 
1513
    """
1451
1514
    global _registered_sigwinch
1452
1515
    if not _registered_sigwinch:
1453
 
        if sys.platform == 'win32':
1454
 
            # Martin (gz) mentioned WINDOW_BUFFER_SIZE_RECORD from
1455
 
            # ReadConsoleInput but I've no idea how to plug that in
1456
 
            # the current design -- vila 20091216
 
1516
        try:
 
1517
            import signal
 
1518
            if getattr(signal, "SIGWINCH", None) is not None:
 
1519
                set_signal_handler(signal.SIGWINCH, _terminal_size_changed)
 
1520
        except ImportError:
 
1521
            # python doesn't provide signal support, nothing we can do about it
1457
1522
            pass
1458
 
        else:
1459
 
            signal.signal(signal.SIGWINCH, _terminal_size_changed)
1460
1523
        _registered_sigwinch = True
1461
1524
 
1462
1525
 
1783
1846
            real_handlers[kind](abspath, relpath)
1784
1847
 
1785
1848
 
 
1849
def copy_ownership_from_path(dst, src=None):
 
1850
    """Copy usr/grp ownership from src file/dir to dst file/dir.
 
1851
 
 
1852
    If src is None, the containing directory is used as source. If chown
 
1853
    fails, the error is ignored and a warning is printed.
 
1854
    """
 
1855
    chown = getattr(os, 'chown', None)
 
1856
    if chown is None:
 
1857
        return
 
1858
 
 
1859
    if src == None:
 
1860
        src = os.path.dirname(dst)
 
1861
        if src == '':
 
1862
            src = '.'
 
1863
 
 
1864
    try:
 
1865
        s = os.stat(src)
 
1866
        chown(dst, s.st_uid, s.st_gid)
 
1867
    except OSError, e:
 
1868
        trace.warning("Unable to copy ownership from '%s' to '%s': IOError: %s." % (src, dst, e))
 
1869
 
 
1870
 
1786
1871
def path_prefix_key(path):
1787
1872
    """Generate a prefix-order path key for path.
1788
1873
 
1888
1973
        return socket.gethostname().decode(get_user_encoding())
1889
1974
 
1890
1975
 
1891
 
def recv_all(socket, bytes):
 
1976
# We must not read/write any more than 64k at a time from/to a socket so we
 
1977
# don't risk "no buffer space available" errors on some platforms.  Windows in
 
1978
# particular is likely to throw WSAECONNABORTED or WSAENOBUFS if given too much
 
1979
# data at once.
 
1980
MAX_SOCKET_CHUNK = 64 * 1024
 
1981
 
 
1982
def read_bytes_from_socket(sock, report_activity=None,
 
1983
        max_read_size=MAX_SOCKET_CHUNK):
 
1984
    """Read up to max_read_size of bytes from sock and notify of progress.
 
1985
 
 
1986
    Translates "Connection reset by peer" into file-like EOF (return an
 
1987
    empty string rather than raise an error), and repeats the recv if
 
1988
    interrupted by a signal.
 
1989
    """
 
1990
    while 1:
 
1991
        try:
 
1992
            bytes = sock.recv(max_read_size)
 
1993
        except socket.error, e:
 
1994
            eno = e.args[0]
 
1995
            if eno == getattr(errno, "WSAECONNRESET", errno.ECONNRESET):
 
1996
                # The connection was closed by the other side.  Callers expect
 
1997
                # an empty string to signal end-of-stream.
 
1998
                return ""
 
1999
            elif eno == errno.EINTR:
 
2000
                # Retry the interrupted recv.
 
2001
                continue
 
2002
            raise
 
2003
        else:
 
2004
            if report_activity is not None:
 
2005
                report_activity(len(bytes), 'read')
 
2006
            return bytes
 
2007
 
 
2008
 
 
2009
def recv_all(socket, count):
1892
2010
    """Receive an exact number of bytes.
1893
2011
 
1894
2012
    Regular Socket.recv() may return less than the requested number of bytes,
1895
 
    dependning on what's in the OS buffer.  MSG_WAITALL is not available
 
2013
    depending on what's in the OS buffer.  MSG_WAITALL is not available
1896
2014
    on all platforms, but this should work everywhere.  This will return
1897
2015
    less than the requested amount if the remote end closes.
1898
2016
 
1899
2017
    This isn't optimized and is intended mostly for use in testing.
1900
2018
    """
1901
2019
    b = ''
1902
 
    while len(b) < bytes:
1903
 
        new = until_no_eintr(socket.recv, bytes - len(b))
 
2020
    while len(b) < count:
 
2021
        new = read_bytes_from_socket(socket, None, count - len(b))
1904
2022
        if new == '':
1905
2023
            break # eof
1906
2024
        b += new
1907
2025
    return b
1908
2026
 
1909
2027
 
1910
 
def send_all(socket, bytes, report_activity=None):
 
2028
def send_all(sock, bytes, report_activity=None):
1911
2029
    """Send all bytes on a socket.
1912
 
 
1913
 
    Regular socket.sendall() can give socket error 10053 on Windows.  This
1914
 
    implementation sends no more than 64k at a time, which avoids this problem.
1915
 
 
 
2030
 
 
2031
    Breaks large blocks in smaller chunks to avoid buffering limitations on
 
2032
    some platforms, and catches EINTR which may be thrown if the send is
 
2033
    interrupted by a signal.
 
2034
 
 
2035
    This is preferred to socket.sendall(), because it avoids portability bugs
 
2036
    and provides activity reporting.
 
2037
 
1916
2038
    :param report_activity: Call this as bytes are read, see
1917
2039
        Transport._report_activity
1918
2040
    """
1919
 
    chunk_size = 2**16
1920
 
    for pos in xrange(0, len(bytes), chunk_size):
1921
 
        block = bytes[pos:pos+chunk_size]
1922
 
        if report_activity is not None:
1923
 
            report_activity(len(block), 'write')
1924
 
        until_no_eintr(socket.sendall, block)
 
2041
    sent_total = 0
 
2042
    byte_count = len(bytes)
 
2043
    while sent_total < byte_count:
 
2044
        try:
 
2045
            sent = sock.send(buffer(bytes, sent_total, MAX_SOCKET_CHUNK))
 
2046
        except socket.error, e:
 
2047
            if e.args[0] != errno.EINTR:
 
2048
                raise
 
2049
        else:
 
2050
            sent_total += sent
 
2051
            report_activity(sent, 'write')
1925
2052
 
1926
2053
 
1927
2054
def dereference_path(path):
1998
2125
 
1999
2126
 
2000
2127
def until_no_eintr(f, *a, **kw):
2001
 
    """Run f(*a, **kw), retrying if an EINTR error occurs."""
 
2128
    """Run f(*a, **kw), retrying if an EINTR error occurs.
 
2129
    
 
2130
    WARNING: you must be certain that it is safe to retry the call repeatedly
 
2131
    if EINTR does occur.  This is typically only true for low-level operations
 
2132
    like os.read.  If in any doubt, don't use this.
 
2133
 
 
2134
    Keep in mind that this is not a complete solution to EINTR.  There is
 
2135
    probably code in the Python standard library and other dependencies that
 
2136
    may encounter EINTR if a signal arrives (and there is signal handler for
 
2137
    that signal).  So this function can reduce the impact for IO that bzrlib
 
2138
    directly controls, but it is not a complete solution.
 
2139
    """
2002
2140
    # Borrowed from Twisted's twisted.python.util.untilConcludes function.
2003
2141
    while True:
2004
2142
        try:
2008
2146
                continue
2009
2147
            raise
2010
2148
 
 
2149
 
2011
2150
def re_compile_checked(re_string, flags=0, where=""):
2012
2151
    """Return a compiled re, or raise a sensible error.
2013
2152