/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/osutils.py

  • Committer: Robert Collins
  • Date: 2010-05-06 11:08:10 UTC
  • mto: This revision was merged to the branch mainline in revision 5223.
  • Revision ID: robertc@robertcollins.net-20100506110810-h3j07fh5gmw54s25
Cleaner matcher matching revised unlocking protocol.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/osutils.py
1
 
# Copyright (C) 2005-2011 Canonical Ltd
 
1
# Copyright (C) 2005-2010 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
 
import errno
18
17
import os
19
18
import re
20
19
import stat
 
20
from stat import S_ISREG, S_ISDIR, S_ISLNK, ST_MODE, ST_SIZE
21
21
import sys
22
22
import time
23
23
import codecs
25
25
from bzrlib.lazy_import import lazy_import
26
26
lazy_import(globals(), """
27
27
from datetime import datetime
28
 
import getpass
29
 
import ntpath
 
28
import errno
 
29
from ntpath import (abspath as _nt_abspath,
 
30
                    join as _nt_join,
 
31
                    normpath as _nt_normpath,
 
32
                    realpath as _nt_realpath,
 
33
                    splitdrive as _nt_splitdrive,
 
34
                    )
30
35
import posixpath
31
 
# We need to import both shutil and rmtree as we export the later on posix
32
 
# and need the former on windows
33
36
import shutil
34
 
from shutil import rmtree
 
37
from shutil import (
 
38
    rmtree,
 
39
    )
35
40
import socket
36
41
import subprocess
37
 
# We need to import both tempfile and mkdtemp as we export the later on posix
38
 
# and need the former on windows
39
42
import tempfile
40
 
from tempfile import mkdtemp
 
43
from tempfile import (
 
44
    mkdtemp,
 
45
    )
41
46
import unicodedata
42
47
 
43
48
from bzrlib import (
96
101
        user_encoding = get_user_encoding()
97
102
        return [a.decode(user_encoding) for a in sys.argv[1:]]
98
103
    except UnicodeDecodeError:
99
 
        raise errors.BzrError("Parameter %r encoding is unsupported by %s "
100
 
            "application locale." % (a, user_encoding))
 
104
        raise errors.BzrError(("Parameter '%r' is unsupported by the current "
 
105
                                                            "encoding." % a))
101
106
 
102
107
 
103
108
def make_readonly(filename):
298
303
    running python.exe under cmd.exe return capital C:\\
299
304
    running win32 python inside a cygwin shell returns lowercase c:\\
300
305
    """
301
 
    drive, path = ntpath.splitdrive(path)
 
306
    drive, path = _nt_splitdrive(path)
302
307
    return drive.upper() + path
303
308
 
304
309
 
305
310
def _win32_abspath(path):
306
 
    # Real ntpath.abspath doesn't have a problem with a unicode cwd
307
 
    return _win32_fixdrive(ntpath.abspath(unicode(path)).replace('\\', '/'))
 
311
    # Real _nt_abspath doesn't have a problem with a unicode cwd
 
312
    return _win32_fixdrive(_nt_abspath(unicode(path)).replace('\\', '/'))
308
313
 
309
314
 
310
315
def _win98_abspath(path):
321
326
    #   /path       => C:/path
322
327
    path = unicode(path)
323
328
    # check for absolute path
324
 
    drive = ntpath.splitdrive(path)[0]
 
329
    drive = _nt_splitdrive(path)[0]
325
330
    if drive == '' and path[:2] not in('//','\\\\'):
326
331
        cwd = os.getcwdu()
327
332
        # we cannot simply os.path.join cwd and path
328
333
        # because os.path.join('C:','/path') produce '/path'
329
334
        # and this is incorrect
330
335
        if path[:1] in ('/','\\'):
331
 
            cwd = ntpath.splitdrive(cwd)[0]
 
336
            cwd = _nt_splitdrive(cwd)[0]
332
337
            path = path[1:]
333
338
        path = cwd + '\\' + path
334
 
    return _win32_fixdrive(ntpath.normpath(path).replace('\\', '/'))
 
339
    return _win32_fixdrive(_nt_normpath(path).replace('\\', '/'))
335
340
 
336
341
 
337
342
def _win32_realpath(path):
338
 
    # Real ntpath.realpath doesn't have a problem with a unicode cwd
339
 
    return _win32_fixdrive(ntpath.realpath(unicode(path)).replace('\\', '/'))
 
343
    # Real _nt_realpath doesn't have a problem with a unicode cwd
 
344
    return _win32_fixdrive(_nt_realpath(unicode(path)).replace('\\', '/'))
340
345
 
341
346
 
342
347
def _win32_pathjoin(*args):
343
 
    return ntpath.join(*args).replace('\\', '/')
 
348
    return _nt_join(*args).replace('\\', '/')
344
349
 
345
350
 
346
351
def _win32_normpath(path):
347
 
    return _win32_fixdrive(ntpath.normpath(unicode(path)).replace('\\', '/'))
 
352
    return _win32_fixdrive(_nt_normpath(unicode(path)).replace('\\', '/'))
348
353
 
349
354
 
350
355
def _win32_getcwd():
355
360
    return _win32_fixdrive(tempfile.mkdtemp(*args, **kwargs).replace('\\', '/'))
356
361
 
357
362
 
 
363
def _add_rename_error_details(e, old, new):
 
364
    new_e = OSError(e.errno, "failed to rename %s to %s: %s"
 
365
        % (old, new, e.strerror))
 
366
    new_e.filename = old
 
367
    new_e.to_filename = new
 
368
    return new_e
 
369
 
 
370
 
358
371
def _win32_rename(old, new):
359
372
    """We expect to be able to atomically replace 'new' with old.
360
373
 
362
375
    and then deleted.
363
376
    """
364
377
    try:
365
 
        fancy_rename(old, new, rename_func=os.rename, unlink_func=os.unlink)
 
378
        fancy_rename(old, new, rename_func=_wrapped_rename, unlink_func=os.unlink)
366
379
    except OSError, e:
367
380
        if e.errno in (errno.EPERM, errno.EACCES, errno.EBUSY, errno.EINVAL):
368
381
            # If we try to rename a non-existant file onto cwd, we get
373
386
        raise
374
387
 
375
388
 
 
389
def _wrapped_rename(old, new):
 
390
    """Rename a file or directory"""
 
391
    try:
 
392
        os.rename(old, new)
 
393
    except (IOError, OSError), e:
 
394
        # this is eventually called by all rename-like functions, so should 
 
395
        # catch all of them
 
396
        raise _add_rename_error_details(e, old, new)
 
397
 
 
398
 
376
399
def _mac_getcwd():
377
400
    return unicodedata.normalize('NFC', os.getcwdu())
378
401
 
383
406
realpath = _posix_realpath
384
407
pathjoin = os.path.join
385
408
normpath = os.path.normpath
 
409
rename = _wrapped_rename # overridden below on win32
386
410
getcwd = os.getcwdu
387
 
rename = os.rename
388
411
dirname = os.path.dirname
389
412
basename = os.path.basename
390
413
split = os.path.split
391
414
splitext = os.path.splitext
392
 
# These were already lazily imported into local scope
 
415
# These were already imported into local scope
393
416
# mkdtemp = tempfile.mkdtemp
394
417
# rmtree = shutil.rmtree
395
 
lstat = os.lstat
396
 
fstat = os.fstat
397
 
 
398
 
def wrap_stat(st):
399
 
    return st
400
 
 
401
418
 
402
419
MIN_ABS_PATHLENGTH = 1
403
420
 
413
430
    getcwd = _win32_getcwd
414
431
    mkdtemp = _win32_mkdtemp
415
432
    rename = _win32_rename
416
 
    try:
417
 
        from bzrlib import _walkdirs_win32
418
 
    except ImportError:
419
 
        pass
420
 
    else:
421
 
        lstat = _walkdirs_win32.lstat
422
 
        fstat = _walkdirs_win32.fstat
423
 
        wrap_stat = _walkdirs_win32.wrap_stat
424
433
 
425
434
    MIN_ABS_PATHLENGTH = 3
426
435
 
449
458
    getcwd = _mac_getcwd
450
459
 
451
460
 
452
 
def get_terminal_encoding(trace=False):
 
461
def get_terminal_encoding():
453
462
    """Find the best encoding for printing to the screen.
454
463
 
455
464
    This attempts to check both sys.stdout and sys.stdin to see
461
470
 
462
471
    On my standard US Windows XP, the preferred encoding is
463
472
    cp1252, but the console is cp437
464
 
 
465
 
    :param trace: If True trace the selected encoding via mutter().
466
473
    """
467
474
    from bzrlib.trace import mutter
468
475
    output_encoding = getattr(sys.stdout, 'encoding', None)
470
477
        input_encoding = getattr(sys.stdin, 'encoding', None)
471
478
        if not input_encoding:
472
479
            output_encoding = get_user_encoding()
473
 
            if trace:
474
 
                mutter('encoding stdout as osutils.get_user_encoding() %r',
 
480
            mutter('encoding stdout as osutils.get_user_encoding() %r',
475
481
                   output_encoding)
476
482
        else:
477
483
            output_encoding = input_encoding
478
 
            if trace:
479
 
                mutter('encoding stdout as sys.stdin encoding %r',
480
 
                    output_encoding)
 
484
            mutter('encoding stdout as sys.stdin encoding %r', output_encoding)
481
485
    else:
482
 
        if trace:
483
 
            mutter('encoding stdout as sys.stdout encoding %r', output_encoding)
 
486
        mutter('encoding stdout as sys.stdout encoding %r', output_encoding)
484
487
    if output_encoding == 'cp0':
485
488
        # invalid encoding (cp0 means 'no codepage' on Windows)
486
489
        output_encoding = get_user_encoding()
487
 
        if trace:
488
 
            mutter('cp0 is invalid encoding.'
 
490
        mutter('cp0 is invalid encoding.'
489
491
               ' encoding stdout as osutils.get_user_encoding() %r',
490
492
               output_encoding)
491
493
    # check encoding
517
519
def isdir(f):
518
520
    """True if f is an accessible directory."""
519
521
    try:
520
 
        return stat.S_ISDIR(os.lstat(f)[stat.ST_MODE])
 
522
        return S_ISDIR(os.lstat(f)[ST_MODE])
521
523
    except OSError:
522
524
        return False
523
525
 
525
527
def isfile(f):
526
528
    """True if f is a regular file."""
527
529
    try:
528
 
        return stat.S_ISREG(os.lstat(f)[stat.ST_MODE])
 
530
        return S_ISREG(os.lstat(f)[ST_MODE])
529
531
    except OSError:
530
532
        return False
531
533
 
532
534
def islink(f):
533
535
    """True if f is a symlink."""
534
536
    try:
535
 
        return stat.S_ISLNK(os.lstat(f)[stat.ST_MODE])
 
537
        return S_ISLNK(os.lstat(f)[ST_MODE])
536
538
    except OSError:
537
539
        return False
538
540
 
878
880
 
879
881
def filesize(f):
880
882
    """Return size of given open file."""
881
 
    return os.fstat(f.fileno())[stat.ST_SIZE]
 
883
    return os.fstat(f.fileno())[ST_SIZE]
882
884
 
883
885
 
884
886
# Define rand_bytes based on platform.
946
948
 
947
949
def parent_directories(filename):
948
950
    """Return the list of parent directories, deepest first.
949
 
 
 
951
    
950
952
    For example, parent_directories("a/b/c") -> ["a/b", "a"].
951
953
    """
952
954
    parents = []
976
978
    # NB: This docstring is just an example, not a doctest, because doctest
977
979
    # currently can't cope with the use of lazy imports in this namespace --
978
980
    # mbp 20090729
979
 
 
 
981
    
980
982
    # This currently doesn't report the failure at the time it occurs, because
981
983
    # they tend to happen very early in startup when we can't check config
982
984
    # files etc, and also we want to report all failures but not spam the user
983
985
    # with 10 warnings.
 
986
    from bzrlib import trace
984
987
    exception_str = str(exception)
985
988
    if exception_str not in _extension_load_failures:
986
989
        trace.mutter("failed to load compiled extension: %s" % exception_str)
1051
1054
 
1052
1055
 
1053
1056
def delete_any(path):
1054
 
    """Delete a file, symlink or directory.
1055
 
 
 
1057
    """Delete a file, symlink or directory.  
 
1058
    
1056
1059
    Will delete even if readonly.
1057
1060
    """
1058
1061
    try:
1247
1250
    # but for now, we haven't optimized...
1248
1251
    return [canonical_relpath(base, p) for p in paths]
1249
1252
 
1250
 
 
1251
 
def decode_filename(filename):
1252
 
    """Decode the filename using the filesystem encoding
1253
 
 
1254
 
    If it is unicode, it is returned.
1255
 
    Otherwise it is decoded from the the filesystem's encoding. If decoding
1256
 
    fails, a errors.BadFilenameEncoding exception is raised.
1257
 
    """
1258
 
    if type(filename) is unicode:
1259
 
        return filename
1260
 
    try:
1261
 
        return filename.decode(_fs_enc)
1262
 
    except UnicodeDecodeError:
1263
 
        raise errors.BadFilenameEncoding(filename, _fs_enc)
1264
 
 
1265
 
 
1266
1253
def safe_unicode(unicode_or_utf8_string):
1267
1254
    """Coerce unicode_or_utf8_string into unicode.
1268
1255
 
1351
1338
def normalizes_filenames():
1352
1339
    """Return True if this platform normalizes unicode filenames.
1353
1340
 
1354
 
    Only Mac OSX.
 
1341
    Mac OSX does, Windows/Linux do not.
1355
1342
    """
1356
1343
    return _platform_normalizes_filenames
1357
1344
 
1362
1349
    On platforms where the system normalizes filenames (Mac OSX),
1363
1350
    you can access a file by any path which will normalize correctly.
1364
1351
    On platforms where the system does not normalize filenames
1365
 
    (everything else), you have to access a file by its exact path.
 
1352
    (Windows, Linux), you have to access a file by its exact path.
1366
1353
 
1367
1354
    Internally, bzr only supports NFC normalization, since that is
1368
1355
    the standard for XML documents.
1430
1417
terminal_width() returns None.
1431
1418
"""
1432
1419
 
1433
 
# Keep some state so that terminal_width can detect if _terminal_size has
1434
 
# returned a different size since the process started.  See docstring and
1435
 
# comments of terminal_width for details.
1436
 
# _terminal_size_state has 3 possible values: no_data, unchanged, and changed.
1437
 
_terminal_size_state = 'no_data'
1438
 
_first_terminal_size = None
1439
1420
 
1440
1421
def terminal_width():
1441
1422
    """Return terminal width.
1445
1426
    The rules are:
1446
1427
    - if BZR_COLUMNS is set, returns its value
1447
1428
    - if there is no controlling terminal, returns None
1448
 
    - query the OS, if the queried size has changed since the last query,
1449
 
      return its value,
1450
1429
    - if COLUMNS is set, returns its value,
1451
 
    - if the OS has a value (even though it's never changed), return its value.
1452
1430
 
1453
1431
    From there, we need to query the OS to get the size of the controlling
1454
1432
    terminal.
1455
1433
 
1456
 
    On Unices we query the OS by:
 
1434
    Unices:
1457
1435
    - get termios.TIOCGWINSZ
1458
1436
    - if an error occurs or a negative value is obtained, returns None
1459
1437
 
1460
 
    On Windows we query the OS by:
 
1438
    Windows:
 
1439
    
1461
1440
    - win32utils.get_console_size() decides,
1462
1441
    - returns None on error (provided default value)
1463
1442
    """
1464
 
    # Note to implementors: if changing the rules for determining the width,
1465
 
    # make sure you've considered the behaviour in these cases:
1466
 
    #  - M-x shell in emacs, where $COLUMNS is set and TIOCGWINSZ returns 0,0.
1467
 
    #  - bzr log | less, in bash, where $COLUMNS not set and TIOCGWINSZ returns
1468
 
    #    0,0.
1469
 
    #  - (add more interesting cases here, if you find any)
1470
 
    # Some programs implement "Use $COLUMNS (if set) until SIGWINCH occurs",
1471
 
    # but we don't want to register a signal handler because it is impossible
1472
 
    # to do so without risking EINTR errors in Python <= 2.6.5 (see
1473
 
    # <http://bugs.python.org/issue8354>).  Instead we check TIOCGWINSZ every
1474
 
    # time so we can notice if the reported size has changed, which should have
1475
 
    # a similar effect.
1476
1443
 
1477
1444
    # If BZR_COLUMNS is set, take it, user is always right
1478
 
    # Except if they specified 0 in which case, impose no limit here
1479
1445
    try:
1480
 
        width = int(os.environ['BZR_COLUMNS'])
 
1446
        return int(os.environ['BZR_COLUMNS'])
1481
1447
    except (KeyError, ValueError):
1482
 
        width = None
1483
 
    if width is not None:
1484
 
        if width > 0:
1485
 
            return width
1486
 
        else:
1487
 
            return None
 
1448
        pass
1488
1449
 
1489
1450
    isatty = getattr(sys.stdout, 'isatty', None)
1490
 
    if isatty is None or not isatty():
 
1451
    if  isatty is None or not isatty():
1491
1452
        # Don't guess, setting BZR_COLUMNS is the recommended way to override.
1492
1453
        return None
1493
1454
 
1494
 
    # Query the OS
1495
 
    width, height = os_size = _terminal_size(None, None)
1496
 
    global _first_terminal_size, _terminal_size_state
1497
 
    if _terminal_size_state == 'no_data':
1498
 
        _first_terminal_size = os_size
1499
 
        _terminal_size_state = 'unchanged'
1500
 
    elif (_terminal_size_state == 'unchanged' and
1501
 
          _first_terminal_size != os_size):
1502
 
        _terminal_size_state = 'changed'
1503
 
 
1504
 
    # If the OS claims to know how wide the terminal is, and this value has
1505
 
    # ever changed, use that.
1506
 
    if _terminal_size_state == 'changed':
1507
 
        if width is not None and width > 0:
1508
 
            return width
1509
 
 
1510
 
    # If COLUMNS is set, use it.
 
1455
    # If COLUMNS is set, take it, the terminal knows better (even inside a
 
1456
    # given terminal, the application can decide to set COLUMNS to a lower
 
1457
    # value (splitted screen) or a bigger value (scroll bars))
1511
1458
    try:
1512
1459
        return int(os.environ['COLUMNS'])
1513
1460
    except (KeyError, ValueError):
1514
1461
        pass
1515
1462
 
1516
 
    # Finally, use an unchanged size from the OS, if we have one.
1517
 
    if _terminal_size_state == 'unchanged':
1518
 
        if width is not None and width > 0:
1519
 
            return width
 
1463
    width, height = _terminal_size(None, None)
 
1464
    if width <= 0:
 
1465
        # Consider invalid values as meaning no width
 
1466
        return None
1520
1467
 
1521
 
    # The width could not be determined.
1522
 
    return None
 
1468
    return width
1523
1469
 
1524
1470
 
1525
1471
def _win32_terminal_size(width, height):
1552
1498
    _terminal_size = _ioctl_terminal_size
1553
1499
 
1554
1500
 
 
1501
def _terminal_size_changed(signum, frame):
 
1502
    """Set COLUMNS upon receiving a SIGnal for WINdow size CHange."""
 
1503
    width, height = _terminal_size(None, None)
 
1504
    if width is not None:
 
1505
        os.environ['COLUMNS'] = str(width)
 
1506
 
 
1507
 
 
1508
_registered_sigwinch = False
 
1509
def watch_sigwinch():
 
1510
    """Register for SIGWINCH, once and only once.
 
1511
 
 
1512
    Do nothing if the signal module is not available.
 
1513
    """
 
1514
    global _registered_sigwinch
 
1515
    if not _registered_sigwinch:
 
1516
        try:
 
1517
            import signal
 
1518
            if getattr(signal, "SIGWINCH", None) is not None:
 
1519
                set_signal_handler(signal.SIGWINCH, _terminal_size_changed)
 
1520
        except ImportError:
 
1521
            # python doesn't provide signal support, nothing we can do about it
 
1522
            pass
 
1523
        _registered_sigwinch = True
 
1524
 
 
1525
 
1555
1526
def supports_executable():
1556
1527
    return sys.platform != "win32"
1557
1528
 
1680
1651
        dirblock = []
1681
1652
        append = dirblock.append
1682
1653
        try:
1683
 
            names = sorted(map(decode_filename, _listdir(top)))
 
1654
            names = sorted(_listdir(top))
1684
1655
        except OSError, e:
1685
1656
            if not _is_error_enotdir(e):
1686
1657
                raise
1894
1865
        s = os.stat(src)
1895
1866
        chown(dst, s.st_uid, s.st_gid)
1896
1867
    except OSError, e:
1897
 
        trace.warning(
1898
 
            'Unable to copy ownership from "%s" to "%s". '
1899
 
            'You may want to set it manually.', src, dst)
1900
 
        trace.log_exception_quietly()
 
1868
        trace.warning("Unable to copy ownership from '%s' to '%s': IOError: %s." % (src, dst, e))
1901
1869
 
1902
1870
 
1903
1871
def path_prefix_key(path):
1991
1959
    return user_encoding
1992
1960
 
1993
1961
 
1994
 
def get_diff_header_encoding():
1995
 
    return get_terminal_encoding()
1996
 
 
1997
 
 
1998
1962
def get_host_name():
1999
1963
    """Return the current unicode host name.
2000
1964
 
2015
1979
# data at once.
2016
1980
MAX_SOCKET_CHUNK = 64 * 1024
2017
1981
 
2018
 
_end_of_stream_errors = [errno.ECONNRESET]
2019
 
for _eno in ['WSAECONNRESET', 'WSAECONNABORTED']:
2020
 
    _eno = getattr(errno, _eno, None)
2021
 
    if _eno is not None:
2022
 
        _end_of_stream_errors.append(_eno)
2023
 
del _eno
2024
 
 
2025
 
 
2026
1982
def read_bytes_from_socket(sock, report_activity=None,
2027
1983
        max_read_size=MAX_SOCKET_CHUNK):
2028
1984
    """Read up to max_read_size of bytes from sock and notify of progress.
2036
1992
            bytes = sock.recv(max_read_size)
2037
1993
        except socket.error, e:
2038
1994
            eno = e.args[0]
2039
 
            if eno in _end_of_stream_errors:
 
1995
            if eno == getattr(errno, "WSAECONNRESET", errno.ECONNRESET):
2040
1996
                # The connection was closed by the other side.  Callers expect
2041
1997
                # an empty string to signal end-of-stream.
2042
1998
                return ""
2071
2027
 
2072
2028
def send_all(sock, bytes, report_activity=None):
2073
2029
    """Send all bytes on a socket.
2074
 
 
 
2030
 
2075
2031
    Breaks large blocks in smaller chunks to avoid buffering limitations on
2076
2032
    some platforms, and catches EINTR which may be thrown if the send is
2077
2033
    interrupted by a signal.
2078
2034
 
2079
2035
    This is preferred to socket.sendall(), because it avoids portability bugs
2080
2036
    and provides activity reporting.
2081
 
 
 
2037
 
2082
2038
    :param report_activity: Call this as bytes are read, see
2083
2039
        Transport._report_activity
2084
2040
    """
2095
2051
            report_activity(sent, 'write')
2096
2052
 
2097
2053
 
2098
 
def connect_socket(address):
2099
 
    # Slight variation of the socket.create_connection() function (provided by
2100
 
    # python-2.6) that can fail if getaddrinfo returns an empty list. We also
2101
 
    # provide it for previous python versions. Also, we don't use the timeout
2102
 
    # parameter (provided by the python implementation) so we don't implement
2103
 
    # it either).
2104
 
    err = socket.error('getaddrinfo returns an empty list')
2105
 
    host, port = address
2106
 
    for res in socket.getaddrinfo(host, port, 0, socket.SOCK_STREAM):
2107
 
        af, socktype, proto, canonname, sa = res
2108
 
        sock = None
2109
 
        try:
2110
 
            sock = socket.socket(af, socktype, proto)
2111
 
            sock.connect(sa)
2112
 
            return sock
2113
 
 
2114
 
        except socket.error, err:
2115
 
            # 'err' is now the most recent error
2116
 
            if sock is not None:
2117
 
                sock.close()
2118
 
    raise err
2119
 
 
2120
 
 
2121
2054
def dereference_path(path):
2122
2055
    """Determine the real path to a file.
2123
2056
 
2162
2095
    base = dirname(bzrlib.__file__)
2163
2096
    if getattr(sys, 'frozen', None):    # bzr.exe
2164
2097
        base = abspath(pathjoin(base, '..', '..'))
2165
 
    f = file(pathjoin(base, resource_relpath), "rU")
2166
 
    try:
2167
 
        return f.read()
2168
 
    finally:
2169
 
        f.close()
 
2098
    filename = pathjoin(base, resource_relpath)
 
2099
    return open(filename, 'rU').read()
 
2100
 
2170
2101
 
2171
2102
def file_kind_from_stat_mode_thunk(mode):
2172
2103
    global file_kind_from_stat_mode
2195
2126
 
2196
2127
def until_no_eintr(f, *a, **kw):
2197
2128
    """Run f(*a, **kw), retrying if an EINTR error occurs.
2198
 
 
 
2129
    
2199
2130
    WARNING: you must be certain that it is safe to retry the call repeatedly
2200
2131
    if EINTR does occur.  This is typically only true for low-level operations
2201
2132
    like os.read.  If in any doubt, don't use this.
2216
2147
            raise
2217
2148
 
2218
2149
 
2219
 
@deprecated_function(deprecated_in((2, 2, 0)))
2220
2150
def re_compile_checked(re_string, flags=0, where=""):
2221
2151
    """Return a compiled re, or raise a sensible error.
2222
2152
 
2232
2162
        re_obj = re.compile(re_string, flags)
2233
2163
        re_obj.search("")
2234
2164
        return re_obj
2235
 
    except errors.InvalidPattern, e:
 
2165
    except re.error, e:
2236
2166
        if where:
2237
2167
            where = ' in ' + where
2238
2168
        # despite the name 'error' is a type
2239
 
        raise errors.BzrCommandError('Invalid regular expression%s: %s'
2240
 
            % (where, e.msg))
 
2169
        raise errors.BzrCommandError('Invalid regular expression%s: %r: %s'
 
2170
            % (where, re_string, e))
2241
2171
 
2242
2172
 
2243
2173
if sys.platform == "win32":
2257
2187
            termios.tcsetattr(fd, termios.TCSADRAIN, settings)
2258
2188
        return ch
2259
2189
 
 
2190
 
2260
2191
if sys.platform == 'linux2':
2261
2192
    def _local_concurrency():
2262
 
        try:
2263
 
            return os.sysconf('SC_NPROCESSORS_ONLN')
2264
 
        except (ValueError, OSError, AttributeError):
2265
 
            return None
 
2193
        concurrency = None
 
2194
        prefix = 'processor'
 
2195
        for line in file('/proc/cpuinfo', 'rb'):
 
2196
            if line.startswith(prefix):
 
2197
                concurrency = int(line[line.find(':')+1:]) + 1
 
2198
        return concurrency
2266
2199
elif sys.platform == 'darwin':
2267
2200
    def _local_concurrency():
2268
2201
        return subprocess.Popen(['sysctl', '-n', 'hw.availcpu'],
2269
2202
                                stdout=subprocess.PIPE).communicate()[0]
2270
 
elif "bsd" in sys.platform:
 
2203
elif sys.platform[0:7] == 'freebsd':
2271
2204
    def _local_concurrency():
2272
2205
        return subprocess.Popen(['sysctl', '-n', 'hw.ncpu'],
2273
2206
                                stdout=subprocess.PIPE).communicate()[0]
2301
2234
    concurrency = os.environ.get('BZR_CONCURRENCY', None)
2302
2235
    if concurrency is None:
2303
2236
        try:
2304
 
            import multiprocessing
2305
 
        except ImportError:
2306
 
            # multiprocessing is only available on Python >= 2.6
2307
 
            try:
2308
 
                concurrency = _local_concurrency()
2309
 
            except (OSError, IOError):
2310
 
                pass
2311
 
        else:
2312
 
            concurrency = multiprocessing.cpu_count()
 
2237
            concurrency = _local_concurrency()
 
2238
        except (OSError, IOError):
 
2239
            pass
2313
2240
    try:
2314
2241
        concurrency = int(concurrency)
2315
2242
    except (TypeError, ValueError):
2336
2263
if sys.platform == 'win32':
2337
2264
    def open_file(filename, mode='r', bufsize=-1):
2338
2265
        """This function is used to override the ``open`` builtin.
2339
 
 
 
2266
        
2340
2267
        But it uses O_NOINHERIT flag so the file handle is not inherited by
2341
2268
        child processes.  Deleting or renaming a closed file opened with this
2342
2269
        function is not blocking child processes.
2375
2302
        return os.fdopen(os.open(filename, flags), mode, bufsize)
2376
2303
else:
2377
2304
    open_file = open
2378
 
 
2379
 
 
2380
 
def getuser_unicode():
2381
 
    """Return the username as unicode.
2382
 
    """
2383
 
    try:
2384
 
        user_encoding = get_user_encoding()
2385
 
        username = getpass.getuser().decode(user_encoding)
2386
 
    except UnicodeDecodeError:
2387
 
        raise errors.BzrError("Can't decode username as %s." % \
2388
 
                user_encoding)
2389
 
    return username
2390
 
 
2391
 
 
2392
 
def available_backup_name(base, exists):
2393
 
    """Find a non-existing backup file name.
2394
 
 
2395
 
    This will *not* create anything, this only return a 'free' entry.  This
2396
 
    should be used for checking names in a directory below a locked
2397
 
    tree/branch/repo to avoid race conditions. This is LBYL (Look Before You
2398
 
    Leap) and generally discouraged.
2399
 
 
2400
 
    :param base: The base name.
2401
 
 
2402
 
    :param exists: A callable returning True if the path parameter exists.
2403
 
    """
2404
 
    counter = 1
2405
 
    name = "%s.~%d~" % (base, counter)
2406
 
    while exists(name):
2407
 
        counter += 1
2408
 
        name = "%s.~%d~" % (base, counter)
2409
 
    return name
2410
 
 
2411
 
 
2412
 
def set_fd_cloexec(fd):
2413
 
    """Set a Unix file descriptor's FD_CLOEXEC flag.  Do nothing if platform
2414
 
    support for this is not available.
2415
 
    """
2416
 
    try:
2417
 
        import fcntl
2418
 
        old = fcntl.fcntl(fd, fcntl.F_GETFD)
2419
 
        fcntl.fcntl(fd, fcntl.F_SETFD, old | fcntl.FD_CLOEXEC)
2420
 
    except (ImportError, AttributeError):
2421
 
        # Either the fcntl module or specific constants are not present
2422
 
        pass
2423
 
 
2424
 
 
2425
 
def find_executable_on_path(name):
2426
 
    """Finds an executable on the PATH.
2427
 
    
2428
 
    On Windows, this will try to append each extension in the PATHEXT
2429
 
    environment variable to the name, if it cannot be found with the name
2430
 
    as given.
2431
 
    
2432
 
    :param name: The base name of the executable.
2433
 
    :return: The path to the executable found or None.
2434
 
    """
2435
 
    path = os.environ.get('PATH')
2436
 
    if path is None:
2437
 
        return None
2438
 
    path = path.split(os.pathsep)
2439
 
    if sys.platform == 'win32':
2440
 
        exts = os.environ.get('PATHEXT', '').split(os.pathsep)
2441
 
        exts = [ext.lower() for ext in exts]
2442
 
        base, ext = os.path.splitext(name)
2443
 
        if ext != '':
2444
 
            if ext.lower() not in exts:
2445
 
                return None
2446
 
            name = base
2447
 
            exts = [ext]
2448
 
    else:
2449
 
        exts = ['']
2450
 
    for ext in exts:
2451
 
        for d in path:
2452
 
            f = os.path.join(d, name) + ext
2453
 
            if os.access(f, os.X_OK):
2454
 
                return f
2455
 
    return None