/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/osutils.py

  • Committer: Robert Collins
  • Date: 2010-05-06 11:08:10 UTC
  • mto: This revision was merged to the branch mainline in revision 5223.
  • Revision ID: robertc@robertcollins.net-20100506110810-h3j07fh5gmw54s25
Cleaner matcher matching revised unlocking protocol.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/osutils.py
1
 
# Copyright (C) 2005-2011 Canonical Ltd
 
1
# Copyright (C) 2005-2010 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
 
import errno
18
17
import os
19
18
import re
20
19
import stat
 
20
from stat import S_ISREG, S_ISDIR, S_ISLNK, ST_MODE, ST_SIZE
21
21
import sys
22
22
import time
23
23
import codecs
25
25
from bzrlib.lazy_import import lazy_import
26
26
lazy_import(globals(), """
27
27
from datetime import datetime
28
 
import getpass
29
 
import ntpath
 
28
import errno
 
29
from ntpath import (abspath as _nt_abspath,
 
30
                    join as _nt_join,
 
31
                    normpath as _nt_normpath,
 
32
                    realpath as _nt_realpath,
 
33
                    splitdrive as _nt_splitdrive,
 
34
                    )
30
35
import posixpath
31
 
# We need to import both shutil and rmtree as we export the later on posix
32
 
# and need the former on windows
33
36
import shutil
34
 
from shutil import rmtree
 
37
from shutil import (
 
38
    rmtree,
 
39
    )
35
40
import socket
36
41
import subprocess
37
 
# We need to import both tempfile and mkdtemp as we export the later on posix
38
 
# and need the former on windows
39
42
import tempfile
40
 
from tempfile import mkdtemp
 
43
from tempfile import (
 
44
    mkdtemp,
 
45
    )
41
46
import unicodedata
42
47
 
43
48
from bzrlib import (
53
58
    deprecated_in,
54
59
    )
55
60
 
56
 
from hashlib import (
57
 
    md5,
58
 
    sha1 as sha,
59
 
    )
 
61
# sha and md5 modules are deprecated in python2.6 but hashlib is available as
 
62
# of 2.5
 
63
if sys.version_info < (2, 5):
 
64
    import md5 as _mod_md5
 
65
    md5 = _mod_md5.new
 
66
    import sha as _mod_sha
 
67
    sha = _mod_sha.new
 
68
else:
 
69
    from hashlib import (
 
70
        md5,
 
71
        sha1 as sha,
 
72
        )
60
73
 
61
74
 
62
75
import bzrlib
88
101
        user_encoding = get_user_encoding()
89
102
        return [a.decode(user_encoding) for a in sys.argv[1:]]
90
103
    except UnicodeDecodeError:
91
 
        raise errors.BzrError("Parameter %r encoding is unsupported by %s "
92
 
            "application locale." % (a, user_encoding))
 
104
        raise errors.BzrError(("Parameter '%r' is unsupported by the current "
 
105
                                                            "encoding." % a))
93
106
 
94
107
 
95
108
def make_readonly(filename):
290
303
    running python.exe under cmd.exe return capital C:\\
291
304
    running win32 python inside a cygwin shell returns lowercase c:\\
292
305
    """
293
 
    drive, path = ntpath.splitdrive(path)
 
306
    drive, path = _nt_splitdrive(path)
294
307
    return drive.upper() + path
295
308
 
296
309
 
297
310
def _win32_abspath(path):
298
 
    # Real ntpath.abspath doesn't have a problem with a unicode cwd
299
 
    return _win32_fixdrive(ntpath.abspath(unicode(path)).replace('\\', '/'))
 
311
    # Real _nt_abspath doesn't have a problem with a unicode cwd
 
312
    return _win32_fixdrive(_nt_abspath(unicode(path)).replace('\\', '/'))
300
313
 
301
314
 
302
315
def _win98_abspath(path):
313
326
    #   /path       => C:/path
314
327
    path = unicode(path)
315
328
    # check for absolute path
316
 
    drive = ntpath.splitdrive(path)[0]
 
329
    drive = _nt_splitdrive(path)[0]
317
330
    if drive == '' and path[:2] not in('//','\\\\'):
318
331
        cwd = os.getcwdu()
319
332
        # we cannot simply os.path.join cwd and path
320
333
        # because os.path.join('C:','/path') produce '/path'
321
334
        # and this is incorrect
322
335
        if path[:1] in ('/','\\'):
323
 
            cwd = ntpath.splitdrive(cwd)[0]
 
336
            cwd = _nt_splitdrive(cwd)[0]
324
337
            path = path[1:]
325
338
        path = cwd + '\\' + path
326
 
    return _win32_fixdrive(ntpath.normpath(path).replace('\\', '/'))
 
339
    return _win32_fixdrive(_nt_normpath(path).replace('\\', '/'))
327
340
 
328
341
 
329
342
def _win32_realpath(path):
330
 
    # Real ntpath.realpath doesn't have a problem with a unicode cwd
331
 
    return _win32_fixdrive(ntpath.realpath(unicode(path)).replace('\\', '/'))
 
343
    # Real _nt_realpath doesn't have a problem with a unicode cwd
 
344
    return _win32_fixdrive(_nt_realpath(unicode(path)).replace('\\', '/'))
332
345
 
333
346
 
334
347
def _win32_pathjoin(*args):
335
 
    return ntpath.join(*args).replace('\\', '/')
 
348
    return _nt_join(*args).replace('\\', '/')
336
349
 
337
350
 
338
351
def _win32_normpath(path):
339
 
    return _win32_fixdrive(ntpath.normpath(unicode(path)).replace('\\', '/'))
 
352
    return _win32_fixdrive(_nt_normpath(unicode(path)).replace('\\', '/'))
340
353
 
341
354
 
342
355
def _win32_getcwd():
347
360
    return _win32_fixdrive(tempfile.mkdtemp(*args, **kwargs).replace('\\', '/'))
348
361
 
349
362
 
 
363
def _add_rename_error_details(e, old, new):
 
364
    new_e = OSError(e.errno, "failed to rename %s to %s: %s"
 
365
        % (old, new, e.strerror))
 
366
    new_e.filename = old
 
367
    new_e.to_filename = new
 
368
    return new_e
 
369
 
 
370
 
350
371
def _win32_rename(old, new):
351
372
    """We expect to be able to atomically replace 'new' with old.
352
373
 
354
375
    and then deleted.
355
376
    """
356
377
    try:
357
 
        fancy_rename(old, new, rename_func=os.rename, unlink_func=os.unlink)
 
378
        fancy_rename(old, new, rename_func=_wrapped_rename, unlink_func=os.unlink)
358
379
    except OSError, e:
359
380
        if e.errno in (errno.EPERM, errno.EACCES, errno.EBUSY, errno.EINVAL):
360
381
            # If we try to rename a non-existant file onto cwd, we get
365
386
        raise
366
387
 
367
388
 
 
389
def _wrapped_rename(old, new):
 
390
    """Rename a file or directory"""
 
391
    try:
 
392
        os.rename(old, new)
 
393
    except (IOError, OSError), e:
 
394
        # this is eventually called by all rename-like functions, so should 
 
395
        # catch all of them
 
396
        raise _add_rename_error_details(e, old, new)
 
397
 
 
398
 
368
399
def _mac_getcwd():
369
400
    return unicodedata.normalize('NFC', os.getcwdu())
370
401
 
375
406
realpath = _posix_realpath
376
407
pathjoin = os.path.join
377
408
normpath = os.path.normpath
 
409
rename = _wrapped_rename # overridden below on win32
378
410
getcwd = os.getcwdu
379
 
rename = os.rename
380
411
dirname = os.path.dirname
381
412
basename = os.path.basename
382
413
split = os.path.split
383
414
splitext = os.path.splitext
384
 
# These were already lazily imported into local scope
 
415
# These were already imported into local scope
385
416
# mkdtemp = tempfile.mkdtemp
386
417
# rmtree = shutil.rmtree
387
 
lstat = os.lstat
388
 
fstat = os.fstat
389
 
 
390
 
def wrap_stat(st):
391
 
    return st
392
 
 
393
418
 
394
419
MIN_ABS_PATHLENGTH = 1
395
420
 
405
430
    getcwd = _win32_getcwd
406
431
    mkdtemp = _win32_mkdtemp
407
432
    rename = _win32_rename
408
 
    try:
409
 
        from bzrlib import _walkdirs_win32
410
 
    except ImportError:
411
 
        pass
412
 
    else:
413
 
        lstat = _walkdirs_win32.lstat
414
 
        fstat = _walkdirs_win32.fstat
415
 
        wrap_stat = _walkdirs_win32.wrap_stat
416
433
 
417
434
    MIN_ABS_PATHLENGTH = 3
418
435
 
441
458
    getcwd = _mac_getcwd
442
459
 
443
460
 
444
 
def get_terminal_encoding(trace=False):
 
461
def get_terminal_encoding():
445
462
    """Find the best encoding for printing to the screen.
446
463
 
447
464
    This attempts to check both sys.stdout and sys.stdin to see
453
470
 
454
471
    On my standard US Windows XP, the preferred encoding is
455
472
    cp1252, but the console is cp437
456
 
 
457
 
    :param trace: If True trace the selected encoding via mutter().
458
473
    """
459
474
    from bzrlib.trace import mutter
460
475
    output_encoding = getattr(sys.stdout, 'encoding', None)
462
477
        input_encoding = getattr(sys.stdin, 'encoding', None)
463
478
        if not input_encoding:
464
479
            output_encoding = get_user_encoding()
465
 
            if trace:
466
 
                mutter('encoding stdout as osutils.get_user_encoding() %r',
 
480
            mutter('encoding stdout as osutils.get_user_encoding() %r',
467
481
                   output_encoding)
468
482
        else:
469
483
            output_encoding = input_encoding
470
 
            if trace:
471
 
                mutter('encoding stdout as sys.stdin encoding %r',
472
 
                    output_encoding)
 
484
            mutter('encoding stdout as sys.stdin encoding %r', output_encoding)
473
485
    else:
474
 
        if trace:
475
 
            mutter('encoding stdout as sys.stdout encoding %r', output_encoding)
 
486
        mutter('encoding stdout as sys.stdout encoding %r', output_encoding)
476
487
    if output_encoding == 'cp0':
477
488
        # invalid encoding (cp0 means 'no codepage' on Windows)
478
489
        output_encoding = get_user_encoding()
479
 
        if trace:
480
 
            mutter('cp0 is invalid encoding.'
 
490
        mutter('cp0 is invalid encoding.'
481
491
               ' encoding stdout as osutils.get_user_encoding() %r',
482
492
               output_encoding)
483
493
    # check encoding
509
519
def isdir(f):
510
520
    """True if f is an accessible directory."""
511
521
    try:
512
 
        return stat.S_ISDIR(os.lstat(f)[stat.ST_MODE])
 
522
        return S_ISDIR(os.lstat(f)[ST_MODE])
513
523
    except OSError:
514
524
        return False
515
525
 
517
527
def isfile(f):
518
528
    """True if f is a regular file."""
519
529
    try:
520
 
        return stat.S_ISREG(os.lstat(f)[stat.ST_MODE])
 
530
        return S_ISREG(os.lstat(f)[ST_MODE])
521
531
    except OSError:
522
532
        return False
523
533
 
524
534
def islink(f):
525
535
    """True if f is a symlink."""
526
536
    try:
527
 
        return stat.S_ISLNK(os.lstat(f)[stat.ST_MODE])
 
537
        return S_ISLNK(os.lstat(f)[ST_MODE])
528
538
    except OSError:
529
539
        return False
530
540
 
870
880
 
871
881
def filesize(f):
872
882
    """Return size of given open file."""
873
 
    return os.fstat(f.fileno())[stat.ST_SIZE]
 
883
    return os.fstat(f.fileno())[ST_SIZE]
874
884
 
875
885
 
876
886
# Define rand_bytes based on platform.
938
948
 
939
949
def parent_directories(filename):
940
950
    """Return the list of parent directories, deepest first.
941
 
 
 
951
    
942
952
    For example, parent_directories("a/b/c") -> ["a/b", "a"].
943
953
    """
944
954
    parents = []
968
978
    # NB: This docstring is just an example, not a doctest, because doctest
969
979
    # currently can't cope with the use of lazy imports in this namespace --
970
980
    # mbp 20090729
971
 
 
 
981
    
972
982
    # This currently doesn't report the failure at the time it occurs, because
973
983
    # they tend to happen very early in startup when we can't check config
974
984
    # files etc, and also we want to report all failures but not spam the user
975
985
    # with 10 warnings.
 
986
    from bzrlib import trace
976
987
    exception_str = str(exception)
977
988
    if exception_str not in _extension_load_failures:
978
989
        trace.mutter("failed to load compiled extension: %s" % exception_str)
1043
1054
 
1044
1055
 
1045
1056
def delete_any(path):
1046
 
    """Delete a file, symlink or directory.
1047
 
 
 
1057
    """Delete a file, symlink or directory.  
 
1058
    
1048
1059
    Will delete even if readonly.
1049
1060
    """
1050
1061
    try:
1239
1250
    # but for now, we haven't optimized...
1240
1251
    return [canonical_relpath(base, p) for p in paths]
1241
1252
 
1242
 
 
1243
 
def decode_filename(filename):
1244
 
    """Decode the filename using the filesystem encoding
1245
 
 
1246
 
    If it is unicode, it is returned.
1247
 
    Otherwise it is decoded from the the filesystem's encoding. If decoding
1248
 
    fails, a errors.BadFilenameEncoding exception is raised.
1249
 
    """
1250
 
    if type(filename) is unicode:
1251
 
        return filename
1252
 
    try:
1253
 
        return filename.decode(_fs_enc)
1254
 
    except UnicodeDecodeError:
1255
 
        raise errors.BadFilenameEncoding(filename, _fs_enc)
1256
 
 
1257
 
 
1258
1253
def safe_unicode(unicode_or_utf8_string):
1259
1254
    """Coerce unicode_or_utf8_string into unicode.
1260
1255
 
1343
1338
def normalizes_filenames():
1344
1339
    """Return True if this platform normalizes unicode filenames.
1345
1340
 
1346
 
    Only Mac OSX.
 
1341
    Mac OSX does, Windows/Linux do not.
1347
1342
    """
1348
1343
    return _platform_normalizes_filenames
1349
1344
 
1354
1349
    On platforms where the system normalizes filenames (Mac OSX),
1355
1350
    you can access a file by any path which will normalize correctly.
1356
1351
    On platforms where the system does not normalize filenames
1357
 
    (everything else), you have to access a file by its exact path.
 
1352
    (Windows, Linux), you have to access a file by its exact path.
1358
1353
 
1359
1354
    Internally, bzr only supports NFC normalization, since that is
1360
1355
    the standard for XML documents.
1422
1417
terminal_width() returns None.
1423
1418
"""
1424
1419
 
1425
 
# Keep some state so that terminal_width can detect if _terminal_size has
1426
 
# returned a different size since the process started.  See docstring and
1427
 
# comments of terminal_width for details.
1428
 
# _terminal_size_state has 3 possible values: no_data, unchanged, and changed.
1429
 
_terminal_size_state = 'no_data'
1430
 
_first_terminal_size = None
1431
1420
 
1432
1421
def terminal_width():
1433
1422
    """Return terminal width.
1437
1426
    The rules are:
1438
1427
    - if BZR_COLUMNS is set, returns its value
1439
1428
    - if there is no controlling terminal, returns None
1440
 
    - query the OS, if the queried size has changed since the last query,
1441
 
      return its value,
1442
1429
    - if COLUMNS is set, returns its value,
1443
 
    - if the OS has a value (even though it's never changed), return its value.
1444
1430
 
1445
1431
    From there, we need to query the OS to get the size of the controlling
1446
1432
    terminal.
1447
1433
 
1448
 
    On Unices we query the OS by:
 
1434
    Unices:
1449
1435
    - get termios.TIOCGWINSZ
1450
1436
    - if an error occurs or a negative value is obtained, returns None
1451
1437
 
1452
 
    On Windows we query the OS by:
 
1438
    Windows:
 
1439
    
1453
1440
    - win32utils.get_console_size() decides,
1454
1441
    - returns None on error (provided default value)
1455
1442
    """
1456
 
    # Note to implementors: if changing the rules for determining the width,
1457
 
    # make sure you've considered the behaviour in these cases:
1458
 
    #  - M-x shell in emacs, where $COLUMNS is set and TIOCGWINSZ returns 0,0.
1459
 
    #  - bzr log | less, in bash, where $COLUMNS not set and TIOCGWINSZ returns
1460
 
    #    0,0.
1461
 
    #  - (add more interesting cases here, if you find any)
1462
 
    # Some programs implement "Use $COLUMNS (if set) until SIGWINCH occurs",
1463
 
    # but we don't want to register a signal handler because it is impossible
1464
 
    # to do so without risking EINTR errors in Python <= 2.6.5 (see
1465
 
    # <http://bugs.python.org/issue8354>).  Instead we check TIOCGWINSZ every
1466
 
    # time so we can notice if the reported size has changed, which should have
1467
 
    # a similar effect.
1468
1443
 
1469
1444
    # If BZR_COLUMNS is set, take it, user is always right
1470
 
    # Except if they specified 0 in which case, impose no limit here
1471
1445
    try:
1472
 
        width = int(os.environ['BZR_COLUMNS'])
 
1446
        return int(os.environ['BZR_COLUMNS'])
1473
1447
    except (KeyError, ValueError):
1474
 
        width = None
1475
 
    if width is not None:
1476
 
        if width > 0:
1477
 
            return width
1478
 
        else:
1479
 
            return None
 
1448
        pass
1480
1449
 
1481
1450
    isatty = getattr(sys.stdout, 'isatty', None)
1482
 
    if isatty is None or not isatty():
 
1451
    if  isatty is None or not isatty():
1483
1452
        # Don't guess, setting BZR_COLUMNS is the recommended way to override.
1484
1453
        return None
1485
1454
 
1486
 
    # Query the OS
1487
 
    width, height = os_size = _terminal_size(None, None)
1488
 
    global _first_terminal_size, _terminal_size_state
1489
 
    if _terminal_size_state == 'no_data':
1490
 
        _first_terminal_size = os_size
1491
 
        _terminal_size_state = 'unchanged'
1492
 
    elif (_terminal_size_state == 'unchanged' and
1493
 
          _first_terminal_size != os_size):
1494
 
        _terminal_size_state = 'changed'
1495
 
 
1496
 
    # If the OS claims to know how wide the terminal is, and this value has
1497
 
    # ever changed, use that.
1498
 
    if _terminal_size_state == 'changed':
1499
 
        if width is not None and width > 0:
1500
 
            return width
1501
 
 
1502
 
    # If COLUMNS is set, use it.
 
1455
    # If COLUMNS is set, take it, the terminal knows better (even inside a
 
1456
    # given terminal, the application can decide to set COLUMNS to a lower
 
1457
    # value (splitted screen) or a bigger value (scroll bars))
1503
1458
    try:
1504
1459
        return int(os.environ['COLUMNS'])
1505
1460
    except (KeyError, ValueError):
1506
1461
        pass
1507
1462
 
1508
 
    # Finally, use an unchanged size from the OS, if we have one.
1509
 
    if _terminal_size_state == 'unchanged':
1510
 
        if width is not None and width > 0:
1511
 
            return width
 
1463
    width, height = _terminal_size(None, None)
 
1464
    if width <= 0:
 
1465
        # Consider invalid values as meaning no width
 
1466
        return None
1512
1467
 
1513
 
    # The width could not be determined.
1514
 
    return None
 
1468
    return width
1515
1469
 
1516
1470
 
1517
1471
def _win32_terminal_size(width, height):
1544
1498
    _terminal_size = _ioctl_terminal_size
1545
1499
 
1546
1500
 
 
1501
def _terminal_size_changed(signum, frame):
 
1502
    """Set COLUMNS upon receiving a SIGnal for WINdow size CHange."""
 
1503
    width, height = _terminal_size(None, None)
 
1504
    if width is not None:
 
1505
        os.environ['COLUMNS'] = str(width)
 
1506
 
 
1507
 
 
1508
_registered_sigwinch = False
 
1509
def watch_sigwinch():
 
1510
    """Register for SIGWINCH, once and only once.
 
1511
 
 
1512
    Do nothing if the signal module is not available.
 
1513
    """
 
1514
    global _registered_sigwinch
 
1515
    if not _registered_sigwinch:
 
1516
        try:
 
1517
            import signal
 
1518
            if getattr(signal, "SIGWINCH", None) is not None:
 
1519
                set_signal_handler(signal.SIGWINCH, _terminal_size_changed)
 
1520
        except ImportError:
 
1521
            # python doesn't provide signal support, nothing we can do about it
 
1522
            pass
 
1523
        _registered_sigwinch = True
 
1524
 
 
1525
 
1547
1526
def supports_executable():
1548
1527
    return sys.platform != "win32"
1549
1528
 
1672
1651
        dirblock = []
1673
1652
        append = dirblock.append
1674
1653
        try:
1675
 
            names = sorted(map(decode_filename, _listdir(top)))
 
1654
            names = sorted(_listdir(top))
1676
1655
        except OSError, e:
1677
1656
            if not _is_error_enotdir(e):
1678
1657
                raise
1886
1865
        s = os.stat(src)
1887
1866
        chown(dst, s.st_uid, s.st_gid)
1888
1867
    except OSError, e:
1889
 
        trace.warning(
1890
 
            'Unable to copy ownership from "%s" to "%s". '
1891
 
            'You may want to set it manually.', src, dst)
1892
 
        trace.log_exception_quietly()
 
1868
        trace.warning("Unable to copy ownership from '%s' to '%s': IOError: %s." % (src, dst, e))
1893
1869
 
1894
1870
 
1895
1871
def path_prefix_key(path):
1983
1959
    return user_encoding
1984
1960
 
1985
1961
 
1986
 
def get_diff_header_encoding():
1987
 
    return get_terminal_encoding()
1988
 
 
1989
 
 
1990
1962
def get_host_name():
1991
1963
    """Return the current unicode host name.
1992
1964
 
2007
1979
# data at once.
2008
1980
MAX_SOCKET_CHUNK = 64 * 1024
2009
1981
 
2010
 
_end_of_stream_errors = [errno.ECONNRESET]
2011
 
for _eno in ['WSAECONNRESET', 'WSAECONNABORTED']:
2012
 
    _eno = getattr(errno, _eno, None)
2013
 
    if _eno is not None:
2014
 
        _end_of_stream_errors.append(_eno)
2015
 
del _eno
2016
 
 
2017
 
 
2018
1982
def read_bytes_from_socket(sock, report_activity=None,
2019
1983
        max_read_size=MAX_SOCKET_CHUNK):
2020
1984
    """Read up to max_read_size of bytes from sock and notify of progress.
2028
1992
            bytes = sock.recv(max_read_size)
2029
1993
        except socket.error, e:
2030
1994
            eno = e.args[0]
2031
 
            if eno in _end_of_stream_errors:
 
1995
            if eno == getattr(errno, "WSAECONNRESET", errno.ECONNRESET):
2032
1996
                # The connection was closed by the other side.  Callers expect
2033
1997
                # an empty string to signal end-of-stream.
2034
1998
                return ""
2063
2027
 
2064
2028
def send_all(sock, bytes, report_activity=None):
2065
2029
    """Send all bytes on a socket.
2066
 
 
 
2030
 
2067
2031
    Breaks large blocks in smaller chunks to avoid buffering limitations on
2068
2032
    some platforms, and catches EINTR which may be thrown if the send is
2069
2033
    interrupted by a signal.
2070
2034
 
2071
2035
    This is preferred to socket.sendall(), because it avoids portability bugs
2072
2036
    and provides activity reporting.
2073
 
 
 
2037
 
2074
2038
    :param report_activity: Call this as bytes are read, see
2075
2039
        Transport._report_activity
2076
2040
    """
2087
2051
            report_activity(sent, 'write')
2088
2052
 
2089
2053
 
2090
 
def connect_socket(address):
2091
 
    # Slight variation of the socket.create_connection() function (provided by
2092
 
    # python-2.6) that can fail if getaddrinfo returns an empty list. We also
2093
 
    # provide it for previous python versions. Also, we don't use the timeout
2094
 
    # parameter (provided by the python implementation) so we don't implement
2095
 
    # it either).
2096
 
    err = socket.error('getaddrinfo returns an empty list')
2097
 
    host, port = address
2098
 
    for res in socket.getaddrinfo(host, port, 0, socket.SOCK_STREAM):
2099
 
        af, socktype, proto, canonname, sa = res
2100
 
        sock = None
2101
 
        try:
2102
 
            sock = socket.socket(af, socktype, proto)
2103
 
            sock.connect(sa)
2104
 
            return sock
2105
 
 
2106
 
        except socket.error, err:
2107
 
            # 'err' is now the most recent error
2108
 
            if sock is not None:
2109
 
                sock.close()
2110
 
    raise err
2111
 
 
2112
 
 
2113
2054
def dereference_path(path):
2114
2055
    """Determine the real path to a file.
2115
2056
 
2154
2095
    base = dirname(bzrlib.__file__)
2155
2096
    if getattr(sys, 'frozen', None):    # bzr.exe
2156
2097
        base = abspath(pathjoin(base, '..', '..'))
2157
 
    f = file(pathjoin(base, resource_relpath), "rU")
2158
 
    try:
2159
 
        return f.read()
2160
 
    finally:
2161
 
        f.close()
 
2098
    filename = pathjoin(base, resource_relpath)
 
2099
    return open(filename, 'rU').read()
 
2100
 
2162
2101
 
2163
2102
def file_kind_from_stat_mode_thunk(mode):
2164
2103
    global file_kind_from_stat_mode
2187
2126
 
2188
2127
def until_no_eintr(f, *a, **kw):
2189
2128
    """Run f(*a, **kw), retrying if an EINTR error occurs.
2190
 
 
 
2129
    
2191
2130
    WARNING: you must be certain that it is safe to retry the call repeatedly
2192
2131
    if EINTR does occur.  This is typically only true for low-level operations
2193
2132
    like os.read.  If in any doubt, don't use this.
2208
2147
            raise
2209
2148
 
2210
2149
 
2211
 
@deprecated_function(deprecated_in((2, 2, 0)))
2212
2150
def re_compile_checked(re_string, flags=0, where=""):
2213
2151
    """Return a compiled re, or raise a sensible error.
2214
2152
 
2224
2162
        re_obj = re.compile(re_string, flags)
2225
2163
        re_obj.search("")
2226
2164
        return re_obj
2227
 
    except errors.InvalidPattern, e:
 
2165
    except re.error, e:
2228
2166
        if where:
2229
2167
            where = ' in ' + where
2230
2168
        # despite the name 'error' is a type
2231
 
        raise errors.BzrCommandError('Invalid regular expression%s: %s'
2232
 
            % (where, e.msg))
 
2169
        raise errors.BzrCommandError('Invalid regular expression%s: %r: %s'
 
2170
            % (where, re_string, e))
2233
2171
 
2234
2172
 
2235
2173
if sys.platform == "win32":
2249
2187
            termios.tcsetattr(fd, termios.TCSADRAIN, settings)
2250
2188
        return ch
2251
2189
 
 
2190
 
2252
2191
if sys.platform == 'linux2':
2253
2192
    def _local_concurrency():
2254
 
        try:
2255
 
            return os.sysconf('SC_NPROCESSORS_ONLN')
2256
 
        except (ValueError, OSError, AttributeError):
2257
 
            return None
 
2193
        concurrency = None
 
2194
        prefix = 'processor'
 
2195
        for line in file('/proc/cpuinfo', 'rb'):
 
2196
            if line.startswith(prefix):
 
2197
                concurrency = int(line[line.find(':')+1:]) + 1
 
2198
        return concurrency
2258
2199
elif sys.platform == 'darwin':
2259
2200
    def _local_concurrency():
2260
2201
        return subprocess.Popen(['sysctl', '-n', 'hw.availcpu'],
2261
2202
                                stdout=subprocess.PIPE).communicate()[0]
2262
 
elif "bsd" in sys.platform:
 
2203
elif sys.platform[0:7] == 'freebsd':
2263
2204
    def _local_concurrency():
2264
2205
        return subprocess.Popen(['sysctl', '-n', 'hw.ncpu'],
2265
2206
                                stdout=subprocess.PIPE).communicate()[0]
2293
2234
    concurrency = os.environ.get('BZR_CONCURRENCY', None)
2294
2235
    if concurrency is None:
2295
2236
        try:
2296
 
            import multiprocessing
2297
 
        except ImportError:
2298
 
            # multiprocessing is only available on Python >= 2.6
2299
 
            try:
2300
 
                concurrency = _local_concurrency()
2301
 
            except (OSError, IOError):
2302
 
                pass
2303
 
        else:
2304
 
            concurrency = multiprocessing.cpu_count()
 
2237
            concurrency = _local_concurrency()
 
2238
        except (OSError, IOError):
 
2239
            pass
2305
2240
    try:
2306
2241
        concurrency = int(concurrency)
2307
2242
    except (TypeError, ValueError):
2328
2263
if sys.platform == 'win32':
2329
2264
    def open_file(filename, mode='r', bufsize=-1):
2330
2265
        """This function is used to override the ``open`` builtin.
2331
 
 
 
2266
        
2332
2267
        But it uses O_NOINHERIT flag so the file handle is not inherited by
2333
2268
        child processes.  Deleting or renaming a closed file opened with this
2334
2269
        function is not blocking child processes.
2367
2302
        return os.fdopen(os.open(filename, flags), mode, bufsize)
2368
2303
else:
2369
2304
    open_file = open
2370
 
 
2371
 
 
2372
 
def getuser_unicode():
2373
 
    """Return the username as unicode.
2374
 
    """
2375
 
    try:
2376
 
        user_encoding = get_user_encoding()
2377
 
        username = getpass.getuser().decode(user_encoding)
2378
 
    except UnicodeDecodeError:
2379
 
        raise errors.BzrError("Can't decode username as %s." % \
2380
 
                user_encoding)
2381
 
    return username
2382
 
 
2383
 
 
2384
 
def available_backup_name(base, exists):
2385
 
    """Find a non-existing backup file name.
2386
 
 
2387
 
    This will *not* create anything, this only return a 'free' entry.  This
2388
 
    should be used for checking names in a directory below a locked
2389
 
    tree/branch/repo to avoid race conditions. This is LBYL (Look Before You
2390
 
    Leap) and generally discouraged.
2391
 
 
2392
 
    :param base: The base name.
2393
 
 
2394
 
    :param exists: A callable returning True if the path parameter exists.
2395
 
    """
2396
 
    counter = 1
2397
 
    name = "%s.~%d~" % (base, counter)
2398
 
    while exists(name):
2399
 
        counter += 1
2400
 
        name = "%s.~%d~" % (base, counter)
2401
 
    return name
2402
 
 
2403
 
 
2404
 
def set_fd_cloexec(fd):
2405
 
    """Set a Unix file descriptor's FD_CLOEXEC flag.  Do nothing if platform
2406
 
    support for this is not available.
2407
 
    """
2408
 
    try:
2409
 
        import fcntl
2410
 
        old = fcntl.fcntl(fd, fcntl.F_GETFD)
2411
 
        fcntl.fcntl(fd, fcntl.F_SETFD, old | fcntl.FD_CLOEXEC)
2412
 
    except (ImportError, AttributeError):
2413
 
        # Either the fcntl module or specific constants are not present
2414
 
        pass
2415
 
 
2416
 
 
2417
 
def find_executable_on_path(name):
2418
 
    """Finds an executable on the PATH.
2419
 
    
2420
 
    On Windows, this will try to append each extension in the PATHEXT
2421
 
    environment variable to the name, if it cannot be found with the name
2422
 
    as given.
2423
 
    
2424
 
    :param name: The base name of the executable.
2425
 
    :return: The path to the executable found or None.
2426
 
    """
2427
 
    path = os.environ.get('PATH')
2428
 
    if path is None:
2429
 
        return None
2430
 
    path = path.split(os.pathsep)
2431
 
    if sys.platform == 'win32':
2432
 
        exts = os.environ.get('PATHEXT', '').split(os.pathsep)
2433
 
        exts = [ext.lower() for ext in exts]
2434
 
        base, ext = os.path.splitext(name)
2435
 
        if ext != '':
2436
 
            if ext.lower() not in exts:
2437
 
                return None
2438
 
            name = base
2439
 
            exts = [ext]
2440
 
    else:
2441
 
        exts = ['']
2442
 
    for ext in exts:
2443
 
        for d in path:
2444
 
            f = os.path.join(d, name) + ext
2445
 
            if os.access(f, os.X_OK):
2446
 
                return f
2447
 
    return None