/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to brzlib/osutils.py

  • Committer: Jelmer Vernooij
  • Date: 2017-05-21 12:42:30 UTC
  • mto: This revision was merged to the branch mainline in revision 6623.
  • Revision ID: jelmer@jelmer.uk-20170521124230-bsa5arlvjkyuuc44
s/bzr/brz/ in bash

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005-2011 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
from __future__ import absolute_import
 
18
 
 
19
import errno
 
20
import os
 
21
import re
 
22
import stat
 
23
import sys
 
24
import time
 
25
import codecs
 
26
 
 
27
from brzlib.lazy_import import lazy_import
 
28
lazy_import(globals(), """
 
29
from datetime import datetime
 
30
from datetime import timedelta
 
31
import getpass
 
32
import locale
 
33
import ntpath
 
34
import posixpath
 
35
import select
 
36
# We need to import both shutil and rmtree as we export the later on posix
 
37
# and need the former on windows
 
38
import shutil
 
39
from shutil import rmtree
 
40
import socket
 
41
import subprocess
 
42
# We need to import both tempfile and mkdtemp as we export the later on posix
 
43
# and need the former on windows
 
44
import tempfile
 
45
from tempfile import mkdtemp
 
46
import unicodedata
 
47
 
 
48
from brzlib import (
 
49
    cache_utf8,
 
50
    config,
 
51
    errors,
 
52
    trace,
 
53
    win32utils,
 
54
    )
 
55
from brzlib.i18n import gettext
 
56
""")
 
57
 
 
58
from brzlib.symbol_versioning import (
 
59
    DEPRECATED_PARAMETER,
 
60
    deprecated_function,
 
61
    deprecated_in,
 
62
    deprecated_passed,
 
63
    warn as warn_deprecated,
 
64
    )
 
65
 
 
66
from hashlib import (
 
67
    md5,
 
68
    sha1 as sha,
 
69
    )
 
70
 
 
71
 
 
72
import brzlib
 
73
from brzlib import symbol_versioning, _fs_enc
 
74
 
 
75
 
 
76
# Cross platform wall-clock time functionality with decent resolution.
 
77
# On Linux ``time.clock`` returns only CPU time. On Windows, ``time.time()``
 
78
# only has a resolution of ~15ms. Note that ``time.clock()`` is not
 
79
# synchronized with ``time.time()``, this is only meant to be used to find
 
80
# delta times by subtracting from another call to this function.
 
81
timer_func = time.time
 
82
if sys.platform == 'win32':
 
83
    timer_func = time.clock
 
84
 
 
85
# On win32, O_BINARY is used to indicate the file should
 
86
# be opened in binary mode, rather than text mode.
 
87
# On other platforms, O_BINARY doesn't exist, because
 
88
# they always open in binary mode, so it is okay to
 
89
# OR with 0 on those platforms.
 
90
# O_NOINHERIT and O_TEXT exists only on win32 too.
 
91
O_BINARY = getattr(os, 'O_BINARY', 0)
 
92
O_TEXT = getattr(os, 'O_TEXT', 0)
 
93
O_NOINHERIT = getattr(os, 'O_NOINHERIT', 0)
 
94
 
 
95
 
 
96
def get_unicode_argv():
 
97
    try:
 
98
        user_encoding = get_user_encoding()
 
99
        return [a.decode(user_encoding) for a in sys.argv[1:]]
 
100
    except UnicodeDecodeError:
 
101
        raise errors.BzrError(gettext("Parameter {0!r} encoding is unsupported by {1} "
 
102
            "application locale.").format(a, user_encoding))
 
103
 
 
104
 
 
105
def make_readonly(filename):
 
106
    """Make a filename read-only."""
 
107
    mod = os.lstat(filename).st_mode
 
108
    if not stat.S_ISLNK(mod):
 
109
        mod = mod & 0777555
 
110
        chmod_if_possible(filename, mod)
 
111
 
 
112
 
 
113
def make_writable(filename):
 
114
    mod = os.lstat(filename).st_mode
 
115
    if not stat.S_ISLNK(mod):
 
116
        mod = mod | 0200
 
117
        chmod_if_possible(filename, mod)
 
118
 
 
119
 
 
120
def chmod_if_possible(filename, mode):
 
121
    # Set file mode if that can be safely done.
 
122
    # Sometimes even on unix the filesystem won't allow it - see
 
123
    # https://bugs.launchpad.net/bzr/+bug/606537
 
124
    try:
 
125
        # It is probably faster to just do the chmod, rather than
 
126
        # doing a stat, and then trying to compare
 
127
        os.chmod(filename, mode)
 
128
    except (IOError, OSError),e:
 
129
        # Permission/access denied seems to commonly happen on smbfs; there's
 
130
        # probably no point warning about it.
 
131
        # <https://bugs.launchpad.net/bzr/+bug/606537>
 
132
        if getattr(e, 'errno') in (errno.EPERM, errno.EACCES):
 
133
            trace.mutter("ignore error on chmod of %r: %r" % (
 
134
                filename, e))
 
135
            return
 
136
        raise
 
137
 
 
138
 
 
139
def minimum_path_selection(paths):
 
140
    """Return the smallset subset of paths which are outside paths.
 
141
 
 
142
    :param paths: A container (and hence not None) of paths.
 
143
    :return: A set of paths sufficient to include everything in paths via
 
144
        is_inside, drawn from the paths parameter.
 
145
    """
 
146
    if len(paths) < 2:
 
147
        return set(paths)
 
148
 
 
149
    def sort_key(path):
 
150
        return path.split('/')
 
151
    sorted_paths = sorted(list(paths), key=sort_key)
 
152
 
 
153
    search_paths = [sorted_paths[0]]
 
154
    for path in sorted_paths[1:]:
 
155
        if not is_inside(search_paths[-1], path):
 
156
            # This path is unique, add it
 
157
            search_paths.append(path)
 
158
 
 
159
    return set(search_paths)
 
160
 
 
161
 
 
162
_QUOTE_RE = None
 
163
 
 
164
 
 
165
def quotefn(f):
 
166
    """Return a quoted filename filename
 
167
 
 
168
    This previously used backslash quoting, but that works poorly on
 
169
    Windows."""
 
170
    # TODO: I'm not really sure this is the best format either.x
 
171
    global _QUOTE_RE
 
172
    if _QUOTE_RE is None:
 
173
        _QUOTE_RE = re.compile(r'([^a-zA-Z0-9.,:/\\_~-])')
 
174
 
 
175
    if _QUOTE_RE.search(f):
 
176
        return '"' + f + '"'
 
177
    else:
 
178
        return f
 
179
 
 
180
 
 
181
_directory_kind = 'directory'
 
182
 
 
183
def get_umask():
 
184
    """Return the current umask"""
 
185
    # Assume that people aren't messing with the umask while running
 
186
    # XXX: This is not thread safe, but there is no way to get the
 
187
    #      umask without setting it
 
188
    umask = os.umask(0)
 
189
    os.umask(umask)
 
190
    return umask
 
191
 
 
192
 
 
193
_kind_marker_map = {
 
194
    "file": "",
 
195
    _directory_kind: "/",
 
196
    "symlink": "@",
 
197
    'tree-reference': '+',
 
198
}
 
199
 
 
200
 
 
201
def kind_marker(kind):
 
202
    try:
 
203
        return _kind_marker_map[kind]
 
204
    except KeyError:
 
205
        # Slightly faster than using .get(, '') when the common case is that
 
206
        # kind will be found
 
207
        return ''
 
208
 
 
209
 
 
210
lexists = getattr(os.path, 'lexists', None)
 
211
if lexists is None:
 
212
    def lexists(f):
 
213
        try:
 
214
            stat = getattr(os, 'lstat', os.stat)
 
215
            stat(f)
 
216
            return True
 
217
        except OSError, e:
 
218
            if e.errno == errno.ENOENT:
 
219
                return False;
 
220
            else:
 
221
                raise errors.BzrError(gettext("lstat/stat of ({0!r}): {1!r}").format(f, e))
 
222
 
 
223
 
 
224
def fancy_rename(old, new, rename_func, unlink_func):
 
225
    """A fancy rename, when you don't have atomic rename.
 
226
 
 
227
    :param old: The old path, to rename from
 
228
    :param new: The new path, to rename to
 
229
    :param rename_func: The potentially non-atomic rename function
 
230
    :param unlink_func: A way to delete the target file if the full rename
 
231
        succeeds
 
232
    """
 
233
    # sftp rename doesn't allow overwriting, so play tricks:
 
234
    base = os.path.basename(new)
 
235
    dirname = os.path.dirname(new)
 
236
    # callers use different encodings for the paths so the following MUST
 
237
    # respect that. We rely on python upcasting to unicode if new is unicode
 
238
    # and keeping a str if not.
 
239
    tmp_name = 'tmp.%s.%.9f.%d.%s' % (base, time.time(),
 
240
                                      os.getpid(), rand_chars(10))
 
241
    tmp_name = pathjoin(dirname, tmp_name)
 
242
 
 
243
    # Rename the file out of the way, but keep track if it didn't exist
 
244
    # We don't want to grab just any exception
 
245
    # something like EACCES should prevent us from continuing
 
246
    # The downside is that the rename_func has to throw an exception
 
247
    # with an errno = ENOENT, or NoSuchFile
 
248
    file_existed = False
 
249
    try:
 
250
        rename_func(new, tmp_name)
 
251
    except (errors.NoSuchFile,), e:
 
252
        pass
 
253
    except IOError, e:
 
254
        # RBC 20060103 abstraction leakage: the paramiko SFTP clients rename
 
255
        # function raises an IOError with errno is None when a rename fails.
 
256
        # This then gets caught here.
 
257
        if e.errno not in (None, errno.ENOENT, errno.ENOTDIR):
 
258
            raise
 
259
    except Exception, e:
 
260
        if (getattr(e, 'errno', None) is None
 
261
            or e.errno not in (errno.ENOENT, errno.ENOTDIR)):
 
262
            raise
 
263
    else:
 
264
        file_existed = True
 
265
 
 
266
    failure_exc = None
 
267
    success = False
 
268
    try:
 
269
        try:
 
270
            # This may throw an exception, in which case success will
 
271
            # not be set.
 
272
            rename_func(old, new)
 
273
            success = True
 
274
        except (IOError, OSError), e:
 
275
            # source and target may be aliases of each other (e.g. on a
 
276
            # case-insensitive filesystem), so we may have accidentally renamed
 
277
            # source by when we tried to rename target
 
278
            failure_exc = sys.exc_info()
 
279
            if (file_existed and e.errno in (None, errno.ENOENT)
 
280
                and old.lower() == new.lower()):
 
281
                # source and target are the same file on a case-insensitive
 
282
                # filesystem, so we don't generate an exception
 
283
                failure_exc = None
 
284
    finally:
 
285
        if file_existed:
 
286
            # If the file used to exist, rename it back into place
 
287
            # otherwise just delete it from the tmp location
 
288
            if success:
 
289
                unlink_func(tmp_name)
 
290
            else:
 
291
                rename_func(tmp_name, new)
 
292
    if failure_exc is not None:
 
293
        try:
 
294
            raise failure_exc[0], failure_exc[1], failure_exc[2]
 
295
        finally:
 
296
            del failure_exc
 
297
 
 
298
 
 
299
# In Python 2.4.2 and older, os.path.abspath and os.path.realpath
 
300
# choke on a Unicode string containing a relative path if
 
301
# os.getcwd() returns a non-sys.getdefaultencoding()-encoded
 
302
# string.
 
303
def _posix_abspath(path):
 
304
    # jam 20060426 rather than encoding to fsencoding
 
305
    # copy posixpath.abspath, but use os.getcwdu instead
 
306
    if not posixpath.isabs(path):
 
307
        path = posixpath.join(getcwd(), path)
 
308
    return _posix_normpath(path)
 
309
 
 
310
 
 
311
def _posix_realpath(path):
 
312
    return posixpath.realpath(path.encode(_fs_enc)).decode(_fs_enc)
 
313
 
 
314
 
 
315
def _posix_normpath(path):
 
316
    path = posixpath.normpath(path)
 
317
    # Bug 861008: posixpath.normpath() returns a path normalized according to
 
318
    # the POSIX standard, which stipulates (for compatibility reasons) that two
 
319
    # leading slashes must not be simplified to one, and only if there are 3 or
 
320
    # more should they be simplified as one. So we treat the leading 2 slashes
 
321
    # as a special case here by simply removing the first slash, as we consider
 
322
    # that breaking POSIX compatibility for this obscure feature is acceptable.
 
323
    # This is not a paranoid precaution, as we notably get paths like this when
 
324
    # the repo is hosted at the root of the filesystem, i.e. in "/".    
 
325
    if path.startswith('//'):
 
326
        path = path[1:]
 
327
    return path
 
328
 
 
329
 
 
330
def _posix_path_from_environ(key):
 
331
    """Get unicode path from `key` in environment or None if not present
 
332
 
 
333
    Note that posix systems use arbitrary byte strings for filesystem objects,
 
334
    so a path that raises BadFilenameEncoding here may still be accessible.
 
335
    """
 
336
    val = os.environ.get(key, None)
 
337
    if val is None:
 
338
        return val
 
339
    try:
 
340
        return val.decode(_fs_enc)
 
341
    except UnicodeDecodeError:
 
342
        # GZ 2011-12-12:Ideally want to include `key` in the exception message
 
343
        raise errors.BadFilenameEncoding(val, _fs_enc)
 
344
 
 
345
 
 
346
def _posix_get_home_dir():
 
347
    """Get the home directory of the current user as a unicode path"""
 
348
    path = posixpath.expanduser("~")
 
349
    try:
 
350
        return path.decode(_fs_enc)
 
351
    except UnicodeDecodeError:
 
352
        raise errors.BadFilenameEncoding(path, _fs_enc)
 
353
 
 
354
 
 
355
def _posix_getuser_unicode():
 
356
    """Get username from environment or password database as unicode"""
 
357
    name = getpass.getuser()
 
358
    user_encoding = get_user_encoding()
 
359
    try:
 
360
        return name.decode(user_encoding)
 
361
    except UnicodeDecodeError:
 
362
        raise errors.BzrError("Encoding of username %r is unsupported by %s "
 
363
            "application locale." % (name, user_encoding))
 
364
 
 
365
 
 
366
def _win32_fixdrive(path):
 
367
    """Force drive letters to be consistent.
 
368
 
 
369
    win32 is inconsistent whether it returns lower or upper case
 
370
    and even if it was consistent the user might type the other
 
371
    so we force it to uppercase
 
372
    running python.exe under cmd.exe return capital C:\\
 
373
    running win32 python inside a cygwin shell returns lowercase c:\\
 
374
    """
 
375
    drive, path = ntpath.splitdrive(path)
 
376
    return drive.upper() + path
 
377
 
 
378
 
 
379
def _win32_abspath(path):
 
380
    # Real ntpath.abspath doesn't have a problem with a unicode cwd
 
381
    return _win32_fixdrive(ntpath.abspath(unicode(path)).replace('\\', '/'))
 
382
 
 
383
 
 
384
def _win98_abspath(path):
 
385
    """Return the absolute version of a path.
 
386
    Windows 98 safe implementation (python reimplementation
 
387
    of Win32 API function GetFullPathNameW)
 
388
    """
 
389
    # Corner cases:
 
390
    #   C:\path     => C:/path
 
391
    #   C:/path     => C:/path
 
392
    #   \\HOST\path => //HOST/path
 
393
    #   //HOST/path => //HOST/path
 
394
    #   path        => C:/cwd/path
 
395
    #   /path       => C:/path
 
396
    path = unicode(path)
 
397
    # check for absolute path
 
398
    drive = ntpath.splitdrive(path)[0]
 
399
    if drive == '' and path[:2] not in('//','\\\\'):
 
400
        cwd = os.getcwdu()
 
401
        # we cannot simply os.path.join cwd and path
 
402
        # because os.path.join('C:','/path') produce '/path'
 
403
        # and this is incorrect
 
404
        if path[:1] in ('/','\\'):
 
405
            cwd = ntpath.splitdrive(cwd)[0]
 
406
            path = path[1:]
 
407
        path = cwd + '\\' + path
 
408
    return _win32_fixdrive(ntpath.normpath(path).replace('\\', '/'))
 
409
 
 
410
 
 
411
def _win32_realpath(path):
 
412
    # Real ntpath.realpath doesn't have a problem with a unicode cwd
 
413
    return _win32_fixdrive(ntpath.realpath(unicode(path)).replace('\\', '/'))
 
414
 
 
415
 
 
416
def _win32_pathjoin(*args):
 
417
    return ntpath.join(*args).replace('\\', '/')
 
418
 
 
419
 
 
420
def _win32_normpath(path):
 
421
    return _win32_fixdrive(ntpath.normpath(unicode(path)).replace('\\', '/'))
 
422
 
 
423
 
 
424
def _win32_getcwd():
 
425
    return _win32_fixdrive(os.getcwdu().replace('\\', '/'))
 
426
 
 
427
 
 
428
def _win32_mkdtemp(*args, **kwargs):
 
429
    return _win32_fixdrive(tempfile.mkdtemp(*args, **kwargs).replace('\\', '/'))
 
430
 
 
431
 
 
432
def _win32_rename(old, new):
 
433
    """We expect to be able to atomically replace 'new' with old.
 
434
 
 
435
    On win32, if new exists, it must be moved out of the way first,
 
436
    and then deleted.
 
437
    """
 
438
    try:
 
439
        fancy_rename(old, new, rename_func=os.rename, unlink_func=os.unlink)
 
440
    except OSError, e:
 
441
        if e.errno in (errno.EPERM, errno.EACCES, errno.EBUSY, errno.EINVAL):
 
442
            # If we try to rename a non-existant file onto cwd, we get
 
443
            # EPERM or EACCES instead of ENOENT, this will raise ENOENT
 
444
            # if the old path doesn't exist, sometimes we get EACCES
 
445
            # On Linux, we seem to get EBUSY, on Mac we get EINVAL
 
446
            os.lstat(old)
 
447
        raise
 
448
 
 
449
 
 
450
def _mac_getcwd():
 
451
    return unicodedata.normalize('NFC', os.getcwdu())
 
452
 
 
453
 
 
454
def _rename_wrap_exception(rename_func):
 
455
    """Adds extra information to any exceptions that come from rename().
 
456
 
 
457
    The exception has an updated message and 'old_filename' and 'new_filename'
 
458
    attributes.
 
459
    """
 
460
 
 
461
    def _rename_wrapper(old, new):
 
462
        try:
 
463
            rename_func(old, new)
 
464
        except OSError, e:
 
465
            detailed_error = OSError(e.errno, e.strerror +
 
466
                                " [occurred when renaming '%s' to '%s']" %
 
467
                                (old, new))
 
468
            detailed_error.old_filename = old
 
469
            detailed_error.new_filename = new
 
470
            raise detailed_error
 
471
 
 
472
    return _rename_wrapper
 
473
 
 
474
# Default rename wraps os.rename()
 
475
rename = _rename_wrap_exception(os.rename)
 
476
 
 
477
# Default is to just use the python builtins, but these can be rebound on
 
478
# particular platforms.
 
479
abspath = _posix_abspath
 
480
realpath = _posix_realpath
 
481
pathjoin = os.path.join
 
482
normpath = _posix_normpath
 
483
path_from_environ = _posix_path_from_environ
 
484
_get_home_dir = _posix_get_home_dir
 
485
getuser_unicode = _posix_getuser_unicode
 
486
getcwd = os.getcwdu
 
487
dirname = os.path.dirname
 
488
basename = os.path.basename
 
489
split = os.path.split
 
490
splitext = os.path.splitext
 
491
# These were already lazily imported into local scope
 
492
# mkdtemp = tempfile.mkdtemp
 
493
# rmtree = shutil.rmtree
 
494
lstat = os.lstat
 
495
fstat = os.fstat
 
496
 
 
497
def wrap_stat(st):
 
498
    return st
 
499
 
 
500
 
 
501
MIN_ABS_PATHLENGTH = 1
 
502
 
 
503
 
 
504
if sys.platform == 'win32':
 
505
    if win32utils.winver == 'Windows 98':
 
506
        abspath = _win98_abspath
 
507
    else:
 
508
        abspath = _win32_abspath
 
509
    realpath = _win32_realpath
 
510
    pathjoin = _win32_pathjoin
 
511
    normpath = _win32_normpath
 
512
    getcwd = _win32_getcwd
 
513
    mkdtemp = _win32_mkdtemp
 
514
    rename = _rename_wrap_exception(_win32_rename)
 
515
    try:
 
516
        from brzlib import _walkdirs_win32
 
517
    except ImportError:
 
518
        pass
 
519
    else:
 
520
        lstat = _walkdirs_win32.lstat
 
521
        fstat = _walkdirs_win32.fstat
 
522
        wrap_stat = _walkdirs_win32.wrap_stat
 
523
 
 
524
    MIN_ABS_PATHLENGTH = 3
 
525
 
 
526
    def _win32_delete_readonly(function, path, excinfo):
 
527
        """Error handler for shutil.rmtree function [for win32]
 
528
        Helps to remove files and dirs marked as read-only.
 
529
        """
 
530
        exception = excinfo[1]
 
531
        if function in (os.remove, os.rmdir) \
 
532
            and isinstance(exception, OSError) \
 
533
            and exception.errno == errno.EACCES:
 
534
            make_writable(path)
 
535
            function(path)
 
536
        else:
 
537
            raise
 
538
 
 
539
    def rmtree(path, ignore_errors=False, onerror=_win32_delete_readonly):
 
540
        """Replacer for shutil.rmtree: could remove readonly dirs/files"""
 
541
        return shutil.rmtree(path, ignore_errors, onerror)
 
542
 
 
543
    f = win32utils.get_unicode_argv     # special function or None
 
544
    if f is not None:
 
545
        get_unicode_argv = f
 
546
    path_from_environ = win32utils.get_environ_unicode
 
547
    _get_home_dir = win32utils.get_home_location
 
548
    getuser_unicode = win32utils.get_user_name
 
549
 
 
550
elif sys.platform == 'darwin':
 
551
    getcwd = _mac_getcwd
 
552
 
 
553
 
 
554
def get_terminal_encoding(trace=False):
 
555
    """Find the best encoding for printing to the screen.
 
556
 
 
557
    This attempts to check both sys.stdout and sys.stdin to see
 
558
    what encoding they are in, and if that fails it falls back to
 
559
    osutils.get_user_encoding().
 
560
    The problem is that on Windows, locale.getpreferredencoding()
 
561
    is not the same encoding as that used by the console:
 
562
    http://mail.python.org/pipermail/python-list/2003-May/162357.html
 
563
 
 
564
    On my standard US Windows XP, the preferred encoding is
 
565
    cp1252, but the console is cp437
 
566
 
 
567
    :param trace: If True trace the selected encoding via mutter().
 
568
    """
 
569
    from brzlib.trace import mutter
 
570
    output_encoding = getattr(sys.stdout, 'encoding', None)
 
571
    if not output_encoding:
 
572
        input_encoding = getattr(sys.stdin, 'encoding', None)
 
573
        if not input_encoding:
 
574
            output_encoding = get_user_encoding()
 
575
            if trace:
 
576
                mutter('encoding stdout as osutils.get_user_encoding() %r',
 
577
                   output_encoding)
 
578
        else:
 
579
            output_encoding = input_encoding
 
580
            if trace:
 
581
                mutter('encoding stdout as sys.stdin encoding %r',
 
582
                    output_encoding)
 
583
    else:
 
584
        if trace:
 
585
            mutter('encoding stdout as sys.stdout encoding %r', output_encoding)
 
586
    if output_encoding == 'cp0':
 
587
        # invalid encoding (cp0 means 'no codepage' on Windows)
 
588
        output_encoding = get_user_encoding()
 
589
        if trace:
 
590
            mutter('cp0 is invalid encoding.'
 
591
               ' encoding stdout as osutils.get_user_encoding() %r',
 
592
               output_encoding)
 
593
    # check encoding
 
594
    try:
 
595
        codecs.lookup(output_encoding)
 
596
    except LookupError:
 
597
        sys.stderr.write('brz: warning:'
 
598
                         ' unknown terminal encoding %s.\n'
 
599
                         '  Using encoding %s instead.\n'
 
600
                         % (output_encoding, get_user_encoding())
 
601
                        )
 
602
        output_encoding = get_user_encoding()
 
603
 
 
604
    return output_encoding
 
605
 
 
606
 
 
607
def normalizepath(f):
 
608
    if getattr(os.path, 'realpath', None) is not None:
 
609
        F = realpath
 
610
    else:
 
611
        F = abspath
 
612
    [p,e] = os.path.split(f)
 
613
    if e == "" or e == "." or e == "..":
 
614
        return F(f)
 
615
    else:
 
616
        return pathjoin(F(p), e)
 
617
 
 
618
 
 
619
def isdir(f):
 
620
    """True if f is an accessible directory."""
 
621
    try:
 
622
        return stat.S_ISDIR(os.lstat(f)[stat.ST_MODE])
 
623
    except OSError:
 
624
        return False
 
625
 
 
626
 
 
627
def isfile(f):
 
628
    """True if f is a regular file."""
 
629
    try:
 
630
        return stat.S_ISREG(os.lstat(f)[stat.ST_MODE])
 
631
    except OSError:
 
632
        return False
 
633
 
 
634
def islink(f):
 
635
    """True if f is a symlink."""
 
636
    try:
 
637
        return stat.S_ISLNK(os.lstat(f)[stat.ST_MODE])
 
638
    except OSError:
 
639
        return False
 
640
 
 
641
def is_inside(dir, fname):
 
642
    """True if fname is inside dir.
 
643
 
 
644
    The parameters should typically be passed to osutils.normpath first, so
 
645
    that . and .. and repeated slashes are eliminated, and the separators
 
646
    are canonical for the platform.
 
647
 
 
648
    The empty string as a dir name is taken as top-of-tree and matches
 
649
    everything.
 
650
    """
 
651
    # XXX: Most callers of this can actually do something smarter by
 
652
    # looking at the inventory
 
653
    if dir == fname:
 
654
        return True
 
655
 
 
656
    if dir == '':
 
657
        return True
 
658
 
 
659
    if dir[-1] != '/':
 
660
        dir += '/'
 
661
 
 
662
    return fname.startswith(dir)
 
663
 
 
664
 
 
665
def is_inside_any(dir_list, fname):
 
666
    """True if fname is inside any of given dirs."""
 
667
    for dirname in dir_list:
 
668
        if is_inside(dirname, fname):
 
669
            return True
 
670
    return False
 
671
 
 
672
 
 
673
def is_inside_or_parent_of_any(dir_list, fname):
 
674
    """True if fname is a child or a parent of any of the given files."""
 
675
    for dirname in dir_list:
 
676
        if is_inside(dirname, fname) or is_inside(fname, dirname):
 
677
            return True
 
678
    return False
 
679
 
 
680
 
 
681
def pumpfile(from_file, to_file, read_length=-1, buff_size=32768,
 
682
             report_activity=None, direction='read'):
 
683
    """Copy contents of one file to another.
 
684
 
 
685
    The read_length can either be -1 to read to end-of-file (EOF) or
 
686
    it can specify the maximum number of bytes to read.
 
687
 
 
688
    The buff_size represents the maximum size for each read operation
 
689
    performed on from_file.
 
690
 
 
691
    :param report_activity: Call this as bytes are read, see
 
692
        Transport._report_activity
 
693
    :param direction: Will be passed to report_activity
 
694
 
 
695
    :return: The number of bytes copied.
 
696
    """
 
697
    length = 0
 
698
    if read_length >= 0:
 
699
        # read specified number of bytes
 
700
 
 
701
        while read_length > 0:
 
702
            num_bytes_to_read = min(read_length, buff_size)
 
703
 
 
704
            block = from_file.read(num_bytes_to_read)
 
705
            if not block:
 
706
                # EOF reached
 
707
                break
 
708
            if report_activity is not None:
 
709
                report_activity(len(block), direction)
 
710
            to_file.write(block)
 
711
 
 
712
            actual_bytes_read = len(block)
 
713
            read_length -= actual_bytes_read
 
714
            length += actual_bytes_read
 
715
    else:
 
716
        # read to EOF
 
717
        while True:
 
718
            block = from_file.read(buff_size)
 
719
            if not block:
 
720
                # EOF reached
 
721
                break
 
722
            if report_activity is not None:
 
723
                report_activity(len(block), direction)
 
724
            to_file.write(block)
 
725
            length += len(block)
 
726
    return length
 
727
 
 
728
 
 
729
def pump_string_file(bytes, file_handle, segment_size=None):
 
730
    """Write bytes to file_handle in many smaller writes.
 
731
 
 
732
    :param bytes: The string to write.
 
733
    :param file_handle: The file to write to.
 
734
    """
 
735
    # Write data in chunks rather than all at once, because very large
 
736
    # writes fail on some platforms (e.g. Windows with SMB  mounted
 
737
    # drives).
 
738
    if not segment_size:
 
739
        segment_size = 5242880 # 5MB
 
740
    segments = range(len(bytes) / segment_size + 1)
 
741
    write = file_handle.write
 
742
    for segment_index in segments:
 
743
        segment = buffer(bytes, segment_index * segment_size, segment_size)
 
744
        write(segment)
 
745
 
 
746
 
 
747
def file_iterator(input_file, readsize=32768):
 
748
    while True:
 
749
        b = input_file.read(readsize)
 
750
        if len(b) == 0:
 
751
            break
 
752
        yield b
 
753
 
 
754
 
 
755
def sha_file(f):
 
756
    """Calculate the hexdigest of an open file.
 
757
 
 
758
    The file cursor should be already at the start.
 
759
    """
 
760
    s = sha()
 
761
    BUFSIZE = 128<<10
 
762
    while True:
 
763
        b = f.read(BUFSIZE)
 
764
        if not b:
 
765
            break
 
766
        s.update(b)
 
767
    return s.hexdigest()
 
768
 
 
769
 
 
770
def size_sha_file(f):
 
771
    """Calculate the size and hexdigest of an open file.
 
772
 
 
773
    The file cursor should be already at the start and
 
774
    the caller is responsible for closing the file afterwards.
 
775
    """
 
776
    size = 0
 
777
    s = sha()
 
778
    BUFSIZE = 128<<10
 
779
    while True:
 
780
        b = f.read(BUFSIZE)
 
781
        if not b:
 
782
            break
 
783
        size += len(b)
 
784
        s.update(b)
 
785
    return size, s.hexdigest()
 
786
 
 
787
 
 
788
def sha_file_by_name(fname):
 
789
    """Calculate the SHA1 of a file by reading the full text"""
 
790
    s = sha()
 
791
    f = os.open(fname, os.O_RDONLY | O_BINARY | O_NOINHERIT)
 
792
    try:
 
793
        while True:
 
794
            b = os.read(f, 1<<16)
 
795
            if not b:
 
796
                return s.hexdigest()
 
797
            s.update(b)
 
798
    finally:
 
799
        os.close(f)
 
800
 
 
801
 
 
802
def sha_strings(strings, _factory=sha):
 
803
    """Return the sha-1 of concatenation of strings"""
 
804
    s = _factory()
 
805
    map(s.update, strings)
 
806
    return s.hexdigest()
 
807
 
 
808
 
 
809
def sha_string(f, _factory=sha):
 
810
    return _factory(f).hexdigest()
 
811
 
 
812
 
 
813
def fingerprint_file(f):
 
814
    b = f.read()
 
815
    return {'size': len(b),
 
816
            'sha1': sha(b).hexdigest()}
 
817
 
 
818
 
 
819
def compare_files(a, b):
 
820
    """Returns true if equal in contents"""
 
821
    BUFSIZE = 4096
 
822
    while True:
 
823
        ai = a.read(BUFSIZE)
 
824
        bi = b.read(BUFSIZE)
 
825
        if ai != bi:
 
826
            return False
 
827
        if ai == '':
 
828
            return True
 
829
 
 
830
 
 
831
def gmtime(seconds=None):
 
832
    """Convert seconds since the Epoch to a time tuple expressing UTC (a.k.a.
 
833
    GMT). When 'seconds' is not passed in, convert the current time instead.
 
834
    Handy replacement for time.gmtime() buggy on Windows and 32-bit platforms.
 
835
    """
 
836
    if seconds is None:
 
837
        seconds = time.time()
 
838
    return (datetime(1970, 1, 1) + timedelta(seconds=seconds)).timetuple()
 
839
 
 
840
 
 
841
def local_time_offset(t=None):
 
842
    """Return offset of local zone from GMT, either at present or at time t."""
 
843
    if t is None:
 
844
        t = time.time()
 
845
    offset = datetime.fromtimestamp(t) - datetime.utcfromtimestamp(t)
 
846
    return offset.days * 86400 + offset.seconds
 
847
 
 
848
weekdays = ['Mon', 'Tue', 'Wed', 'Thu', 'Fri', 'Sat', 'Sun']
 
849
_default_format_by_weekday_num = [wd + " %Y-%m-%d %H:%M:%S" for wd in weekdays]
 
850
 
 
851
 
 
852
def format_date(t, offset=0, timezone='original', date_fmt=None,
 
853
                show_offset=True):
 
854
    """Return a formatted date string.
 
855
 
 
856
    :param t: Seconds since the epoch.
 
857
    :param offset: Timezone offset in seconds east of utc.
 
858
    :param timezone: How to display the time: 'utc', 'original' for the
 
859
         timezone specified by offset, or 'local' for the process's current
 
860
         timezone.
 
861
    :param date_fmt: strftime format.
 
862
    :param show_offset: Whether to append the timezone.
 
863
    """
 
864
    (date_fmt, tt, offset_str) = \
 
865
               _format_date(t, offset, timezone, date_fmt, show_offset)
 
866
    date_fmt = date_fmt.replace('%a', weekdays[tt[6]])
 
867
    date_str = time.strftime(date_fmt, tt)
 
868
    return date_str + offset_str
 
869
 
 
870
 
 
871
# Cache of formatted offset strings
 
872
_offset_cache = {}
 
873
 
 
874
 
 
875
def format_date_with_offset_in_original_timezone(t, offset=0,
 
876
    _cache=_offset_cache):
 
877
    """Return a formatted date string in the original timezone.
 
878
 
 
879
    This routine may be faster then format_date.
 
880
 
 
881
    :param t: Seconds since the epoch.
 
882
    :param offset: Timezone offset in seconds east of utc.
 
883
    """
 
884
    if offset is None:
 
885
        offset = 0
 
886
    tt = gmtime(t + offset)
 
887
    date_fmt = _default_format_by_weekday_num[tt[6]]
 
888
    date_str = time.strftime(date_fmt, tt)
 
889
    offset_str = _cache.get(offset, None)
 
890
    if offset_str is None:
 
891
        offset_str = ' %+03d%02d' % (offset / 3600, (offset / 60) % 60)
 
892
        _cache[offset] = offset_str
 
893
    return date_str + offset_str
 
894
 
 
895
 
 
896
def format_local_date(t, offset=0, timezone='original', date_fmt=None,
 
897
                      show_offset=True):
 
898
    """Return an unicode date string formatted according to the current locale.
 
899
 
 
900
    :param t: Seconds since the epoch.
 
901
    :param offset: Timezone offset in seconds east of utc.
 
902
    :param timezone: How to display the time: 'utc', 'original' for the
 
903
         timezone specified by offset, or 'local' for the process's current
 
904
         timezone.
 
905
    :param date_fmt: strftime format.
 
906
    :param show_offset: Whether to append the timezone.
 
907
    """
 
908
    (date_fmt, tt, offset_str) = \
 
909
               _format_date(t, offset, timezone, date_fmt, show_offset)
 
910
    date_str = time.strftime(date_fmt, tt)
 
911
    if not isinstance(date_str, unicode):
 
912
        date_str = date_str.decode(get_user_encoding(), 'replace')
 
913
    return date_str + offset_str
 
914
 
 
915
 
 
916
def _format_date(t, offset, timezone, date_fmt, show_offset):
 
917
    if timezone == 'utc':
 
918
        tt = gmtime(t)
 
919
        offset = 0
 
920
    elif timezone == 'original':
 
921
        if offset is None:
 
922
            offset = 0
 
923
        tt = gmtime(t + offset)
 
924
    elif timezone == 'local':
 
925
        tt = time.localtime(t)
 
926
        offset = local_time_offset(t)
 
927
    else:
 
928
        raise errors.UnsupportedTimezoneFormat(timezone)
 
929
    if date_fmt is None:
 
930
        date_fmt = "%a %Y-%m-%d %H:%M:%S"
 
931
    if show_offset:
 
932
        offset_str = ' %+03d%02d' % (offset / 3600, (offset / 60) % 60)
 
933
    else:
 
934
        offset_str = ''
 
935
    return (date_fmt, tt, offset_str)
 
936
 
 
937
 
 
938
def compact_date(when):
 
939
    return time.strftime('%Y%m%d%H%M%S', gmtime(when))
 
940
 
 
941
 
 
942
def format_delta(delta):
 
943
    """Get a nice looking string for a time delta.
 
944
 
 
945
    :param delta: The time difference in seconds, can be positive or negative.
 
946
        positive indicates time in the past, negative indicates time in the
 
947
        future. (usually time.time() - stored_time)
 
948
    :return: String formatted to show approximate resolution
 
949
    """
 
950
    delta = int(delta)
 
951
    if delta >= 0:
 
952
        direction = 'ago'
 
953
    else:
 
954
        direction = 'in the future'
 
955
        delta = -delta
 
956
 
 
957
    seconds = delta
 
958
    if seconds < 90: # print seconds up to 90 seconds
 
959
        if seconds == 1:
 
960
            return '%d second %s' % (seconds, direction,)
 
961
        else:
 
962
            return '%d seconds %s' % (seconds, direction)
 
963
 
 
964
    minutes = int(seconds / 60)
 
965
    seconds -= 60 * minutes
 
966
    if seconds == 1:
 
967
        plural_seconds = ''
 
968
    else:
 
969
        plural_seconds = 's'
 
970
    if minutes < 90: # print minutes, seconds up to 90 minutes
 
971
        if minutes == 1:
 
972
            return '%d minute, %d second%s %s' % (
 
973
                    minutes, seconds, plural_seconds, direction)
 
974
        else:
 
975
            return '%d minutes, %d second%s %s' % (
 
976
                    minutes, seconds, plural_seconds, direction)
 
977
 
 
978
    hours = int(minutes / 60)
 
979
    minutes -= 60 * hours
 
980
    if minutes == 1:
 
981
        plural_minutes = ''
 
982
    else:
 
983
        plural_minutes = 's'
 
984
 
 
985
    if hours == 1:
 
986
        return '%d hour, %d minute%s %s' % (hours, minutes,
 
987
                                            plural_minutes, direction)
 
988
    return '%d hours, %d minute%s %s' % (hours, minutes,
 
989
                                         plural_minutes, direction)
 
990
 
 
991
def filesize(f):
 
992
    """Return size of given open file."""
 
993
    return os.fstat(f.fileno())[stat.ST_SIZE]
 
994
 
 
995
 
 
996
# Alias os.urandom to support platforms (which?) without /dev/urandom and 
 
997
# override if it doesn't work. Avoid checking on windows where there is
 
998
# significant initialisation cost that can be avoided for some bzr calls.
 
999
 
 
1000
rand_bytes = os.urandom
 
1001
 
 
1002
if rand_bytes.__module__ != "nt":
 
1003
    try:
 
1004
        rand_bytes(1)
 
1005
    except NotImplementedError:
 
1006
        # not well seeded, but better than nothing
 
1007
        def rand_bytes(n):
 
1008
            import random
 
1009
            s = ''
 
1010
            while n:
 
1011
                s += chr(random.randint(0, 255))
 
1012
                n -= 1
 
1013
            return s
 
1014
 
 
1015
 
 
1016
ALNUM = '0123456789abcdefghijklmnopqrstuvwxyz'
 
1017
def rand_chars(num):
 
1018
    """Return a random string of num alphanumeric characters
 
1019
 
 
1020
    The result only contains lowercase chars because it may be used on
 
1021
    case-insensitive filesystems.
 
1022
    """
 
1023
    s = ''
 
1024
    for raw_byte in rand_bytes(num):
 
1025
        s += ALNUM[ord(raw_byte) % 36]
 
1026
    return s
 
1027
 
 
1028
 
 
1029
## TODO: We could later have path objects that remember their list
 
1030
## decomposition (might be too tricksy though.)
 
1031
 
 
1032
def splitpath(p):
 
1033
    """Turn string into list of parts."""
 
1034
    # split on either delimiter because people might use either on
 
1035
    # Windows
 
1036
    ps = re.split(r'[\\/]', p)
 
1037
 
 
1038
    rps = []
 
1039
    for f in ps:
 
1040
        if f == '..':
 
1041
            raise errors.BzrError(gettext("sorry, %r not allowed in path") % f)
 
1042
        elif (f == '.') or (f == ''):
 
1043
            pass
 
1044
        else:
 
1045
            rps.append(f)
 
1046
    return rps
 
1047
 
 
1048
 
 
1049
def joinpath(p):
 
1050
    for f in p:
 
1051
        if (f == '..') or (f is None) or (f == ''):
 
1052
            raise errors.BzrError(gettext("sorry, %r not allowed in path") % f)
 
1053
    return pathjoin(*p)
 
1054
 
 
1055
 
 
1056
def parent_directories(filename):
 
1057
    """Return the list of parent directories, deepest first.
 
1058
 
 
1059
    For example, parent_directories("a/b/c") -> ["a/b", "a"].
 
1060
    """
 
1061
    parents = []
 
1062
    parts = splitpath(dirname(filename))
 
1063
    while parts:
 
1064
        parents.append(joinpath(parts))
 
1065
        parts.pop()
 
1066
    return parents
 
1067
 
 
1068
 
 
1069
_extension_load_failures = []
 
1070
 
 
1071
 
 
1072
def failed_to_load_extension(exception):
 
1073
    """Handle failing to load a binary extension.
 
1074
 
 
1075
    This should be called from the ImportError block guarding the attempt to
 
1076
    import the native extension.  If this function returns, the pure-Python
 
1077
    implementation should be loaded instead::
 
1078
 
 
1079
    >>> try:
 
1080
    >>>     import brzlib._fictional_extension_pyx
 
1081
    >>> except ImportError, e:
 
1082
    >>>     brzlib.osutils.failed_to_load_extension(e)
 
1083
    >>>     import brzlib._fictional_extension_py
 
1084
    """
 
1085
    # NB: This docstring is just an example, not a doctest, because doctest
 
1086
    # currently can't cope with the use of lazy imports in this namespace --
 
1087
    # mbp 20090729
 
1088
 
 
1089
    # This currently doesn't report the failure at the time it occurs, because
 
1090
    # they tend to happen very early in startup when we can't check config
 
1091
    # files etc, and also we want to report all failures but not spam the user
 
1092
    # with 10 warnings.
 
1093
    exception_str = str(exception)
 
1094
    if exception_str not in _extension_load_failures:
 
1095
        trace.mutter("failed to load compiled extension: %s" % exception_str)
 
1096
        _extension_load_failures.append(exception_str)
 
1097
 
 
1098
 
 
1099
def report_extension_load_failures():
 
1100
    if not _extension_load_failures:
 
1101
        return
 
1102
    if config.GlobalStack().get('ignore_missing_extensions'):
 
1103
        return
 
1104
    # the warnings framework should by default show this only once
 
1105
    from brzlib.trace import warning
 
1106
    warning(
 
1107
        "brz: warning: some compiled extensions could not be loaded; "
 
1108
        "see <https://answers.launchpad.net/bzr/+faq/703>")
 
1109
    # we no longer show the specific missing extensions here, because it makes
 
1110
    # the message too long and scary - see
 
1111
    # https://bugs.launchpad.net/bzr/+bug/430529
 
1112
 
 
1113
 
 
1114
try:
 
1115
    from brzlib._chunks_to_lines_pyx import chunks_to_lines
 
1116
except ImportError, e:
 
1117
    failed_to_load_extension(e)
 
1118
    from brzlib._chunks_to_lines_py import chunks_to_lines
 
1119
 
 
1120
 
 
1121
def split_lines(s):
 
1122
    """Split s into lines, but without removing the newline characters."""
 
1123
    # Trivially convert a fulltext into a 'chunked' representation, and let
 
1124
    # chunks_to_lines do the heavy lifting.
 
1125
    if isinstance(s, str):
 
1126
        # chunks_to_lines only supports 8-bit strings
 
1127
        return chunks_to_lines([s])
 
1128
    else:
 
1129
        return _split_lines(s)
 
1130
 
 
1131
 
 
1132
def _split_lines(s):
 
1133
    """Split s into lines, but without removing the newline characters.
 
1134
 
 
1135
    This supports Unicode or plain string objects.
 
1136
    """
 
1137
    lines = s.split('\n')
 
1138
    result = [line + '\n' for line in lines[:-1]]
 
1139
    if lines[-1]:
 
1140
        result.append(lines[-1])
 
1141
    return result
 
1142
 
 
1143
 
 
1144
def hardlinks_good():
 
1145
    return sys.platform not in ('win32', 'cygwin', 'darwin')
 
1146
 
 
1147
 
 
1148
def link_or_copy(src, dest):
 
1149
    """Hardlink a file, or copy it if it can't be hardlinked."""
 
1150
    if not hardlinks_good():
 
1151
        shutil.copyfile(src, dest)
 
1152
        return
 
1153
    try:
 
1154
        os.link(src, dest)
 
1155
    except (OSError, IOError), e:
 
1156
        if e.errno != errno.EXDEV:
 
1157
            raise
 
1158
        shutil.copyfile(src, dest)
 
1159
 
 
1160
 
 
1161
def delete_any(path):
 
1162
    """Delete a file, symlink or directory.
 
1163
 
 
1164
    Will delete even if readonly.
 
1165
    """
 
1166
    try:
 
1167
       _delete_file_or_dir(path)
 
1168
    except (OSError, IOError), e:
 
1169
        if e.errno in (errno.EPERM, errno.EACCES):
 
1170
            # make writable and try again
 
1171
            try:
 
1172
                make_writable(path)
 
1173
            except (OSError, IOError):
 
1174
                pass
 
1175
            _delete_file_or_dir(path)
 
1176
        else:
 
1177
            raise
 
1178
 
 
1179
 
 
1180
def _delete_file_or_dir(path):
 
1181
    # Look Before You Leap (LBYL) is appropriate here instead of Easier to Ask for
 
1182
    # Forgiveness than Permission (EAFP) because:
 
1183
    # - root can damage a solaris file system by using unlink,
 
1184
    # - unlink raises different exceptions on different OSes (linux: EISDIR, win32:
 
1185
    #   EACCES, OSX: EPERM) when invoked on a directory.
 
1186
    if isdir(path): # Takes care of symlinks
 
1187
        os.rmdir(path)
 
1188
    else:
 
1189
        os.unlink(path)
 
1190
 
 
1191
 
 
1192
def has_symlinks():
 
1193
    if getattr(os, 'symlink', None) is not None:
 
1194
        return True
 
1195
    else:
 
1196
        return False
 
1197
 
 
1198
 
 
1199
def has_hardlinks():
 
1200
    if getattr(os, 'link', None) is not None:
 
1201
        return True
 
1202
    else:
 
1203
        return False
 
1204
 
 
1205
 
 
1206
def host_os_dereferences_symlinks():
 
1207
    return (has_symlinks()
 
1208
            and sys.platform not in ('cygwin', 'win32'))
 
1209
 
 
1210
 
 
1211
def readlink(abspath):
 
1212
    """Return a string representing the path to which the symbolic link points.
 
1213
 
 
1214
    :param abspath: The link absolute unicode path.
 
1215
 
 
1216
    This his guaranteed to return the symbolic link in unicode in all python
 
1217
    versions.
 
1218
    """
 
1219
    link = abspath.encode(_fs_enc)
 
1220
    target = os.readlink(link)
 
1221
    target = target.decode(_fs_enc)
 
1222
    return target
 
1223
 
 
1224
 
 
1225
def contains_whitespace(s):
 
1226
    """True if there are any whitespace characters in s."""
 
1227
    # string.whitespace can include '\xa0' in certain locales, because it is
 
1228
    # considered "non-breaking-space" as part of ISO-8859-1. But it
 
1229
    # 1) Isn't a breaking whitespace
 
1230
    # 2) Isn't one of ' \t\r\n' which are characters we sometimes use as
 
1231
    #    separators
 
1232
    # 3) '\xa0' isn't unicode safe since it is >128.
 
1233
 
 
1234
    # This should *not* be a unicode set of characters in case the source
 
1235
    # string is not a Unicode string. We can auto-up-cast the characters since
 
1236
    # they are ascii, but we don't want to auto-up-cast the string in case it
 
1237
    # is utf-8
 
1238
    for ch in ' \t\n\r\v\f':
 
1239
        if ch in s:
 
1240
            return True
 
1241
    else:
 
1242
        return False
 
1243
 
 
1244
 
 
1245
def contains_linebreaks(s):
 
1246
    """True if there is any vertical whitespace in s."""
 
1247
    for ch in '\f\n\r':
 
1248
        if ch in s:
 
1249
            return True
 
1250
    else:
 
1251
        return False
 
1252
 
 
1253
 
 
1254
def relpath(base, path):
 
1255
    """Return path relative to base, or raise PathNotChild exception.
 
1256
 
 
1257
    The path may be either an absolute path or a path relative to the
 
1258
    current working directory.
 
1259
 
 
1260
    os.path.commonprefix (python2.4) has a bad bug that it works just
 
1261
    on string prefixes, assuming that '/u' is a prefix of '/u2'.  This
 
1262
    avoids that problem.
 
1263
 
 
1264
    NOTE: `base` should not have a trailing slash otherwise you'll get
 
1265
    PathNotChild exceptions regardless of `path`.
 
1266
    """
 
1267
 
 
1268
    if len(base) < MIN_ABS_PATHLENGTH:
 
1269
        # must have space for e.g. a drive letter
 
1270
        raise ValueError(gettext('%r is too short to calculate a relative path')
 
1271
            % (base,))
 
1272
 
 
1273
    rp = abspath(path)
 
1274
 
 
1275
    s = []
 
1276
    head = rp
 
1277
    while True:
 
1278
        if len(head) <= len(base) and head != base:
 
1279
            raise errors.PathNotChild(rp, base)
 
1280
        if head == base:
 
1281
            break
 
1282
        head, tail = split(head)
 
1283
        if tail:
 
1284
            s.append(tail)
 
1285
 
 
1286
    if s:
 
1287
        return pathjoin(*reversed(s))
 
1288
    else:
 
1289
        return ''
 
1290
 
 
1291
 
 
1292
def _cicp_canonical_relpath(base, path):
 
1293
    """Return the canonical path relative to base.
 
1294
 
 
1295
    Like relpath, but on case-insensitive-case-preserving file-systems, this
 
1296
    will return the relpath as stored on the file-system rather than in the
 
1297
    case specified in the input string, for all existing portions of the path.
 
1298
 
 
1299
    This will cause O(N) behaviour if called for every path in a tree; if you
 
1300
    have a number of paths to convert, you should use canonical_relpaths().
 
1301
    """
 
1302
    # TODO: it should be possible to optimize this for Windows by using the
 
1303
    # win32 API FindFiles function to look for the specified name - but using
 
1304
    # os.listdir() still gives us the correct, platform agnostic semantics in
 
1305
    # the short term.
 
1306
 
 
1307
    rel = relpath(base, path)
 
1308
    # '.' will have been turned into ''
 
1309
    if not rel:
 
1310
        return rel
 
1311
 
 
1312
    abs_base = abspath(base)
 
1313
    current = abs_base
 
1314
    _listdir = os.listdir
 
1315
 
 
1316
    # use an explicit iterator so we can easily consume the rest on early exit.
 
1317
    bit_iter = iter(rel.split('/'))
 
1318
    for bit in bit_iter:
 
1319
        lbit = bit.lower()
 
1320
        try:
 
1321
            next_entries = _listdir(current)
 
1322
        except OSError: # enoent, eperm, etc
 
1323
            # We can't find this in the filesystem, so just append the
 
1324
            # remaining bits.
 
1325
            current = pathjoin(current, bit, *list(bit_iter))
 
1326
            break
 
1327
        for look in next_entries:
 
1328
            if lbit == look.lower():
 
1329
                current = pathjoin(current, look)
 
1330
                break
 
1331
        else:
 
1332
            # got to the end, nothing matched, so we just return the
 
1333
            # non-existing bits as they were specified (the filename may be
 
1334
            # the target of a move, for example).
 
1335
            current = pathjoin(current, bit, *list(bit_iter))
 
1336
            break
 
1337
    return current[len(abs_base):].lstrip('/')
 
1338
 
 
1339
# XXX - TODO - we need better detection/integration of case-insensitive
 
1340
# file-systems; Linux often sees FAT32 devices (or NFS-mounted OSX
 
1341
# filesystems), for example, so could probably benefit from the same basic
 
1342
# support there.  For now though, only Windows and OSX get that support, and
 
1343
# they get it for *all* file-systems!
 
1344
if sys.platform in ('win32', 'darwin'):
 
1345
    canonical_relpath = _cicp_canonical_relpath
 
1346
else:
 
1347
    canonical_relpath = relpath
 
1348
 
 
1349
def canonical_relpaths(base, paths):
 
1350
    """Create an iterable to canonicalize a sequence of relative paths.
 
1351
 
 
1352
    The intent is for this implementation to use a cache, vastly speeding
 
1353
    up multiple transformations in the same directory.
 
1354
    """
 
1355
    # but for now, we haven't optimized...
 
1356
    return [canonical_relpath(base, p) for p in paths]
 
1357
 
 
1358
 
 
1359
def decode_filename(filename):
 
1360
    """Decode the filename using the filesystem encoding
 
1361
 
 
1362
    If it is unicode, it is returned.
 
1363
    Otherwise it is decoded from the the filesystem's encoding. If decoding
 
1364
    fails, a errors.BadFilenameEncoding exception is raised.
 
1365
    """
 
1366
    if type(filename) is unicode:
 
1367
        return filename
 
1368
    try:
 
1369
        return filename.decode(_fs_enc)
 
1370
    except UnicodeDecodeError:
 
1371
        raise errors.BadFilenameEncoding(filename, _fs_enc)
 
1372
 
 
1373
 
 
1374
def safe_unicode(unicode_or_utf8_string):
 
1375
    """Coerce unicode_or_utf8_string into unicode.
 
1376
 
 
1377
    If it is unicode, it is returned.
 
1378
    Otherwise it is decoded from utf-8. If decoding fails, the exception is
 
1379
    wrapped in a BzrBadParameterNotUnicode exception.
 
1380
    """
 
1381
    if isinstance(unicode_or_utf8_string, unicode):
 
1382
        return unicode_or_utf8_string
 
1383
    try:
 
1384
        return unicode_or_utf8_string.decode('utf8')
 
1385
    except UnicodeDecodeError:
 
1386
        raise errors.BzrBadParameterNotUnicode(unicode_or_utf8_string)
 
1387
 
 
1388
 
 
1389
def safe_utf8(unicode_or_utf8_string):
 
1390
    """Coerce unicode_or_utf8_string to a utf8 string.
 
1391
 
 
1392
    If it is a str, it is returned.
 
1393
    If it is Unicode, it is encoded into a utf-8 string.
 
1394
    """
 
1395
    if isinstance(unicode_or_utf8_string, str):
 
1396
        # TODO: jam 20070209 This is overkill, and probably has an impact on
 
1397
        #       performance if we are dealing with lots of apis that want a
 
1398
        #       utf-8 revision id
 
1399
        try:
 
1400
            # Make sure it is a valid utf-8 string
 
1401
            unicode_or_utf8_string.decode('utf-8')
 
1402
        except UnicodeDecodeError:
 
1403
            raise errors.BzrBadParameterNotUnicode(unicode_or_utf8_string)
 
1404
        return unicode_or_utf8_string
 
1405
    return unicode_or_utf8_string.encode('utf-8')
 
1406
 
 
1407
 
 
1408
_revision_id_warning = ('Unicode revision ids were deprecated in bzr 0.15.'
 
1409
                        ' Revision id generators should be creating utf8'
 
1410
                        ' revision ids.')
 
1411
 
 
1412
 
 
1413
def safe_revision_id(unicode_or_utf8_string, warn=True):
 
1414
    """Revision ids should now be utf8, but at one point they were unicode.
 
1415
 
 
1416
    :param unicode_or_utf8_string: A possibly Unicode revision_id. (can also be
 
1417
        utf8 or None).
 
1418
    :param warn: Functions that are sanitizing user data can set warn=False
 
1419
    :return: None or a utf8 revision id.
 
1420
    """
 
1421
    if (unicode_or_utf8_string is None
 
1422
        or unicode_or_utf8_string.__class__ == str):
 
1423
        return unicode_or_utf8_string
 
1424
    if warn:
 
1425
        symbol_versioning.warn(_revision_id_warning, DeprecationWarning,
 
1426
                               stacklevel=2)
 
1427
    return cache_utf8.encode(unicode_or_utf8_string)
 
1428
 
 
1429
 
 
1430
_file_id_warning = ('Unicode file ids were deprecated in bzr 0.15. File id'
 
1431
                    ' generators should be creating utf8 file ids.')
 
1432
 
 
1433
 
 
1434
def safe_file_id(unicode_or_utf8_string, warn=True):
 
1435
    """File ids should now be utf8, but at one point they were unicode.
 
1436
 
 
1437
    This is the same as safe_utf8, except it uses the cached encode functions
 
1438
    to save a little bit of performance.
 
1439
 
 
1440
    :param unicode_or_utf8_string: A possibly Unicode file_id. (can also be
 
1441
        utf8 or None).
 
1442
    :param warn: Functions that are sanitizing user data can set warn=False
 
1443
    :return: None or a utf8 file id.
 
1444
    """
 
1445
    if (unicode_or_utf8_string is None
 
1446
        or unicode_or_utf8_string.__class__ == str):
 
1447
        return unicode_or_utf8_string
 
1448
    if warn:
 
1449
        symbol_versioning.warn(_file_id_warning, DeprecationWarning,
 
1450
                               stacklevel=2)
 
1451
    return cache_utf8.encode(unicode_or_utf8_string)
 
1452
 
 
1453
 
 
1454
_platform_normalizes_filenames = False
 
1455
if sys.platform == 'darwin':
 
1456
    _platform_normalizes_filenames = True
 
1457
 
 
1458
 
 
1459
def normalizes_filenames():
 
1460
    """Return True if this platform normalizes unicode filenames.
 
1461
 
 
1462
    Only Mac OSX.
 
1463
    """
 
1464
    return _platform_normalizes_filenames
 
1465
 
 
1466
 
 
1467
def _accessible_normalized_filename(path):
 
1468
    """Get the unicode normalized path, and if you can access the file.
 
1469
 
 
1470
    On platforms where the system normalizes filenames (Mac OSX),
 
1471
    you can access a file by any path which will normalize correctly.
 
1472
    On platforms where the system does not normalize filenames
 
1473
    (everything else), you have to access a file by its exact path.
 
1474
 
 
1475
    Internally, bzr only supports NFC normalization, since that is
 
1476
    the standard for XML documents.
 
1477
 
 
1478
    So return the normalized path, and a flag indicating if the file
 
1479
    can be accessed by that path.
 
1480
    """
 
1481
 
 
1482
    return unicodedata.normalize('NFC', unicode(path)), True
 
1483
 
 
1484
 
 
1485
def _inaccessible_normalized_filename(path):
 
1486
    __doc__ = _accessible_normalized_filename.__doc__
 
1487
 
 
1488
    normalized = unicodedata.normalize('NFC', unicode(path))
 
1489
    return normalized, normalized == path
 
1490
 
 
1491
 
 
1492
if _platform_normalizes_filenames:
 
1493
    normalized_filename = _accessible_normalized_filename
 
1494
else:
 
1495
    normalized_filename = _inaccessible_normalized_filename
 
1496
 
 
1497
 
 
1498
def set_signal_handler(signum, handler, restart_syscall=True):
 
1499
    """A wrapper for signal.signal that also calls siginterrupt(signum, False)
 
1500
    on platforms that support that.
 
1501
 
 
1502
    :param restart_syscall: if set, allow syscalls interrupted by a signal to
 
1503
        automatically restart (by calling `signal.siginterrupt(signum,
 
1504
        False)`).  May be ignored if the feature is not available on this
 
1505
        platform or Python version.
 
1506
    """
 
1507
    try:
 
1508
        import signal
 
1509
        siginterrupt = signal.siginterrupt
 
1510
    except ImportError:
 
1511
        # This python implementation doesn't provide signal support, hence no
 
1512
        # handler exists
 
1513
        return None
 
1514
    except AttributeError:
 
1515
        # siginterrupt doesn't exist on this platform, or for this version
 
1516
        # of Python.
 
1517
        siginterrupt = lambda signum, flag: None
 
1518
    if restart_syscall:
 
1519
        def sig_handler(*args):
 
1520
            # Python resets the siginterrupt flag when a signal is
 
1521
            # received.  <http://bugs.python.org/issue8354>
 
1522
            # As a workaround for some cases, set it back the way we want it.
 
1523
            siginterrupt(signum, False)
 
1524
            # Now run the handler function passed to set_signal_handler.
 
1525
            handler(*args)
 
1526
    else:
 
1527
        sig_handler = handler
 
1528
    old_handler = signal.signal(signum, sig_handler)
 
1529
    if restart_syscall:
 
1530
        siginterrupt(signum, False)
 
1531
    return old_handler
 
1532
 
 
1533
 
 
1534
default_terminal_width = 80
 
1535
"""The default terminal width for ttys.
 
1536
 
 
1537
This is defined so that higher levels can share a common fallback value when
 
1538
terminal_width() returns None.
 
1539
"""
 
1540
 
 
1541
# Keep some state so that terminal_width can detect if _terminal_size has
 
1542
# returned a different size since the process started.  See docstring and
 
1543
# comments of terminal_width for details.
 
1544
# _terminal_size_state has 3 possible values: no_data, unchanged, and changed.
 
1545
_terminal_size_state = 'no_data'
 
1546
_first_terminal_size = None
 
1547
 
 
1548
def terminal_width():
 
1549
    """Return terminal width.
 
1550
 
 
1551
    None is returned if the width can't established precisely.
 
1552
 
 
1553
    The rules are:
 
1554
    - if BZR_COLUMNS is set, returns its value
 
1555
    - if there is no controlling terminal, returns None
 
1556
    - query the OS, if the queried size has changed since the last query,
 
1557
      return its value,
 
1558
    - if COLUMNS is set, returns its value,
 
1559
    - if the OS has a value (even though it's never changed), return its value.
 
1560
 
 
1561
    From there, we need to query the OS to get the size of the controlling
 
1562
    terminal.
 
1563
 
 
1564
    On Unices we query the OS by:
 
1565
    - get termios.TIOCGWINSZ
 
1566
    - if an error occurs or a negative value is obtained, returns None
 
1567
 
 
1568
    On Windows we query the OS by:
 
1569
    - win32utils.get_console_size() decides,
 
1570
    - returns None on error (provided default value)
 
1571
    """
 
1572
    # Note to implementors: if changing the rules for determining the width,
 
1573
    # make sure you've considered the behaviour in these cases:
 
1574
    #  - M-x shell in emacs, where $COLUMNS is set and TIOCGWINSZ returns 0,0.
 
1575
    #  - bzr log | less, in bash, where $COLUMNS not set and TIOCGWINSZ returns
 
1576
    #    0,0.
 
1577
    #  - (add more interesting cases here, if you find any)
 
1578
    # Some programs implement "Use $COLUMNS (if set) until SIGWINCH occurs",
 
1579
    # but we don't want to register a signal handler because it is impossible
 
1580
    # to do so without risking EINTR errors in Python <= 2.6.5 (see
 
1581
    # <http://bugs.python.org/issue8354>).  Instead we check TIOCGWINSZ every
 
1582
    # time so we can notice if the reported size has changed, which should have
 
1583
    # a similar effect.
 
1584
 
 
1585
    # If BZR_COLUMNS is set, take it, user is always right
 
1586
    # Except if they specified 0 in which case, impose no limit here
 
1587
    try:
 
1588
        width = int(os.environ['BZR_COLUMNS'])
 
1589
    except (KeyError, ValueError):
 
1590
        width = None
 
1591
    if width is not None:
 
1592
        if width > 0:
 
1593
            return width
 
1594
        else:
 
1595
            return None
 
1596
 
 
1597
    isatty = getattr(sys.stdout, 'isatty', None)
 
1598
    if isatty is None or not isatty():
 
1599
        # Don't guess, setting BZR_COLUMNS is the recommended way to override.
 
1600
        return None
 
1601
 
 
1602
    # Query the OS
 
1603
    width, height = os_size = _terminal_size(None, None)
 
1604
    global _first_terminal_size, _terminal_size_state
 
1605
    if _terminal_size_state == 'no_data':
 
1606
        _first_terminal_size = os_size
 
1607
        _terminal_size_state = 'unchanged'
 
1608
    elif (_terminal_size_state == 'unchanged' and
 
1609
          _first_terminal_size != os_size):
 
1610
        _terminal_size_state = 'changed'
 
1611
 
 
1612
    # If the OS claims to know how wide the terminal is, and this value has
 
1613
    # ever changed, use that.
 
1614
    if _terminal_size_state == 'changed':
 
1615
        if width is not None and width > 0:
 
1616
            return width
 
1617
 
 
1618
    # If COLUMNS is set, use it.
 
1619
    try:
 
1620
        return int(os.environ['COLUMNS'])
 
1621
    except (KeyError, ValueError):
 
1622
        pass
 
1623
 
 
1624
    # Finally, use an unchanged size from the OS, if we have one.
 
1625
    if _terminal_size_state == 'unchanged':
 
1626
        if width is not None and width > 0:
 
1627
            return width
 
1628
 
 
1629
    # The width could not be determined.
 
1630
    return None
 
1631
 
 
1632
 
 
1633
def _win32_terminal_size(width, height):
 
1634
    width, height = win32utils.get_console_size(defaultx=width, defaulty=height)
 
1635
    return width, height
 
1636
 
 
1637
 
 
1638
def _ioctl_terminal_size(width, height):
 
1639
    try:
 
1640
        import struct, fcntl, termios
 
1641
        s = struct.pack('HHHH', 0, 0, 0, 0)
 
1642
        x = fcntl.ioctl(1, termios.TIOCGWINSZ, s)
 
1643
        height, width = struct.unpack('HHHH', x)[0:2]
 
1644
    except (IOError, AttributeError):
 
1645
        pass
 
1646
    return width, height
 
1647
 
 
1648
_terminal_size = None
 
1649
"""Returns the terminal size as (width, height).
 
1650
 
 
1651
:param width: Default value for width.
 
1652
:param height: Default value for height.
 
1653
 
 
1654
This is defined specifically for each OS and query the size of the controlling
 
1655
terminal. If any error occurs, the provided default values should be returned.
 
1656
"""
 
1657
if sys.platform == 'win32':
 
1658
    _terminal_size = _win32_terminal_size
 
1659
else:
 
1660
    _terminal_size = _ioctl_terminal_size
 
1661
 
 
1662
 
 
1663
def supports_executable():
 
1664
    return sys.platform != "win32"
 
1665
 
 
1666
 
 
1667
def supports_posix_readonly():
 
1668
    """Return True if 'readonly' has POSIX semantics, False otherwise.
 
1669
 
 
1670
    Notably, a win32 readonly file cannot be deleted, unlike POSIX where the
 
1671
    directory controls creation/deletion, etc.
 
1672
 
 
1673
    And under win32, readonly means that the directory itself cannot be
 
1674
    deleted.  The contents of a readonly directory can be changed, unlike POSIX
 
1675
    where files in readonly directories cannot be added, deleted or renamed.
 
1676
    """
 
1677
    return sys.platform != "win32"
 
1678
 
 
1679
 
 
1680
def set_or_unset_env(env_variable, value):
 
1681
    """Modify the environment, setting or removing the env_variable.
 
1682
 
 
1683
    :param env_variable: The environment variable in question
 
1684
    :param value: The value to set the environment to. If None, then
 
1685
        the variable will be removed.
 
1686
    :return: The original value of the environment variable.
 
1687
    """
 
1688
    orig_val = os.environ.get(env_variable)
 
1689
    if value is None:
 
1690
        if orig_val is not None:
 
1691
            del os.environ[env_variable]
 
1692
    else:
 
1693
        if isinstance(value, unicode):
 
1694
            value = value.encode(get_user_encoding())
 
1695
        os.environ[env_variable] = value
 
1696
    return orig_val
 
1697
 
 
1698
 
 
1699
_validWin32PathRE = re.compile(r'^([A-Za-z]:[/\\])?[^:<>*"?\|]*$')
 
1700
 
 
1701
 
 
1702
def check_legal_path(path):
 
1703
    """Check whether the supplied path is legal.
 
1704
    This is only required on Windows, so we don't test on other platforms
 
1705
    right now.
 
1706
    """
 
1707
    if sys.platform != "win32":
 
1708
        return
 
1709
    if _validWin32PathRE.match(path) is None:
 
1710
        raise errors.IllegalPath(path)
 
1711
 
 
1712
 
 
1713
_WIN32_ERROR_DIRECTORY = 267 # Similar to errno.ENOTDIR
 
1714
 
 
1715
def _is_error_enotdir(e):
 
1716
    """Check if this exception represents ENOTDIR.
 
1717
 
 
1718
    Unfortunately, python is very inconsistent about the exception
 
1719
    here. The cases are:
 
1720
      1) Linux, Mac OSX all versions seem to set errno == ENOTDIR
 
1721
      2) Windows, Python2.4, uses errno == ERROR_DIRECTORY (267)
 
1722
         which is the windows error code.
 
1723
      3) Windows, Python2.5 uses errno == EINVAL and
 
1724
         winerror == ERROR_DIRECTORY
 
1725
 
 
1726
    :param e: An Exception object (expected to be OSError with an errno
 
1727
        attribute, but we should be able to cope with anything)
 
1728
    :return: True if this represents an ENOTDIR error. False otherwise.
 
1729
    """
 
1730
    en = getattr(e, 'errno', None)
 
1731
    if (en == errno.ENOTDIR
 
1732
        or (sys.platform == 'win32'
 
1733
            and (en == _WIN32_ERROR_DIRECTORY
 
1734
                 or (en == errno.EINVAL
 
1735
                     and getattr(e, 'winerror', None) == _WIN32_ERROR_DIRECTORY)
 
1736
        ))):
 
1737
        return True
 
1738
    return False
 
1739
 
 
1740
 
 
1741
def walkdirs(top, prefix=""):
 
1742
    """Yield data about all the directories in a tree.
 
1743
 
 
1744
    This yields all the data about the contents of a directory at a time.
 
1745
    After each directory has been yielded, if the caller has mutated the list
 
1746
    to exclude some directories, they are then not descended into.
 
1747
 
 
1748
    The data yielded is of the form:
 
1749
    ((directory-relpath, directory-path-from-top),
 
1750
    [(relpath, basename, kind, lstat, path-from-top), ...]),
 
1751
     - directory-relpath is the relative path of the directory being returned
 
1752
       with respect to top. prefix is prepended to this.
 
1753
     - directory-path-from-root is the path including top for this directory.
 
1754
       It is suitable for use with os functions.
 
1755
     - relpath is the relative path within the subtree being walked.
 
1756
     - basename is the basename of the path
 
1757
     - kind is the kind of the file now. If unknown then the file is not
 
1758
       present within the tree - but it may be recorded as versioned. See
 
1759
       versioned_kind.
 
1760
     - lstat is the stat data *if* the file was statted.
 
1761
     - planned, not implemented:
 
1762
       path_from_tree_root is the path from the root of the tree.
 
1763
 
 
1764
    :param prefix: Prefix the relpaths that are yielded with 'prefix'. This
 
1765
        allows one to walk a subtree but get paths that are relative to a tree
 
1766
        rooted higher up.
 
1767
    :return: an iterator over the dirs.
 
1768
    """
 
1769
    #TODO there is a bit of a smell where the results of the directory-
 
1770
    # summary in this, and the path from the root, may not agree
 
1771
    # depending on top and prefix - i.e. ./foo and foo as a pair leads to
 
1772
    # potentially confusing output. We should make this more robust - but
 
1773
    # not at a speed cost. RBC 20060731
 
1774
    _lstat = os.lstat
 
1775
    _directory = _directory_kind
 
1776
    _listdir = os.listdir
 
1777
    _kind_from_mode = file_kind_from_stat_mode
 
1778
    pending = [(safe_unicode(prefix), "", _directory, None, safe_unicode(top))]
 
1779
    while pending:
 
1780
        # 0 - relpath, 1- basename, 2- kind, 3- stat, 4-toppath
 
1781
        relroot, _, _, _, top = pending.pop()
 
1782
        if relroot:
 
1783
            relprefix = relroot + u'/'
 
1784
        else:
 
1785
            relprefix = ''
 
1786
        top_slash = top + u'/'
 
1787
 
 
1788
        dirblock = []
 
1789
        append = dirblock.append
 
1790
        try:
 
1791
            names = sorted(map(decode_filename, _listdir(top)))
 
1792
        except OSError, e:
 
1793
            if not _is_error_enotdir(e):
 
1794
                raise
 
1795
        else:
 
1796
            for name in names:
 
1797
                abspath = top_slash + name
 
1798
                statvalue = _lstat(abspath)
 
1799
                kind = _kind_from_mode(statvalue.st_mode)
 
1800
                append((relprefix + name, name, kind, statvalue, abspath))
 
1801
        yield (relroot, top), dirblock
 
1802
 
 
1803
        # push the user specified dirs from dirblock
 
1804
        pending.extend(d for d in reversed(dirblock) if d[2] == _directory)
 
1805
 
 
1806
 
 
1807
class DirReader(object):
 
1808
    """An interface for reading directories."""
 
1809
 
 
1810
    def top_prefix_to_starting_dir(self, top, prefix=""):
 
1811
        """Converts top and prefix to a starting dir entry
 
1812
 
 
1813
        :param top: A utf8 path
 
1814
        :param prefix: An optional utf8 path to prefix output relative paths
 
1815
            with.
 
1816
        :return: A tuple starting with prefix, and ending with the native
 
1817
            encoding of top.
 
1818
        """
 
1819
        raise NotImplementedError(self.top_prefix_to_starting_dir)
 
1820
 
 
1821
    def read_dir(self, prefix, top):
 
1822
        """Read a specific dir.
 
1823
 
 
1824
        :param prefix: A utf8 prefix to be preprended to the path basenames.
 
1825
        :param top: A natively encoded path to read.
 
1826
        :return: A list of the directories contents. Each item contains:
 
1827
            (utf8_relpath, utf8_name, kind, lstatvalue, native_abspath)
 
1828
        """
 
1829
        raise NotImplementedError(self.read_dir)
 
1830
 
 
1831
 
 
1832
_selected_dir_reader = None
 
1833
 
 
1834
 
 
1835
def _walkdirs_utf8(top, prefix=""):
 
1836
    """Yield data about all the directories in a tree.
 
1837
 
 
1838
    This yields the same information as walkdirs() only each entry is yielded
 
1839
    in utf-8. On platforms which have a filesystem encoding of utf8 the paths
 
1840
    are returned as exact byte-strings.
 
1841
 
 
1842
    :return: yields a tuple of (dir_info, [file_info])
 
1843
        dir_info is (utf8_relpath, path-from-top)
 
1844
        file_info is (utf8_relpath, utf8_name, kind, lstat, path-from-top)
 
1845
        if top is an absolute path, path-from-top is also an absolute path.
 
1846
        path-from-top might be unicode or utf8, but it is the correct path to
 
1847
        pass to os functions to affect the file in question. (such as os.lstat)
 
1848
    """
 
1849
    global _selected_dir_reader
 
1850
    if _selected_dir_reader is None:
 
1851
        if sys.platform == "win32" and win32utils.winver == 'Windows NT':
 
1852
            # Win98 doesn't have unicode apis like FindFirstFileW
 
1853
            # TODO: We possibly could support Win98 by falling back to the
 
1854
            #       original FindFirstFile, and using TCHAR instead of WCHAR,
 
1855
            #       but that gets a bit tricky, and requires custom compiling
 
1856
            #       for win98 anyway.
 
1857
            try:
 
1858
                from brzlib._walkdirs_win32 import Win32ReadDir
 
1859
                _selected_dir_reader = Win32ReadDir()
 
1860
            except ImportError:
 
1861
                pass
 
1862
        elif _fs_enc in ('utf-8', 'ascii'):
 
1863
            try:
 
1864
                from brzlib._readdir_pyx import UTF8DirReader
 
1865
                _selected_dir_reader = UTF8DirReader()
 
1866
            except ImportError, e:
 
1867
                failed_to_load_extension(e)
 
1868
                pass
 
1869
 
 
1870
    if _selected_dir_reader is None:
 
1871
        # Fallback to the python version
 
1872
        _selected_dir_reader = UnicodeDirReader()
 
1873
 
 
1874
    # 0 - relpath, 1- basename, 2- kind, 3- stat, 4-toppath
 
1875
    # But we don't actually uses 1-3 in pending, so set them to None
 
1876
    pending = [[_selected_dir_reader.top_prefix_to_starting_dir(top, prefix)]]
 
1877
    read_dir = _selected_dir_reader.read_dir
 
1878
    _directory = _directory_kind
 
1879
    while pending:
 
1880
        relroot, _, _, _, top = pending[-1].pop()
 
1881
        if not pending[-1]:
 
1882
            pending.pop()
 
1883
        dirblock = sorted(read_dir(relroot, top))
 
1884
        yield (relroot, top), dirblock
 
1885
        # push the user specified dirs from dirblock
 
1886
        next = [d for d in reversed(dirblock) if d[2] == _directory]
 
1887
        if next:
 
1888
            pending.append(next)
 
1889
 
 
1890
 
 
1891
class UnicodeDirReader(DirReader):
 
1892
    """A dir reader for non-utf8 file systems, which transcodes."""
 
1893
 
 
1894
    __slots__ = ['_utf8_encode']
 
1895
 
 
1896
    def __init__(self):
 
1897
        self._utf8_encode = codecs.getencoder('utf8')
 
1898
 
 
1899
    def top_prefix_to_starting_dir(self, top, prefix=""):
 
1900
        """See DirReader.top_prefix_to_starting_dir."""
 
1901
        return (safe_utf8(prefix), None, None, None, safe_unicode(top))
 
1902
 
 
1903
    def read_dir(self, prefix, top):
 
1904
        """Read a single directory from a non-utf8 file system.
 
1905
 
 
1906
        top, and the abspath element in the output are unicode, all other paths
 
1907
        are utf8. Local disk IO is done via unicode calls to listdir etc.
 
1908
 
 
1909
        This is currently the fallback code path when the filesystem encoding is
 
1910
        not UTF-8. It may be better to implement an alternative so that we can
 
1911
        safely handle paths that are not properly decodable in the current
 
1912
        encoding.
 
1913
 
 
1914
        See DirReader.read_dir for details.
 
1915
        """
 
1916
        _utf8_encode = self._utf8_encode
 
1917
        _lstat = os.lstat
 
1918
        _listdir = os.listdir
 
1919
        _kind_from_mode = file_kind_from_stat_mode
 
1920
 
 
1921
        if prefix:
 
1922
            relprefix = prefix + '/'
 
1923
        else:
 
1924
            relprefix = ''
 
1925
        top_slash = top + u'/'
 
1926
 
 
1927
        dirblock = []
 
1928
        append = dirblock.append
 
1929
        for name in sorted(_listdir(top)):
 
1930
            try:
 
1931
                name_utf8 = _utf8_encode(name)[0]
 
1932
            except UnicodeDecodeError:
 
1933
                raise errors.BadFilenameEncoding(
 
1934
                    _utf8_encode(relprefix)[0] + name, _fs_enc)
 
1935
            abspath = top_slash + name
 
1936
            statvalue = _lstat(abspath)
 
1937
            kind = _kind_from_mode(statvalue.st_mode)
 
1938
            append((relprefix + name_utf8, name_utf8, kind, statvalue, abspath))
 
1939
        return dirblock
 
1940
 
 
1941
 
 
1942
def copy_tree(from_path, to_path, handlers={}):
 
1943
    """Copy all of the entries in from_path into to_path.
 
1944
 
 
1945
    :param from_path: The base directory to copy.
 
1946
    :param to_path: The target directory. If it does not exist, it will
 
1947
        be created.
 
1948
    :param handlers: A dictionary of functions, which takes a source and
 
1949
        destinations for files, directories, etc.
 
1950
        It is keyed on the file kind, such as 'directory', 'symlink', or 'file'
 
1951
        'file', 'directory', and 'symlink' should always exist.
 
1952
        If they are missing, they will be replaced with 'os.mkdir()',
 
1953
        'os.readlink() + os.symlink()', and 'shutil.copy2()', respectively.
 
1954
    """
 
1955
    # Now, just copy the existing cached tree to the new location
 
1956
    # We use a cheap trick here.
 
1957
    # Absolute paths are prefixed with the first parameter
 
1958
    # relative paths are prefixed with the second.
 
1959
    # So we can get both the source and target returned
 
1960
    # without any extra work.
 
1961
 
 
1962
    def copy_dir(source, dest):
 
1963
        os.mkdir(dest)
 
1964
 
 
1965
    def copy_link(source, dest):
 
1966
        """Copy the contents of a symlink"""
 
1967
        link_to = os.readlink(source)
 
1968
        os.symlink(link_to, dest)
 
1969
 
 
1970
    real_handlers = {'file':shutil.copy2,
 
1971
                     'symlink':copy_link,
 
1972
                     'directory':copy_dir,
 
1973
                    }
 
1974
    real_handlers.update(handlers)
 
1975
 
 
1976
    if not os.path.exists(to_path):
 
1977
        real_handlers['directory'](from_path, to_path)
 
1978
 
 
1979
    for dir_info, entries in walkdirs(from_path, prefix=to_path):
 
1980
        for relpath, name, kind, st, abspath in entries:
 
1981
            real_handlers[kind](abspath, relpath)
 
1982
 
 
1983
 
 
1984
def copy_ownership_from_path(dst, src=None):
 
1985
    """Copy usr/grp ownership from src file/dir to dst file/dir.
 
1986
 
 
1987
    If src is None, the containing directory is used as source. If chown
 
1988
    fails, the error is ignored and a warning is printed.
 
1989
    """
 
1990
    chown = getattr(os, 'chown', None)
 
1991
    if chown is None:
 
1992
        return
 
1993
 
 
1994
    if src == None:
 
1995
        src = os.path.dirname(dst)
 
1996
        if src == '':
 
1997
            src = '.'
 
1998
 
 
1999
    try:
 
2000
        s = os.stat(src)
 
2001
        chown(dst, s.st_uid, s.st_gid)
 
2002
    except OSError, e:
 
2003
        trace.warning(
 
2004
            'Unable to copy ownership from "%s" to "%s". '
 
2005
            'You may want to set it manually.', src, dst)
 
2006
        trace.log_exception_quietly()
 
2007
 
 
2008
 
 
2009
def path_prefix_key(path):
 
2010
    """Generate a prefix-order path key for path.
 
2011
 
 
2012
    This can be used to sort paths in the same way that walkdirs does.
 
2013
    """
 
2014
    return (dirname(path) , path)
 
2015
 
 
2016
 
 
2017
def compare_paths_prefix_order(path_a, path_b):
 
2018
    """Compare path_a and path_b to generate the same order walkdirs uses."""
 
2019
    key_a = path_prefix_key(path_a)
 
2020
    key_b = path_prefix_key(path_b)
 
2021
    return cmp(key_a, key_b)
 
2022
 
 
2023
 
 
2024
_cached_user_encoding = None
 
2025
 
 
2026
 
 
2027
def get_user_encoding(use_cache=DEPRECATED_PARAMETER):
 
2028
    """Find out what the preferred user encoding is.
 
2029
 
 
2030
    This is generally the encoding that is used for command line parameters
 
2031
    and file contents. This may be different from the terminal encoding
 
2032
    or the filesystem encoding.
 
2033
 
 
2034
    :return: A string defining the preferred user encoding
 
2035
    """
 
2036
    global _cached_user_encoding
 
2037
    if deprecated_passed(use_cache):
 
2038
        warn_deprecated("use_cache should only have been used for tests",
 
2039
            DeprecationWarning, stacklevel=2) 
 
2040
    if _cached_user_encoding is not None:
 
2041
        return _cached_user_encoding
 
2042
 
 
2043
    if os.name == 'posix' and getattr(locale, 'CODESET', None) is not None:
 
2044
        # Use the existing locale settings and call nl_langinfo directly
 
2045
        # rather than going through getpreferredencoding. This avoids
 
2046
        # <http://bugs.python.org/issue6202> on OSX Python 2.6 and the
 
2047
        # possibility of the setlocale call throwing an error.
 
2048
        user_encoding = locale.nl_langinfo(locale.CODESET)
 
2049
    else:
 
2050
        # GZ 2011-12-19: On windows could call GetACP directly instead.
 
2051
        user_encoding = locale.getpreferredencoding(False)
 
2052
 
 
2053
    try:
 
2054
        user_encoding = codecs.lookup(user_encoding).name
 
2055
    except LookupError:
 
2056
        if user_encoding not in ("", "cp0"):
 
2057
            sys.stderr.write('brz: warning:'
 
2058
                             ' unknown encoding %s.'
 
2059
                             ' Continuing with ascii encoding.\n'
 
2060
                             % user_encoding
 
2061
                            )
 
2062
        user_encoding = 'ascii'
 
2063
    else:
 
2064
        # Get 'ascii' when setlocale has not been called or LANG=C or unset.
 
2065
        if user_encoding == 'ascii':
 
2066
            if sys.platform == 'darwin':
 
2067
                # OSX is special-cased in Python to have a UTF-8 filesystem
 
2068
                # encoding and previously had LANG set here if not present.
 
2069
                user_encoding = 'utf-8'
 
2070
            # GZ 2011-12-19: Maybe UTF-8 should be the default in this case
 
2071
            #                for some other posix platforms as well.
 
2072
 
 
2073
    _cached_user_encoding = user_encoding
 
2074
    return user_encoding
 
2075
 
 
2076
 
 
2077
def get_diff_header_encoding():
 
2078
    return get_terminal_encoding()
 
2079
 
 
2080
 
 
2081
def get_host_name():
 
2082
    """Return the current unicode host name.
 
2083
 
 
2084
    This is meant to be used in place of socket.gethostname() because that
 
2085
    behaves inconsistently on different platforms.
 
2086
    """
 
2087
    if sys.platform == "win32":
 
2088
        return win32utils.get_host_name()
 
2089
    else:
 
2090
        import socket
 
2091
        return socket.gethostname().decode(get_user_encoding())
 
2092
 
 
2093
 
 
2094
# We must not read/write any more than 64k at a time from/to a socket so we
 
2095
# don't risk "no buffer space available" errors on some platforms.  Windows in
 
2096
# particular is likely to throw WSAECONNABORTED or WSAENOBUFS if given too much
 
2097
# data at once.
 
2098
MAX_SOCKET_CHUNK = 64 * 1024
 
2099
 
 
2100
_end_of_stream_errors = [errno.ECONNRESET, errno.EPIPE, errno.EINVAL]
 
2101
for _eno in ['WSAECONNRESET', 'WSAECONNABORTED']:
 
2102
    _eno = getattr(errno, _eno, None)
 
2103
    if _eno is not None:
 
2104
        _end_of_stream_errors.append(_eno)
 
2105
del _eno
 
2106
 
 
2107
 
 
2108
def read_bytes_from_socket(sock, report_activity=None,
 
2109
        max_read_size=MAX_SOCKET_CHUNK):
 
2110
    """Read up to max_read_size of bytes from sock and notify of progress.
 
2111
 
 
2112
    Translates "Connection reset by peer" into file-like EOF (return an
 
2113
    empty string rather than raise an error), and repeats the recv if
 
2114
    interrupted by a signal.
 
2115
    """
 
2116
    while 1:
 
2117
        try:
 
2118
            bytes = sock.recv(max_read_size)
 
2119
        except socket.error, e:
 
2120
            eno = e.args[0]
 
2121
            if eno in _end_of_stream_errors:
 
2122
                # The connection was closed by the other side.  Callers expect
 
2123
                # an empty string to signal end-of-stream.
 
2124
                return ""
 
2125
            elif eno == errno.EINTR:
 
2126
                # Retry the interrupted recv.
 
2127
                continue
 
2128
            raise
 
2129
        else:
 
2130
            if report_activity is not None:
 
2131
                report_activity(len(bytes), 'read')
 
2132
            return bytes
 
2133
 
 
2134
 
 
2135
def recv_all(socket, count):
 
2136
    """Receive an exact number of bytes.
 
2137
 
 
2138
    Regular Socket.recv() may return less than the requested number of bytes,
 
2139
    depending on what's in the OS buffer.  MSG_WAITALL is not available
 
2140
    on all platforms, but this should work everywhere.  This will return
 
2141
    less than the requested amount if the remote end closes.
 
2142
 
 
2143
    This isn't optimized and is intended mostly for use in testing.
 
2144
    """
 
2145
    b = ''
 
2146
    while len(b) < count:
 
2147
        new = read_bytes_from_socket(socket, None, count - len(b))
 
2148
        if new == '':
 
2149
            break # eof
 
2150
        b += new
 
2151
    return b
 
2152
 
 
2153
 
 
2154
def send_all(sock, bytes, report_activity=None):
 
2155
    """Send all bytes on a socket.
 
2156
 
 
2157
    Breaks large blocks in smaller chunks to avoid buffering limitations on
 
2158
    some platforms, and catches EINTR which may be thrown if the send is
 
2159
    interrupted by a signal.
 
2160
 
 
2161
    This is preferred to socket.sendall(), because it avoids portability bugs
 
2162
    and provides activity reporting.
 
2163
 
 
2164
    :param report_activity: Call this as bytes are read, see
 
2165
        Transport._report_activity
 
2166
    """
 
2167
    sent_total = 0
 
2168
    byte_count = len(bytes)
 
2169
    while sent_total < byte_count:
 
2170
        try:
 
2171
            sent = sock.send(buffer(bytes, sent_total, MAX_SOCKET_CHUNK))
 
2172
        except (socket.error, IOError), e:
 
2173
            if e.args[0] in _end_of_stream_errors:
 
2174
                raise errors.ConnectionReset(
 
2175
                    "Error trying to write to socket", e)
 
2176
            if e.args[0] != errno.EINTR:
 
2177
                raise
 
2178
        else:
 
2179
            if sent == 0:
 
2180
                raise errors.ConnectionReset('Sending to %s returned 0 bytes'
 
2181
                                             % (sock,))
 
2182
            sent_total += sent
 
2183
            if report_activity is not None:
 
2184
                report_activity(sent, 'write')
 
2185
 
 
2186
 
 
2187
def connect_socket(address):
 
2188
    # Slight variation of the socket.create_connection() function (provided by
 
2189
    # python-2.6) that can fail if getaddrinfo returns an empty list. We also
 
2190
    # provide it for previous python versions. Also, we don't use the timeout
 
2191
    # parameter (provided by the python implementation) so we don't implement
 
2192
    # it either).
 
2193
    err = socket.error('getaddrinfo returns an empty list')
 
2194
    host, port = address
 
2195
    for res in socket.getaddrinfo(host, port, 0, socket.SOCK_STREAM):
 
2196
        af, socktype, proto, canonname, sa = res
 
2197
        sock = None
 
2198
        try:
 
2199
            sock = socket.socket(af, socktype, proto)
 
2200
            sock.connect(sa)
 
2201
            return sock
 
2202
 
 
2203
        except socket.error, err:
 
2204
            # 'err' is now the most recent error
 
2205
            if sock is not None:
 
2206
                sock.close()
 
2207
    raise err
 
2208
 
 
2209
 
 
2210
def dereference_path(path):
 
2211
    """Determine the real path to a file.
 
2212
 
 
2213
    All parent elements are dereferenced.  But the file itself is not
 
2214
    dereferenced.
 
2215
    :param path: The original path.  May be absolute or relative.
 
2216
    :return: the real path *to* the file
 
2217
    """
 
2218
    parent, base = os.path.split(path)
 
2219
    # The pathjoin for '.' is a workaround for Python bug #1213894.
 
2220
    # (initial path components aren't dereferenced)
 
2221
    return pathjoin(realpath(pathjoin('.', parent)), base)
 
2222
 
 
2223
 
 
2224
def supports_mapi():
 
2225
    """Return True if we can use MAPI to launch a mail client."""
 
2226
    return sys.platform == "win32"
 
2227
 
 
2228
 
 
2229
def resource_string(package, resource_name):
 
2230
    """Load a resource from a package and return it as a string.
 
2231
 
 
2232
    Note: Only packages that start with brzlib are currently supported.
 
2233
 
 
2234
    This is designed to be a lightweight implementation of resource
 
2235
    loading in a way which is API compatible with the same API from
 
2236
    pkg_resources. See
 
2237
    http://peak.telecommunity.com/DevCenter/PkgResources#basic-resource-access.
 
2238
    If and when pkg_resources becomes a standard library, this routine
 
2239
    can delegate to it.
 
2240
    """
 
2241
    # Check package name is within brzlib
 
2242
    if package == "brzlib":
 
2243
        resource_relpath = resource_name
 
2244
    elif package.startswith("brzlib."):
 
2245
        package = package[len("brzlib."):].replace('.', os.sep)
 
2246
        resource_relpath = pathjoin(package, resource_name)
 
2247
    else:
 
2248
        raise errors.BzrError('resource package %s not in brzlib' % package)
 
2249
 
 
2250
    # Map the resource to a file and read its contents
 
2251
    base = dirname(brzlib.__file__)
 
2252
    if getattr(sys, 'frozen', None):    # bzr.exe
 
2253
        base = abspath(pathjoin(base, '..', '..'))
 
2254
    f = file(pathjoin(base, resource_relpath), "rU")
 
2255
    try:
 
2256
        return f.read()
 
2257
    finally:
 
2258
        f.close()
 
2259
 
 
2260
def file_kind_from_stat_mode_thunk(mode):
 
2261
    global file_kind_from_stat_mode
 
2262
    if file_kind_from_stat_mode is file_kind_from_stat_mode_thunk:
 
2263
        try:
 
2264
            from brzlib._readdir_pyx import UTF8DirReader
 
2265
            file_kind_from_stat_mode = UTF8DirReader().kind_from_mode
 
2266
        except ImportError, e:
 
2267
            # This is one time where we won't warn that an extension failed to
 
2268
            # load. The extension is never available on Windows anyway.
 
2269
            from brzlib._readdir_py import (
 
2270
                _kind_from_mode as file_kind_from_stat_mode
 
2271
                )
 
2272
    return file_kind_from_stat_mode(mode)
 
2273
file_kind_from_stat_mode = file_kind_from_stat_mode_thunk
 
2274
 
 
2275
def file_stat(f, _lstat=os.lstat):
 
2276
    try:
 
2277
        # XXX cache?
 
2278
        return _lstat(f)
 
2279
    except OSError, e:
 
2280
        if getattr(e, 'errno', None) in (errno.ENOENT, errno.ENOTDIR):
 
2281
            raise errors.NoSuchFile(f)
 
2282
        raise
 
2283
 
 
2284
def file_kind(f, _lstat=os.lstat):
 
2285
    stat_value = file_stat(f, _lstat)
 
2286
    return file_kind_from_stat_mode(stat_value.st_mode)
 
2287
 
 
2288
def until_no_eintr(f, *a, **kw):
 
2289
    """Run f(*a, **kw), retrying if an EINTR error occurs.
 
2290
 
 
2291
    WARNING: you must be certain that it is safe to retry the call repeatedly
 
2292
    if EINTR does occur.  This is typically only true for low-level operations
 
2293
    like os.read.  If in any doubt, don't use this.
 
2294
 
 
2295
    Keep in mind that this is not a complete solution to EINTR.  There is
 
2296
    probably code in the Python standard library and other dependencies that
 
2297
    may encounter EINTR if a signal arrives (and there is signal handler for
 
2298
    that signal).  So this function can reduce the impact for IO that brzlib
 
2299
    directly controls, but it is not a complete solution.
 
2300
    """
 
2301
    # Borrowed from Twisted's twisted.python.util.untilConcludes function.
 
2302
    while True:
 
2303
        try:
 
2304
            return f(*a, **kw)
 
2305
        except (IOError, OSError), e:
 
2306
            if e.errno == errno.EINTR:
 
2307
                continue
 
2308
            raise
 
2309
 
 
2310
 
 
2311
@deprecated_function(deprecated_in((2, 2, 0)))
 
2312
def re_compile_checked(re_string, flags=0, where=""):
 
2313
    """Return a compiled re, or raise a sensible error.
 
2314
 
 
2315
    This should only be used when compiling user-supplied REs.
 
2316
 
 
2317
    :param re_string: Text form of regular expression.
 
2318
    :param flags: eg re.IGNORECASE
 
2319
    :param where: Message explaining to the user the context where
 
2320
        it occurred, eg 'log search filter'.
 
2321
    """
 
2322
    # from https://bugs.launchpad.net/bzr/+bug/251352
 
2323
    try:
 
2324
        re_obj = re.compile(re_string, flags)
 
2325
        re_obj.search("")
 
2326
        return re_obj
 
2327
    except errors.InvalidPattern, e:
 
2328
        if where:
 
2329
            where = ' in ' + where
 
2330
        # despite the name 'error' is a type
 
2331
        raise errors.BzrCommandError('Invalid regular expression%s: %s'
 
2332
            % (where, e.msg))
 
2333
 
 
2334
 
 
2335
if sys.platform == "win32":
 
2336
    def getchar():
 
2337
        import msvcrt
 
2338
        return msvcrt.getch()
 
2339
else:
 
2340
    def getchar():
 
2341
        import tty
 
2342
        import termios
 
2343
        fd = sys.stdin.fileno()
 
2344
        settings = termios.tcgetattr(fd)
 
2345
        try:
 
2346
            tty.setraw(fd)
 
2347
            ch = sys.stdin.read(1)
 
2348
        finally:
 
2349
            termios.tcsetattr(fd, termios.TCSADRAIN, settings)
 
2350
        return ch
 
2351
 
 
2352
if sys.platform.startswith('linux'):
 
2353
    def _local_concurrency():
 
2354
        try:
 
2355
            return os.sysconf('SC_NPROCESSORS_ONLN')
 
2356
        except (ValueError, OSError, AttributeError):
 
2357
            return None
 
2358
elif sys.platform == 'darwin':
 
2359
    def _local_concurrency():
 
2360
        return subprocess.Popen(['sysctl', '-n', 'hw.availcpu'],
 
2361
                                stdout=subprocess.PIPE).communicate()[0]
 
2362
elif "bsd" in sys.platform:
 
2363
    def _local_concurrency():
 
2364
        return subprocess.Popen(['sysctl', '-n', 'hw.ncpu'],
 
2365
                                stdout=subprocess.PIPE).communicate()[0]
 
2366
elif sys.platform == 'sunos5':
 
2367
    def _local_concurrency():
 
2368
        return subprocess.Popen(['psrinfo', '-p',],
 
2369
                                stdout=subprocess.PIPE).communicate()[0]
 
2370
elif sys.platform == "win32":
 
2371
    def _local_concurrency():
 
2372
        # This appears to return the number of cores.
 
2373
        return os.environ.get('NUMBER_OF_PROCESSORS')
 
2374
else:
 
2375
    def _local_concurrency():
 
2376
        # Who knows ?
 
2377
        return None
 
2378
 
 
2379
 
 
2380
_cached_local_concurrency = None
 
2381
 
 
2382
def local_concurrency(use_cache=True):
 
2383
    """Return how many processes can be run concurrently.
 
2384
 
 
2385
    Rely on platform specific implementations and default to 1 (one) if
 
2386
    anything goes wrong.
 
2387
    """
 
2388
    global _cached_local_concurrency
 
2389
 
 
2390
    if _cached_local_concurrency is not None and use_cache:
 
2391
        return _cached_local_concurrency
 
2392
 
 
2393
    concurrency = os.environ.get('BZR_CONCURRENCY', None)
 
2394
    if concurrency is None:
 
2395
        try:
 
2396
            import multiprocessing
 
2397
            concurrency = multiprocessing.cpu_count()
 
2398
        except (ImportError, NotImplementedError):
 
2399
            # multiprocessing is only available on Python >= 2.6
 
2400
            # and multiprocessing.cpu_count() isn't implemented on all
 
2401
            # platforms
 
2402
            try:
 
2403
                concurrency = _local_concurrency()
 
2404
            except (OSError, IOError):
 
2405
                pass
 
2406
    try:
 
2407
        concurrency = int(concurrency)
 
2408
    except (TypeError, ValueError):
 
2409
        concurrency = 1
 
2410
    if use_cache:
 
2411
        _cached_concurrency = concurrency
 
2412
    return concurrency
 
2413
 
 
2414
 
 
2415
class UnicodeOrBytesToBytesWriter(codecs.StreamWriter):
 
2416
    """A stream writer that doesn't decode str arguments."""
 
2417
 
 
2418
    def __init__(self, encode, stream, errors='strict'):
 
2419
        codecs.StreamWriter.__init__(self, stream, errors)
 
2420
        self.encode = encode
 
2421
 
 
2422
    def write(self, object):
 
2423
        if type(object) is str:
 
2424
            self.stream.write(object)
 
2425
        else:
 
2426
            data, _ = self.encode(object, self.errors)
 
2427
            self.stream.write(data)
 
2428
 
 
2429
if sys.platform == 'win32':
 
2430
    def open_file(filename, mode='r', bufsize=-1):
 
2431
        """This function is used to override the ``open`` builtin.
 
2432
 
 
2433
        But it uses O_NOINHERIT flag so the file handle is not inherited by
 
2434
        child processes.  Deleting or renaming a closed file opened with this
 
2435
        function is not blocking child processes.
 
2436
        """
 
2437
        writing = 'w' in mode
 
2438
        appending = 'a' in mode
 
2439
        updating = '+' in mode
 
2440
        binary = 'b' in mode
 
2441
 
 
2442
        flags = O_NOINHERIT
 
2443
        # see http://msdn.microsoft.com/en-us/library/yeby3zcb%28VS.71%29.aspx
 
2444
        # for flags for each modes.
 
2445
        if binary:
 
2446
            flags |= O_BINARY
 
2447
        else:
 
2448
            flags |= O_TEXT
 
2449
 
 
2450
        if writing:
 
2451
            if updating:
 
2452
                flags |= os.O_RDWR
 
2453
            else:
 
2454
                flags |= os.O_WRONLY
 
2455
            flags |= os.O_CREAT | os.O_TRUNC
 
2456
        elif appending:
 
2457
            if updating:
 
2458
                flags |= os.O_RDWR
 
2459
            else:
 
2460
                flags |= os.O_WRONLY
 
2461
            flags |= os.O_CREAT | os.O_APPEND
 
2462
        else: #reading
 
2463
            if updating:
 
2464
                flags |= os.O_RDWR
 
2465
            else:
 
2466
                flags |= os.O_RDONLY
 
2467
 
 
2468
        return os.fdopen(os.open(filename, flags), mode, bufsize)
 
2469
else:
 
2470
    open_file = open
 
2471
 
 
2472
 
 
2473
def available_backup_name(base, exists):
 
2474
    """Find a non-existing backup file name.
 
2475
 
 
2476
    This will *not* create anything, this only return a 'free' entry.  This
 
2477
    should be used for checking names in a directory below a locked
 
2478
    tree/branch/repo to avoid race conditions. This is LBYL (Look Before You
 
2479
    Leap) and generally discouraged.
 
2480
 
 
2481
    :param base: The base name.
 
2482
 
 
2483
    :param exists: A callable returning True if the path parameter exists.
 
2484
    """
 
2485
    counter = 1
 
2486
    name = "%s.~%d~" % (base, counter)
 
2487
    while exists(name):
 
2488
        counter += 1
 
2489
        name = "%s.~%d~" % (base, counter)
 
2490
    return name
 
2491
 
 
2492
 
 
2493
def set_fd_cloexec(fd):
 
2494
    """Set a Unix file descriptor's FD_CLOEXEC flag.  Do nothing if platform
 
2495
    support for this is not available.
 
2496
    """
 
2497
    try:
 
2498
        import fcntl
 
2499
        old = fcntl.fcntl(fd, fcntl.F_GETFD)
 
2500
        fcntl.fcntl(fd, fcntl.F_SETFD, old | fcntl.FD_CLOEXEC)
 
2501
    except (ImportError, AttributeError):
 
2502
        # Either the fcntl module or specific constants are not present
 
2503
        pass
 
2504
 
 
2505
 
 
2506
def find_executable_on_path(name):
 
2507
    """Finds an executable on the PATH.
 
2508
    
 
2509
    On Windows, this will try to append each extension in the PATHEXT
 
2510
    environment variable to the name, if it cannot be found with the name
 
2511
    as given.
 
2512
    
 
2513
    :param name: The base name of the executable.
 
2514
    :return: The path to the executable found or None.
 
2515
    """
 
2516
    if sys.platform == 'win32':
 
2517
        exts = os.environ.get('PATHEXT', '').split(os.pathsep)
 
2518
        exts = [ext.lower() for ext in exts]
 
2519
        base, ext = os.path.splitext(name)
 
2520
        if ext != '':
 
2521
            if ext.lower() not in exts:
 
2522
                return None
 
2523
            name = base
 
2524
            exts = [ext]
 
2525
    else:
 
2526
        exts = ['']
 
2527
    path = os.environ.get('PATH')
 
2528
    if path is not None:
 
2529
        path = path.split(os.pathsep)
 
2530
        for ext in exts:
 
2531
            for d in path:
 
2532
                f = os.path.join(d, name) + ext
 
2533
                if os.access(f, os.X_OK):
 
2534
                    return f
 
2535
    if sys.platform == 'win32':
 
2536
        app_path = win32utils.get_app_path(name)
 
2537
        if app_path != name:
 
2538
            return app_path
 
2539
    return None
 
2540
 
 
2541
 
 
2542
def _posix_is_local_pid_dead(pid):
 
2543
    """True if pid doesn't correspond to live process on this machine"""
 
2544
    try:
 
2545
        # Special meaning of unix kill: just check if it's there.
 
2546
        os.kill(pid, 0)
 
2547
    except OSError, e:
 
2548
        if e.errno == errno.ESRCH:
 
2549
            # On this machine, and really not found: as sure as we can be
 
2550
            # that it's dead.
 
2551
            return True
 
2552
        elif e.errno == errno.EPERM:
 
2553
            # exists, though not ours
 
2554
            return False
 
2555
        else:
 
2556
            mutter("os.kill(%d, 0) failed: %s" % (pid, e))
 
2557
            # Don't really know.
 
2558
            return False
 
2559
    else:
 
2560
        # Exists and our process: not dead.
 
2561
        return False
 
2562
 
 
2563
if sys.platform == "win32":
 
2564
    is_local_pid_dead = win32utils.is_local_pid_dead
 
2565
else:
 
2566
    is_local_pid_dead = _posix_is_local_pid_dead
 
2567
 
 
2568
_maybe_ignored = ['EAGAIN', 'EINTR', 'ENOTSUP', 'EOPNOTSUPP', 'EACCES']
 
2569
_fdatasync_ignored = [getattr(errno, name) for name in _maybe_ignored
 
2570
                      if getattr(errno, name, None) is not None]
 
2571
 
 
2572
 
 
2573
def fdatasync(fileno):
 
2574
    """Flush file contents to disk if possible.
 
2575
    
 
2576
    :param fileno: Integer OS file handle.
 
2577
    :raises TransportNotPossible: If flushing to disk is not possible.
 
2578
    """
 
2579
    fn = getattr(os, 'fdatasync', getattr(os, 'fsync', None))
 
2580
    if fn is not None:
 
2581
        try:
 
2582
            fn(fileno)
 
2583
        except IOError, e:
 
2584
            # See bug #1075108, on some platforms fdatasync exists, but can
 
2585
            # raise ENOTSUP. However, we are calling fdatasync to be helpful
 
2586
            # and reduce the chance of corruption-on-powerloss situations. It
 
2587
            # is not a mandatory call, so it is ok to suppress failures.
 
2588
            trace.mutter("ignoring error calling fdatasync: %s" % (e,))
 
2589
            if getattr(e, 'errno', None) not in _fdatasync_ignored:
 
2590
                raise
 
2591
 
 
2592
 
 
2593
def ensure_empty_directory_exists(path, exception_class):
 
2594
    """Make sure a local directory exists and is empty.
 
2595
    
 
2596
    If it does not exist, it is created.  If it exists and is not empty, an
 
2597
    instance of exception_class is raised.
 
2598
    """
 
2599
    try:
 
2600
        os.mkdir(path)
 
2601
    except OSError, e:
 
2602
        if e.errno != errno.EEXIST:
 
2603
            raise
 
2604
        if os.listdir(path) != []:
 
2605
            raise exception_class(path)
 
2606
 
 
2607
 
 
2608
def is_environment_error(evalue):
 
2609
    """True if exception instance is due to a process environment issue
 
2610
 
 
2611
    This includes OSError and IOError, but also other errors that come from
 
2612
    the operating system or core libraries but are not subclasses of those.
 
2613
    """
 
2614
    if isinstance(evalue, (EnvironmentError, select.error)):
 
2615
        return True
 
2616
    if sys.platform == "win32" and win32utils._is_pywintypes_error(evalue):
 
2617
        return True
 
2618
    return False