/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to breezy/osutils.py

  • Committer: Jelmer Vernooij
  • Date: 2017-12-03 15:14:22 UTC
  • mfrom: (6829.1.1 no-branch-nick)
  • Revision ID: jelmer@jelmer.uk-20171203151422-54pwtld2ae5cx11l
Merge lp:~jelmer/brz/no-branch-nick.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Bazaar-NG -- distributed version control
2
 
#
3
 
# Copyright (C) 2005 by Canonical Ltd
 
1
# Copyright (C) 2005-2011 Canonical Ltd
4
2
#
5
3
# This program is free software; you can redistribute it and/or modify
6
4
# it under the terms of the GNU General Public License as published by
14
12
#
15
13
# You should have received a copy of the GNU General Public License
16
14
# along with this program; if not, write to the Free Software
17
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
18
 
 
19
 
from shutil import copyfile
20
 
from stat import (S_ISREG, S_ISDIR, S_ISLNK, ST_MODE, ST_SIZE,
21
 
                  S_ISCHR, S_ISBLK, S_ISFIFO, S_ISSOCK)
22
 
from cStringIO import StringIO
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
from __future__ import absolute_import
 
18
 
23
19
import errno
24
20
import os
25
21
import re
26
 
import sha
27
 
import string
 
22
import stat
28
23
import sys
29
24
import time
30
 
import types
 
25
import codecs
 
26
 
 
27
from .lazy_import import lazy_import
 
28
lazy_import(globals(), """
 
29
from datetime import datetime
 
30
from datetime import timedelta
 
31
import getpass
 
32
import locale
 
33
import ntpath
 
34
import posixpath
 
35
import select
 
36
# We need to import both shutil and rmtree as we export the later on posix
 
37
# and need the former on windows
 
38
import shutil
 
39
from shutil import rmtree
 
40
import socket
 
41
import subprocess
 
42
# We need to import both tempfile and mkdtemp as we export the later on posix
 
43
# and need the former on windows
31
44
import tempfile
32
 
 
33
 
import bzrlib
34
 
from bzrlib.errors import (BzrError,
35
 
                           BzrBadParameterNotUnicode,
36
 
                           NoSuchFile,
37
 
                           PathNotChild,
38
 
                           )
39
 
from bzrlib.trace import mutter
 
45
from tempfile import mkdtemp
 
46
import unicodedata
 
47
 
 
48
from breezy import (
 
49
    config,
 
50
    trace,
 
51
    win32utils,
 
52
    )
 
53
from breezy.i18n import gettext
 
54
""")
 
55
 
 
56
from .sixish import (
 
57
    PY3,
 
58
    text_type,
 
59
    )
 
60
 
 
61
from hashlib import (
 
62
    md5,
 
63
    sha1 as sha,
 
64
    )
 
65
 
 
66
 
 
67
import breezy
 
68
from . import (
 
69
    _fs_enc,
 
70
    errors,
 
71
    )
 
72
 
 
73
 
 
74
# Cross platform wall-clock time functionality with decent resolution.
 
75
# On Linux ``time.clock`` returns only CPU time. On Windows, ``time.time()``
 
76
# only has a resolution of ~15ms. Note that ``time.clock()`` is not
 
77
# synchronized with ``time.time()``, this is only meant to be used to find
 
78
# delta times by subtracting from another call to this function.
 
79
timer_func = time.time
 
80
if sys.platform == 'win32':
 
81
    timer_func = time.clock
 
82
 
 
83
# On win32, O_BINARY is used to indicate the file should
 
84
# be opened in binary mode, rather than text mode.
 
85
# On other platforms, O_BINARY doesn't exist, because
 
86
# they always open in binary mode, so it is okay to
 
87
# OR with 0 on those platforms.
 
88
# O_NOINHERIT and O_TEXT exists only on win32 too.
 
89
O_BINARY = getattr(os, 'O_BINARY', 0)
 
90
O_TEXT = getattr(os, 'O_TEXT', 0)
 
91
O_NOINHERIT = getattr(os, 'O_NOINHERIT', 0)
 
92
 
 
93
 
 
94
class UnsupportedTimezoneFormat(errors.BzrError):
 
95
 
 
96
    _fmt = ('Unsupported timezone format "%(timezone)s", '
 
97
            'options are "utc", "original", "local".')
 
98
 
 
99
    def __init__(self, timezone):
 
100
        self.timezone = timezone
 
101
 
 
102
 
 
103
def get_unicode_argv():
 
104
    if PY3:
 
105
        return sys.argv[1:]
 
106
    try:
 
107
        user_encoding = get_user_encoding()
 
108
        return [a.decode(user_encoding) for a in sys.argv[1:]]
 
109
    except UnicodeDecodeError:
 
110
        raise errors.BzrError(gettext("Parameter {0!r} encoding is unsupported by {1} "
 
111
            "application locale.").format(a, user_encoding))
40
112
 
41
113
 
42
114
def make_readonly(filename):
43
115
    """Make a filename read-only."""
44
 
    mod = os.stat(filename).st_mode
45
 
    mod = mod & 0777555
46
 
    os.chmod(filename, mod)
 
116
    mod = os.lstat(filename).st_mode
 
117
    if not stat.S_ISLNK(mod):
 
118
        mod = mod & 0o777555
 
119
        chmod_if_possible(filename, mod)
47
120
 
48
121
 
49
122
def make_writable(filename):
50
 
    mod = os.stat(filename).st_mode
51
 
    mod = mod | 0200
52
 
    os.chmod(filename, mod)
 
123
    mod = os.lstat(filename).st_mode
 
124
    if not stat.S_ISLNK(mod):
 
125
        mod = mod | 0o200
 
126
        chmod_if_possible(filename, mod)
 
127
 
 
128
 
 
129
def chmod_if_possible(filename, mode):
 
130
    # Set file mode if that can be safely done.
 
131
    # Sometimes even on unix the filesystem won't allow it - see
 
132
    # https://bugs.launchpad.net/bzr/+bug/606537
 
133
    try:
 
134
        # It is probably faster to just do the chmod, rather than
 
135
        # doing a stat, and then trying to compare
 
136
        os.chmod(filename, mode)
 
137
    except (IOError, OSError) as e:
 
138
        # Permission/access denied seems to commonly happen on smbfs; there's
 
139
        # probably no point warning about it.
 
140
        # <https://bugs.launchpad.net/bzr/+bug/606537>
 
141
        if getattr(e, 'errno') in (errno.EPERM, errno.EACCES):
 
142
            trace.mutter("ignore error on chmod of %r: %r" % (
 
143
                filename, e))
 
144
            return
 
145
        raise
 
146
 
 
147
 
 
148
def minimum_path_selection(paths):
 
149
    """Return the smallset subset of paths which are outside paths.
 
150
 
 
151
    :param paths: A container (and hence not None) of paths.
 
152
    :return: A set of paths sufficient to include everything in paths via
 
153
        is_inside, drawn from the paths parameter.
 
154
    """
 
155
    if len(paths) < 2:
 
156
        return set(paths)
 
157
 
 
158
    def sort_key(path):
 
159
        return path.split('/')
 
160
    sorted_paths = sorted(list(paths), key=sort_key)
 
161
 
 
162
    search_paths = [sorted_paths[0]]
 
163
    for path in sorted_paths[1:]:
 
164
        if not is_inside(search_paths[-1], path):
 
165
            # This path is unique, add it
 
166
            search_paths.append(path)
 
167
 
 
168
    return set(search_paths)
53
169
 
54
170
 
55
171
_QUOTE_RE = None
62
178
    Windows."""
63
179
    # TODO: I'm not really sure this is the best format either.x
64
180
    global _QUOTE_RE
65
 
    if _QUOTE_RE == None:
 
181
    if _QUOTE_RE is None:
66
182
        _QUOTE_RE = re.compile(r'([^a-zA-Z0-9.,:/\\_~-])')
67
 
        
 
183
 
68
184
    if _QUOTE_RE.search(f):
69
185
        return '"' + f + '"'
70
186
    else:
71
187
        return f
72
188
 
73
189
 
74
 
def file_kind(f):
75
 
    mode = os.lstat(f)[ST_MODE]
76
 
    if S_ISREG(mode):
77
 
        return 'file'
78
 
    elif S_ISDIR(mode):
79
 
        return 'directory'
80
 
    elif S_ISLNK(mode):
81
 
        return 'symlink'
82
 
    elif S_ISCHR(mode):
83
 
        return 'chardev'
84
 
    elif S_ISBLK(mode):
85
 
        return 'block'
86
 
    elif S_ISFIFO(mode):
87
 
        return 'fifo'
88
 
    elif S_ISSOCK(mode):
89
 
        return 'socket'
90
 
    else:
91
 
        return 'unknown'
 
190
_directory_kind = 'directory'
 
191
 
 
192
def get_umask():
 
193
    """Return the current umask"""
 
194
    # Assume that people aren't messing with the umask while running
 
195
    # XXX: This is not thread safe, but there is no way to get the
 
196
    #      umask without setting it
 
197
    umask = os.umask(0)
 
198
    os.umask(umask)
 
199
    return umask
 
200
 
 
201
 
 
202
_kind_marker_map = {
 
203
    "file": "",
 
204
    _directory_kind: "/",
 
205
    "symlink": "@",
 
206
    'tree-reference': '+',
 
207
}
92
208
 
93
209
 
94
210
def kind_marker(kind):
95
 
    if kind == 'file':
 
211
    try:
 
212
        return _kind_marker_map[kind]
 
213
    except KeyError:
 
214
        # Slightly faster than using .get(, '') when the common case is that
 
215
        # kind will be found
96
216
        return ''
97
 
    elif kind == 'directory':
98
 
        return '/'
99
 
    elif kind == 'symlink':
100
 
        return '@'
101
 
    else:
102
 
        raise BzrError('invalid file kind %r' % kind)
103
 
 
104
 
def lexists(f):
105
 
    if hasattr(os.path, 'lexists'):
106
 
        return os.path.lexists(f)
107
 
    try:
108
 
        if hasattr(os, 'lstat'):
109
 
            os.lstat(f)
110
 
        else:
111
 
            os.stat(f)
112
 
        return True
113
 
    except OSError,e:
114
 
        if e.errno == errno.ENOENT:
115
 
            return False;
116
 
        else:
117
 
            raise BzrError("lstat/stat of (%r): %r" % (f, e))
 
217
 
 
218
 
 
219
lexists = getattr(os.path, 'lexists', None)
 
220
if lexists is None:
 
221
    def lexists(f):
 
222
        try:
 
223
            stat = getattr(os, 'lstat', os.stat)
 
224
            stat(f)
 
225
            return True
 
226
        except OSError as e:
 
227
            if e.errno == errno.ENOENT:
 
228
                return False;
 
229
            else:
 
230
                raise errors.BzrError(gettext("lstat/stat of ({0!r}): {1!r}").format(f, e))
 
231
 
118
232
 
119
233
def fancy_rename(old, new, rename_func, unlink_func):
120
234
    """A fancy rename, when you don't have atomic rename.
121
 
    
 
235
 
122
236
    :param old: The old path, to rename from
123
237
    :param new: The new path, to rename to
124
238
    :param rename_func: The potentially non-atomic rename function
125
 
    :param unlink_func: A way to delete the target file if the full rename succeeds
 
239
    :param unlink_func: A way to delete the target file if the full rename
 
240
        succeeds
126
241
    """
127
 
 
128
242
    # sftp rename doesn't allow overwriting, so play tricks:
129
 
    import random
130
243
    base = os.path.basename(new)
131
244
    dirname = os.path.dirname(new)
132
 
    tmp_name = u'tmp.%s.%.9f.%d.%s' % (base, time.time(), os.getpid(), rand_chars(10))
 
245
    # callers use different encodings for the paths so the following MUST
 
246
    # respect that. We rely on python upcasting to unicode if new is unicode
 
247
    # and keeping a str if not.
 
248
    tmp_name = 'tmp.%s.%.9f.%d.%s' % (base, time.time(),
 
249
                                      os.getpid(), rand_chars(10))
133
250
    tmp_name = pathjoin(dirname, tmp_name)
134
251
 
135
252
    # Rename the file out of the way, but keep track if it didn't exist
140
257
    file_existed = False
141
258
    try:
142
259
        rename_func(new, tmp_name)
143
 
    except (NoSuchFile,), e:
 
260
    except (errors.NoSuchFile,) as e:
144
261
        pass
145
 
    except IOError, e:
 
262
    except IOError as e:
146
263
        # RBC 20060103 abstraction leakage: the paramiko SFTP clients rename
147
 
        # function raises an IOError with errno == None when a rename fails.
 
264
        # function raises an IOError with errno is None when a rename fails.
148
265
        # This then gets caught here.
149
266
        if e.errno not in (None, errno.ENOENT, errno.ENOTDIR):
150
267
            raise
151
 
    except Exception, e:
152
 
        if (not hasattr(e, 'errno') 
 
268
    except Exception as e:
 
269
        if (getattr(e, 'errno', None) is None
153
270
            or e.errno not in (errno.ENOENT, errno.ENOTDIR)):
154
271
            raise
155
272
    else:
161
278
        # not be set.
162
279
        rename_func(old, new)
163
280
        success = True
 
281
    except (IOError, OSError) as e:
 
282
        # source and target may be aliases of each other (e.g. on a
 
283
        # case-insensitive filesystem), so we may have accidentally renamed
 
284
        # source by when we tried to rename target
 
285
        if (file_existed and e.errno in (None, errno.ENOENT)
 
286
            and old.lower() == new.lower()):
 
287
            # source and target are the same file on a case-insensitive
 
288
            # filesystem, so we don't generate an exception
 
289
            pass
 
290
        else:
 
291
            raise
164
292
    finally:
165
293
        if file_existed:
166
294
            # If the file used to exist, rename it back into place
170
298
            else:
171
299
                rename_func(tmp_name, new)
172
300
 
173
 
# Default is to just use the python builtins
174
 
abspath = os.path.abspath
175
 
realpath = os.path.realpath
 
301
 
 
302
# In Python 2.4.2 and older, os.path.abspath and os.path.realpath
 
303
# choke on a Unicode string containing a relative path if
 
304
# os.getcwd() returns a non-sys.getdefaultencoding()-encoded
 
305
# string.
 
306
def _posix_abspath(path):
 
307
    # jam 20060426 rather than encoding to fsencoding
 
308
    # copy posixpath.abspath, but use os.getcwdu instead
 
309
    if not posixpath.isabs(path):
 
310
        path = posixpath.join(getcwd(), path)
 
311
    return _posix_normpath(path)
 
312
 
 
313
 
 
314
def _posix_realpath(path):
 
315
    return posixpath.realpath(path.encode(_fs_enc)).decode(_fs_enc)
 
316
 
 
317
 
 
318
def _posix_normpath(path):
 
319
    path = posixpath.normpath(path)
 
320
    # Bug 861008: posixpath.normpath() returns a path normalized according to
 
321
    # the POSIX standard, which stipulates (for compatibility reasons) that two
 
322
    # leading slashes must not be simplified to one, and only if there are 3 or
 
323
    # more should they be simplified as one. So we treat the leading 2 slashes
 
324
    # as a special case here by simply removing the first slash, as we consider
 
325
    # that breaking POSIX compatibility for this obscure feature is acceptable.
 
326
    # This is not a paranoid precaution, as we notably get paths like this when
 
327
    # the repo is hosted at the root of the filesystem, i.e. in "/".    
 
328
    if path.startswith('//'):
 
329
        path = path[1:]
 
330
    return path
 
331
 
 
332
 
 
333
def _posix_path_from_environ(key):
 
334
    """Get unicode path from `key` in environment or None if not present
 
335
 
 
336
    Note that posix systems use arbitrary byte strings for filesystem objects,
 
337
    so a path that raises BadFilenameEncoding here may still be accessible.
 
338
    """
 
339
    val = os.environ.get(key, None)
 
340
    if PY3 or val is None:
 
341
        return val
 
342
    try:
 
343
        return val.decode(_fs_enc)
 
344
    except UnicodeDecodeError:
 
345
        # GZ 2011-12-12:Ideally want to include `key` in the exception message
 
346
        raise errors.BadFilenameEncoding(val, _fs_enc)
 
347
 
 
348
 
 
349
def _posix_get_home_dir():
 
350
    """Get the home directory of the current user as a unicode path"""
 
351
    path = posixpath.expanduser("~")
 
352
    try:
 
353
        return path.decode(_fs_enc)
 
354
    except AttributeError:
 
355
        return path
 
356
    except UnicodeDecodeError:
 
357
        raise errors.BadFilenameEncoding(path, _fs_enc)
 
358
 
 
359
 
 
360
def _posix_getuser_unicode():
 
361
    """Get username from environment or password database as unicode"""
 
362
    name = getpass.getuser()
 
363
    if PY3:
 
364
        return name
 
365
    user_encoding = get_user_encoding()
 
366
    try:
 
367
        return name.decode(user_encoding)
 
368
    except UnicodeDecodeError:
 
369
        raise errors.BzrError("Encoding of username %r is unsupported by %s "
 
370
            "application locale." % (name, user_encoding))
 
371
 
 
372
 
 
373
def _win32_fixdrive(path):
 
374
    """Force drive letters to be consistent.
 
375
 
 
376
    win32 is inconsistent whether it returns lower or upper case
 
377
    and even if it was consistent the user might type the other
 
378
    so we force it to uppercase
 
379
    running python.exe under cmd.exe return capital C:\\
 
380
    running win32 python inside a cygwin shell returns lowercase c:\\
 
381
    """
 
382
    drive, path = ntpath.splitdrive(path)
 
383
    return drive.upper() + path
 
384
 
 
385
 
 
386
def _win32_abspath(path):
 
387
    # Real ntpath.abspath doesn't have a problem with a unicode cwd
 
388
    return _win32_fixdrive(ntpath.abspath(unicode(path)).replace('\\', '/'))
 
389
 
 
390
 
 
391
def _win32_realpath(path):
 
392
    # Real ntpath.realpath doesn't have a problem with a unicode cwd
 
393
    return _win32_fixdrive(ntpath.realpath(unicode(path)).replace('\\', '/'))
 
394
 
 
395
 
 
396
def _win32_pathjoin(*args):
 
397
    return ntpath.join(*args).replace('\\', '/')
 
398
 
 
399
 
 
400
def _win32_normpath(path):
 
401
    return _win32_fixdrive(ntpath.normpath(unicode(path)).replace('\\', '/'))
 
402
 
 
403
 
 
404
def _win32_getcwd():
 
405
    return _win32_fixdrive(_getcwd().replace('\\', '/'))
 
406
 
 
407
 
 
408
def _win32_mkdtemp(*args, **kwargs):
 
409
    return _win32_fixdrive(tempfile.mkdtemp(*args, **kwargs).replace('\\', '/'))
 
410
 
 
411
 
 
412
def _win32_rename(old, new):
 
413
    """We expect to be able to atomically replace 'new' with old.
 
414
 
 
415
    On win32, if new exists, it must be moved out of the way first,
 
416
    and then deleted.
 
417
    """
 
418
    try:
 
419
        fancy_rename(old, new, rename_func=os.rename, unlink_func=os.unlink)
 
420
    except OSError as e:
 
421
        if e.errno in (errno.EPERM, errno.EACCES, errno.EBUSY, errno.EINVAL):
 
422
            # If we try to rename a non-existant file onto cwd, we get
 
423
            # EPERM or EACCES instead of ENOENT, this will raise ENOENT
 
424
            # if the old path doesn't exist, sometimes we get EACCES
 
425
            # On Linux, we seem to get EBUSY, on Mac we get EINVAL
 
426
            os.lstat(old)
 
427
        raise
 
428
 
 
429
 
 
430
def _mac_getcwd():
 
431
    return unicodedata.normalize('NFC', _getcwd())
 
432
 
 
433
 
 
434
def _rename_wrap_exception(rename_func):
 
435
    """Adds extra information to any exceptions that come from rename().
 
436
 
 
437
    The exception has an updated message and 'old_filename' and 'new_filename'
 
438
    attributes.
 
439
    """
 
440
 
 
441
    def _rename_wrapper(old, new):
 
442
        try:
 
443
            rename_func(old, new)
 
444
        except OSError as e:
 
445
            detailed_error = OSError(e.errno, e.strerror +
 
446
                                " [occurred when renaming '%s' to '%s']" %
 
447
                                (old, new))
 
448
            detailed_error.old_filename = old
 
449
            detailed_error.new_filename = new
 
450
            raise detailed_error
 
451
 
 
452
    return _rename_wrapper
 
453
 
 
454
 
 
455
if sys.version_info > (3,):
 
456
    _getcwd = os.getcwd
 
457
else:
 
458
    _getcwd = os.getcwdu
 
459
 
 
460
 
 
461
# Default rename wraps os.rename()
 
462
rename = _rename_wrap_exception(os.rename)
 
463
 
 
464
# Default is to just use the python builtins, but these can be rebound on
 
465
# particular platforms.
 
466
abspath = _posix_abspath
 
467
realpath = _posix_realpath
176
468
pathjoin = os.path.join
177
 
normpath = os.path.normpath
178
 
getcwd = os.getcwdu
179
 
mkdtemp = tempfile.mkdtemp
180
 
rename = os.rename
 
469
normpath = _posix_normpath
 
470
path_from_environ = _posix_path_from_environ
 
471
_get_home_dir = _posix_get_home_dir
 
472
getuser_unicode = _posix_getuser_unicode
 
473
getcwd = _getcwd
181
474
dirname = os.path.dirname
182
475
basename = os.path.basename
183
 
 
184
 
if os.name == "posix":
185
 
    # In Python 2.4.2 and older, os.path.abspath and os.path.realpath
186
 
    # choke on a Unicode string containing a relative path if
187
 
    # os.getcwd() returns a non-sys.getdefaultencoding()-encoded
188
 
    # string.
189
 
    _fs_enc = sys.getfilesystemencoding()
190
 
    def abspath(path):
191
 
        return os.path.abspath(path.encode(_fs_enc)).decode(_fs_enc)
192
 
 
193
 
    def realpath(path):
194
 
        return os.path.realpath(path.encode(_fs_enc)).decode(_fs_enc)
 
476
split = os.path.split
 
477
splitext = os.path.splitext
 
478
# These were already lazily imported into local scope
 
479
# mkdtemp = tempfile.mkdtemp
 
480
# rmtree = shutil.rmtree
 
481
lstat = os.lstat
 
482
fstat = os.fstat
 
483
 
 
484
def wrap_stat(st):
 
485
    return st
 
486
 
 
487
 
 
488
MIN_ABS_PATHLENGTH = 1
 
489
 
195
490
 
196
491
if sys.platform == 'win32':
197
 
    # We need to use the Unicode-aware os.path.abspath and
198
 
    # os.path.realpath on Windows systems.
199
 
    def abspath(path):
200
 
        return os.path.abspath(path).replace('\\', '/')
201
 
 
202
 
    def realpath(path):
203
 
        return os.path.realpath(path).replace('\\', '/')
204
 
 
205
 
    def pathjoin(*args):
206
 
        return os.path.join(*args).replace('\\', '/')
207
 
 
208
 
    def normpath(path):
209
 
        return os.path.normpath(path).replace('\\', '/')
210
 
 
211
 
    def getcwd():
212
 
        return os.getcwdu().replace('\\', '/')
213
 
 
214
 
    def mkdtemp(*args, **kwargs):
215
 
        return tempfile.mkdtemp(*args, **kwargs).replace('\\', '/')
216
 
 
217
 
    def rename(old, new):
218
 
        fancy_rename(old, new, rename_func=os.rename, unlink_func=os.unlink)
 
492
    abspath = _win32_abspath
 
493
    realpath = _win32_realpath
 
494
    pathjoin = _win32_pathjoin
 
495
    normpath = _win32_normpath
 
496
    getcwd = _win32_getcwd
 
497
    mkdtemp = _win32_mkdtemp
 
498
    rename = _rename_wrap_exception(_win32_rename)
 
499
    try:
 
500
        from . import _walkdirs_win32
 
501
    except ImportError:
 
502
        pass
 
503
    else:
 
504
        lstat = _walkdirs_win32.lstat
 
505
        fstat = _walkdirs_win32.fstat
 
506
        wrap_stat = _walkdirs_win32.wrap_stat
 
507
 
 
508
    MIN_ABS_PATHLENGTH = 3
 
509
 
 
510
    def _win32_delete_readonly(function, path, excinfo):
 
511
        """Error handler for shutil.rmtree function [for win32]
 
512
        Helps to remove files and dirs marked as read-only.
 
513
        """
 
514
        exception = excinfo[1]
 
515
        if function in (os.remove, os.rmdir) \
 
516
            and isinstance(exception, OSError) \
 
517
            and exception.errno == errno.EACCES:
 
518
            make_writable(path)
 
519
            function(path)
 
520
        else:
 
521
            raise
 
522
 
 
523
    def rmtree(path, ignore_errors=False, onerror=_win32_delete_readonly):
 
524
        """Replacer for shutil.rmtree: could remove readonly dirs/files"""
 
525
        return shutil.rmtree(path, ignore_errors, onerror)
 
526
 
 
527
    f = win32utils.get_unicode_argv     # special function or None
 
528
    if f is not None:
 
529
        get_unicode_argv = f
 
530
    path_from_environ = win32utils.get_environ_unicode
 
531
    _get_home_dir = win32utils.get_home_location
 
532
    getuser_unicode = win32utils.get_user_name
 
533
 
 
534
elif sys.platform == 'darwin':
 
535
    getcwd = _mac_getcwd
 
536
 
 
537
 
 
538
def get_terminal_encoding(trace=False):
 
539
    """Find the best encoding for printing to the screen.
 
540
 
 
541
    This attempts to check both sys.stdout and sys.stdin to see
 
542
    what encoding they are in, and if that fails it falls back to
 
543
    osutils.get_user_encoding().
 
544
    The problem is that on Windows, locale.getpreferredencoding()
 
545
    is not the same encoding as that used by the console:
 
546
    http://mail.python.org/pipermail/python-list/2003-May/162357.html
 
547
 
 
548
    On my standard US Windows XP, the preferred encoding is
 
549
    cp1252, but the console is cp437
 
550
 
 
551
    :param trace: If True trace the selected encoding via mutter().
 
552
    """
 
553
    from .trace import mutter
 
554
    output_encoding = getattr(sys.stdout, 'encoding', None)
 
555
    if not output_encoding:
 
556
        input_encoding = getattr(sys.stdin, 'encoding', None)
 
557
        if not input_encoding:
 
558
            output_encoding = get_user_encoding()
 
559
            if trace:
 
560
                mutter('encoding stdout as osutils.get_user_encoding() %r',
 
561
                   output_encoding)
 
562
        else:
 
563
            output_encoding = input_encoding
 
564
            if trace:
 
565
                mutter('encoding stdout as sys.stdin encoding %r',
 
566
                    output_encoding)
 
567
    else:
 
568
        if trace:
 
569
            mutter('encoding stdout as sys.stdout encoding %r', output_encoding)
 
570
    if output_encoding == 'cp0':
 
571
        # invalid encoding (cp0 means 'no codepage' on Windows)
 
572
        output_encoding = get_user_encoding()
 
573
        if trace:
 
574
            mutter('cp0 is invalid encoding.'
 
575
               ' encoding stdout as osutils.get_user_encoding() %r',
 
576
               output_encoding)
 
577
    # check encoding
 
578
    try:
 
579
        codecs.lookup(output_encoding)
 
580
    except LookupError:
 
581
        sys.stderr.write('brz: warning:'
 
582
                         ' unknown terminal encoding %s.\n'
 
583
                         '  Using encoding %s instead.\n'
 
584
                         % (output_encoding, get_user_encoding())
 
585
                        )
 
586
        output_encoding = get_user_encoding()
 
587
 
 
588
    return output_encoding
219
589
 
220
590
 
221
591
def normalizepath(f):
222
 
    if hasattr(os.path, 'realpath'):
 
592
    if getattr(os.path, 'realpath', None) is not None:
223
593
        F = realpath
224
594
    else:
225
595
        F = abspath
226
 
    [p,e] = os.path.split(f)
 
596
    [p, e] = os.path.split(f)
227
597
    if e == "" or e == "." or e == "..":
228
598
        return F(f)
229
599
    else:
230
600
        return pathjoin(F(p), e)
231
601
 
232
602
 
233
 
def backup_file(fn):
234
 
    """Copy a file to a backup.
235
 
 
236
 
    Backups are named in GNU-style, with a ~ suffix.
237
 
 
238
 
    If the file is already a backup, it's not copied.
239
 
    """
240
 
    if fn[-1] == '~':
241
 
        return
242
 
    bfn = fn + '~'
243
 
 
244
 
    if has_symlinks() and os.path.islink(fn):
245
 
        target = os.readlink(fn)
246
 
        os.symlink(target, bfn)
247
 
        return
248
 
    inf = file(fn, 'rb')
249
 
    try:
250
 
        content = inf.read()
251
 
    finally:
252
 
        inf.close()
253
 
    
254
 
    outf = file(bfn, 'wb')
255
 
    try:
256
 
        outf.write(content)
257
 
    finally:
258
 
        outf.close()
259
 
 
260
 
 
261
603
def isdir(f):
262
604
    """True if f is an accessible directory."""
263
605
    try:
264
 
        return S_ISDIR(os.lstat(f)[ST_MODE])
 
606
        return stat.S_ISDIR(os.lstat(f)[stat.ST_MODE])
265
607
    except OSError:
266
608
        return False
267
609
 
269
611
def isfile(f):
270
612
    """True if f is a regular file."""
271
613
    try:
272
 
        return S_ISREG(os.lstat(f)[ST_MODE])
 
614
        return stat.S_ISREG(os.lstat(f)[stat.ST_MODE])
273
615
    except OSError:
274
616
        return False
275
617
 
276
618
def islink(f):
277
619
    """True if f is a symlink."""
278
620
    try:
279
 
        return S_ISLNK(os.lstat(f)[ST_MODE])
 
621
        return stat.S_ISLNK(os.lstat(f)[stat.ST_MODE])
280
622
    except OSError:
281
623
        return False
282
624
 
283
625
def is_inside(dir, fname):
284
626
    """True if fname is inside dir.
285
 
    
 
627
 
286
628
    The parameters should typically be passed to osutils.normpath first, so
287
629
    that . and .. and repeated slashes are eliminated, and the separators
288
630
    are canonical for the platform.
289
 
    
290
 
    The empty string as a dir name is taken as top-of-tree and matches 
 
631
 
 
632
    The empty string as a dir name is taken as top-of-tree and matches
291
633
    everything.
292
 
    
293
 
    >>> is_inside('src', pathjoin('src', 'foo.c'))
294
 
    True
295
 
    >>> is_inside('src', 'srccontrol')
296
 
    False
297
 
    >>> is_inside('src', pathjoin('src', 'a', 'a', 'a', 'foo.c'))
298
 
    True
299
 
    >>> is_inside('foo.c', 'foo.c')
300
 
    True
301
 
    >>> is_inside('foo.c', '')
302
 
    False
303
 
    >>> is_inside('', 'foo.c')
304
 
    True
305
634
    """
306
 
    # XXX: Most callers of this can actually do something smarter by 
 
635
    # XXX: Most callers of this can actually do something smarter by
307
636
    # looking at the inventory
308
637
    if dir == fname:
309
638
        return True
310
 
    
 
639
 
311
640
    if dir == '':
312
641
        return True
313
642
 
322
651
    for dirname in dir_list:
323
652
        if is_inside(dirname, fname):
324
653
            return True
 
654
    return False
 
655
 
 
656
 
 
657
def is_inside_or_parent_of_any(dir_list, fname):
 
658
    """True if fname is a child or a parent of any of the given files."""
 
659
    for dirname in dir_list:
 
660
        if is_inside(dirname, fname) or is_inside(fname, dirname):
 
661
            return True
 
662
    return False
 
663
 
 
664
 
 
665
def pumpfile(from_file, to_file, read_length=-1, buff_size=32768,
 
666
             report_activity=None, direction='read'):
 
667
    """Copy contents of one file to another.
 
668
 
 
669
    The read_length can either be -1 to read to end-of-file (EOF) or
 
670
    it can specify the maximum number of bytes to read.
 
671
 
 
672
    The buff_size represents the maximum size for each read operation
 
673
    performed on from_file.
 
674
 
 
675
    :param report_activity: Call this as bytes are read, see
 
676
        Transport._report_activity
 
677
    :param direction: Will be passed to report_activity
 
678
 
 
679
    :return: The number of bytes copied.
 
680
    """
 
681
    length = 0
 
682
    if read_length >= 0:
 
683
        # read specified number of bytes
 
684
 
 
685
        while read_length > 0:
 
686
            num_bytes_to_read = min(read_length, buff_size)
 
687
 
 
688
            block = from_file.read(num_bytes_to_read)
 
689
            if not block:
 
690
                # EOF reached
 
691
                break
 
692
            if report_activity is not None:
 
693
                report_activity(len(block), direction)
 
694
            to_file.write(block)
 
695
 
 
696
            actual_bytes_read = len(block)
 
697
            read_length -= actual_bytes_read
 
698
            length += actual_bytes_read
325
699
    else:
326
 
        return False
327
 
 
328
 
 
329
 
def pumpfile(fromfile, tofile):
330
 
    """Copy contents of one file to another."""
331
 
    BUFSIZE = 32768
332
 
    while True:
333
 
        b = fromfile.read(BUFSIZE)
334
 
        if not b:
335
 
            break
336
 
        tofile.write(b)
 
700
        # read to EOF
 
701
        while True:
 
702
            block = from_file.read(buff_size)
 
703
            if not block:
 
704
                # EOF reached
 
705
                break
 
706
            if report_activity is not None:
 
707
                report_activity(len(block), direction)
 
708
            to_file.write(block)
 
709
            length += len(block)
 
710
    return length
 
711
 
 
712
 
 
713
def pump_string_file(bytes, file_handle, segment_size=None):
 
714
    """Write bytes to file_handle in many smaller writes.
 
715
 
 
716
    :param bytes: The string to write.
 
717
    :param file_handle: The file to write to.
 
718
    """
 
719
    # Write data in chunks rather than all at once, because very large
 
720
    # writes fail on some platforms (e.g. Windows with SMB  mounted
 
721
    # drives).
 
722
    if not segment_size:
 
723
        segment_size = 5242880 # 5MB
 
724
    offsets = range(0, len(bytes), segment_size)
 
725
    view = memoryview(bytes)
 
726
    write = file_handle.write
 
727
    for offset in offsets:
 
728
        write(view[offset:offset+segment_size])
337
729
 
338
730
 
339
731
def file_iterator(input_file, readsize=32768):
344
736
        yield b
345
737
 
346
738
 
 
739
# GZ 2017-09-16: Makes sense in general for hexdigest() result to be text, but
 
740
# used as bytes through most interfaces so encode with this wrapper.
 
741
if PY3:
 
742
    def _hexdigest(hashobj):
 
743
        return hashobj.hexdigest().encode()
 
744
else:
 
745
    def _hexdigest(hashobj):
 
746
        return hashobj.hexdigest()
 
747
 
 
748
 
347
749
def sha_file(f):
348
 
    if hasattr(f, 'tell'):
349
 
        assert f.tell() == 0
350
 
    s = sha.new()
351
 
    BUFSIZE = 128<<10
352
 
    while True:
353
 
        b = f.read(BUFSIZE)
354
 
        if not b:
355
 
            break
356
 
        s.update(b)
357
 
    return s.hexdigest()
358
 
 
359
 
 
360
 
 
361
 
def sha_strings(strings):
 
750
    """Calculate the hexdigest of an open file.
 
751
 
 
752
    The file cursor should be already at the start.
 
753
    """
 
754
    s = sha()
 
755
    BUFSIZE = 128<<10
 
756
    while True:
 
757
        b = f.read(BUFSIZE)
 
758
        if not b:
 
759
            break
 
760
        s.update(b)
 
761
    return _hexdigest(s)
 
762
 
 
763
 
 
764
def size_sha_file(f):
 
765
    """Calculate the size and hexdigest of an open file.
 
766
 
 
767
    The file cursor should be already at the start and
 
768
    the caller is responsible for closing the file afterwards.
 
769
    """
 
770
    size = 0
 
771
    s = sha()
 
772
    BUFSIZE = 128<<10
 
773
    while True:
 
774
        b = f.read(BUFSIZE)
 
775
        if not b:
 
776
            break
 
777
        size += len(b)
 
778
        s.update(b)
 
779
    return size, _hexdigest(s)
 
780
 
 
781
 
 
782
def sha_file_by_name(fname):
 
783
    """Calculate the SHA1 of a file by reading the full text"""
 
784
    s = sha()
 
785
    f = os.open(fname, os.O_RDONLY | O_BINARY | O_NOINHERIT)
 
786
    try:
 
787
        while True:
 
788
            b = os.read(f, 1<<16)
 
789
            if not b:
 
790
                return _hexdigest(s)
 
791
            s.update(b)
 
792
    finally:
 
793
        os.close(f)
 
794
 
 
795
 
 
796
def sha_strings(strings, _factory=sha):
362
797
    """Return the sha-1 of concatenation of strings"""
363
 
    s = sha.new()
364
 
    map(s.update, strings)
365
 
    return s.hexdigest()
366
 
 
367
 
 
368
 
def sha_string(f):
369
 
    s = sha.new()
370
 
    s.update(f)
371
 
    return s.hexdigest()
 
798
    s = _factory()
 
799
    for string in strings:
 
800
        s.update(string)
 
801
    return _hexdigest(s)
 
802
 
 
803
 
 
804
def sha_string(f, _factory=sha):
 
805
    # GZ 2017-09-16: Dodgy if factory is ever not sha, probably shouldn't be.
 
806
    return _hexdigest(_factory(f))
372
807
 
373
808
 
374
809
def fingerprint_file(f):
375
 
    s = sha.new()
376
810
    b = f.read()
377
 
    s.update(b)
378
 
    size = len(b)
379
 
    return {'size': size,
380
 
            'sha1': s.hexdigest()}
 
811
    return {'size': len(b),
 
812
            'sha1': _hexdigest(sha(b))}
381
813
 
382
814
 
383
815
def compare_files(a, b):
392
824
            return True
393
825
 
394
826
 
 
827
def gmtime(seconds=None):
 
828
    """Convert seconds since the Epoch to a time tuple expressing UTC (a.k.a.
 
829
    GMT). When 'seconds' is not passed in, convert the current time instead.
 
830
    Handy replacement for time.gmtime() buggy on Windows and 32-bit platforms.
 
831
    """
 
832
    if seconds is None:
 
833
        seconds = time.time()
 
834
    return (datetime(1970, 1, 1) + timedelta(seconds=seconds)).timetuple()
 
835
 
 
836
 
395
837
def local_time_offset(t=None):
396
838
    """Return offset of local zone from GMT, either at present or at time t."""
397
 
    # python2.3 localtime() can't take None
398
 
    if t == None:
 
839
    if t is None:
399
840
        t = time.time()
400
 
        
401
 
    if time.localtime(t).tm_isdst and time.daylight:
402
 
        return -time.altzone
403
 
    else:
404
 
        return -time.timezone
405
 
 
406
 
    
407
 
def format_date(t, offset=0, timezone='original', date_fmt=None, 
 
841
    offset = datetime.fromtimestamp(t) - datetime.utcfromtimestamp(t)
 
842
    return offset.days * 86400 + offset.seconds
 
843
 
 
844
weekdays = ['Mon', 'Tue', 'Wed', 'Thu', 'Fri', 'Sat', 'Sun']
 
845
_default_format_by_weekday_num = [wd + " %Y-%m-%d %H:%M:%S" for wd in weekdays]
 
846
 
 
847
 
 
848
def format_date(t, offset=0, timezone='original', date_fmt=None,
408
849
                show_offset=True):
409
 
    ## TODO: Perhaps a global option to use either universal or local time?
410
 
    ## Or perhaps just let people set $TZ?
411
 
    assert isinstance(t, float)
412
 
    
 
850
    """Return a formatted date string.
 
851
 
 
852
    :param t: Seconds since the epoch.
 
853
    :param offset: Timezone offset in seconds east of utc.
 
854
    :param timezone: How to display the time: 'utc', 'original' for the
 
855
         timezone specified by offset, or 'local' for the process's current
 
856
         timezone.
 
857
    :param date_fmt: strftime format.
 
858
    :param show_offset: Whether to append the timezone.
 
859
    """
 
860
    (date_fmt, tt, offset_str) = \
 
861
               _format_date(t, offset, timezone, date_fmt, show_offset)
 
862
    date_fmt = date_fmt.replace('%a', weekdays[tt[6]])
 
863
    date_str = time.strftime(date_fmt, tt)
 
864
    return date_str + offset_str
 
865
 
 
866
 
 
867
# Cache of formatted offset strings
 
868
_offset_cache = {}
 
869
 
 
870
 
 
871
def format_date_with_offset_in_original_timezone(t, offset=0,
 
872
    _cache=_offset_cache):
 
873
    """Return a formatted date string in the original timezone.
 
874
 
 
875
    This routine may be faster then format_date.
 
876
 
 
877
    :param t: Seconds since the epoch.
 
878
    :param offset: Timezone offset in seconds east of utc.
 
879
    """
 
880
    if offset is None:
 
881
        offset = 0
 
882
    tt = gmtime(t + offset)
 
883
    date_fmt = _default_format_by_weekday_num[tt[6]]
 
884
    date_str = time.strftime(date_fmt, tt)
 
885
    offset_str = _cache.get(offset, None)
 
886
    if offset_str is None:
 
887
        offset_str = ' %+03d%02d' % (offset / 3600, (offset / 60) % 60)
 
888
        _cache[offset] = offset_str
 
889
    return date_str + offset_str
 
890
 
 
891
 
 
892
def format_local_date(t, offset=0, timezone='original', date_fmt=None,
 
893
                      show_offset=True):
 
894
    """Return an unicode date string formatted according to the current locale.
 
895
 
 
896
    :param t: Seconds since the epoch.
 
897
    :param offset: Timezone offset in seconds east of utc.
 
898
    :param timezone: How to display the time: 'utc', 'original' for the
 
899
         timezone specified by offset, or 'local' for the process's current
 
900
         timezone.
 
901
    :param date_fmt: strftime format.
 
902
    :param show_offset: Whether to append the timezone.
 
903
    """
 
904
    (date_fmt, tt, offset_str) = \
 
905
               _format_date(t, offset, timezone, date_fmt, show_offset)
 
906
    date_str = time.strftime(date_fmt, tt)
 
907
    if not isinstance(date_str, text_type):
 
908
        date_str = date_str.decode(get_user_encoding(), 'replace')
 
909
    return date_str + offset_str
 
910
 
 
911
 
 
912
def _format_date(t, offset, timezone, date_fmt, show_offset):
413
913
    if timezone == 'utc':
414
 
        tt = time.gmtime(t)
 
914
        tt = gmtime(t)
415
915
        offset = 0
416
916
    elif timezone == 'original':
417
 
        if offset == None:
 
917
        if offset is None:
418
918
            offset = 0
419
 
        tt = time.gmtime(t + offset)
 
919
        tt = gmtime(t + offset)
420
920
    elif timezone == 'local':
421
921
        tt = time.localtime(t)
422
922
        offset = local_time_offset(t)
423
923
    else:
424
 
        raise BzrError("unsupported timezone format %r" % timezone,
425
 
                       ['options are "utc", "original", "local"'])
 
924
        raise UnsupportedTimezoneFormat(timezone)
426
925
    if date_fmt is None:
427
926
        date_fmt = "%a %Y-%m-%d %H:%M:%S"
428
927
    if show_offset:
429
928
        offset_str = ' %+03d%02d' % (offset / 3600, (offset / 60) % 60)
430
929
    else:
431
930
        offset_str = ''
432
 
    return (time.strftime(date_fmt, tt) +  offset_str)
 
931
    return (date_fmt, tt, offset_str)
433
932
 
434
933
 
435
934
def compact_date(when):
436
 
    return time.strftime('%Y%m%d%H%M%S', time.gmtime(when))
437
 
    
438
 
 
 
935
    return time.strftime('%Y%m%d%H%M%S', gmtime(when))
 
936
 
 
937
 
 
938
def format_delta(delta):
 
939
    """Get a nice looking string for a time delta.
 
940
 
 
941
    :param delta: The time difference in seconds, can be positive or negative.
 
942
        positive indicates time in the past, negative indicates time in the
 
943
        future. (usually time.time() - stored_time)
 
944
    :return: String formatted to show approximate resolution
 
945
    """
 
946
    delta = int(delta)
 
947
    if delta >= 0:
 
948
        direction = 'ago'
 
949
    else:
 
950
        direction = 'in the future'
 
951
        delta = -delta
 
952
 
 
953
    seconds = delta
 
954
    if seconds < 90: # print seconds up to 90 seconds
 
955
        if seconds == 1:
 
956
            return '%d second %s' % (seconds, direction,)
 
957
        else:
 
958
            return '%d seconds %s' % (seconds, direction)
 
959
 
 
960
    minutes = int(seconds / 60)
 
961
    seconds -= 60 * minutes
 
962
    if seconds == 1:
 
963
        plural_seconds = ''
 
964
    else:
 
965
        plural_seconds = 's'
 
966
    if minutes < 90: # print minutes, seconds up to 90 minutes
 
967
        if minutes == 1:
 
968
            return '%d minute, %d second%s %s' % (
 
969
                    minutes, seconds, plural_seconds, direction)
 
970
        else:
 
971
            return '%d minutes, %d second%s %s' % (
 
972
                    minutes, seconds, plural_seconds, direction)
 
973
 
 
974
    hours = int(minutes / 60)
 
975
    minutes -= 60 * hours
 
976
    if minutes == 1:
 
977
        plural_minutes = ''
 
978
    else:
 
979
        plural_minutes = 's'
 
980
 
 
981
    if hours == 1:
 
982
        return '%d hour, %d minute%s %s' % (hours, minutes,
 
983
                                            plural_minutes, direction)
 
984
    return '%d hours, %d minute%s %s' % (hours, minutes,
 
985
                                         plural_minutes, direction)
439
986
 
440
987
def filesize(f):
441
988
    """Return size of given open file."""
442
 
    return os.fstat(f.fileno())[ST_SIZE]
443
 
 
444
 
 
445
 
# Define rand_bytes based on platform.
446
 
try:
447
 
    # Python 2.4 and later have os.urandom,
448
 
    # but it doesn't work on some arches
449
 
    os.urandom(1)
450
 
    rand_bytes = os.urandom
451
 
except (NotImplementedError, AttributeError):
452
 
    # If python doesn't have os.urandom, or it doesn't work,
453
 
    # then try to first pull random data from /dev/urandom
454
 
    if os.path.exists("/dev/urandom"):
455
 
        rand_bytes = file('/dev/urandom', 'rb').read
456
 
    # Otherwise, use this hack as a last resort
457
 
    else:
 
989
    return os.fstat(f.fileno())[stat.ST_SIZE]
 
990
 
 
991
 
 
992
# Alias os.urandom to support platforms (which?) without /dev/urandom and 
 
993
# override if it doesn't work. Avoid checking on windows where there is
 
994
# significant initialisation cost that can be avoided for some bzr calls.
 
995
 
 
996
rand_bytes = os.urandom
 
997
 
 
998
if rand_bytes.__module__ != "nt":
 
999
    try:
 
1000
        rand_bytes(1)
 
1001
    except NotImplementedError:
458
1002
        # not well seeded, but better than nothing
459
1003
        def rand_bytes(n):
460
1004
            import random
468
1012
ALNUM = '0123456789abcdefghijklmnopqrstuvwxyz'
469
1013
def rand_chars(num):
470
1014
    """Return a random string of num alphanumeric characters
471
 
    
472
 
    The result only contains lowercase chars because it may be used on 
 
1015
 
 
1016
    The result only contains lowercase chars because it may be used on
473
1017
    case-insensitive filesystems.
474
1018
    """
475
1019
    s = ''
476
1020
    for raw_byte in rand_bytes(num):
477
 
        s += ALNUM[ord(raw_byte) % 36]
 
1021
        if not PY3:
 
1022
            s += ALNUM[ord(raw_byte) % 36]
 
1023
        else:
 
1024
            s += ALNUM[raw_byte % 36]
478
1025
    return s
479
1026
 
480
1027
 
482
1029
## decomposition (might be too tricksy though.)
483
1030
 
484
1031
def splitpath(p):
485
 
    """Turn string into list of parts.
486
 
 
487
 
    >>> splitpath('a')
488
 
    ['a']
489
 
    >>> splitpath('a/b')
490
 
    ['a', 'b']
491
 
    >>> splitpath('a/./b')
492
 
    ['a', 'b']
493
 
    >>> splitpath('a/.b')
494
 
    ['a', '.b']
495
 
    >>> splitpath('a/../b')
496
 
    Traceback (most recent call last):
497
 
    ...
498
 
    BzrError: sorry, '..' not allowed in path
499
 
    """
500
 
    assert isinstance(p, types.StringTypes)
501
 
 
 
1032
    """Turn string into list of parts."""
502
1033
    # split on either delimiter because people might use either on
503
1034
    # Windows
504
1035
    ps = re.split(r'[\\/]', p)
506
1037
    rps = []
507
1038
    for f in ps:
508
1039
        if f == '..':
509
 
            raise BzrError("sorry, %r not allowed in path" % f)
 
1040
            raise errors.BzrError(gettext("sorry, %r not allowed in path") % f)
510
1041
        elif (f == '.') or (f == ''):
511
1042
            pass
512
1043
        else:
513
1044
            rps.append(f)
514
1045
    return rps
515
1046
 
 
1047
 
516
1048
def joinpath(p):
517
 
    assert isinstance(p, list)
518
1049
    for f in p:
519
 
        if (f == '..') or (f == None) or (f == ''):
520
 
            raise BzrError("sorry, %r not allowed in path" % f)
 
1050
        if (f == '..') or (f is None) or (f == ''):
 
1051
            raise errors.BzrError(gettext("sorry, %r not allowed in path") % f)
521
1052
    return pathjoin(*p)
522
1053
 
523
1054
 
524
 
def appendpath(p1, p2):
525
 
    if p1 == '':
526
 
        return p2
527
 
    else:
528
 
        return pathjoin(p1, p2)
529
 
    
 
1055
def parent_directories(filename):
 
1056
    """Return the list of parent directories, deepest first.
 
1057
 
 
1058
    For example, parent_directories("a/b/c") -> ["a/b", "a"].
 
1059
    """
 
1060
    parents = []
 
1061
    parts = splitpath(dirname(filename))
 
1062
    while parts:
 
1063
        parents.append(joinpath(parts))
 
1064
        parts.pop()
 
1065
    return parents
 
1066
 
 
1067
 
 
1068
_extension_load_failures = []
 
1069
 
 
1070
 
 
1071
def failed_to_load_extension(exception):
 
1072
    """Handle failing to load a binary extension.
 
1073
 
 
1074
    This should be called from the ImportError block guarding the attempt to
 
1075
    import the native extension.  If this function returns, the pure-Python
 
1076
    implementation should be loaded instead::
 
1077
 
 
1078
    >>> try:
 
1079
    >>>     import breezy._fictional_extension_pyx
 
1080
    >>> except ImportError, e:
 
1081
    >>>     breezy.osutils.failed_to_load_extension(e)
 
1082
    >>>     import breezy._fictional_extension_py
 
1083
    """
 
1084
    # NB: This docstring is just an example, not a doctest, because doctest
 
1085
    # currently can't cope with the use of lazy imports in this namespace --
 
1086
    # mbp 20090729
 
1087
 
 
1088
    # This currently doesn't report the failure at the time it occurs, because
 
1089
    # they tend to happen very early in startup when we can't check config
 
1090
    # files etc, and also we want to report all failures but not spam the user
 
1091
    # with 10 warnings.
 
1092
    exception_str = str(exception)
 
1093
    if exception_str not in _extension_load_failures:
 
1094
        trace.mutter("failed to load compiled extension: %s" % exception_str)
 
1095
        _extension_load_failures.append(exception_str)
 
1096
 
 
1097
 
 
1098
def report_extension_load_failures():
 
1099
    if not _extension_load_failures:
 
1100
        return
 
1101
    if config.GlobalConfig().suppress_warning('missing_extensions'):
 
1102
        return
 
1103
    # the warnings framework should by default show this only once
 
1104
    from .trace import warning
 
1105
    warning(
 
1106
        "brz: warning: some compiled extensions could not be loaded; "
 
1107
        "see ``brz help missing-extensions``")
 
1108
    # we no longer show the specific missing extensions here, because it makes
 
1109
    # the message too long and scary - see
 
1110
    # https://bugs.launchpad.net/bzr/+bug/430529
 
1111
 
 
1112
 
 
1113
try:
 
1114
    from ._chunks_to_lines_pyx import chunks_to_lines
 
1115
except ImportError as e:
 
1116
    failed_to_load_extension(e)
 
1117
    from ._chunks_to_lines_py import chunks_to_lines
 
1118
 
530
1119
 
531
1120
def split_lines(s):
532
1121
    """Split s into lines, but without removing the newline characters."""
533
 
    return StringIO(s).readlines()
 
1122
    # Trivially convert a fulltext into a 'chunked' representation, and let
 
1123
    # chunks_to_lines do the heavy lifting.
 
1124
    if isinstance(s, str):
 
1125
        # chunks_to_lines only supports 8-bit strings
 
1126
        return chunks_to_lines([s])
 
1127
    else:
 
1128
        return _split_lines(s)
 
1129
 
 
1130
 
 
1131
def _split_lines(s):
 
1132
    """Split s into lines, but without removing the newline characters.
 
1133
 
 
1134
    This supports Unicode or plain string objects.
 
1135
    """
 
1136
    nl = b'\n' if isinstance(s, bytes) else u'\n'
 
1137
    lines = s.split(nl)
 
1138
    result = [line + nl for line in lines[:-1]]
 
1139
    if lines[-1]:
 
1140
        result.append(lines[-1])
 
1141
    return result
534
1142
 
535
1143
 
536
1144
def hardlinks_good():
540
1148
def link_or_copy(src, dest):
541
1149
    """Hardlink a file, or copy it if it can't be hardlinked."""
542
1150
    if not hardlinks_good():
543
 
        copyfile(src, dest)
 
1151
        shutil.copyfile(src, dest)
544
1152
        return
545
1153
    try:
546
1154
        os.link(src, dest)
547
 
    except (OSError, IOError), e:
 
1155
    except (OSError, IOError) as e:
548
1156
        if e.errno != errno.EXDEV:
549
1157
            raise
550
 
        copyfile(src, dest)
551
 
 
552
 
def delete_any(full_path):
553
 
    """Delete a file or directory."""
 
1158
        shutil.copyfile(src, dest)
 
1159
 
 
1160
 
 
1161
def delete_any(path):
 
1162
    """Delete a file, symlink or directory.
 
1163
 
 
1164
    Will delete even if readonly.
 
1165
    """
554
1166
    try:
555
 
        os.unlink(full_path)
556
 
    except OSError, e:
557
 
    # We may be renaming a dangling inventory id
558
 
        if e.errno not in (errno.EISDIR, errno.EACCES, errno.EPERM):
 
1167
       _delete_file_or_dir(path)
 
1168
    except (OSError, IOError) as e:
 
1169
        if e.errno in (errno.EPERM, errno.EACCES):
 
1170
            # make writable and try again
 
1171
            try:
 
1172
                make_writable(path)
 
1173
            except (OSError, IOError):
 
1174
                pass
 
1175
            _delete_file_or_dir(path)
 
1176
        else:
559
1177
            raise
560
 
        os.rmdir(full_path)
 
1178
 
 
1179
 
 
1180
def _delete_file_or_dir(path):
 
1181
    # Look Before You Leap (LBYL) is appropriate here instead of Easier to Ask for
 
1182
    # Forgiveness than Permission (EAFP) because:
 
1183
    # - root can damage a solaris file system by using unlink,
 
1184
    # - unlink raises different exceptions on different OSes (linux: EISDIR, win32:
 
1185
    #   EACCES, OSX: EPERM) when invoked on a directory.
 
1186
    if isdir(path): # Takes care of symlinks
 
1187
        os.rmdir(path)
 
1188
    else:
 
1189
        os.unlink(path)
561
1190
 
562
1191
 
563
1192
def has_symlinks():
564
 
    if hasattr(os, 'symlink'):
565
 
        return True
566
 
    else:
567
 
        return False
568
 
        
 
1193
    if getattr(os, 'symlink', None) is not None:
 
1194
        return True
 
1195
    else:
 
1196
        return False
 
1197
 
 
1198
 
 
1199
def has_hardlinks():
 
1200
    if getattr(os, 'link', None) is not None:
 
1201
        return True
 
1202
    else:
 
1203
        return False
 
1204
 
 
1205
 
 
1206
def host_os_dereferences_symlinks():
 
1207
    return (has_symlinks()
 
1208
            and sys.platform not in ('cygwin', 'win32'))
 
1209
 
 
1210
 
 
1211
def readlink(abspath):
 
1212
    """Return a string representing the path to which the symbolic link points.
 
1213
 
 
1214
    :param abspath: The link absolute unicode path.
 
1215
 
 
1216
    This his guaranteed to return the symbolic link in unicode in all python
 
1217
    versions.
 
1218
    """
 
1219
    link = abspath.encode(_fs_enc)
 
1220
    target = os.readlink(link)
 
1221
    target = target.decode(_fs_enc)
 
1222
    return target
 
1223
 
569
1224
 
570
1225
def contains_whitespace(s):
571
1226
    """True if there are any whitespace characters in s."""
572
 
    for ch in string.whitespace:
 
1227
    # string.whitespace can include '\xa0' in certain locales, because it is
 
1228
    # considered "non-breaking-space" as part of ISO-8859-1. But it
 
1229
    # 1) Isn't a breaking whitespace
 
1230
    # 2) Isn't one of ' \t\r\n' which are characters we sometimes use as
 
1231
    #    separators
 
1232
    # 3) '\xa0' isn't unicode safe since it is >128.
 
1233
 
 
1234
    if isinstance(s, str):
 
1235
        ws = ' \t\n\r\v\f'
 
1236
    else:
 
1237
        ws = (b' ', b'\t', b'\n', b'\r', b'\v', b'\f')
 
1238
    for ch in ws:
573
1239
        if ch in s:
574
1240
            return True
575
1241
    else:
586
1252
 
587
1253
 
588
1254
def relpath(base, path):
589
 
    """Return path relative to base, or raise exception.
 
1255
    """Return path relative to base, or raise PathNotChild exception.
590
1256
 
591
1257
    The path may be either an absolute path or a path relative to the
592
1258
    current working directory.
594
1260
    os.path.commonprefix (python2.4) has a bad bug that it works just
595
1261
    on string prefixes, assuming that '/u' is a prefix of '/u2'.  This
596
1262
    avoids that problem.
 
1263
 
 
1264
    NOTE: `base` should not have a trailing slash otherwise you'll get
 
1265
    PathNotChild exceptions regardless of `path`.
597
1266
    """
598
 
    if sys.platform != "win32":
599
 
        minlength = 1
600
 
    else:
601
 
        minlength = 3
602
 
    assert len(base) >= minlength, ('Length of base must be equal or exceed the'
603
 
        ' platform minimum length (which is %d)' % minlength)
 
1267
 
 
1268
    if len(base) < MIN_ABS_PATHLENGTH:
 
1269
        # must have space for e.g. a drive letter
 
1270
        raise ValueError(gettext('%r is too short to calculate a relative path')
 
1271
            % (base,))
 
1272
 
604
1273
    rp = abspath(path)
605
1274
 
606
1275
    s = []
607
1276
    head = rp
608
 
    while len(head) >= len(base):
 
1277
    while True:
 
1278
        if len(head) <= len(base) and head != base:
 
1279
            raise errors.PathNotChild(rp, base)
609
1280
        if head == base:
610
1281
            break
611
 
        head, tail = os.path.split(head)
 
1282
        head, tail = split(head)
612
1283
        if tail:
613
 
            s.insert(0, tail)
614
 
    else:
615
 
        # XXX This should raise a NotChildPath exception, as its not tied
616
 
        # to branch anymore.
617
 
        raise PathNotChild(rp, base)
 
1284
            s.append(tail)
618
1285
 
619
1286
    if s:
620
 
        return pathjoin(*s)
 
1287
        return pathjoin(*reversed(s))
621
1288
    else:
622
1289
        return ''
623
1290
 
624
1291
 
 
1292
def _cicp_canonical_relpath(base, path):
 
1293
    """Return the canonical path relative to base.
 
1294
 
 
1295
    Like relpath, but on case-insensitive-case-preserving file-systems, this
 
1296
    will return the relpath as stored on the file-system rather than in the
 
1297
    case specified in the input string, for all existing portions of the path.
 
1298
 
 
1299
    This will cause O(N) behaviour if called for every path in a tree; if you
 
1300
    have a number of paths to convert, you should use canonical_relpaths().
 
1301
    """
 
1302
    # TODO: it should be possible to optimize this for Windows by using the
 
1303
    # win32 API FindFiles function to look for the specified name - but using
 
1304
    # os.listdir() still gives us the correct, platform agnostic semantics in
 
1305
    # the short term.
 
1306
 
 
1307
    rel = relpath(base, path)
 
1308
    # '.' will have been turned into ''
 
1309
    if not rel:
 
1310
        return rel
 
1311
 
 
1312
    abs_base = abspath(base)
 
1313
    current = abs_base
 
1314
    _listdir = os.listdir
 
1315
 
 
1316
    # use an explicit iterator so we can easily consume the rest on early exit.
 
1317
    bit_iter = iter(rel.split('/'))
 
1318
    for bit in bit_iter:
 
1319
        lbit = bit.lower()
 
1320
        try:
 
1321
            next_entries = _listdir(current)
 
1322
        except OSError: # enoent, eperm, etc
 
1323
            # We can't find this in the filesystem, so just append the
 
1324
            # remaining bits.
 
1325
            current = pathjoin(current, bit, *list(bit_iter))
 
1326
            break
 
1327
        for look in next_entries:
 
1328
            if lbit == look.lower():
 
1329
                current = pathjoin(current, look)
 
1330
                break
 
1331
        else:
 
1332
            # got to the end, nothing matched, so we just return the
 
1333
            # non-existing bits as they were specified (the filename may be
 
1334
            # the target of a move, for example).
 
1335
            current = pathjoin(current, bit, *list(bit_iter))
 
1336
            break
 
1337
    return current[len(abs_base):].lstrip('/')
 
1338
 
 
1339
# XXX - TODO - we need better detection/integration of case-insensitive
 
1340
# file-systems; Linux often sees FAT32 devices (or NFS-mounted OSX
 
1341
# filesystems), for example, so could probably benefit from the same basic
 
1342
# support there.  For now though, only Windows and OSX get that support, and
 
1343
# they get it for *all* file-systems!
 
1344
if sys.platform in ('win32', 'darwin'):
 
1345
    canonical_relpath = _cicp_canonical_relpath
 
1346
else:
 
1347
    canonical_relpath = relpath
 
1348
 
 
1349
def canonical_relpaths(base, paths):
 
1350
    """Create an iterable to canonicalize a sequence of relative paths.
 
1351
 
 
1352
    The intent is for this implementation to use a cache, vastly speeding
 
1353
    up multiple transformations in the same directory.
 
1354
    """
 
1355
    # but for now, we haven't optimized...
 
1356
    return [canonical_relpath(base, p) for p in paths]
 
1357
 
 
1358
 
 
1359
def decode_filename(filename):
 
1360
    """Decode the filename using the filesystem encoding
 
1361
 
 
1362
    If it is unicode, it is returned.
 
1363
    Otherwise it is decoded from the the filesystem's encoding. If decoding
 
1364
    fails, a errors.BadFilenameEncoding exception is raised.
 
1365
    """
 
1366
    if isinstance(filename, text_type):
 
1367
        return filename
 
1368
    try:
 
1369
        return filename.decode(_fs_enc)
 
1370
    except UnicodeDecodeError:
 
1371
        raise errors.BadFilenameEncoding(filename, _fs_enc)
 
1372
 
 
1373
 
625
1374
def safe_unicode(unicode_or_utf8_string):
626
1375
    """Coerce unicode_or_utf8_string into unicode.
627
1376
 
628
1377
    If it is unicode, it is returned.
629
 
    Otherwise it is decoded from utf-8. If a decoding error
630
 
    occurs, it is wrapped as a If the decoding fails, the exception is wrapped 
631
 
    as a BzrBadParameter exception.
 
1378
    Otherwise it is decoded from utf-8. If decoding fails, the exception is
 
1379
    wrapped in a BzrBadParameterNotUnicode exception.
632
1380
    """
633
 
    if isinstance(unicode_or_utf8_string, unicode):
 
1381
    if isinstance(unicode_or_utf8_string, text_type):
634
1382
        return unicode_or_utf8_string
635
1383
    try:
636
1384
        return unicode_or_utf8_string.decode('utf8')
637
1385
    except UnicodeDecodeError:
638
 
        raise BzrBadParameterNotUnicode(unicode_or_utf8_string)
639
 
 
 
1386
        raise errors.BzrBadParameterNotUnicode(unicode_or_utf8_string)
 
1387
 
 
1388
 
 
1389
def safe_utf8(unicode_or_utf8_string):
 
1390
    """Coerce unicode_or_utf8_string to a utf8 string.
 
1391
 
 
1392
    If it is a str, it is returned.
 
1393
    If it is Unicode, it is encoded into a utf-8 string.
 
1394
    """
 
1395
    if isinstance(unicode_or_utf8_string, bytes):
 
1396
        # TODO: jam 20070209 This is overkill, and probably has an impact on
 
1397
        #       performance if we are dealing with lots of apis that want a
 
1398
        #       utf-8 revision id
 
1399
        try:
 
1400
            # Make sure it is a valid utf-8 string
 
1401
            unicode_or_utf8_string.decode('utf-8')
 
1402
        except UnicodeDecodeError:
 
1403
            raise errors.BzrBadParameterNotUnicode(unicode_or_utf8_string)
 
1404
        return unicode_or_utf8_string
 
1405
    return unicode_or_utf8_string.encode('utf-8')
 
1406
 
 
1407
 
 
1408
def safe_revision_id(unicode_or_utf8_string):
 
1409
    """Revision ids should now be utf8, but at one point they were unicode.
 
1410
 
 
1411
    :param unicode_or_utf8_string: A possibly Unicode revision_id. (can also be
 
1412
        utf8 or None).
 
1413
    :return: None or a utf8 revision id.
 
1414
    """
 
1415
    if (unicode_or_utf8_string is None
 
1416
        or unicode_or_utf8_string.__class__ == bytes):
 
1417
        return unicode_or_utf8_string
 
1418
    raise TypeError('Unicode revision ids are no longer supported. '
 
1419
                    'Revision id generators should be creating utf8 revision '
 
1420
                    'ids.')
 
1421
 
 
1422
 
 
1423
def safe_file_id(unicode_or_utf8_string):
 
1424
    """File ids should now be utf8, but at one point they were unicode.
 
1425
 
 
1426
    This is the same as safe_utf8, except it uses the cached encode functions
 
1427
    to save a little bit of performance.
 
1428
 
 
1429
    :param unicode_or_utf8_string: A possibly Unicode file_id. (can also be
 
1430
        utf8 or None).
 
1431
    :return: None or a utf8 file id.
 
1432
    """
 
1433
    if (unicode_or_utf8_string is None
 
1434
        or unicode_or_utf8_string.__class__ == bytes):
 
1435
        return unicode_or_utf8_string
 
1436
    raise TypeError('Unicode file ids are no longer supported. '
 
1437
                    'File id generators should be creating utf8 file ids.')
 
1438
 
 
1439
 
 
1440
_platform_normalizes_filenames = False
 
1441
if sys.platform == 'darwin':
 
1442
    _platform_normalizes_filenames = True
 
1443
 
 
1444
 
 
1445
def normalizes_filenames():
 
1446
    """Return True if this platform normalizes unicode filenames.
 
1447
 
 
1448
    Only Mac OSX.
 
1449
    """
 
1450
    return _platform_normalizes_filenames
 
1451
 
 
1452
 
 
1453
def _accessible_normalized_filename(path):
 
1454
    """Get the unicode normalized path, and if you can access the file.
 
1455
 
 
1456
    On platforms where the system normalizes filenames (Mac OSX),
 
1457
    you can access a file by any path which will normalize correctly.
 
1458
    On platforms where the system does not normalize filenames
 
1459
    (everything else), you have to access a file by its exact path.
 
1460
 
 
1461
    Internally, bzr only supports NFC normalization, since that is
 
1462
    the standard for XML documents.
 
1463
 
 
1464
    So return the normalized path, and a flag indicating if the file
 
1465
    can be accessed by that path.
 
1466
    """
 
1467
 
 
1468
    return unicodedata.normalize('NFC', text_type(path)), True
 
1469
 
 
1470
 
 
1471
def _inaccessible_normalized_filename(path):
 
1472
    __doc__ = _accessible_normalized_filename.__doc__
 
1473
 
 
1474
    normalized = unicodedata.normalize('NFC', text_type(path))
 
1475
    return normalized, normalized == path
 
1476
 
 
1477
 
 
1478
if _platform_normalizes_filenames:
 
1479
    normalized_filename = _accessible_normalized_filename
 
1480
else:
 
1481
    normalized_filename = _inaccessible_normalized_filename
 
1482
 
 
1483
 
 
1484
def set_signal_handler(signum, handler, restart_syscall=True):
 
1485
    """A wrapper for signal.signal that also calls siginterrupt(signum, False)
 
1486
    on platforms that support that.
 
1487
 
 
1488
    :param restart_syscall: if set, allow syscalls interrupted by a signal to
 
1489
        automatically restart (by calling `signal.siginterrupt(signum,
 
1490
        False)`).  May be ignored if the feature is not available on this
 
1491
        platform or Python version.
 
1492
    """
 
1493
    try:
 
1494
        import signal
 
1495
        siginterrupt = signal.siginterrupt
 
1496
    except ImportError:
 
1497
        # This python implementation doesn't provide signal support, hence no
 
1498
        # handler exists
 
1499
        return None
 
1500
    except AttributeError:
 
1501
        # siginterrupt doesn't exist on this platform, or for this version
 
1502
        # of Python.
 
1503
        siginterrupt = lambda signum, flag: None
 
1504
    if restart_syscall:
 
1505
        def sig_handler(*args):
 
1506
            # Python resets the siginterrupt flag when a signal is
 
1507
            # received.  <http://bugs.python.org/issue8354>
 
1508
            # As a workaround for some cases, set it back the way we want it.
 
1509
            siginterrupt(signum, False)
 
1510
            # Now run the handler function passed to set_signal_handler.
 
1511
            handler(*args)
 
1512
    else:
 
1513
        sig_handler = handler
 
1514
    old_handler = signal.signal(signum, sig_handler)
 
1515
    if restart_syscall:
 
1516
        siginterrupt(signum, False)
 
1517
    return old_handler
 
1518
 
 
1519
 
 
1520
default_terminal_width = 80
 
1521
"""The default terminal width for ttys.
 
1522
 
 
1523
This is defined so that higher levels can share a common fallback value when
 
1524
terminal_width() returns None.
 
1525
"""
 
1526
 
 
1527
# Keep some state so that terminal_width can detect if _terminal_size has
 
1528
# returned a different size since the process started.  See docstring and
 
1529
# comments of terminal_width for details.
 
1530
# _terminal_size_state has 3 possible values: no_data, unchanged, and changed.
 
1531
_terminal_size_state = 'no_data'
 
1532
_first_terminal_size = None
640
1533
 
641
1534
def terminal_width():
642
 
    """Return estimated terminal width."""
643
 
 
644
 
    # TODO: Do something smart on Windows?
645
 
 
646
 
    # TODO: Is there anything that gets a better update when the window
647
 
    # is resized while the program is running? We could use the Python termcap
648
 
    # library.
 
1535
    """Return terminal width.
 
1536
 
 
1537
    None is returned if the width can't established precisely.
 
1538
 
 
1539
    The rules are:
 
1540
    - if BRZ_COLUMNS is set, returns its value
 
1541
    - if there is no controlling terminal, returns None
 
1542
    - query the OS, if the queried size has changed since the last query,
 
1543
      return its value,
 
1544
    - if COLUMNS is set, returns its value,
 
1545
    - if the OS has a value (even though it's never changed), return its value.
 
1546
 
 
1547
    From there, we need to query the OS to get the size of the controlling
 
1548
    terminal.
 
1549
 
 
1550
    On Unices we query the OS by:
 
1551
    - get termios.TIOCGWINSZ
 
1552
    - if an error occurs or a negative value is obtained, returns None
 
1553
 
 
1554
    On Windows we query the OS by:
 
1555
    - win32utils.get_console_size() decides,
 
1556
    - returns None on error (provided default value)
 
1557
    """
 
1558
    # Note to implementors: if changing the rules for determining the width,
 
1559
    # make sure you've considered the behaviour in these cases:
 
1560
    #  - M-x shell in emacs, where $COLUMNS is set and TIOCGWINSZ returns 0,0.
 
1561
    #  - brz log | less, in bash, where $COLUMNS not set and TIOCGWINSZ returns
 
1562
    #    0,0.
 
1563
    #  - (add more interesting cases here, if you find any)
 
1564
    # Some programs implement "Use $COLUMNS (if set) until SIGWINCH occurs",
 
1565
    # but we don't want to register a signal handler because it is impossible
 
1566
    # to do so without risking EINTR errors in Python <= 2.6.5 (see
 
1567
    # <http://bugs.python.org/issue8354>).  Instead we check TIOCGWINSZ every
 
1568
    # time so we can notice if the reported size has changed, which should have
 
1569
    # a similar effect.
 
1570
 
 
1571
    # If BRZ_COLUMNS is set, take it, user is always right
 
1572
    # Except if they specified 0 in which case, impose no limit here
 
1573
    try:
 
1574
        width = int(os.environ['BRZ_COLUMNS'])
 
1575
    except (KeyError, ValueError):
 
1576
        width = None
 
1577
    if width is not None:
 
1578
        if width > 0:
 
1579
            return width
 
1580
        else:
 
1581
            return None
 
1582
 
 
1583
    isatty = getattr(sys.stdout, 'isatty', None)
 
1584
    if isatty is None or not isatty():
 
1585
        # Don't guess, setting BRZ_COLUMNS is the recommended way to override.
 
1586
        return None
 
1587
 
 
1588
    # Query the OS
 
1589
    width, height = os_size = _terminal_size(None, None)
 
1590
    global _first_terminal_size, _terminal_size_state
 
1591
    if _terminal_size_state == 'no_data':
 
1592
        _first_terminal_size = os_size
 
1593
        _terminal_size_state = 'unchanged'
 
1594
    elif (_terminal_size_state == 'unchanged' and
 
1595
          _first_terminal_size != os_size):
 
1596
        _terminal_size_state = 'changed'
 
1597
 
 
1598
    # If the OS claims to know how wide the terminal is, and this value has
 
1599
    # ever changed, use that.
 
1600
    if _terminal_size_state == 'changed':
 
1601
        if width is not None and width > 0:
 
1602
            return width
 
1603
 
 
1604
    # If COLUMNS is set, use it.
649
1605
    try:
650
1606
        return int(os.environ['COLUMNS'])
651
 
    except (IndexError, KeyError, ValueError):
652
 
        return 80
 
1607
    except (KeyError, ValueError):
 
1608
        pass
 
1609
 
 
1610
    # Finally, use an unchanged size from the OS, if we have one.
 
1611
    if _terminal_size_state == 'unchanged':
 
1612
        if width is not None and width > 0:
 
1613
            return width
 
1614
 
 
1615
    # The width could not be determined.
 
1616
    return None
 
1617
 
 
1618
 
 
1619
def _win32_terminal_size(width, height):
 
1620
    width, height = win32utils.get_console_size(defaultx=width, defaulty=height)
 
1621
    return width, height
 
1622
 
 
1623
 
 
1624
def _ioctl_terminal_size(width, height):
 
1625
    try:
 
1626
        import struct, fcntl, termios
 
1627
        s = struct.pack('HHHH', 0, 0, 0, 0)
 
1628
        x = fcntl.ioctl(1, termios.TIOCGWINSZ, s)
 
1629
        height, width = struct.unpack('HHHH', x)[0:2]
 
1630
    except (IOError, AttributeError):
 
1631
        pass
 
1632
    return width, height
 
1633
 
 
1634
_terminal_size = None
 
1635
"""Returns the terminal size as (width, height).
 
1636
 
 
1637
:param width: Default value for width.
 
1638
:param height: Default value for height.
 
1639
 
 
1640
This is defined specifically for each OS and query the size of the controlling
 
1641
terminal. If any error occurs, the provided default values should be returned.
 
1642
"""
 
1643
if sys.platform == 'win32':
 
1644
    _terminal_size = _win32_terminal_size
 
1645
else:
 
1646
    _terminal_size = _ioctl_terminal_size
 
1647
 
653
1648
 
654
1649
def supports_executable():
655
1650
    return sys.platform != "win32"
 
1651
 
 
1652
 
 
1653
def supports_posix_readonly():
 
1654
    """Return True if 'readonly' has POSIX semantics, False otherwise.
 
1655
 
 
1656
    Notably, a win32 readonly file cannot be deleted, unlike POSIX where the
 
1657
    directory controls creation/deletion, etc.
 
1658
 
 
1659
    And under win32, readonly means that the directory itself cannot be
 
1660
    deleted.  The contents of a readonly directory can be changed, unlike POSIX
 
1661
    where files in readonly directories cannot be added, deleted or renamed.
 
1662
    """
 
1663
    return sys.platform != "win32"
 
1664
 
 
1665
 
 
1666
def set_or_unset_env(env_variable, value):
 
1667
    """Modify the environment, setting or removing the env_variable.
 
1668
 
 
1669
    :param env_variable: The environment variable in question
 
1670
    :param value: The value to set the environment to. If None, then
 
1671
        the variable will be removed.
 
1672
    :return: The original value of the environment variable.
 
1673
    """
 
1674
    orig_val = os.environ.get(env_variable)
 
1675
    if value is None:
 
1676
        if orig_val is not None:
 
1677
            del os.environ[env_variable]
 
1678
    else:
 
1679
        if not PY3 and isinstance(value, text_type):
 
1680
            value = value.encode(get_user_encoding())
 
1681
        os.environ[env_variable] = value
 
1682
    return orig_val
 
1683
 
 
1684
 
 
1685
_validWin32PathRE = re.compile(r'^([A-Za-z]:[/\\])?[^:<>*"?\|]*$')
 
1686
 
 
1687
 
 
1688
def check_legal_path(path):
 
1689
    """Check whether the supplied path is legal.
 
1690
    This is only required on Windows, so we don't test on other platforms
 
1691
    right now.
 
1692
    """
 
1693
    if sys.platform != "win32":
 
1694
        return
 
1695
    if _validWin32PathRE.match(path) is None:
 
1696
        raise errors.IllegalPath(path)
 
1697
 
 
1698
 
 
1699
_WIN32_ERROR_DIRECTORY = 267 # Similar to errno.ENOTDIR
 
1700
 
 
1701
def _is_error_enotdir(e):
 
1702
    """Check if this exception represents ENOTDIR.
 
1703
 
 
1704
    Unfortunately, python is very inconsistent about the exception
 
1705
    here. The cases are:
 
1706
      1) Linux, Mac OSX all versions seem to set errno == ENOTDIR
 
1707
      2) Windows, Python2.4, uses errno == ERROR_DIRECTORY (267)
 
1708
         which is the windows error code.
 
1709
      3) Windows, Python2.5 uses errno == EINVAL and
 
1710
         winerror == ERROR_DIRECTORY
 
1711
 
 
1712
    :param e: An Exception object (expected to be OSError with an errno
 
1713
        attribute, but we should be able to cope with anything)
 
1714
    :return: True if this represents an ENOTDIR error. False otherwise.
 
1715
    """
 
1716
    en = getattr(e, 'errno', None)
 
1717
    if (en == errno.ENOTDIR
 
1718
        or (sys.platform == 'win32'
 
1719
            and (en == _WIN32_ERROR_DIRECTORY
 
1720
                 or (en == errno.EINVAL
 
1721
                     and getattr(e, 'winerror', None) == _WIN32_ERROR_DIRECTORY)
 
1722
        ))):
 
1723
        return True
 
1724
    return False
 
1725
 
 
1726
 
 
1727
def walkdirs(top, prefix=""):
 
1728
    """Yield data about all the directories in a tree.
 
1729
 
 
1730
    This yields all the data about the contents of a directory at a time.
 
1731
    After each directory has been yielded, if the caller has mutated the list
 
1732
    to exclude some directories, they are then not descended into.
 
1733
 
 
1734
    The data yielded is of the form:
 
1735
    ((directory-relpath, directory-path-from-top),
 
1736
    [(relpath, basename, kind, lstat, path-from-top), ...]),
 
1737
     - directory-relpath is the relative path of the directory being returned
 
1738
       with respect to top. prefix is prepended to this.
 
1739
     - directory-path-from-root is the path including top for this directory.
 
1740
       It is suitable for use with os functions.
 
1741
     - relpath is the relative path within the subtree being walked.
 
1742
     - basename is the basename of the path
 
1743
     - kind is the kind of the file now. If unknown then the file is not
 
1744
       present within the tree - but it may be recorded as versioned. See
 
1745
       versioned_kind.
 
1746
     - lstat is the stat data *if* the file was statted.
 
1747
     - planned, not implemented:
 
1748
       path_from_tree_root is the path from the root of the tree.
 
1749
 
 
1750
    :param prefix: Prefix the relpaths that are yielded with 'prefix'. This
 
1751
        allows one to walk a subtree but get paths that are relative to a tree
 
1752
        rooted higher up.
 
1753
    :return: an iterator over the dirs.
 
1754
    """
 
1755
    #TODO there is a bit of a smell where the results of the directory-
 
1756
    # summary in this, and the path from the root, may not agree
 
1757
    # depending on top and prefix - i.e. ./foo and foo as a pair leads to
 
1758
    # potentially confusing output. We should make this more robust - but
 
1759
    # not at a speed cost. RBC 20060731
 
1760
    _lstat = os.lstat
 
1761
    _directory = _directory_kind
 
1762
    _listdir = os.listdir
 
1763
    _kind_from_mode = file_kind_from_stat_mode
 
1764
    pending = [(safe_unicode(prefix), "", _directory, None, safe_unicode(top))]
 
1765
    while pending:
 
1766
        # 0 - relpath, 1- basename, 2- kind, 3- stat, 4-toppath
 
1767
        relroot, _, _, _, top = pending.pop()
 
1768
        if relroot:
 
1769
            relprefix = relroot + u'/'
 
1770
        else:
 
1771
            relprefix = ''
 
1772
        top_slash = top + u'/'
 
1773
 
 
1774
        dirblock = []
 
1775
        append = dirblock.append
 
1776
        try:
 
1777
            names = sorted(map(decode_filename, _listdir(top)))
 
1778
        except OSError as e:
 
1779
            if not _is_error_enotdir(e):
 
1780
                raise
 
1781
        else:
 
1782
            for name in names:
 
1783
                abspath = top_slash + name
 
1784
                statvalue = _lstat(abspath)
 
1785
                kind = _kind_from_mode(statvalue.st_mode)
 
1786
                append((relprefix + name, name, kind, statvalue, abspath))
 
1787
        yield (relroot, top), dirblock
 
1788
 
 
1789
        # push the user specified dirs from dirblock
 
1790
        pending.extend(d for d in reversed(dirblock) if d[2] == _directory)
 
1791
 
 
1792
 
 
1793
class DirReader(object):
 
1794
    """An interface for reading directories."""
 
1795
 
 
1796
    def top_prefix_to_starting_dir(self, top, prefix=""):
 
1797
        """Converts top and prefix to a starting dir entry
 
1798
 
 
1799
        :param top: A utf8 path
 
1800
        :param prefix: An optional utf8 path to prefix output relative paths
 
1801
            with.
 
1802
        :return: A tuple starting with prefix, and ending with the native
 
1803
            encoding of top.
 
1804
        """
 
1805
        raise NotImplementedError(self.top_prefix_to_starting_dir)
 
1806
 
 
1807
    def read_dir(self, prefix, top):
 
1808
        """Read a specific dir.
 
1809
 
 
1810
        :param prefix: A utf8 prefix to be preprended to the path basenames.
 
1811
        :param top: A natively encoded path to read.
 
1812
        :return: A list of the directories contents. Each item contains:
 
1813
            (utf8_relpath, utf8_name, kind, lstatvalue, native_abspath)
 
1814
        """
 
1815
        raise NotImplementedError(self.read_dir)
 
1816
 
 
1817
 
 
1818
_selected_dir_reader = None
 
1819
 
 
1820
 
 
1821
def _walkdirs_utf8(top, prefix=""):
 
1822
    """Yield data about all the directories in a tree.
 
1823
 
 
1824
    This yields the same information as walkdirs() only each entry is yielded
 
1825
    in utf-8. On platforms which have a filesystem encoding of utf8 the paths
 
1826
    are returned as exact byte-strings.
 
1827
 
 
1828
    :return: yields a tuple of (dir_info, [file_info])
 
1829
        dir_info is (utf8_relpath, path-from-top)
 
1830
        file_info is (utf8_relpath, utf8_name, kind, lstat, path-from-top)
 
1831
        if top is an absolute path, path-from-top is also an absolute path.
 
1832
        path-from-top might be unicode or utf8, but it is the correct path to
 
1833
        pass to os functions to affect the file in question. (such as os.lstat)
 
1834
    """
 
1835
    global _selected_dir_reader
 
1836
    if _selected_dir_reader is None:
 
1837
        if sys.platform == "win32":
 
1838
            try:
 
1839
                from ._walkdirs_win32 import Win32ReadDir
 
1840
                _selected_dir_reader = Win32ReadDir()
 
1841
            except ImportError:
 
1842
                pass
 
1843
        elif _fs_enc in ('utf-8', 'ascii'):
 
1844
            try:
 
1845
                from ._readdir_pyx import UTF8DirReader
 
1846
                _selected_dir_reader = UTF8DirReader()
 
1847
            except ImportError as e:
 
1848
                failed_to_load_extension(e)
 
1849
                pass
 
1850
 
 
1851
    if _selected_dir_reader is None:
 
1852
        # Fallback to the python version
 
1853
        _selected_dir_reader = UnicodeDirReader()
 
1854
 
 
1855
    # 0 - relpath, 1- basename, 2- kind, 3- stat, 4-toppath
 
1856
    # But we don't actually uses 1-3 in pending, so set them to None
 
1857
    pending = [[_selected_dir_reader.top_prefix_to_starting_dir(top, prefix)]]
 
1858
    read_dir = _selected_dir_reader.read_dir
 
1859
    _directory = _directory_kind
 
1860
    while pending:
 
1861
        relroot, _, _, _, top = pending[-1].pop()
 
1862
        if not pending[-1]:
 
1863
            pending.pop()
 
1864
        dirblock = sorted(read_dir(relroot, top))
 
1865
        yield (relroot, top), dirblock
 
1866
        # push the user specified dirs from dirblock
 
1867
        next = [d for d in reversed(dirblock) if d[2] == _directory]
 
1868
        if next:
 
1869
            pending.append(next)
 
1870
 
 
1871
 
 
1872
class UnicodeDirReader(DirReader):
 
1873
    """A dir reader for non-utf8 file systems, which transcodes."""
 
1874
 
 
1875
    __slots__ = ['_utf8_encode']
 
1876
 
 
1877
    def __init__(self):
 
1878
        self._utf8_encode = codecs.getencoder('utf8')
 
1879
 
 
1880
    def top_prefix_to_starting_dir(self, top, prefix=""):
 
1881
        """See DirReader.top_prefix_to_starting_dir."""
 
1882
        return (safe_utf8(prefix), None, None, None, safe_unicode(top))
 
1883
 
 
1884
    def read_dir(self, prefix, top):
 
1885
        """Read a single directory from a non-utf8 file system.
 
1886
 
 
1887
        top, and the abspath element in the output are unicode, all other paths
 
1888
        are utf8. Local disk IO is done via unicode calls to listdir etc.
 
1889
 
 
1890
        This is currently the fallback code path when the filesystem encoding is
 
1891
        not UTF-8. It may be better to implement an alternative so that we can
 
1892
        safely handle paths that are not properly decodable in the current
 
1893
        encoding.
 
1894
 
 
1895
        See DirReader.read_dir for details.
 
1896
        """
 
1897
        _utf8_encode = self._utf8_encode
 
1898
        _lstat = os.lstat
 
1899
        _listdir = os.listdir
 
1900
        _kind_from_mode = file_kind_from_stat_mode
 
1901
 
 
1902
        if prefix:
 
1903
            relprefix = prefix + b'/'
 
1904
        else:
 
1905
            relprefix = b''
 
1906
        top_slash = top + '/'
 
1907
 
 
1908
        dirblock = []
 
1909
        append = dirblock.append
 
1910
        for name in sorted(_listdir(top)):
 
1911
            try:
 
1912
                name_utf8 = _utf8_encode(name)[0]
 
1913
            except UnicodeDecodeError:
 
1914
                raise errors.BadFilenameEncoding(
 
1915
                    _utf8_encode(relprefix)[0] + name, _fs_enc)
 
1916
            abspath = top_slash + name
 
1917
            statvalue = _lstat(abspath)
 
1918
            kind = _kind_from_mode(statvalue.st_mode)
 
1919
            append((relprefix + name_utf8, name_utf8, kind, statvalue, abspath))
 
1920
        return dirblock
 
1921
 
 
1922
 
 
1923
def copy_tree(from_path, to_path, handlers={}):
 
1924
    """Copy all of the entries in from_path into to_path.
 
1925
 
 
1926
    :param from_path: The base directory to copy.
 
1927
    :param to_path: The target directory. If it does not exist, it will
 
1928
        be created.
 
1929
    :param handlers: A dictionary of functions, which takes a source and
 
1930
        destinations for files, directories, etc.
 
1931
        It is keyed on the file kind, such as 'directory', 'symlink', or 'file'
 
1932
        'file', 'directory', and 'symlink' should always exist.
 
1933
        If they are missing, they will be replaced with 'os.mkdir()',
 
1934
        'os.readlink() + os.symlink()', and 'shutil.copy2()', respectively.
 
1935
    """
 
1936
    # Now, just copy the existing cached tree to the new location
 
1937
    # We use a cheap trick here.
 
1938
    # Absolute paths are prefixed with the first parameter
 
1939
    # relative paths are prefixed with the second.
 
1940
    # So we can get both the source and target returned
 
1941
    # without any extra work.
 
1942
 
 
1943
    def copy_dir(source, dest):
 
1944
        os.mkdir(dest)
 
1945
 
 
1946
    def copy_link(source, dest):
 
1947
        """Copy the contents of a symlink"""
 
1948
        link_to = os.readlink(source)
 
1949
        os.symlink(link_to, dest)
 
1950
 
 
1951
    real_handlers = {'file': shutil.copy2,
 
1952
                     'symlink': copy_link,
 
1953
                     'directory': copy_dir,
 
1954
                    }
 
1955
    real_handlers.update(handlers)
 
1956
 
 
1957
    if not os.path.exists(to_path):
 
1958
        real_handlers['directory'](from_path, to_path)
 
1959
 
 
1960
    for dir_info, entries in walkdirs(from_path, prefix=to_path):
 
1961
        for relpath, name, kind, st, abspath in entries:
 
1962
            real_handlers[kind](abspath, relpath)
 
1963
 
 
1964
 
 
1965
def copy_ownership_from_path(dst, src=None):
 
1966
    """Copy usr/grp ownership from src file/dir to dst file/dir.
 
1967
 
 
1968
    If src is None, the containing directory is used as source. If chown
 
1969
    fails, the error is ignored and a warning is printed.
 
1970
    """
 
1971
    chown = getattr(os, 'chown', None)
 
1972
    if chown is None:
 
1973
        return
 
1974
 
 
1975
    if src == None:
 
1976
        src = os.path.dirname(dst)
 
1977
        if src == '':
 
1978
            src = '.'
 
1979
 
 
1980
    try:
 
1981
        s = os.stat(src)
 
1982
        chown(dst, s.st_uid, s.st_gid)
 
1983
    except OSError as e:
 
1984
        trace.warning(
 
1985
            'Unable to copy ownership from "%s" to "%s". '
 
1986
            'You may want to set it manually.', src, dst)
 
1987
        trace.log_exception_quietly()
 
1988
 
 
1989
 
 
1990
def path_prefix_key(path):
 
1991
    """Generate a prefix-order path key for path.
 
1992
 
 
1993
    This can be used to sort paths in the same way that walkdirs does.
 
1994
    """
 
1995
    return (dirname(path), path)
 
1996
 
 
1997
 
 
1998
def compare_paths_prefix_order(path_a, path_b):
 
1999
    """Compare path_a and path_b to generate the same order walkdirs uses."""
 
2000
    key_a = path_prefix_key(path_a)
 
2001
    key_b = path_prefix_key(path_b)
 
2002
    return cmp(key_a, key_b)
 
2003
 
 
2004
 
 
2005
_cached_user_encoding = None
 
2006
 
 
2007
 
 
2008
def get_user_encoding():
 
2009
    """Find out what the preferred user encoding is.
 
2010
 
 
2011
    This is generally the encoding that is used for command line parameters
 
2012
    and file contents. This may be different from the terminal encoding
 
2013
    or the filesystem encoding.
 
2014
 
 
2015
    :return: A string defining the preferred user encoding
 
2016
    """
 
2017
    global _cached_user_encoding
 
2018
    if _cached_user_encoding is not None:
 
2019
        return _cached_user_encoding
 
2020
 
 
2021
    if os.name == 'posix' and getattr(locale, 'CODESET', None) is not None:
 
2022
        # Use the existing locale settings and call nl_langinfo directly
 
2023
        # rather than going through getpreferredencoding. This avoids
 
2024
        # <http://bugs.python.org/issue6202> on OSX Python 2.6 and the
 
2025
        # possibility of the setlocale call throwing an error.
 
2026
        user_encoding = locale.nl_langinfo(locale.CODESET)
 
2027
    else:
 
2028
        # GZ 2011-12-19: On windows could call GetACP directly instead.
 
2029
        user_encoding = locale.getpreferredencoding(False)
 
2030
 
 
2031
    try:
 
2032
        user_encoding = codecs.lookup(user_encoding).name
 
2033
    except LookupError:
 
2034
        if user_encoding not in ("", "cp0"):
 
2035
            sys.stderr.write('brz: warning:'
 
2036
                             ' unknown encoding %s.'
 
2037
                             ' Continuing with ascii encoding.\n'
 
2038
                             % user_encoding
 
2039
                            )
 
2040
        user_encoding = 'ascii'
 
2041
    else:
 
2042
        # Get 'ascii' when setlocale has not been called or LANG=C or unset.
 
2043
        if user_encoding == 'ascii':
 
2044
            if sys.platform == 'darwin':
 
2045
                # OSX is special-cased in Python to have a UTF-8 filesystem
 
2046
                # encoding and previously had LANG set here if not present.
 
2047
                user_encoding = 'utf-8'
 
2048
            # GZ 2011-12-19: Maybe UTF-8 should be the default in this case
 
2049
            #                for some other posix platforms as well.
 
2050
 
 
2051
    _cached_user_encoding = user_encoding
 
2052
    return user_encoding
 
2053
 
 
2054
 
 
2055
def get_diff_header_encoding():
 
2056
    return get_terminal_encoding()
 
2057
 
 
2058
 
 
2059
def get_host_name():
 
2060
    """Return the current unicode host name.
 
2061
 
 
2062
    This is meant to be used in place of socket.gethostname() because that
 
2063
    behaves inconsistently on different platforms.
 
2064
    """
 
2065
    if sys.platform == "win32":
 
2066
        return win32utils.get_host_name()
 
2067
    else:
 
2068
        import socket
 
2069
        if PY3:
 
2070
            return socket.gethostname()
 
2071
        return socket.gethostname().decode(get_user_encoding())
 
2072
 
 
2073
 
 
2074
# We must not read/write any more than 64k at a time from/to a socket so we
 
2075
# don't risk "no buffer space available" errors on some platforms.  Windows in
 
2076
# particular is likely to throw WSAECONNABORTED or WSAENOBUFS if given too much
 
2077
# data at once.
 
2078
MAX_SOCKET_CHUNK = 64 * 1024
 
2079
 
 
2080
_end_of_stream_errors = [errno.ECONNRESET, errno.EPIPE, errno.EINVAL]
 
2081
for _eno in ['WSAECONNRESET', 'WSAECONNABORTED']:
 
2082
    _eno = getattr(errno, _eno, None)
 
2083
    if _eno is not None:
 
2084
        _end_of_stream_errors.append(_eno)
 
2085
del _eno
 
2086
 
 
2087
 
 
2088
def read_bytes_from_socket(sock, report_activity=None,
 
2089
        max_read_size=MAX_SOCKET_CHUNK):
 
2090
    """Read up to max_read_size of bytes from sock and notify of progress.
 
2091
 
 
2092
    Translates "Connection reset by peer" into file-like EOF (return an
 
2093
    empty string rather than raise an error), and repeats the recv if
 
2094
    interrupted by a signal.
 
2095
    """
 
2096
    while True:
 
2097
        try:
 
2098
            bytes = sock.recv(max_read_size)
 
2099
        except socket.error as e:
 
2100
            eno = e.args[0]
 
2101
            if eno in _end_of_stream_errors:
 
2102
                # The connection was closed by the other side.  Callers expect
 
2103
                # an empty string to signal end-of-stream.
 
2104
                return ""
 
2105
            elif eno == errno.EINTR:
 
2106
                # Retry the interrupted recv.
 
2107
                continue
 
2108
            raise
 
2109
        else:
 
2110
            if report_activity is not None:
 
2111
                report_activity(len(bytes), 'read')
 
2112
            return bytes
 
2113
 
 
2114
 
 
2115
def recv_all(socket, count):
 
2116
    """Receive an exact number of bytes.
 
2117
 
 
2118
    Regular Socket.recv() may return less than the requested number of bytes,
 
2119
    depending on what's in the OS buffer.  MSG_WAITALL is not available
 
2120
    on all platforms, but this should work everywhere.  This will return
 
2121
    less than the requested amount if the remote end closes.
 
2122
 
 
2123
    This isn't optimized and is intended mostly for use in testing.
 
2124
    """
 
2125
    b = ''
 
2126
    while len(b) < count:
 
2127
        new = read_bytes_from_socket(socket, None, count - len(b))
 
2128
        if new == '':
 
2129
            break # eof
 
2130
        b += new
 
2131
    return b
 
2132
 
 
2133
 
 
2134
def send_all(sock, bytes, report_activity=None):
 
2135
    """Send all bytes on a socket.
 
2136
 
 
2137
    Breaks large blocks in smaller chunks to avoid buffering limitations on
 
2138
    some platforms, and catches EINTR which may be thrown if the send is
 
2139
    interrupted by a signal.
 
2140
 
 
2141
    This is preferred to socket.sendall(), because it avoids portability bugs
 
2142
    and provides activity reporting.
 
2143
 
 
2144
    :param report_activity: Call this as bytes are read, see
 
2145
        Transport._report_activity
 
2146
    """
 
2147
    sent_total = 0
 
2148
    byte_count = len(bytes)
 
2149
    view = memoryview(bytes)
 
2150
    while sent_total < byte_count:
 
2151
        try:
 
2152
            sent = sock.send(view[sent_total:sent_total+MAX_SOCKET_CHUNK])
 
2153
        except (socket.error, IOError) as e:
 
2154
            if e.args[0] in _end_of_stream_errors:
 
2155
                raise errors.ConnectionReset(
 
2156
                    "Error trying to write to socket", e)
 
2157
            if e.args[0] != errno.EINTR:
 
2158
                raise
 
2159
        else:
 
2160
            if sent == 0:
 
2161
                raise errors.ConnectionReset('Sending to %s returned 0 bytes'
 
2162
                                             % (sock,))
 
2163
            sent_total += sent
 
2164
            if report_activity is not None:
 
2165
                report_activity(sent, 'write')
 
2166
 
 
2167
 
 
2168
def connect_socket(address):
 
2169
    # Slight variation of the socket.create_connection() function (provided by
 
2170
    # python-2.6) that can fail if getaddrinfo returns an empty list. We also
 
2171
    # provide it for previous python versions. Also, we don't use the timeout
 
2172
    # parameter (provided by the python implementation) so we don't implement
 
2173
    # it either).
 
2174
    err = socket.error('getaddrinfo returns an empty list')
 
2175
    host, port = address
 
2176
    for res in socket.getaddrinfo(host, port, 0, socket.SOCK_STREAM):
 
2177
        af, socktype, proto, canonname, sa = res
 
2178
        sock = None
 
2179
        try:
 
2180
            sock = socket.socket(af, socktype, proto)
 
2181
            sock.connect(sa)
 
2182
            return sock
 
2183
 
 
2184
        except socket.error as err:
 
2185
            # 'err' is now the most recent error
 
2186
            if sock is not None:
 
2187
                sock.close()
 
2188
    raise err
 
2189
 
 
2190
 
 
2191
def dereference_path(path):
 
2192
    """Determine the real path to a file.
 
2193
 
 
2194
    All parent elements are dereferenced.  But the file itself is not
 
2195
    dereferenced.
 
2196
    :param path: The original path.  May be absolute or relative.
 
2197
    :return: the real path *to* the file
 
2198
    """
 
2199
    parent, base = os.path.split(path)
 
2200
    # The pathjoin for '.' is a workaround for Python bug #1213894.
 
2201
    # (initial path components aren't dereferenced)
 
2202
    return pathjoin(realpath(pathjoin('.', parent)), base)
 
2203
 
 
2204
 
 
2205
def supports_mapi():
 
2206
    """Return True if we can use MAPI to launch a mail client."""
 
2207
    return sys.platform == "win32"
 
2208
 
 
2209
 
 
2210
def resource_string(package, resource_name):
 
2211
    """Load a resource from a package and return it as a string.
 
2212
 
 
2213
    Note: Only packages that start with breezy are currently supported.
 
2214
 
 
2215
    This is designed to be a lightweight implementation of resource
 
2216
    loading in a way which is API compatible with the same API from
 
2217
    pkg_resources. See
 
2218
    http://peak.telecommunity.com/DevCenter/PkgResources#basic-resource-access.
 
2219
    If and when pkg_resources becomes a standard library, this routine
 
2220
    can delegate to it.
 
2221
    """
 
2222
    # Check package name is within breezy
 
2223
    if package == "breezy":
 
2224
        resource_relpath = resource_name
 
2225
    elif package.startswith("breezy."):
 
2226
        package = package[len("breezy."):].replace('.', os.sep)
 
2227
        resource_relpath = pathjoin(package, resource_name)
 
2228
    else:
 
2229
        raise errors.BzrError('resource package %s not in breezy' % package)
 
2230
 
 
2231
    # Map the resource to a file and read its contents
 
2232
    base = dirname(breezy.__file__)
 
2233
    if getattr(sys, 'frozen', None):    # bzr.exe
 
2234
        base = abspath(pathjoin(base, '..', '..'))
 
2235
    f = file(pathjoin(base, resource_relpath), "rU")
 
2236
    try:
 
2237
        return f.read()
 
2238
    finally:
 
2239
        f.close()
 
2240
 
 
2241
def file_kind_from_stat_mode_thunk(mode):
 
2242
    global file_kind_from_stat_mode
 
2243
    if file_kind_from_stat_mode is file_kind_from_stat_mode_thunk:
 
2244
        try:
 
2245
            from ._readdir_pyx import UTF8DirReader
 
2246
            file_kind_from_stat_mode = UTF8DirReader().kind_from_mode
 
2247
        except ImportError as e:
 
2248
            # This is one time where we won't warn that an extension failed to
 
2249
            # load. The extension is never available on Windows anyway.
 
2250
            from ._readdir_py import (
 
2251
                _kind_from_mode as file_kind_from_stat_mode
 
2252
                )
 
2253
    return file_kind_from_stat_mode(mode)
 
2254
file_kind_from_stat_mode = file_kind_from_stat_mode_thunk
 
2255
 
 
2256
def file_stat(f, _lstat=os.lstat):
 
2257
    try:
 
2258
        # XXX cache?
 
2259
        return _lstat(f)
 
2260
    except OSError as e:
 
2261
        if getattr(e, 'errno', None) in (errno.ENOENT, errno.ENOTDIR):
 
2262
            raise errors.NoSuchFile(f)
 
2263
        raise
 
2264
 
 
2265
def file_kind(f, _lstat=os.lstat):
 
2266
    stat_value = file_stat(f, _lstat)
 
2267
    return file_kind_from_stat_mode(stat_value.st_mode)
 
2268
 
 
2269
def until_no_eintr(f, *a, **kw):
 
2270
    """Run f(*a, **kw), retrying if an EINTR error occurs.
 
2271
 
 
2272
    WARNING: you must be certain that it is safe to retry the call repeatedly
 
2273
    if EINTR does occur.  This is typically only true for low-level operations
 
2274
    like os.read.  If in any doubt, don't use this.
 
2275
 
 
2276
    Keep in mind that this is not a complete solution to EINTR.  There is
 
2277
    probably code in the Python standard library and other dependencies that
 
2278
    may encounter EINTR if a signal arrives (and there is signal handler for
 
2279
    that signal).  So this function can reduce the impact for IO that breezy
 
2280
    directly controls, but it is not a complete solution.
 
2281
    """
 
2282
    # Borrowed from Twisted's twisted.python.util.untilConcludes function.
 
2283
    while True:
 
2284
        try:
 
2285
            return f(*a, **kw)
 
2286
        except (IOError, OSError) as e:
 
2287
            if e.errno == errno.EINTR:
 
2288
                continue
 
2289
            raise
 
2290
 
 
2291
 
 
2292
if sys.platform == "win32":
 
2293
    def getchar():
 
2294
        import msvcrt
 
2295
        return msvcrt.getch()
 
2296
else:
 
2297
    def getchar():
 
2298
        import tty
 
2299
        import termios
 
2300
        fd = sys.stdin.fileno()
 
2301
        settings = termios.tcgetattr(fd)
 
2302
        try:
 
2303
            tty.setraw(fd)
 
2304
            ch = sys.stdin.read(1)
 
2305
        finally:
 
2306
            termios.tcsetattr(fd, termios.TCSADRAIN, settings)
 
2307
        return ch
 
2308
 
 
2309
if sys.platform.startswith('linux'):
 
2310
    def _local_concurrency():
 
2311
        try:
 
2312
            return os.sysconf('SC_NPROCESSORS_ONLN')
 
2313
        except (ValueError, OSError, AttributeError):
 
2314
            return None
 
2315
elif sys.platform == 'darwin':
 
2316
    def _local_concurrency():
 
2317
        return subprocess.Popen(['sysctl', '-n', 'hw.availcpu'],
 
2318
                                stdout=subprocess.PIPE).communicate()[0]
 
2319
elif "bsd" in sys.platform:
 
2320
    def _local_concurrency():
 
2321
        return subprocess.Popen(['sysctl', '-n', 'hw.ncpu'],
 
2322
                                stdout=subprocess.PIPE).communicate()[0]
 
2323
elif sys.platform == 'sunos5':
 
2324
    def _local_concurrency():
 
2325
        return subprocess.Popen(['psrinfo', '-p',],
 
2326
                                stdout=subprocess.PIPE).communicate()[0]
 
2327
elif sys.platform == "win32":
 
2328
    def _local_concurrency():
 
2329
        # This appears to return the number of cores.
 
2330
        return os.environ.get('NUMBER_OF_PROCESSORS')
 
2331
else:
 
2332
    def _local_concurrency():
 
2333
        # Who knows ?
 
2334
        return None
 
2335
 
 
2336
 
 
2337
_cached_local_concurrency = None
 
2338
 
 
2339
def local_concurrency(use_cache=True):
 
2340
    """Return how many processes can be run concurrently.
 
2341
 
 
2342
    Rely on platform specific implementations and default to 1 (one) if
 
2343
    anything goes wrong.
 
2344
    """
 
2345
    global _cached_local_concurrency
 
2346
 
 
2347
    if _cached_local_concurrency is not None and use_cache:
 
2348
        return _cached_local_concurrency
 
2349
 
 
2350
    concurrency = os.environ.get('BRZ_CONCURRENCY', None)
 
2351
    if concurrency is None:
 
2352
        import multiprocessing
 
2353
        try:
 
2354
            concurrency = multiprocessing.cpu_count()
 
2355
        except NotImplementedError:
 
2356
            # multiprocessing.cpu_count() isn't implemented on all platforms
 
2357
            try:
 
2358
                concurrency = _local_concurrency()
 
2359
            except (OSError, IOError):
 
2360
                pass
 
2361
    try:
 
2362
        concurrency = int(concurrency)
 
2363
    except (TypeError, ValueError):
 
2364
        concurrency = 1
 
2365
    if use_cache:
 
2366
        _cached_concurrency = concurrency
 
2367
    return concurrency
 
2368
 
 
2369
 
 
2370
class UnicodeOrBytesToBytesWriter(codecs.StreamWriter):
 
2371
    """A stream writer that doesn't decode str arguments."""
 
2372
 
 
2373
    def __init__(self, encode, stream, errors='strict'):
 
2374
        codecs.StreamWriter.__init__(self, stream, errors)
 
2375
        self.encode = encode
 
2376
 
 
2377
    def write(self, object):
 
2378
        if isinstance(object, str):
 
2379
            self.stream.write(object)
 
2380
        else:
 
2381
            data, _ = self.encode(object, self.errors)
 
2382
            self.stream.write(data)
 
2383
 
 
2384
if sys.platform == 'win32':
 
2385
    def open_file(filename, mode='r', bufsize=-1):
 
2386
        """This function is used to override the ``open`` builtin.
 
2387
 
 
2388
        But it uses O_NOINHERIT flag so the file handle is not inherited by
 
2389
        child processes.  Deleting or renaming a closed file opened with this
 
2390
        function is not blocking child processes.
 
2391
        """
 
2392
        writing = 'w' in mode
 
2393
        appending = 'a' in mode
 
2394
        updating = '+' in mode
 
2395
        binary = 'b' in mode
 
2396
 
 
2397
        flags = O_NOINHERIT
 
2398
        # see http://msdn.microsoft.com/en-us/library/yeby3zcb%28VS.71%29.aspx
 
2399
        # for flags for each modes.
 
2400
        if binary:
 
2401
            flags |= O_BINARY
 
2402
        else:
 
2403
            flags |= O_TEXT
 
2404
 
 
2405
        if writing:
 
2406
            if updating:
 
2407
                flags |= os.O_RDWR
 
2408
            else:
 
2409
                flags |= os.O_WRONLY
 
2410
            flags |= os.O_CREAT | os.O_TRUNC
 
2411
        elif appending:
 
2412
            if updating:
 
2413
                flags |= os.O_RDWR
 
2414
            else:
 
2415
                flags |= os.O_WRONLY
 
2416
            flags |= os.O_CREAT | os.O_APPEND
 
2417
        else: #reading
 
2418
            if updating:
 
2419
                flags |= os.O_RDWR
 
2420
            else:
 
2421
                flags |= os.O_RDONLY
 
2422
 
 
2423
        return os.fdopen(os.open(filename, flags), mode, bufsize)
 
2424
else:
 
2425
    open_file = open
 
2426
 
 
2427
 
 
2428
def available_backup_name(base, exists):
 
2429
    """Find a non-existing backup file name.
 
2430
 
 
2431
    This will *not* create anything, this only return a 'free' entry.  This
 
2432
    should be used for checking names in a directory below a locked
 
2433
    tree/branch/repo to avoid race conditions. This is LBYL (Look Before You
 
2434
    Leap) and generally discouraged.
 
2435
 
 
2436
    :param base: The base name.
 
2437
 
 
2438
    :param exists: A callable returning True if the path parameter exists.
 
2439
    """
 
2440
    counter = 1
 
2441
    name = "%s.~%d~" % (base, counter)
 
2442
    while exists(name):
 
2443
        counter += 1
 
2444
        name = "%s.~%d~" % (base, counter)
 
2445
    return name
 
2446
 
 
2447
 
 
2448
def set_fd_cloexec(fd):
 
2449
    """Set a Unix file descriptor's FD_CLOEXEC flag.  Do nothing if platform
 
2450
    support for this is not available.
 
2451
    """
 
2452
    try:
 
2453
        import fcntl
 
2454
        old = fcntl.fcntl(fd, fcntl.F_GETFD)
 
2455
        fcntl.fcntl(fd, fcntl.F_SETFD, old | fcntl.FD_CLOEXEC)
 
2456
    except (ImportError, AttributeError):
 
2457
        # Either the fcntl module or specific constants are not present
 
2458
        pass
 
2459
 
 
2460
 
 
2461
def find_executable_on_path(name):
 
2462
    """Finds an executable on the PATH.
 
2463
    
 
2464
    On Windows, this will try to append each extension in the PATHEXT
 
2465
    environment variable to the name, if it cannot be found with the name
 
2466
    as given.
 
2467
    
 
2468
    :param name: The base name of the executable.
 
2469
    :return: The path to the executable found or None.
 
2470
    """
 
2471
    if sys.platform == 'win32':
 
2472
        exts = os.environ.get('PATHEXT', '').split(os.pathsep)
 
2473
        exts = [ext.lower() for ext in exts]
 
2474
        base, ext = os.path.splitext(name)
 
2475
        if ext != '':
 
2476
            if ext.lower() not in exts:
 
2477
                return None
 
2478
            name = base
 
2479
            exts = [ext]
 
2480
    else:
 
2481
        exts = ['']
 
2482
    path = os.environ.get('PATH')
 
2483
    if path is not None:
 
2484
        path = path.split(os.pathsep)
 
2485
        for ext in exts:
 
2486
            for d in path:
 
2487
                f = os.path.join(d, name) + ext
 
2488
                if os.access(f, os.X_OK):
 
2489
                    return f
 
2490
    if sys.platform == 'win32':
 
2491
        app_path = win32utils.get_app_path(name)
 
2492
        if app_path != name:
 
2493
            return app_path
 
2494
    return None
 
2495
 
 
2496
 
 
2497
def _posix_is_local_pid_dead(pid):
 
2498
    """True if pid doesn't correspond to live process on this machine"""
 
2499
    try:
 
2500
        # Special meaning of unix kill: just check if it's there.
 
2501
        os.kill(pid, 0)
 
2502
    except OSError as e:
 
2503
        if e.errno == errno.ESRCH:
 
2504
            # On this machine, and really not found: as sure as we can be
 
2505
            # that it's dead.
 
2506
            return True
 
2507
        elif e.errno == errno.EPERM:
 
2508
            # exists, though not ours
 
2509
            return False
 
2510
        else:
 
2511
            mutter("os.kill(%d, 0) failed: %s" % (pid, e))
 
2512
            # Don't really know.
 
2513
            return False
 
2514
    else:
 
2515
        # Exists and our process: not dead.
 
2516
        return False
 
2517
 
 
2518
if sys.platform == "win32":
 
2519
    is_local_pid_dead = win32utils.is_local_pid_dead
 
2520
else:
 
2521
    is_local_pid_dead = _posix_is_local_pid_dead
 
2522
 
 
2523
_maybe_ignored = ['EAGAIN', 'EINTR', 'ENOTSUP', 'EOPNOTSUPP', 'EACCES']
 
2524
_fdatasync_ignored = [getattr(errno, name) for name in _maybe_ignored
 
2525
                      if getattr(errno, name, None) is not None]
 
2526
 
 
2527
 
 
2528
def fdatasync(fileno):
 
2529
    """Flush file contents to disk if possible.
 
2530
    
 
2531
    :param fileno: Integer OS file handle.
 
2532
    :raises TransportNotPossible: If flushing to disk is not possible.
 
2533
    """
 
2534
    fn = getattr(os, 'fdatasync', getattr(os, 'fsync', None))
 
2535
    if fn is not None:
 
2536
        try:
 
2537
            fn(fileno)
 
2538
        except IOError as e:
 
2539
            # See bug #1075108, on some platforms fdatasync exists, but can
 
2540
            # raise ENOTSUP. However, we are calling fdatasync to be helpful
 
2541
            # and reduce the chance of corruption-on-powerloss situations. It
 
2542
            # is not a mandatory call, so it is ok to suppress failures.
 
2543
            trace.mutter("ignoring error calling fdatasync: %s" % (e,))
 
2544
            if getattr(e, 'errno', None) not in _fdatasync_ignored:
 
2545
                raise
 
2546
 
 
2547
 
 
2548
def ensure_empty_directory_exists(path, exception_class):
 
2549
    """Make sure a local directory exists and is empty.
 
2550
    
 
2551
    If it does not exist, it is created.  If it exists and is not empty, an
 
2552
    instance of exception_class is raised.
 
2553
    """
 
2554
    try:
 
2555
        os.mkdir(path)
 
2556
    except OSError as e:
 
2557
        if e.errno != errno.EEXIST:
 
2558
            raise
 
2559
        if os.listdir(path) != []:
 
2560
            raise exception_class(path)
 
2561
 
 
2562
 
 
2563
def is_environment_error(evalue):
 
2564
    """True if exception instance is due to a process environment issue
 
2565
 
 
2566
    This includes OSError and IOError, but also other errors that come from
 
2567
    the operating system or core libraries but are not subclasses of those.
 
2568
    """
 
2569
    if isinstance(evalue, (EnvironmentError, select.error)):
 
2570
        return True
 
2571
    if sys.platform == "win32" and win32utils._is_pywintypes_error(evalue):
 
2572
        return True
 
2573
    return False