/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/osutils.py

Make ChangeReporter interface nicer

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Bazaar-NG -- distributed version control
2
 
 
3
 
# Copyright (C) 2005 by Canonical Ltd
4
 
 
 
1
# Copyright (C) 2005, 2006 Canonical Ltd
 
2
#
5
3
# This program is free software; you can redistribute it and/or modify
6
4
# it under the terms of the GNU General Public License as published by
7
5
# the Free Software Foundation; either version 2 of the License, or
8
6
# (at your option) any later version.
9
 
 
 
7
#
10
8
# This program is distributed in the hope that it will be useful,
11
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
12
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13
11
# GNU General Public License for more details.
14
 
 
 
12
#
15
13
# You should have received a copy of the GNU General Public License
16
14
# along with this program; if not, write to the Free Software
17
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
18
16
 
19
 
import os, types, re, time, errno, sys
20
 
from stat import S_ISREG, S_ISDIR, S_ISLNK, ST_MODE, ST_SIZE
21
 
 
22
 
from bzrlib.errors import BzrError
 
17
from cStringIO import StringIO
 
18
import os
 
19
import re
 
20
import stat
 
21
from stat import (S_ISREG, S_ISDIR, S_ISLNK, ST_MODE, ST_SIZE,
 
22
                  S_ISCHR, S_ISBLK, S_ISFIFO, S_ISSOCK)
 
23
import sys
 
24
import time
 
25
 
 
26
from bzrlib.lazy_import import lazy_import
 
27
lazy_import(globals(), """
 
28
import codecs
 
29
from datetime import datetime
 
30
import errno
 
31
from ntpath import (abspath as _nt_abspath,
 
32
                    join as _nt_join,
 
33
                    normpath as _nt_normpath,
 
34
                    realpath as _nt_realpath,
 
35
                    splitdrive as _nt_splitdrive,
 
36
                    )
 
37
import posixpath
 
38
import sha
 
39
import shutil
 
40
from shutil import (
 
41
    rmtree,
 
42
    )
 
43
import tempfile
 
44
from tempfile import (
 
45
    mkdtemp,
 
46
    )
 
47
import unicodedata
 
48
 
 
49
from bzrlib import (
 
50
    errors,
 
51
    )
 
52
""")
 
53
 
 
54
import bzrlib
 
55
from bzrlib.symbol_versioning import (
 
56
    deprecated_function,
 
57
    zero_nine,
 
58
    )
23
59
from bzrlib.trace import mutter
24
 
import bzrlib
 
60
 
 
61
 
 
62
# On win32, O_BINARY is used to indicate the file should
 
63
# be opened in binary mode, rather than text mode.
 
64
# On other platforms, O_BINARY doesn't exist, because
 
65
# they always open in binary mode, so it is okay to
 
66
# OR with 0 on those platforms
 
67
O_BINARY = getattr(os, 'O_BINARY', 0)
 
68
 
25
69
 
26
70
def make_readonly(filename):
27
71
    """Make a filename read-only."""
28
 
    # TODO: probably needs to be fixed for windows
29
72
    mod = os.stat(filename).st_mode
30
73
    mod = mod & 0777555
31
74
    os.chmod(filename, mod)
37
80
    os.chmod(filename, mod)
38
81
 
39
82
 
40
 
_QUOTE_RE = re.compile(r'([^a-zA-Z0-9.,:/_~-])')
 
83
_QUOTE_RE = None
41
84
 
42
 
_SLASH_RE = re.compile(r'[\\/]+')
43
85
 
44
86
def quotefn(f):
45
87
    """Return a quoted filename filename
47
89
    This previously used backslash quoting, but that works poorly on
48
90
    Windows."""
49
91
    # TODO: I'm not really sure this is the best format either.x
 
92
    global _QUOTE_RE
 
93
    if _QUOTE_RE is None:
 
94
        _QUOTE_RE = re.compile(r'([^a-zA-Z0-9.,:/\\_~-])')
 
95
        
50
96
    if _QUOTE_RE.search(f):
51
97
        return '"' + f + '"'
52
98
    else:
53
99
        return f
54
100
 
55
101
 
56
 
def file_kind(f):
57
 
    mode = os.lstat(f)[ST_MODE]
58
 
    if S_ISREG(mode):
59
 
        return 'file'
60
 
    elif S_ISDIR(mode):
61
 
        return 'directory'
62
 
    elif S_ISLNK(mode):
63
 
        return 'symlink'
64
 
    else:
65
 
        raise BzrError("can't handle file kind with mode %o of %r" % (mode, f))
 
102
_directory_kind = 'directory'
 
103
 
 
104
_formats = {
 
105
    stat.S_IFDIR:_directory_kind,
 
106
    stat.S_IFCHR:'chardev',
 
107
    stat.S_IFBLK:'block',
 
108
    stat.S_IFREG:'file',
 
109
    stat.S_IFIFO:'fifo',
 
110
    stat.S_IFLNK:'symlink',
 
111
    stat.S_IFSOCK:'socket',
 
112
}
 
113
 
 
114
 
 
115
def file_kind_from_stat_mode(stat_mode, _formats=_formats, _unknown='unknown'):
 
116
    """Generate a file kind from a stat mode. This is used in walkdirs.
 
117
 
 
118
    Its performance is critical: Do not mutate without careful benchmarking.
 
119
    """
 
120
    try:
 
121
        return _formats[stat_mode & 0170000]
 
122
    except KeyError:
 
123
        return _unknown
 
124
 
 
125
 
 
126
def file_kind(f, _lstat=os.lstat, _mapper=file_kind_from_stat_mode):
 
127
    try:
 
128
        return _mapper(_lstat(f).st_mode)
 
129
    except OSError, e:
 
130
        if getattr(e, 'errno', None) == errno.ENOENT:
 
131
            raise errors.NoSuchFile(f)
 
132
        raise
 
133
 
 
134
 
 
135
def get_umask():
 
136
    """Return the current umask"""
 
137
    # Assume that people aren't messing with the umask while running
 
138
    # XXX: This is not thread safe, but there is no way to get the
 
139
    #      umask without setting it
 
140
    umask = os.umask(0)
 
141
    os.umask(umask)
 
142
    return umask
66
143
 
67
144
 
68
145
def kind_marker(kind):
69
146
    if kind == 'file':
70
147
        return ''
71
 
    elif kind == 'directory':
 
148
    elif kind == _directory_kind:
72
149
        return '/'
73
150
    elif kind == 'symlink':
74
151
        return '@'
75
152
    else:
76
 
        raise BzrError('invalid file kind %r' % kind)
77
 
 
 
153
        raise errors.BzrError('invalid file kind %r' % kind)
 
154
 
 
155
lexists = getattr(os.path, 'lexists', None)
 
156
if lexists is None:
 
157
    def lexists(f):
 
158
        try:
 
159
            if getattr(os, 'lstat') is not None:
 
160
                os.lstat(f)
 
161
            else:
 
162
                os.stat(f)
 
163
            return True
 
164
        except OSError,e:
 
165
            if e.errno == errno.ENOENT:
 
166
                return False;
 
167
            else:
 
168
                raise errors.BzrError("lstat/stat of (%r): %r" % (f, e))
 
169
 
 
170
 
 
171
def fancy_rename(old, new, rename_func, unlink_func):
 
172
    """A fancy rename, when you don't have atomic rename.
 
173
    
 
174
    :param old: The old path, to rename from
 
175
    :param new: The new path, to rename to
 
176
    :param rename_func: The potentially non-atomic rename function
 
177
    :param unlink_func: A way to delete the target file if the full rename succeeds
 
178
    """
 
179
 
 
180
    # sftp rename doesn't allow overwriting, so play tricks:
 
181
    import random
 
182
    base = os.path.basename(new)
 
183
    dirname = os.path.dirname(new)
 
184
    tmp_name = u'tmp.%s.%.9f.%d.%s' % (base, time.time(), os.getpid(), rand_chars(10))
 
185
    tmp_name = pathjoin(dirname, tmp_name)
 
186
 
 
187
    # Rename the file out of the way, but keep track if it didn't exist
 
188
    # We don't want to grab just any exception
 
189
    # something like EACCES should prevent us from continuing
 
190
    # The downside is that the rename_func has to throw an exception
 
191
    # with an errno = ENOENT, or NoSuchFile
 
192
    file_existed = False
 
193
    try:
 
194
        rename_func(new, tmp_name)
 
195
    except (errors.NoSuchFile,), e:
 
196
        pass
 
197
    except IOError, e:
 
198
        # RBC 20060103 abstraction leakage: the paramiko SFTP clients rename
 
199
        # function raises an IOError with errno is None when a rename fails.
 
200
        # This then gets caught here.
 
201
        if e.errno not in (None, errno.ENOENT, errno.ENOTDIR):
 
202
            raise
 
203
    except Exception, e:
 
204
        if (getattr(e, 'errno', None) is None
 
205
            or e.errno not in (errno.ENOENT, errno.ENOTDIR)):
 
206
            raise
 
207
    else:
 
208
        file_existed = True
 
209
 
 
210
    success = False
 
211
    try:
 
212
        # This may throw an exception, in which case success will
 
213
        # not be set.
 
214
        rename_func(old, new)
 
215
        success = True
 
216
    finally:
 
217
        if file_existed:
 
218
            # If the file used to exist, rename it back into place
 
219
            # otherwise just delete it from the tmp location
 
220
            if success:
 
221
                unlink_func(tmp_name)
 
222
            else:
 
223
                rename_func(tmp_name, new)
 
224
 
 
225
 
 
226
# In Python 2.4.2 and older, os.path.abspath and os.path.realpath
 
227
# choke on a Unicode string containing a relative path if
 
228
# os.getcwd() returns a non-sys.getdefaultencoding()-encoded
 
229
# string.
 
230
_fs_enc = sys.getfilesystemencoding() or 'utf-8'
 
231
def _posix_abspath(path):
 
232
    # jam 20060426 rather than encoding to fsencoding
 
233
    # copy posixpath.abspath, but use os.getcwdu instead
 
234
    if not posixpath.isabs(path):
 
235
        path = posixpath.join(getcwd(), path)
 
236
    return posixpath.normpath(path)
 
237
 
 
238
 
 
239
def _posix_realpath(path):
 
240
    return posixpath.realpath(path.encode(_fs_enc)).decode(_fs_enc)
 
241
 
 
242
 
 
243
def _win32_fixdrive(path):
 
244
    """Force drive letters to be consistent.
 
245
 
 
246
    win32 is inconsistent whether it returns lower or upper case
 
247
    and even if it was consistent the user might type the other
 
248
    so we force it to uppercase
 
249
    running python.exe under cmd.exe return capital C:\\
 
250
    running win32 python inside a cygwin shell returns lowercase c:\\
 
251
    """
 
252
    drive, path = _nt_splitdrive(path)
 
253
    return drive.upper() + path
 
254
 
 
255
 
 
256
def _win32_abspath(path):
 
257
    # Real _nt_abspath doesn't have a problem with a unicode cwd
 
258
    return _win32_fixdrive(_nt_abspath(unicode(path)).replace('\\', '/'))
 
259
 
 
260
 
 
261
def _win32_realpath(path):
 
262
    # Real _nt_realpath doesn't have a problem with a unicode cwd
 
263
    return _win32_fixdrive(_nt_realpath(unicode(path)).replace('\\', '/'))
 
264
 
 
265
 
 
266
def _win32_pathjoin(*args):
 
267
    return _nt_join(*args).replace('\\', '/')
 
268
 
 
269
 
 
270
def _win32_normpath(path):
 
271
    return _win32_fixdrive(_nt_normpath(unicode(path)).replace('\\', '/'))
 
272
 
 
273
 
 
274
def _win32_getcwd():
 
275
    return _win32_fixdrive(os.getcwdu().replace('\\', '/'))
 
276
 
 
277
 
 
278
def _win32_mkdtemp(*args, **kwargs):
 
279
    return _win32_fixdrive(tempfile.mkdtemp(*args, **kwargs).replace('\\', '/'))
 
280
 
 
281
 
 
282
def _win32_rename(old, new):
 
283
    """We expect to be able to atomically replace 'new' with old.
 
284
 
 
285
    On win32, if new exists, it must be moved out of the way first,
 
286
    and then deleted. 
 
287
    """
 
288
    try:
 
289
        fancy_rename(old, new, rename_func=os.rename, unlink_func=os.unlink)
 
290
    except OSError, e:
 
291
        if e.errno in (errno.EPERM, errno.EACCES, errno.EBUSY, errno.EINVAL):
 
292
            # If we try to rename a non-existant file onto cwd, we get 
 
293
            # EPERM or EACCES instead of ENOENT, this will raise ENOENT 
 
294
            # if the old path doesn't exist, sometimes we get EACCES
 
295
            # On Linux, we seem to get EBUSY, on Mac we get EINVAL
 
296
            os.lstat(old)
 
297
        raise
 
298
 
 
299
 
 
300
def _mac_getcwd():
 
301
    return unicodedata.normalize('NFKC', os.getcwdu())
 
302
 
 
303
 
 
304
# Default is to just use the python builtins, but these can be rebound on
 
305
# particular platforms.
 
306
abspath = _posix_abspath
 
307
realpath = _posix_realpath
 
308
pathjoin = os.path.join
 
309
normpath = os.path.normpath
 
310
getcwd = os.getcwdu
 
311
rename = os.rename
 
312
dirname = os.path.dirname
 
313
basename = os.path.basename
 
314
split = os.path.split
 
315
splitext = os.path.splitext
 
316
# These were already imported into local scope
 
317
# mkdtemp = tempfile.mkdtemp
 
318
# rmtree = shutil.rmtree
 
319
 
 
320
MIN_ABS_PATHLENGTH = 1
 
321
 
 
322
 
 
323
if sys.platform == 'win32':
 
324
    abspath = _win32_abspath
 
325
    realpath = _win32_realpath
 
326
    pathjoin = _win32_pathjoin
 
327
    normpath = _win32_normpath
 
328
    getcwd = _win32_getcwd
 
329
    mkdtemp = _win32_mkdtemp
 
330
    rename = _win32_rename
 
331
 
 
332
    MIN_ABS_PATHLENGTH = 3
 
333
 
 
334
    def _win32_delete_readonly(function, path, excinfo):
 
335
        """Error handler for shutil.rmtree function [for win32]
 
336
        Helps to remove files and dirs marked as read-only.
 
337
        """
 
338
        exception = excinfo[1]
 
339
        if function in (os.remove, os.rmdir) \
 
340
            and isinstance(exception, OSError) \
 
341
            and exception.errno == errno.EACCES:
 
342
            make_writable(path)
 
343
            function(path)
 
344
        else:
 
345
            raise
 
346
 
 
347
    def rmtree(path, ignore_errors=False, onerror=_win32_delete_readonly):
 
348
        """Replacer for shutil.rmtree: could remove readonly dirs/files"""
 
349
        return shutil.rmtree(path, ignore_errors, onerror)
 
350
elif sys.platform == 'darwin':
 
351
    getcwd = _mac_getcwd
 
352
 
 
353
 
 
354
def get_terminal_encoding():
 
355
    """Find the best encoding for printing to the screen.
 
356
 
 
357
    This attempts to check both sys.stdout and sys.stdin to see
 
358
    what encoding they are in, and if that fails it falls back to
 
359
    bzrlib.user_encoding.
 
360
    The problem is that on Windows, locale.getpreferredencoding()
 
361
    is not the same encoding as that used by the console:
 
362
    http://mail.python.org/pipermail/python-list/2003-May/162357.html
 
363
 
 
364
    On my standard US Windows XP, the preferred encoding is
 
365
    cp1252, but the console is cp437
 
366
    """
 
367
    output_encoding = getattr(sys.stdout, 'encoding', None)
 
368
    if not output_encoding:
 
369
        input_encoding = getattr(sys.stdin, 'encoding', None)
 
370
        if not input_encoding:
 
371
            output_encoding = bzrlib.user_encoding
 
372
            mutter('encoding stdout as bzrlib.user_encoding %r', output_encoding)
 
373
        else:
 
374
            output_encoding = input_encoding
 
375
            mutter('encoding stdout as sys.stdin encoding %r', output_encoding)
 
376
    else:
 
377
        mutter('encoding stdout as sys.stdout encoding %r', output_encoding)
 
378
    if output_encoding == 'cp0':
 
379
        # invalid encoding (cp0 means 'no codepage' on Windows)
 
380
        output_encoding = bzrlib.user_encoding
 
381
        mutter('cp0 is invalid encoding.'
 
382
               ' encoding stdout as bzrlib.user_encoding %r', output_encoding)
 
383
    # check encoding
 
384
    try:
 
385
        codecs.lookup(output_encoding)
 
386
    except LookupError:
 
387
        sys.stderr.write('bzr: warning:'
 
388
                         ' unknown terminal encoding %s.\n'
 
389
                         '  Using encoding %s instead.\n'
 
390
                         % (output_encoding, bzrlib.user_encoding)
 
391
                        )
 
392
        output_encoding = bzrlib.user_encoding
 
393
 
 
394
    return output_encoding
 
395
 
 
396
 
 
397
def normalizepath(f):
 
398
    if getattr(os.path, 'realpath', None) is not None:
 
399
        F = realpath
 
400
    else:
 
401
        F = abspath
 
402
    [p,e] = os.path.split(f)
 
403
    if e == "" or e == "." or e == "..":
 
404
        return F(f)
 
405
    else:
 
406
        return pathjoin(F(p), e)
78
407
 
79
408
 
80
409
def backup_file(fn):
84
413
 
85
414
    If the file is already a backup, it's not copied.
86
415
    """
87
 
    import os
88
416
    if fn[-1] == '~':
89
417
        return
90
418
    bfn = fn + '~'
91
419
 
 
420
    if has_symlinks() and os.path.islink(fn):
 
421
        target = os.readlink(fn)
 
422
        os.symlink(target, bfn)
 
423
        return
92
424
    inf = file(fn, 'rb')
93
425
    try:
94
426
        content = inf.read()
101
433
    finally:
102
434
        outf.close()
103
435
 
104
 
def rename(path_from, path_to):
105
 
    """Basically the same as os.rename() just special for win32"""
106
 
    if sys.platform == 'win32':
107
 
        try:
108
 
            os.remove(path_to)
109
 
        except OSError, e:
110
 
            if e.errno != e.ENOENT:
111
 
                raise
112
 
    os.rename(path_from, path_to)
113
 
 
114
 
 
115
 
 
116
 
 
117
436
 
118
437
def isdir(f):
119
438
    """True if f is an accessible directory."""
123
442
        return False
124
443
 
125
444
 
126
 
 
127
445
def isfile(f):
128
446
    """True if f is a regular file."""
129
447
    try:
131
449
    except OSError:
132
450
        return False
133
451
 
 
452
def islink(f):
 
453
    """True if f is a symlink."""
 
454
    try:
 
455
        return S_ISLNK(os.lstat(f)[ST_MODE])
 
456
    except OSError:
 
457
        return False
134
458
 
135
459
def is_inside(dir, fname):
136
460
    """True if fname is inside dir.
137
461
    
138
 
    The parameters should typically be passed to os.path.normpath first, so
 
462
    The parameters should typically be passed to osutils.normpath first, so
139
463
    that . and .. and repeated slashes are eliminated, and the separators
140
464
    are canonical for the platform.
141
465
    
142
466
    The empty string as a dir name is taken as top-of-tree and matches 
143
467
    everything.
144
 
    
145
 
    >>> is_inside('src', 'src/foo.c')
146
 
    True
147
 
    >>> is_inside('src', 'srccontrol')
148
 
    False
149
 
    >>> is_inside('src', 'src/a/a/a/foo.c')
150
 
    True
151
 
    >>> is_inside('foo.c', 'foo.c')
152
 
    True
153
 
    >>> is_inside('foo.c', '')
154
 
    False
155
 
    >>> is_inside('', 'foo.c')
156
 
    True
157
468
    """
158
469
    # XXX: Most callers of this can actually do something smarter by 
159
470
    # looking at the inventory
162
473
    
163
474
    if dir == '':
164
475
        return True
165
 
    
166
 
    if dir[-1] != os.sep:
167
 
        dir += os.sep
168
 
    
 
476
 
 
477
    if dir[-1] != '/':
 
478
        dir += '/'
 
479
 
169
480
    return fname.startswith(dir)
170
481
 
171
482
 
178
489
        return False
179
490
 
180
491
 
 
492
def is_inside_or_parent_of_any(dir_list, fname):
 
493
    """True if fname is a child or a parent of any of the given files."""
 
494
    for dirname in dir_list:
 
495
        if is_inside(dirname, fname) or is_inside(fname, dirname):
 
496
            return True
 
497
    else:
 
498
        return False
 
499
 
 
500
 
181
501
def pumpfile(fromfile, tofile):
182
502
    """Copy contents of one file to another."""
183
 
    tofile.write(fromfile.read())
184
 
 
185
 
 
186
 
def uuid():
187
 
    """Return a new UUID"""
188
 
    try:
189
 
        return file('/proc/sys/kernel/random/uuid').readline().rstrip('\n')
190
 
    except IOError:
191
 
        return chomp(os.popen('uuidgen').readline())
 
503
    BUFSIZE = 32768
 
504
    while True:
 
505
        b = fromfile.read(BUFSIZE)
 
506
        if not b:
 
507
            break
 
508
        tofile.write(b)
 
509
 
 
510
 
 
511
def file_iterator(input_file, readsize=32768):
 
512
    while True:
 
513
        b = input_file.read(readsize)
 
514
        if len(b) == 0:
 
515
            break
 
516
        yield b
192
517
 
193
518
 
194
519
def sha_file(f):
195
 
    import sha
196
 
    if hasattr(f, 'tell'):
 
520
    if getattr(f, 'tell', None) is not None:
197
521
        assert f.tell() == 0
198
522
    s = sha.new()
199
523
    BUFSIZE = 128<<10
205
529
    return s.hexdigest()
206
530
 
207
531
 
 
532
 
 
533
def sha_strings(strings):
 
534
    """Return the sha-1 of concatenation of strings"""
 
535
    s = sha.new()
 
536
    map(s.update, strings)
 
537
    return s.hexdigest()
 
538
 
 
539
 
208
540
def sha_string(f):
209
 
    import sha
210
541
    s = sha.new()
211
542
    s.update(f)
212
543
    return s.hexdigest()
213
544
 
214
545
 
215
 
 
216
546
def fingerprint_file(f):
217
 
    import sha
218
547
    s = sha.new()
219
548
    b = f.read()
220
549
    s.update(b)
223
552
            'sha1': s.hexdigest()}
224
553
 
225
554
 
226
 
def config_dir():
227
 
    """Return per-user configuration directory.
228
 
 
229
 
    By default this is ~/.bzr.conf/
230
 
    
231
 
    TODO: Global option --config-dir to override this.
232
 
    """
233
 
    return os.path.expanduser("~/.bzr.conf")
234
 
 
235
 
 
236
 
def _auto_user_id():
237
 
    """Calculate automatic user identification.
238
 
 
239
 
    Returns (realname, email).
240
 
 
241
 
    Only used when none is set in the environment or the id file.
242
 
 
243
 
    This previously used the FQDN as the default domain, but that can
244
 
    be very slow on machines where DNS is broken.  So now we simply
245
 
    use the hostname.
246
 
    """
247
 
    import socket
248
 
 
249
 
    # XXX: Any good way to get real user name on win32?
250
 
 
251
 
    try:
252
 
        import pwd
253
 
        uid = os.getuid()
254
 
        w = pwd.getpwuid(uid)
255
 
        gecos = w.pw_gecos.decode(bzrlib.user_encoding)
256
 
        username = w.pw_name.decode(bzrlib.user_encoding)
257
 
        comma = gecos.find(',')
258
 
        if comma == -1:
259
 
            realname = gecos
260
 
        else:
261
 
            realname = gecos[:comma]
262
 
        if not realname:
263
 
            realname = username
264
 
 
265
 
    except ImportError:
266
 
        import getpass
267
 
        realname = username = getpass.getuser().decode(bzrlib.user_encoding)
268
 
 
269
 
    return realname, (username + '@' + socket.gethostname())
270
 
 
271
 
 
272
 
def _get_user_id():
273
 
    """Return the full user id from a file or environment variable.
274
 
 
275
 
    TODO: Allow taking this from a file in the branch directory too
276
 
    for per-branch ids."""
277
 
    v = os.environ.get('BZREMAIL')
278
 
    if v:
279
 
        return v.decode(bzrlib.user_encoding)
280
 
    
281
 
    try:
282
 
        return (open(os.path.join(config_dir(), "email"))
283
 
                .read()
284
 
                .decode(bzrlib.user_encoding)
285
 
                .rstrip("\r\n"))
286
 
    except IOError, e:
287
 
        if e.errno != errno.ENOENT:
288
 
            raise e
289
 
 
290
 
    v = os.environ.get('EMAIL')
291
 
    if v:
292
 
        return v.decode(bzrlib.user_encoding)
293
 
    else:    
294
 
        return None
295
 
 
296
 
 
297
 
def username():
298
 
    """Return email-style username.
299
 
 
300
 
    Something similar to 'Martin Pool <mbp@sourcefrog.net>'
301
 
 
302
 
    TODO: Check it's reasonably well-formed.
303
 
    """
304
 
    v = _get_user_id()
305
 
    if v:
306
 
        return v
307
 
    
308
 
    name, email = _auto_user_id()
309
 
    if name:
310
 
        return '%s <%s>' % (name, email)
311
 
    else:
312
 
        return email
313
 
 
314
 
 
315
 
_EMAIL_RE = re.compile(r'[\w+.-]+@[\w+.-]+')
316
 
def user_email():
317
 
    """Return just the email component of a username."""
318
 
    e = _get_user_id()
319
 
    if e:
320
 
        m = _EMAIL_RE.search(e)
321
 
        if not m:
322
 
            raise BzrError("%r doesn't seem to contain a reasonable email address" % e)
323
 
        return m.group(0)
324
 
 
325
 
    return _auto_user_id()[1]
326
 
    
327
 
 
328
 
 
329
555
def compare_files(a, b):
330
556
    """Returns true if equal in contents"""
331
557
    BUFSIZE = 4096
338
564
            return True
339
565
 
340
566
 
341
 
 
342
567
def local_time_offset(t=None):
343
568
    """Return offset of local zone from GMT, either at present or at time t."""
344
 
    # python2.3 localtime() can't take None
345
 
    if t == None:
 
569
    if t is None:
346
570
        t = time.time()
347
 
        
348
 
    if time.localtime(t).tm_isdst and time.daylight:
349
 
        return -time.altzone
350
 
    else:
351
 
        return -time.timezone
 
571
    offset = datetime.fromtimestamp(t) - datetime.utcfromtimestamp(t)
 
572
    return offset.days * 86400 + offset.seconds
352
573
 
353
574
    
354
 
def format_date(t, offset=0, timezone='original'):
 
575
def format_date(t, offset=0, timezone='original', date_fmt=None, 
 
576
                show_offset=True):
355
577
    ## TODO: Perhaps a global option to use either universal or local time?
356
578
    ## Or perhaps just let people set $TZ?
357
579
    assert isinstance(t, float)
360
582
        tt = time.gmtime(t)
361
583
        offset = 0
362
584
    elif timezone == 'original':
363
 
        if offset == None:
 
585
        if offset is None:
364
586
            offset = 0
365
587
        tt = time.gmtime(t + offset)
366
588
    elif timezone == 'local':
367
589
        tt = time.localtime(t)
368
590
        offset = local_time_offset(t)
369
591
    else:
370
 
        raise BzrError("unsupported timezone format %r" % timezone,
371
 
                       ['options are "utc", "original", "local"'])
372
 
 
373
 
    return (time.strftime("%a %Y-%m-%d %H:%M:%S", tt)
374
 
            + ' %+03d%02d' % (offset / 3600, (offset / 60) % 60))
 
592
        raise errors.BzrError("unsupported timezone format %r" % timezone,
 
593
                              ['options are "utc", "original", "local"'])
 
594
    if date_fmt is None:
 
595
        date_fmt = "%a %Y-%m-%d %H:%M:%S"
 
596
    if show_offset:
 
597
        offset_str = ' %+03d%02d' % (offset / 3600, (offset / 60) % 60)
 
598
    else:
 
599
        offset_str = ''
 
600
    return (time.strftime(date_fmt, tt) +  offset_str)
375
601
 
376
602
 
377
603
def compact_date(when):
378
604
    return time.strftime('%Y%m%d%H%M%S', time.gmtime(when))
379
605
    
380
606
 
 
607
def format_delta(delta):
 
608
    """Get a nice looking string for a time delta.
 
609
 
 
610
    :param delta: The time difference in seconds, can be positive or negative.
 
611
        positive indicates time in the past, negative indicates time in the
 
612
        future. (usually time.time() - stored_time)
 
613
    :return: String formatted to show approximate resolution
 
614
    """
 
615
    delta = int(delta)
 
616
    if delta >= 0:
 
617
        direction = 'ago'
 
618
    else:
 
619
        direction = 'in the future'
 
620
        delta = -delta
 
621
 
 
622
    seconds = delta
 
623
    if seconds < 90: # print seconds up to 90 seconds
 
624
        if seconds == 1:
 
625
            return '%d second %s' % (seconds, direction,)
 
626
        else:
 
627
            return '%d seconds %s' % (seconds, direction)
 
628
 
 
629
    minutes = int(seconds / 60)
 
630
    seconds -= 60 * minutes
 
631
    if seconds == 1:
 
632
        plural_seconds = ''
 
633
    else:
 
634
        plural_seconds = 's'
 
635
    if minutes < 90: # print minutes, seconds up to 90 minutes
 
636
        if minutes == 1:
 
637
            return '%d minute, %d second%s %s' % (
 
638
                    minutes, seconds, plural_seconds, direction)
 
639
        else:
 
640
            return '%d minutes, %d second%s %s' % (
 
641
                    minutes, seconds, plural_seconds, direction)
 
642
 
 
643
    hours = int(minutes / 60)
 
644
    minutes -= 60 * hours
 
645
    if minutes == 1:
 
646
        plural_minutes = ''
 
647
    else:
 
648
        plural_minutes = 's'
 
649
 
 
650
    if hours == 1:
 
651
        return '%d hour, %d minute%s %s' % (hours, minutes,
 
652
                                            plural_minutes, direction)
 
653
    return '%d hours, %d minute%s %s' % (hours, minutes,
 
654
                                         plural_minutes, direction)
381
655
 
382
656
def filesize(f):
383
657
    """Return size of given open file."""
384
658
    return os.fstat(f.fileno())[ST_SIZE]
385
659
 
386
660
 
387
 
if hasattr(os, 'urandom'): # python 2.4 and later
 
661
# Define rand_bytes based on platform.
 
662
try:
 
663
    # Python 2.4 and later have os.urandom,
 
664
    # but it doesn't work on some arches
 
665
    os.urandom(1)
388
666
    rand_bytes = os.urandom
389
 
elif sys.platform == 'linux2':
390
 
    rand_bytes = file('/dev/urandom', 'rb').read
391
 
else:
392
 
    # not well seeded, but better than nothing
393
 
    def rand_bytes(n):
394
 
        import random
395
 
        s = ''
396
 
        while n:
397
 
            s += chr(random.randint(0, 255))
398
 
            n -= 1
399
 
        return s
 
667
except (NotImplementedError, AttributeError):
 
668
    # If python doesn't have os.urandom, or it doesn't work,
 
669
    # then try to first pull random data from /dev/urandom
 
670
    try:
 
671
        rand_bytes = file('/dev/urandom', 'rb').read
 
672
    # Otherwise, use this hack as a last resort
 
673
    except (IOError, OSError):
 
674
        # not well seeded, but better than nothing
 
675
        def rand_bytes(n):
 
676
            import random
 
677
            s = ''
 
678
            while n:
 
679
                s += chr(random.randint(0, 255))
 
680
                n -= 1
 
681
            return s
 
682
 
 
683
 
 
684
ALNUM = '0123456789abcdefghijklmnopqrstuvwxyz'
 
685
def rand_chars(num):
 
686
    """Return a random string of num alphanumeric characters
 
687
    
 
688
    The result only contains lowercase chars because it may be used on 
 
689
    case-insensitive filesystems.
 
690
    """
 
691
    s = ''
 
692
    for raw_byte in rand_bytes(num):
 
693
        s += ALNUM[ord(raw_byte) % 36]
 
694
    return s
400
695
 
401
696
 
402
697
## TODO: We could later have path objects that remember their list
403
698
## decomposition (might be too tricksy though.)
404
699
 
405
700
def splitpath(p):
406
 
    """Turn string into list of parts.
407
 
 
408
 
    >>> splitpath('a')
409
 
    ['a']
410
 
    >>> splitpath('a/b')
411
 
    ['a', 'b']
412
 
    >>> splitpath('a/./b')
413
 
    ['a', 'b']
414
 
    >>> splitpath('a/.b')
415
 
    ['a', '.b']
416
 
    >>> splitpath('a/../b')
417
 
    Traceback (most recent call last):
418
 
    ...
419
 
    BzrError: sorry, '..' not allowed in path
420
 
    """
421
 
    assert isinstance(p, types.StringTypes)
 
701
    """Turn string into list of parts."""
 
702
    assert isinstance(p, basestring)
422
703
 
423
704
    # split on either delimiter because people might use either on
424
705
    # Windows
427
708
    rps = []
428
709
    for f in ps:
429
710
        if f == '..':
430
 
            raise BzrError("sorry, %r not allowed in path" % f)
 
711
            raise errors.BzrError("sorry, %r not allowed in path" % f)
431
712
        elif (f == '.') or (f == ''):
432
713
            pass
433
714
        else:
437
718
def joinpath(p):
438
719
    assert isinstance(p, list)
439
720
    for f in p:
440
 
        if (f == '..') or (f == None) or (f == ''):
441
 
            raise BzrError("sorry, %r not allowed in path" % f)
442
 
    return os.path.join(*p)
443
 
 
444
 
 
 
721
        if (f == '..') or (f is None) or (f == ''):
 
722
            raise errors.BzrError("sorry, %r not allowed in path" % f)
 
723
    return pathjoin(*p)
 
724
 
 
725
 
 
726
@deprecated_function(zero_nine)
445
727
def appendpath(p1, p2):
446
728
    if p1 == '':
447
729
        return p2
448
730
    else:
449
 
        return os.path.join(p1, p2)
 
731
        return pathjoin(p1, p2)
450
732
    
451
733
 
452
 
def extern_command(cmd, ignore_errors = False):
453
 
    mutter('external command: %s' % `cmd`)
454
 
    if os.system(cmd):
455
 
        if not ignore_errors:
456
 
            raise BzrError('command failed')
457
 
 
458
 
 
459
 
def _read_config_value(name):
460
 
    """Read a config value from the file ~/.bzr.conf/<name>
461
 
    Return None if the file does not exist"""
462
 
    try:
463
 
        f = file(os.path.join(config_dir(), name), "r")
464
 
        return f.read().decode(bzrlib.user_encoding).rstrip("\r\n")
465
 
    except IOError, e:
466
 
        if e.errno == errno.ENOENT:
467
 
            return None
468
 
        raise
469
 
 
470
 
 
471
 
def _get_editor():
472
 
    """Return a sequence of possible editor binaries for the current platform"""
473
 
    e = _read_config_value("editor")
474
 
    if e is not None:
475
 
        yield e
 
734
def split_lines(s):
 
735
    """Split s into lines, but without removing the newline characters."""
 
736
    lines = s.split('\n')
 
737
    result = [line + '\n' for line in lines[:-1]]
 
738
    if lines[-1]:
 
739
        result.append(lines[-1])
 
740
    return result
 
741
 
 
742
 
 
743
def hardlinks_good():
 
744
    return sys.platform not in ('win32', 'cygwin', 'darwin')
 
745
 
 
746
 
 
747
def link_or_copy(src, dest):
 
748
    """Hardlink a file, or copy it if it can't be hardlinked."""
 
749
    if not hardlinks_good():
 
750
        shutil.copyfile(src, dest)
 
751
        return
 
752
    try:
 
753
        os.link(src, dest)
 
754
    except (OSError, IOError), e:
 
755
        if e.errno != errno.EXDEV:
 
756
            raise
 
757
        shutil.copyfile(src, dest)
 
758
 
 
759
def delete_any(full_path):
 
760
    """Delete a file or directory."""
 
761
    try:
 
762
        os.unlink(full_path)
 
763
    except OSError, e:
 
764
    # We may be renaming a dangling inventory id
 
765
        if e.errno not in (errno.EISDIR, errno.EACCES, errno.EPERM):
 
766
            raise
 
767
        os.rmdir(full_path)
 
768
 
 
769
 
 
770
def has_symlinks():
 
771
    if getattr(os, 'symlink', None) is not None:
 
772
        return True
 
773
    else:
 
774
        return False
476
775
        
477
 
    if os.name == "windows":
478
 
        yield "notepad.exe"
479
 
    elif os.name == "posix":
480
 
        try:
481
 
            yield os.environ["EDITOR"]
482
 
        except KeyError:
483
 
            yield "/usr/bin/vi"
484
 
 
485
 
 
486
 
def _run_editor(filename):
487
 
    """Try to execute an editor to edit the commit message. Returns True on success,
488
 
    False on failure"""
489
 
    for e in _get_editor():
490
 
        x = os.spawnvp(os.P_WAIT, e, (e, filename))
491
 
        if x == 0:
492
 
            return True
493
 
        elif x == 127:
494
 
            continue
495
 
        else:
 
776
 
 
777
def contains_whitespace(s):
 
778
    """True if there are any whitespace characters in s."""
 
779
    # string.whitespace can include '\xa0' in certain locales, because it is
 
780
    # considered "non-breaking-space" as part of ISO-8859-1. But it
 
781
    # 1) Isn't a breaking whitespace
 
782
    # 2) Isn't one of ' \t\r\n' which are characters we sometimes use as
 
783
    #    separators
 
784
    # 3) '\xa0' isn't unicode safe since it is >128.
 
785
    # So we are following textwrap's example and hard-coding our own.
 
786
    # We probably could ignore \v and \f, too.
 
787
    for ch in u' \t\n\r\v\f':
 
788
        if ch in s:
 
789
            return True
 
790
    else:
 
791
        return False
 
792
 
 
793
 
 
794
def contains_linebreaks(s):
 
795
    """True if there is any vertical whitespace in s."""
 
796
    for ch in '\f\n\r':
 
797
        if ch in s:
 
798
            return True
 
799
    else:
 
800
        return False
 
801
 
 
802
 
 
803
def relpath(base, path):
 
804
    """Return path relative to base, or raise exception.
 
805
 
 
806
    The path may be either an absolute path or a path relative to the
 
807
    current working directory.
 
808
 
 
809
    os.path.commonprefix (python2.4) has a bad bug that it works just
 
810
    on string prefixes, assuming that '/u' is a prefix of '/u2'.  This
 
811
    avoids that problem.
 
812
    """
 
813
 
 
814
    assert len(base) >= MIN_ABS_PATHLENGTH, ('Length of base must be equal or'
 
815
        ' exceed the platform minimum length (which is %d)' % 
 
816
        MIN_ABS_PATHLENGTH)
 
817
 
 
818
    rp = abspath(path)
 
819
 
 
820
    s = []
 
821
    head = rp
 
822
    while len(head) >= len(base):
 
823
        if head == base:
496
824
            break
497
 
    raise BzrError("Could not start any editor. Please specify $EDITOR or use ~/.bzr.conf/editor")
498
 
    return False
499
 
                          
500
 
 
501
 
def get_text_message(infotext, ignoreline = "default"):
502
 
    import tempfile
503
 
    
504
 
    if ignoreline == "default":
505
 
        ignoreline = "-- This line and the following will be ignored --"
506
 
        
507
 
    try:
508
 
        tmp_fileno, msgfilename = tempfile.mkstemp()
509
 
        msgfile = os.close(tmp_fileno)
510
 
        if infotext is not None and infotext != "":
511
 
            hasinfo = True
512
 
            msgfile = file(msgfilename, "w")
513
 
            msgfile.write("\n\n%s\n\n%s" % (ignoreline, infotext))
514
 
            msgfile.close()
515
 
        else:
516
 
            hasinfo = False
517
 
 
518
 
        if not _run_editor(msgfilename):
519
 
            return None
520
 
        
521
 
        started = False
522
 
        msg = []
523
 
        lastline, nlines = 0, 0
524
 
        for line in file(msgfilename, "r"):
525
 
            stripped_line = line.strip()
526
 
            # strip empty line before the log message starts
527
 
            if not started:
528
 
                if stripped_line != "":
529
 
                    started = True
530
 
                else:
531
 
                    continue
532
 
            # check for the ignore line only if there
533
 
            # is additional information at the end
534
 
            if hasinfo and stripped_line == ignoreline:
535
 
                break
536
 
            nlines += 1
537
 
            # keep track of the last line that had some content
538
 
            if stripped_line != "":
539
 
                lastline = nlines
540
 
            msg.append(line)
541
 
            
542
 
        if len(msg) == 0:
543
 
            return None
544
 
        # delete empty lines at the end
545
 
        del msg[lastline:]
546
 
        # add a newline at the end, if needed
547
 
        if not msg[-1].endswith("\n"):
548
 
            return "%s%s" % ("".join(msg), "\n")
549
 
        else:
550
 
            return "".join(msg)
551
 
    finally:
552
 
        # delete the msg file in any case
553
 
        try: os.unlink(msgfilename)
554
 
        except IOError: pass
 
825
        head, tail = os.path.split(head)
 
826
        if tail:
 
827
            s.insert(0, tail)
 
828
    else:
 
829
        raise errors.PathNotChild(rp, base)
 
830
 
 
831
    if s:
 
832
        return pathjoin(*s)
 
833
    else:
 
834
        return ''
 
835
 
 
836
 
 
837
def safe_unicode(unicode_or_utf8_string):
 
838
    """Coerce unicode_or_utf8_string into unicode.
 
839
 
 
840
    If it is unicode, it is returned.
 
841
    Otherwise it is decoded from utf-8. If a decoding error
 
842
    occurs, it is wrapped as a If the decoding fails, the exception is wrapped 
 
843
    as a BzrBadParameter exception.
 
844
    """
 
845
    if isinstance(unicode_or_utf8_string, unicode):
 
846
        return unicode_or_utf8_string
 
847
    try:
 
848
        return unicode_or_utf8_string.decode('utf8')
 
849
    except UnicodeDecodeError:
 
850
        raise errors.BzrBadParameterNotUnicode(unicode_or_utf8_string)
 
851
 
 
852
 
 
853
_platform_normalizes_filenames = False
 
854
if sys.platform == 'darwin':
 
855
    _platform_normalizes_filenames = True
 
856
 
 
857
 
 
858
def normalizes_filenames():
 
859
    """Return True if this platform normalizes unicode filenames.
 
860
 
 
861
    Mac OSX does, Windows/Linux do not.
 
862
    """
 
863
    return _platform_normalizes_filenames
 
864
 
 
865
 
 
866
def _accessible_normalized_filename(path):
 
867
    """Get the unicode normalized path, and if you can access the file.
 
868
 
 
869
    On platforms where the system normalizes filenames (Mac OSX),
 
870
    you can access a file by any path which will normalize correctly.
 
871
    On platforms where the system does not normalize filenames 
 
872
    (Windows, Linux), you have to access a file by its exact path.
 
873
 
 
874
    Internally, bzr only supports NFC/NFKC normalization, since that is 
 
875
    the standard for XML documents.
 
876
 
 
877
    So return the normalized path, and a flag indicating if the file
 
878
    can be accessed by that path.
 
879
    """
 
880
 
 
881
    return unicodedata.normalize('NFKC', unicode(path)), True
 
882
 
 
883
 
 
884
def _inaccessible_normalized_filename(path):
 
885
    __doc__ = _accessible_normalized_filename.__doc__
 
886
 
 
887
    normalized = unicodedata.normalize('NFKC', unicode(path))
 
888
    return normalized, normalized == path
 
889
 
 
890
 
 
891
if _platform_normalizes_filenames:
 
892
    normalized_filename = _accessible_normalized_filename
 
893
else:
 
894
    normalized_filename = _inaccessible_normalized_filename
 
895
 
 
896
 
 
897
def terminal_width():
 
898
    """Return estimated terminal width."""
 
899
    if sys.platform == 'win32':
 
900
        import bzrlib.win32console
 
901
        return bzrlib.win32console.get_console_size()[0]
 
902
    width = 0
 
903
    try:
 
904
        import struct, fcntl, termios
 
905
        s = struct.pack('HHHH', 0, 0, 0, 0)
 
906
        x = fcntl.ioctl(1, termios.TIOCGWINSZ, s)
 
907
        width = struct.unpack('HHHH', x)[1]
 
908
    except IOError:
 
909
        pass
 
910
    if width <= 0:
 
911
        try:
 
912
            width = int(os.environ['COLUMNS'])
 
913
        except:
 
914
            pass
 
915
    if width <= 0:
 
916
        width = 80
 
917
 
 
918
    return width
 
919
 
 
920
 
 
921
def supports_executable():
 
922
    return sys.platform != "win32"
 
923
 
 
924
 
 
925
def supports_posix_readonly():
 
926
    """Return True if 'readonly' has POSIX semantics, False otherwise.
 
927
 
 
928
    Notably, a win32 readonly file cannot be deleted, unlike POSIX where the
 
929
    directory controls creation/deletion, etc.
 
930
 
 
931
    And under win32, readonly means that the directory itself cannot be
 
932
    deleted.  The contents of a readonly directory can be changed, unlike POSIX
 
933
    where files in readonly directories cannot be added, deleted or renamed.
 
934
    """
 
935
    return sys.platform != "win32"
 
936
 
 
937
 
 
938
def set_or_unset_env(env_variable, value):
 
939
    """Modify the environment, setting or removing the env_variable.
 
940
 
 
941
    :param env_variable: The environment variable in question
 
942
    :param value: The value to set the environment to. If None, then
 
943
        the variable will be removed.
 
944
    :return: The original value of the environment variable.
 
945
    """
 
946
    orig_val = os.environ.get(env_variable)
 
947
    if value is None:
 
948
        if orig_val is not None:
 
949
            del os.environ[env_variable]
 
950
    else:
 
951
        if isinstance(value, unicode):
 
952
            value = value.encode(bzrlib.user_encoding)
 
953
        os.environ[env_variable] = value
 
954
    return orig_val
 
955
 
 
956
 
 
957
_validWin32PathRE = re.compile(r'^([A-Za-z]:[/\\])?[^:<>*"?\|]*$')
 
958
 
 
959
 
 
960
def check_legal_path(path):
 
961
    """Check whether the supplied path is legal.  
 
962
    This is only required on Windows, so we don't test on other platforms
 
963
    right now.
 
964
    """
 
965
    if sys.platform != "win32":
 
966
        return
 
967
    if _validWin32PathRE.match(path) is None:
 
968
        raise errors.IllegalPath(path)
 
969
 
 
970
 
 
971
def walkdirs(top, prefix=""):
 
972
    """Yield data about all the directories in a tree.
 
973
    
 
974
    This yields all the data about the contents of a directory at a time.
 
975
    After each directory has been yielded, if the caller has mutated the list
 
976
    to exclude some directories, they are then not descended into.
 
977
    
 
978
    The data yielded is of the form:
 
979
    ((directory-relpath, directory-path-from-top),
 
980
    [(relpath, basename, kind, lstat), ...]),
 
981
     - directory-relpath is the relative path of the directory being returned
 
982
       with respect to top. prefix is prepended to this.
 
983
     - directory-path-from-root is the path including top for this directory. 
 
984
       It is suitable for use with os functions.
 
985
     - relpath is the relative path within the subtree being walked.
 
986
     - basename is the basename of the path
 
987
     - kind is the kind of the file now. If unknown then the file is not
 
988
       present within the tree - but it may be recorded as versioned. See
 
989
       versioned_kind.
 
990
     - lstat is the stat data *if* the file was statted.
 
991
     - planned, not implemented: 
 
992
       path_from_tree_root is the path from the root of the tree.
 
993
 
 
994
    :param prefix: Prefix the relpaths that are yielded with 'prefix'. This 
 
995
        allows one to walk a subtree but get paths that are relative to a tree
 
996
        rooted higher up.
 
997
    :return: an iterator over the dirs.
 
998
    """
 
999
    #TODO there is a bit of a smell where the results of the directory-
 
1000
    # summary in this, and the path from the root, may not agree 
 
1001
    # depending on top and prefix - i.e. ./foo and foo as a pair leads to
 
1002
    # potentially confusing output. We should make this more robust - but
 
1003
    # not at a speed cost. RBC 20060731
 
1004
    lstat = os.lstat
 
1005
    pending = []
 
1006
    _directory = _directory_kind
 
1007
    _listdir = os.listdir
 
1008
    pending = [(prefix, "", _directory, None, top)]
 
1009
    while pending:
 
1010
        dirblock = []
 
1011
        currentdir = pending.pop()
 
1012
        # 0 - relpath, 1- basename, 2- kind, 3- stat, 4-toppath
 
1013
        top = currentdir[4]
 
1014
        if currentdir[0]:
 
1015
            relroot = currentdir[0] + '/'
 
1016
        else:
 
1017
            relroot = ""
 
1018
        for name in sorted(_listdir(top)):
 
1019
            abspath = top + '/' + name
 
1020
            statvalue = lstat(abspath)
 
1021
            dirblock.append((relroot + name, name,
 
1022
                file_kind_from_stat_mode(statvalue.st_mode),
 
1023
                statvalue, abspath))
 
1024
        yield (currentdir[0], top), dirblock
 
1025
        # push the user specified dirs from dirblock
 
1026
        for dir in reversed(dirblock):
 
1027
            if dir[2] == _directory:
 
1028
                pending.append(dir)
 
1029
 
 
1030
 
 
1031
def copy_tree(from_path, to_path, handlers={}):
 
1032
    """Copy all of the entries in from_path into to_path.
 
1033
 
 
1034
    :param from_path: The base directory to copy. 
 
1035
    :param to_path: The target directory. If it does not exist, it will
 
1036
        be created.
 
1037
    :param handlers: A dictionary of functions, which takes a source and
 
1038
        destinations for files, directories, etc.
 
1039
        It is keyed on the file kind, such as 'directory', 'symlink', or 'file'
 
1040
        'file', 'directory', and 'symlink' should always exist.
 
1041
        If they are missing, they will be replaced with 'os.mkdir()',
 
1042
        'os.readlink() + os.symlink()', and 'shutil.copy2()', respectively.
 
1043
    """
 
1044
    # Now, just copy the existing cached tree to the new location
 
1045
    # We use a cheap trick here.
 
1046
    # Absolute paths are prefixed with the first parameter
 
1047
    # relative paths are prefixed with the second.
 
1048
    # So we can get both the source and target returned
 
1049
    # without any extra work.
 
1050
 
 
1051
    def copy_dir(source, dest):
 
1052
        os.mkdir(dest)
 
1053
 
 
1054
    def copy_link(source, dest):
 
1055
        """Copy the contents of a symlink"""
 
1056
        link_to = os.readlink(source)
 
1057
        os.symlink(link_to, dest)
 
1058
 
 
1059
    real_handlers = {'file':shutil.copy2,
 
1060
                     'symlink':copy_link,
 
1061
                     'directory':copy_dir,
 
1062
                    }
 
1063
    real_handlers.update(handlers)
 
1064
 
 
1065
    if not os.path.exists(to_path):
 
1066
        real_handlers['directory'](from_path, to_path)
 
1067
 
 
1068
    for dir_info, entries in walkdirs(from_path, prefix=to_path):
 
1069
        for relpath, name, kind, st, abspath in entries:
 
1070
            real_handlers[kind](abspath, relpath)
 
1071
 
 
1072
 
 
1073
def path_prefix_key(path):
 
1074
    """Generate a prefix-order path key for path.
 
1075
 
 
1076
    This can be used to sort paths in the same way that walkdirs does.
 
1077
    """
 
1078
    return (dirname(path) , path)
 
1079
 
 
1080
 
 
1081
def compare_paths_prefix_order(path_a, path_b):
 
1082
    """Compare path_a and path_b to generate the same order walkdirs uses."""
 
1083
    key_a = path_prefix_key(path_a)
 
1084
    key_b = path_prefix_key(path_b)
 
1085
    return cmp(key_a, key_b)
 
1086
 
 
1087
 
 
1088
_cached_user_encoding = None
 
1089
 
 
1090
 
 
1091
def get_user_encoding(use_cache=True):
 
1092
    """Find out what the preferred user encoding is.
 
1093
 
 
1094
    This is generally the encoding that is used for command line parameters
 
1095
    and file contents. This may be different from the terminal encoding
 
1096
    or the filesystem encoding.
 
1097
 
 
1098
    :param  use_cache:  Enable cache for detected encoding.
 
1099
                        (This parameter is turned on by default,
 
1100
                        and required only for selftesting)
 
1101
 
 
1102
    :return: A string defining the preferred user encoding
 
1103
    """
 
1104
    global _cached_user_encoding
 
1105
    if _cached_user_encoding is not None and use_cache:
 
1106
        return _cached_user_encoding
 
1107
 
 
1108
    if sys.platform == 'darwin':
 
1109
        # work around egregious python 2.4 bug
 
1110
        sys.platform = 'posix'
 
1111
        try:
 
1112
            import locale
 
1113
        finally:
 
1114
            sys.platform = 'darwin'
 
1115
    else:
 
1116
        import locale
 
1117
 
 
1118
    try:
 
1119
        user_encoding = locale.getpreferredencoding()
 
1120
    except locale.Error, e:
 
1121
        sys.stderr.write('bzr: warning: %s\n'
 
1122
                         '  Could not determine what text encoding to use.\n'
 
1123
                         '  This error usually means your Python interpreter\n'
 
1124
                         '  doesn\'t support the locale set by $LANG (%s)\n'
 
1125
                         "  Continuing with ascii encoding.\n"
 
1126
                         % (e, os.environ.get('LANG')))
 
1127
        user_encoding = 'ascii'
 
1128
 
 
1129
    # Windows returns 'cp0' to indicate there is no code page. So we'll just
 
1130
    # treat that as ASCII, and not support printing unicode characters to the
 
1131
    # console.
 
1132
    if user_encoding in (None, 'cp0'):
 
1133
        user_encoding = 'ascii'
 
1134
    else:
 
1135
        # check encoding
 
1136
        try:
 
1137
            codecs.lookup(user_encoding)
 
1138
        except LookupError:
 
1139
            sys.stderr.write('bzr: warning:'
 
1140
                             ' unknown encoding %s.'
 
1141
                             ' Continuing with ascii encoding.\n'
 
1142
                             % user_encoding
 
1143
                            )
 
1144
            user_encoding = 'ascii'
 
1145
 
 
1146
    if use_cache:
 
1147
        _cached_user_encoding = user_encoding
 
1148
 
 
1149
    return user_encoding
 
1150
 
 
1151
 
 
1152
def recv_all(socket, bytes):
 
1153
    """Receive an exact number of bytes.
 
1154
 
 
1155
    Regular Socket.recv() may return less than the requested number of bytes,
 
1156
    dependning on what's in the OS buffer.  MSG_WAITALL is not available
 
1157
    on all platforms, but this should work everywhere.  This will return
 
1158
    less than the requested amount if the remote end closes.
 
1159
 
 
1160
    This isn't optimized and is intended mostly for use in testing.
 
1161
    """
 
1162
    b = ''
 
1163
    while len(b) < bytes:
 
1164
        new = socket.recv(bytes - len(b))
 
1165
        if new == '':
 
1166
            break # eof
 
1167
        b += new
 
1168
    return b
 
1169
 
 
1170
def dereference_path(path):
 
1171
    """Determine the real path to a file.
 
1172
 
 
1173
    All parent elements are dereferenced.  But the file itself is not
 
1174
    dereferenced.
 
1175
    :param path: The original path.  May be absolute or relative.
 
1176
    :return: the real path *to* the file
 
1177
    """
 
1178
    parent, base = os.path.split(path)
 
1179
    # The pathjoin for '.' is a workaround for Python bug #1213894.
 
1180
    # (initial path components aren't dereferenced)
 
1181
    return pathjoin(realpath(pathjoin('.', parent)), base)