/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/osutils.py

Merge bzr.dev.

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Bazaar -- distributed version control
 
2
#
 
3
# Copyright (C) 2005 by Canonical Ltd
 
4
#
 
5
# This program is free software; you can redistribute it and/or modify
 
6
# it under the terms of the GNU General Public License as published by
 
7
# the Free Software Foundation; either version 2 of the License, or
 
8
# (at your option) any later version.
 
9
#
 
10
# This program is distributed in the hope that it will be useful,
 
11
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
12
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
13
# GNU General Public License for more details.
 
14
#
 
15
# You should have received a copy of the GNU General Public License
 
16
# along with this program; if not, write to the Free Software
 
17
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
18
 
 
19
from cStringIO import StringIO
 
20
import errno
 
21
from ntpath import (abspath as _nt_abspath,
 
22
                    join as _nt_join,
 
23
                    normpath as _nt_normpath,
 
24
                    realpath as _nt_realpath,
 
25
                    splitdrive as _nt_splitdrive,
 
26
                    )
 
27
import os
 
28
from os import listdir
 
29
import posixpath
 
30
import re
 
31
import sha
 
32
import shutil
 
33
from shutil import copyfile
 
34
import stat
 
35
from stat import (S_ISREG, S_ISDIR, S_ISLNK, ST_MODE, ST_SIZE,
 
36
                  S_ISCHR, S_ISBLK, S_ISFIFO, S_ISSOCK)
 
37
import string
 
38
import sys
 
39
import time
 
40
import types
 
41
import tempfile
 
42
import unicodedata
 
43
 
 
44
import bzrlib
 
45
from bzrlib.errors import (BzrError,
 
46
                           BzrBadParameterNotUnicode,
 
47
                           NoSuchFile,
 
48
                           PathNotChild,
 
49
                           IllegalPath,
 
50
                           )
 
51
from bzrlib.symbol_versioning import (deprecated_function, 
 
52
        zero_nine)
 
53
from bzrlib.trace import mutter
 
54
 
 
55
 
 
56
# On win32, O_BINARY is used to indicate the file should
 
57
# be opened in binary mode, rather than text mode.
 
58
# On other platforms, O_BINARY doesn't exist, because
 
59
# they always open in binary mode, so it is okay to
 
60
# OR with 0 on those platforms
 
61
O_BINARY = getattr(os, 'O_BINARY', 0)
 
62
 
 
63
 
 
64
def make_readonly(filename):
 
65
    """Make a filename read-only."""
 
66
    mod = os.stat(filename).st_mode
 
67
    mod = mod & 0777555
 
68
    os.chmod(filename, mod)
 
69
 
 
70
 
 
71
def make_writable(filename):
 
72
    mod = os.stat(filename).st_mode
 
73
    mod = mod | 0200
 
74
    os.chmod(filename, mod)
 
75
 
 
76
 
 
77
_QUOTE_RE = None
 
78
 
 
79
 
 
80
def quotefn(f):
 
81
    """Return a quoted filename filename
 
82
 
 
83
    This previously used backslash quoting, but that works poorly on
 
84
    Windows."""
 
85
    # TODO: I'm not really sure this is the best format either.x
 
86
    global _QUOTE_RE
 
87
    if _QUOTE_RE is None:
 
88
        _QUOTE_RE = re.compile(r'([^a-zA-Z0-9.,:/\\_~-])')
 
89
        
 
90
    if _QUOTE_RE.search(f):
 
91
        return '"' + f + '"'
 
92
    else:
 
93
        return f
 
94
 
 
95
 
 
96
_directory_kind = 'directory'
 
97
 
 
98
_formats = {
 
99
    stat.S_IFDIR:_directory_kind,
 
100
    stat.S_IFCHR:'chardev',
 
101
    stat.S_IFBLK:'block',
 
102
    stat.S_IFREG:'file',
 
103
    stat.S_IFIFO:'fifo',
 
104
    stat.S_IFLNK:'symlink',
 
105
    stat.S_IFSOCK:'socket',
 
106
}
 
107
 
 
108
 
 
109
def file_kind_from_stat_mode(stat_mode, _formats=_formats, _unknown='unknown'):
 
110
    """Generate a file kind from a stat mode. This is used in walkdirs.
 
111
 
 
112
    Its performance is critical: Do not mutate without careful benchmarking.
 
113
    """
 
114
    try:
 
115
        return _formats[stat_mode & 0170000]
 
116
    except KeyError:
 
117
        return _unknown
 
118
 
 
119
 
 
120
def file_kind(f, _lstat=os.lstat, _mapper=file_kind_from_stat_mode):
 
121
    try:
 
122
        return _mapper(_lstat(f).st_mode)
 
123
    except OSError, e:
 
124
        if getattr(e, 'errno', None) == errno.ENOENT:
 
125
            raise bzrlib.errors.NoSuchFile(f)
 
126
        raise
 
127
 
 
128
 
 
129
def get_umask():
 
130
    """Return the current umask"""
 
131
    # Assume that people aren't messing with the umask while running
 
132
    # XXX: This is not thread safe, but there is no way to get the
 
133
    #      umask without setting it
 
134
    umask = os.umask(0)
 
135
    os.umask(umask)
 
136
    return umask
 
137
 
 
138
 
 
139
def kind_marker(kind):
 
140
    if kind == 'file':
 
141
        return ''
 
142
    elif kind == _directory_kind:
 
143
        return '/'
 
144
    elif kind == 'symlink':
 
145
        return '@'
 
146
    else:
 
147
        raise BzrError('invalid file kind %r' % kind)
 
148
 
 
149
lexists = getattr(os.path, 'lexists', None)
 
150
if lexists is None:
 
151
    def lexists(f):
 
152
        try:
 
153
            if getattr(os, 'lstat') is not None:
 
154
                os.lstat(f)
 
155
            else:
 
156
                os.stat(f)
 
157
            return True
 
158
        except OSError,e:
 
159
            if e.errno == errno.ENOENT:
 
160
                return False;
 
161
            else:
 
162
                raise BzrError("lstat/stat of (%r): %r" % (f, e))
 
163
 
 
164
 
 
165
def fancy_rename(old, new, rename_func, unlink_func):
 
166
    """A fancy rename, when you don't have atomic rename.
 
167
    
 
168
    :param old: The old path, to rename from
 
169
    :param new: The new path, to rename to
 
170
    :param rename_func: The potentially non-atomic rename function
 
171
    :param unlink_func: A way to delete the target file if the full rename succeeds
 
172
    """
 
173
 
 
174
    # sftp rename doesn't allow overwriting, so play tricks:
 
175
    import random
 
176
    base = os.path.basename(new)
 
177
    dirname = os.path.dirname(new)
 
178
    tmp_name = u'tmp.%s.%.9f.%d.%s' % (base, time.time(), os.getpid(), rand_chars(10))
 
179
    tmp_name = pathjoin(dirname, tmp_name)
 
180
 
 
181
    # Rename the file out of the way, but keep track if it didn't exist
 
182
    # We don't want to grab just any exception
 
183
    # something like EACCES should prevent us from continuing
 
184
    # The downside is that the rename_func has to throw an exception
 
185
    # with an errno = ENOENT, or NoSuchFile
 
186
    file_existed = False
 
187
    try:
 
188
        rename_func(new, tmp_name)
 
189
    except (NoSuchFile,), e:
 
190
        pass
 
191
    except IOError, e:
 
192
        # RBC 20060103 abstraction leakage: the paramiko SFTP clients rename
 
193
        # function raises an IOError with errno is None when a rename fails.
 
194
        # This then gets caught here.
 
195
        if e.errno not in (None, errno.ENOENT, errno.ENOTDIR):
 
196
            raise
 
197
    except Exception, e:
 
198
        if (getattr(e, 'errno', None) is None
 
199
            or e.errno not in (errno.ENOENT, errno.ENOTDIR)):
 
200
            raise
 
201
    else:
 
202
        file_existed = True
 
203
 
 
204
    success = False
 
205
    try:
 
206
        # This may throw an exception, in which case success will
 
207
        # not be set.
 
208
        rename_func(old, new)
 
209
        success = True
 
210
    finally:
 
211
        if file_existed:
 
212
            # If the file used to exist, rename it back into place
 
213
            # otherwise just delete it from the tmp location
 
214
            if success:
 
215
                unlink_func(tmp_name)
 
216
            else:
 
217
                rename_func(tmp_name, new)
 
218
 
 
219
 
 
220
# In Python 2.4.2 and older, os.path.abspath and os.path.realpath
 
221
# choke on a Unicode string containing a relative path if
 
222
# os.getcwd() returns a non-sys.getdefaultencoding()-encoded
 
223
# string.
 
224
_fs_enc = sys.getfilesystemencoding()
 
225
def _posix_abspath(path):
 
226
    # jam 20060426 rather than encoding to fsencoding
 
227
    # copy posixpath.abspath, but use os.getcwdu instead
 
228
    if not posixpath.isabs(path):
 
229
        path = posixpath.join(getcwd(), path)
 
230
    return posixpath.normpath(path)
 
231
 
 
232
 
 
233
def _posix_realpath(path):
 
234
    return posixpath.realpath(path.encode(_fs_enc)).decode(_fs_enc)
 
235
 
 
236
 
 
237
def _win32_fixdrive(path):
 
238
    """Force drive letters to be consistent.
 
239
 
 
240
    win32 is inconsistent whether it returns lower or upper case
 
241
    and even if it was consistent the user might type the other
 
242
    so we force it to uppercase
 
243
    running python.exe under cmd.exe return capital C:\\
 
244
    running win32 python inside a cygwin shell returns lowercase c:\\
 
245
    """
 
246
    drive, path = _nt_splitdrive(path)
 
247
    return drive.upper() + path
 
248
 
 
249
 
 
250
def _win32_abspath(path):
 
251
    # Real _nt_abspath doesn't have a problem with a unicode cwd
 
252
    return _win32_fixdrive(_nt_abspath(unicode(path)).replace('\\', '/'))
 
253
 
 
254
 
 
255
def _win32_realpath(path):
 
256
    # Real _nt_realpath doesn't have a problem with a unicode cwd
 
257
    return _win32_fixdrive(_nt_realpath(unicode(path)).replace('\\', '/'))
 
258
 
 
259
 
 
260
def _win32_pathjoin(*args):
 
261
    return _nt_join(*args).replace('\\', '/')
 
262
 
 
263
 
 
264
def _win32_normpath(path):
 
265
    return _win32_fixdrive(_nt_normpath(unicode(path)).replace('\\', '/'))
 
266
 
 
267
 
 
268
def _win32_getcwd():
 
269
    return _win32_fixdrive(os.getcwdu().replace('\\', '/'))
 
270
 
 
271
 
 
272
def _win32_mkdtemp(*args, **kwargs):
 
273
    return _win32_fixdrive(tempfile.mkdtemp(*args, **kwargs).replace('\\', '/'))
 
274
 
 
275
 
 
276
def _win32_rename(old, new):
 
277
    """We expect to be able to atomically replace 'new' with old.
 
278
 
 
279
    On win32, if new exists, it must be moved out of the way first,
 
280
    and then deleted. 
 
281
    """
 
282
    try:
 
283
        fancy_rename(old, new, rename_func=os.rename, unlink_func=os.unlink)
 
284
    except OSError, e:
 
285
        if e.errno in (errno.EPERM, errno.EACCES, errno.EBUSY, errno.EINVAL):
 
286
            # If we try to rename a non-existant file onto cwd, we get 
 
287
            # EPERM or EACCES instead of ENOENT, this will raise ENOENT 
 
288
            # if the old path doesn't exist, sometimes we get EACCES
 
289
            # On Linux, we seem to get EBUSY, on Mac we get EINVAL
 
290
            os.lstat(old)
 
291
        raise
 
292
 
 
293
 
 
294
def _mac_getcwd():
 
295
    return unicodedata.normalize('NFKC', os.getcwdu())
 
296
 
 
297
 
 
298
# Default is to just use the python builtins, but these can be rebound on
 
299
# particular platforms.
 
300
abspath = _posix_abspath
 
301
realpath = _posix_realpath
 
302
pathjoin = os.path.join
 
303
normpath = os.path.normpath
 
304
getcwd = os.getcwdu
 
305
mkdtemp = tempfile.mkdtemp
 
306
rename = os.rename
 
307
dirname = os.path.dirname
 
308
basename = os.path.basename
 
309
rmtree = shutil.rmtree
 
310
 
 
311
MIN_ABS_PATHLENGTH = 1
 
312
 
 
313
 
 
314
if sys.platform == 'win32':
 
315
    abspath = _win32_abspath
 
316
    realpath = _win32_realpath
 
317
    pathjoin = _win32_pathjoin
 
318
    normpath = _win32_normpath
 
319
    getcwd = _win32_getcwd
 
320
    mkdtemp = _win32_mkdtemp
 
321
    rename = _win32_rename
 
322
 
 
323
    MIN_ABS_PATHLENGTH = 3
 
324
 
 
325
    def _win32_delete_readonly(function, path, excinfo):
 
326
        """Error handler for shutil.rmtree function [for win32]
 
327
        Helps to remove files and dirs marked as read-only.
 
328
        """
 
329
        type_, value = excinfo[:2]
 
330
        if function in (os.remove, os.rmdir) \
 
331
            and type_ == OSError \
 
332
            and value.errno == errno.EACCES:
 
333
            bzrlib.osutils.make_writable(path)
 
334
            function(path)
 
335
        else:
 
336
            raise
 
337
 
 
338
    def rmtree(path, ignore_errors=False, onerror=_win32_delete_readonly):
 
339
        """Replacer for shutil.rmtree: could remove readonly dirs/files"""
 
340
        return shutil.rmtree(path, ignore_errors, onerror)
 
341
elif sys.platform == 'darwin':
 
342
    getcwd = _mac_getcwd
 
343
 
 
344
 
 
345
def get_terminal_encoding():
 
346
    """Find the best encoding for printing to the screen.
 
347
 
 
348
    This attempts to check both sys.stdout and sys.stdin to see
 
349
    what encoding they are in, and if that fails it falls back to
 
350
    bzrlib.user_encoding.
 
351
    The problem is that on Windows, locale.getpreferredencoding()
 
352
    is not the same encoding as that used by the console:
 
353
    http://mail.python.org/pipermail/python-list/2003-May/162357.html
 
354
 
 
355
    On my standard US Windows XP, the preferred encoding is
 
356
    cp1252, but the console is cp437
 
357
    """
 
358
    output_encoding = getattr(sys.stdout, 'encoding', None)
 
359
    if not output_encoding:
 
360
        input_encoding = getattr(sys.stdin, 'encoding', None)
 
361
        if not input_encoding:
 
362
            output_encoding = bzrlib.user_encoding
 
363
            mutter('encoding stdout as bzrlib.user_encoding %r', output_encoding)
 
364
        else:
 
365
            output_encoding = input_encoding
 
366
            mutter('encoding stdout as sys.stdin encoding %r', output_encoding)
 
367
    else:
 
368
        mutter('encoding stdout as sys.stdout encoding %r', output_encoding)
 
369
    return output_encoding
 
370
 
 
371
 
 
372
def normalizepath(f):
 
373
    if getattr(os.path, 'realpath', None) is not None:
 
374
        F = realpath
 
375
    else:
 
376
        F = abspath
 
377
    [p,e] = os.path.split(f)
 
378
    if e == "" or e == "." or e == "..":
 
379
        return F(f)
 
380
    else:
 
381
        return pathjoin(F(p), e)
 
382
 
 
383
 
 
384
def backup_file(fn):
 
385
    """Copy a file to a backup.
 
386
 
 
387
    Backups are named in GNU-style, with a ~ suffix.
 
388
 
 
389
    If the file is already a backup, it's not copied.
 
390
    """
 
391
    if fn[-1] == '~':
 
392
        return
 
393
    bfn = fn + '~'
 
394
 
 
395
    if has_symlinks() and os.path.islink(fn):
 
396
        target = os.readlink(fn)
 
397
        os.symlink(target, bfn)
 
398
        return
 
399
    inf = file(fn, 'rb')
 
400
    try:
 
401
        content = inf.read()
 
402
    finally:
 
403
        inf.close()
 
404
    
 
405
    outf = file(bfn, 'wb')
 
406
    try:
 
407
        outf.write(content)
 
408
    finally:
 
409
        outf.close()
 
410
 
 
411
 
 
412
def isdir(f):
 
413
    """True if f is an accessible directory."""
 
414
    try:
 
415
        return S_ISDIR(os.lstat(f)[ST_MODE])
 
416
    except OSError:
 
417
        return False
 
418
 
 
419
 
 
420
def isfile(f):
 
421
    """True if f is a regular file."""
 
422
    try:
 
423
        return S_ISREG(os.lstat(f)[ST_MODE])
 
424
    except OSError:
 
425
        return False
 
426
 
 
427
def islink(f):
 
428
    """True if f is a symlink."""
 
429
    try:
 
430
        return S_ISLNK(os.lstat(f)[ST_MODE])
 
431
    except OSError:
 
432
        return False
 
433
 
 
434
def is_inside(dir, fname):
 
435
    """True if fname is inside dir.
 
436
    
 
437
    The parameters should typically be passed to osutils.normpath first, so
 
438
    that . and .. and repeated slashes are eliminated, and the separators
 
439
    are canonical for the platform.
 
440
    
 
441
    The empty string as a dir name is taken as top-of-tree and matches 
 
442
    everything.
 
443
    
 
444
    >>> is_inside('src', pathjoin('src', 'foo.c'))
 
445
    True
 
446
    >>> is_inside('src', 'srccontrol')
 
447
    False
 
448
    >>> is_inside('src', pathjoin('src', 'a', 'a', 'a', 'foo.c'))
 
449
    True
 
450
    >>> is_inside('foo.c', 'foo.c')
 
451
    True
 
452
    >>> is_inside('foo.c', '')
 
453
    False
 
454
    >>> is_inside('', 'foo.c')
 
455
    True
 
456
    """
 
457
    # XXX: Most callers of this can actually do something smarter by 
 
458
    # looking at the inventory
 
459
    if dir == fname:
 
460
        return True
 
461
    
 
462
    if dir == '':
 
463
        return True
 
464
 
 
465
    if dir[-1] != '/':
 
466
        dir += '/'
 
467
 
 
468
    return fname.startswith(dir)
 
469
 
 
470
 
 
471
def is_inside_any(dir_list, fname):
 
472
    """True if fname is inside any of given dirs."""
 
473
    for dirname in dir_list:
 
474
        if is_inside(dirname, fname):
 
475
            return True
 
476
    else:
 
477
        return False
 
478
 
 
479
 
 
480
def is_inside_or_parent_of_any(dir_list, fname):
 
481
    """True if fname is a child or a parent of any of the given files."""
 
482
    for dirname in dir_list:
 
483
        if is_inside(dirname, fname) or is_inside(fname, dirname):
 
484
            return True
 
485
    else:
 
486
        return False
 
487
 
 
488
 
 
489
def pumpfile(fromfile, tofile):
 
490
    """Copy contents of one file to another."""
 
491
    BUFSIZE = 32768
 
492
    while True:
 
493
        b = fromfile.read(BUFSIZE)
 
494
        if not b:
 
495
            break
 
496
        tofile.write(b)
 
497
 
 
498
 
 
499
def file_iterator(input_file, readsize=32768):
 
500
    while True:
 
501
        b = input_file.read(readsize)
 
502
        if len(b) == 0:
 
503
            break
 
504
        yield b
 
505
 
 
506
 
 
507
def sha_file(f):
 
508
    if getattr(f, 'tell', None) is not None:
 
509
        assert f.tell() == 0
 
510
    s = sha.new()
 
511
    BUFSIZE = 128<<10
 
512
    while True:
 
513
        b = f.read(BUFSIZE)
 
514
        if not b:
 
515
            break
 
516
        s.update(b)
 
517
    return s.hexdigest()
 
518
 
 
519
 
 
520
 
 
521
def sha_strings(strings):
 
522
    """Return the sha-1 of concatenation of strings"""
 
523
    s = sha.new()
 
524
    map(s.update, strings)
 
525
    return s.hexdigest()
 
526
 
 
527
 
 
528
def sha_string(f):
 
529
    s = sha.new()
 
530
    s.update(f)
 
531
    return s.hexdigest()
 
532
 
 
533
 
 
534
def fingerprint_file(f):
 
535
    s = sha.new()
 
536
    b = f.read()
 
537
    s.update(b)
 
538
    size = len(b)
 
539
    return {'size': size,
 
540
            'sha1': s.hexdigest()}
 
541
 
 
542
 
 
543
def compare_files(a, b):
 
544
    """Returns true if equal in contents"""
 
545
    BUFSIZE = 4096
 
546
    while True:
 
547
        ai = a.read(BUFSIZE)
 
548
        bi = b.read(BUFSIZE)
 
549
        if ai != bi:
 
550
            return False
 
551
        if ai == '':
 
552
            return True
 
553
 
 
554
 
 
555
def local_time_offset(t=None):
 
556
    """Return offset of local zone from GMT, either at present or at time t."""
 
557
    # python2.3 localtime() can't take None
 
558
    if t is None:
 
559
        t = time.time()
 
560
        
 
561
    if time.localtime(t).tm_isdst and time.daylight:
 
562
        return -time.altzone
 
563
    else:
 
564
        return -time.timezone
 
565
 
 
566
    
 
567
def format_date(t, offset=0, timezone='original', date_fmt=None, 
 
568
                show_offset=True):
 
569
    ## TODO: Perhaps a global option to use either universal or local time?
 
570
    ## Or perhaps just let people set $TZ?
 
571
    assert isinstance(t, float)
 
572
    
 
573
    if timezone == 'utc':
 
574
        tt = time.gmtime(t)
 
575
        offset = 0
 
576
    elif timezone == 'original':
 
577
        if offset is None:
 
578
            offset = 0
 
579
        tt = time.gmtime(t + offset)
 
580
    elif timezone == 'local':
 
581
        tt = time.localtime(t)
 
582
        offset = local_time_offset(t)
 
583
    else:
 
584
        raise BzrError("unsupported timezone format %r" % timezone,
 
585
                       ['options are "utc", "original", "local"'])
 
586
    if date_fmt is None:
 
587
        date_fmt = "%a %Y-%m-%d %H:%M:%S"
 
588
    if show_offset:
 
589
        offset_str = ' %+03d%02d' % (offset / 3600, (offset / 60) % 60)
 
590
    else:
 
591
        offset_str = ''
 
592
    return (time.strftime(date_fmt, tt) +  offset_str)
 
593
 
 
594
 
 
595
def compact_date(when):
 
596
    return time.strftime('%Y%m%d%H%M%S', time.gmtime(when))
 
597
    
 
598
 
 
599
def format_delta(delta):
 
600
    """Get a nice looking string for a time delta.
 
601
 
 
602
    :param delta: The time difference in seconds, can be positive or negative.
 
603
        positive indicates time in the past, negative indicates time in the
 
604
        future. (usually time.time() - stored_time)
 
605
    :return: String formatted to show approximate resolution
 
606
    """
 
607
    delta = int(delta)
 
608
    if delta >= 0:
 
609
        direction = 'ago'
 
610
    else:
 
611
        direction = 'in the future'
 
612
        delta = -delta
 
613
 
 
614
    seconds = delta
 
615
    if seconds < 90: # print seconds up to 90 seconds
 
616
        if seconds == 1:
 
617
            return '%d second %s' % (seconds, direction,)
 
618
        else:
 
619
            return '%d seconds %s' % (seconds, direction)
 
620
 
 
621
    minutes = int(seconds / 60)
 
622
    seconds -= 60 * minutes
 
623
    if seconds == 1:
 
624
        plural_seconds = ''
 
625
    else:
 
626
        plural_seconds = 's'
 
627
    if minutes < 90: # print minutes, seconds up to 90 minutes
 
628
        if minutes == 1:
 
629
            return '%d minute, %d second%s %s' % (
 
630
                    minutes, seconds, plural_seconds, direction)
 
631
        else:
 
632
            return '%d minutes, %d second%s %s' % (
 
633
                    minutes, seconds, plural_seconds, direction)
 
634
 
 
635
    hours = int(minutes / 60)
 
636
    minutes -= 60 * hours
 
637
    if minutes == 1:
 
638
        plural_minutes = ''
 
639
    else:
 
640
        plural_minutes = 's'
 
641
 
 
642
    if hours == 1:
 
643
        return '%d hour, %d minute%s %s' % (hours, minutes,
 
644
                                            plural_minutes, direction)
 
645
    return '%d hours, %d minute%s %s' % (hours, minutes,
 
646
                                         plural_minutes, direction)
 
647
 
 
648
def filesize(f):
 
649
    """Return size of given open file."""
 
650
    return os.fstat(f.fileno())[ST_SIZE]
 
651
 
 
652
 
 
653
# Define rand_bytes based on platform.
 
654
try:
 
655
    # Python 2.4 and later have os.urandom,
 
656
    # but it doesn't work on some arches
 
657
    os.urandom(1)
 
658
    rand_bytes = os.urandom
 
659
except (NotImplementedError, AttributeError):
 
660
    # If python doesn't have os.urandom, or it doesn't work,
 
661
    # then try to first pull random data from /dev/urandom
 
662
    if os.path.exists("/dev/urandom"):
 
663
        rand_bytes = file('/dev/urandom', 'rb').read
 
664
    # Otherwise, use this hack as a last resort
 
665
    else:
 
666
        # not well seeded, but better than nothing
 
667
        def rand_bytes(n):
 
668
            import random
 
669
            s = ''
 
670
            while n:
 
671
                s += chr(random.randint(0, 255))
 
672
                n -= 1
 
673
            return s
 
674
 
 
675
 
 
676
ALNUM = '0123456789abcdefghijklmnopqrstuvwxyz'
 
677
def rand_chars(num):
 
678
    """Return a random string of num alphanumeric characters
 
679
    
 
680
    The result only contains lowercase chars because it may be used on 
 
681
    case-insensitive filesystems.
 
682
    """
 
683
    s = ''
 
684
    for raw_byte in rand_bytes(num):
 
685
        s += ALNUM[ord(raw_byte) % 36]
 
686
    return s
 
687
 
 
688
 
 
689
## TODO: We could later have path objects that remember their list
 
690
## decomposition (might be too tricksy though.)
 
691
 
 
692
def splitpath(p):
 
693
    """Turn string into list of parts.
 
694
 
 
695
    >>> splitpath('a')
 
696
    ['a']
 
697
    >>> splitpath('a/b')
 
698
    ['a', 'b']
 
699
    >>> splitpath('a/./b')
 
700
    ['a', 'b']
 
701
    >>> splitpath('a/.b')
 
702
    ['a', '.b']
 
703
    >>> splitpath('a/../b')
 
704
    Traceback (most recent call last):
 
705
    ...
 
706
    BzrError: sorry, '..' not allowed in path
 
707
    """
 
708
    assert isinstance(p, types.StringTypes)
 
709
 
 
710
    # split on either delimiter because people might use either on
 
711
    # Windows
 
712
    ps = re.split(r'[\\/]', p)
 
713
 
 
714
    rps = []
 
715
    for f in ps:
 
716
        if f == '..':
 
717
            raise BzrError("sorry, %r not allowed in path" % f)
 
718
        elif (f == '.') or (f == ''):
 
719
            pass
 
720
        else:
 
721
            rps.append(f)
 
722
    return rps
 
723
 
 
724
def joinpath(p):
 
725
    assert isinstance(p, list)
 
726
    for f in p:
 
727
        if (f == '..') or (f is None) or (f == ''):
 
728
            raise BzrError("sorry, %r not allowed in path" % f)
 
729
    return pathjoin(*p)
 
730
 
 
731
 
 
732
@deprecated_function(zero_nine)
 
733
def appendpath(p1, p2):
 
734
    if p1 == '':
 
735
        return p2
 
736
    else:
 
737
        return pathjoin(p1, p2)
 
738
    
 
739
 
 
740
def split_lines(s):
 
741
    """Split s into lines, but without removing the newline characters."""
 
742
    lines = s.split('\n')
 
743
    result = [line + '\n' for line in lines[:-1]]
 
744
    if lines[-1]:
 
745
        result.append(lines[-1])
 
746
    return result
 
747
 
 
748
 
 
749
def hardlinks_good():
 
750
    return sys.platform not in ('win32', 'cygwin', 'darwin')
 
751
 
 
752
 
 
753
def link_or_copy(src, dest):
 
754
    """Hardlink a file, or copy it if it can't be hardlinked."""
 
755
    if not hardlinks_good():
 
756
        copyfile(src, dest)
 
757
        return
 
758
    try:
 
759
        os.link(src, dest)
 
760
    except (OSError, IOError), e:
 
761
        if e.errno != errno.EXDEV:
 
762
            raise
 
763
        copyfile(src, dest)
 
764
 
 
765
def delete_any(full_path):
 
766
    """Delete a file or directory."""
 
767
    try:
 
768
        os.unlink(full_path)
 
769
    except OSError, e:
 
770
    # We may be renaming a dangling inventory id
 
771
        if e.errno not in (errno.EISDIR, errno.EACCES, errno.EPERM):
 
772
            raise
 
773
        os.rmdir(full_path)
 
774
 
 
775
 
 
776
def has_symlinks():
 
777
    if getattr(os, 'symlink', None) is not None:
 
778
        return True
 
779
    else:
 
780
        return False
 
781
        
 
782
 
 
783
def contains_whitespace(s):
 
784
    """True if there are any whitespace characters in s."""
 
785
    for ch in string.whitespace:
 
786
        if ch in s:
 
787
            return True
 
788
    else:
 
789
        return False
 
790
 
 
791
 
 
792
def contains_linebreaks(s):
 
793
    """True if there is any vertical whitespace in s."""
 
794
    for ch in '\f\n\r':
 
795
        if ch in s:
 
796
            return True
 
797
    else:
 
798
        return False
 
799
 
 
800
 
 
801
def relpath(base, path):
 
802
    """Return path relative to base, or raise exception.
 
803
 
 
804
    The path may be either an absolute path or a path relative to the
 
805
    current working directory.
 
806
 
 
807
    os.path.commonprefix (python2.4) has a bad bug that it works just
 
808
    on string prefixes, assuming that '/u' is a prefix of '/u2'.  This
 
809
    avoids that problem.
 
810
    """
 
811
 
 
812
    assert len(base) >= MIN_ABS_PATHLENGTH, ('Length of base must be equal or'
 
813
        ' exceed the platform minimum length (which is %d)' % 
 
814
        MIN_ABS_PATHLENGTH)
 
815
 
 
816
    rp = abspath(path)
 
817
 
 
818
    s = []
 
819
    head = rp
 
820
    while len(head) >= len(base):
 
821
        if head == base:
 
822
            break
 
823
        head, tail = os.path.split(head)
 
824
        if tail:
 
825
            s.insert(0, tail)
 
826
    else:
 
827
        raise PathNotChild(rp, base)
 
828
 
 
829
    if s:
 
830
        return pathjoin(*s)
 
831
    else:
 
832
        return ''
 
833
 
 
834
 
 
835
def safe_unicode(unicode_or_utf8_string):
 
836
    """Coerce unicode_or_utf8_string into unicode.
 
837
 
 
838
    If it is unicode, it is returned.
 
839
    Otherwise it is decoded from utf-8. If a decoding error
 
840
    occurs, it is wrapped as a If the decoding fails, the exception is wrapped 
 
841
    as a BzrBadParameter exception.
 
842
    """
 
843
    if isinstance(unicode_or_utf8_string, unicode):
 
844
        return unicode_or_utf8_string
 
845
    try:
 
846
        return unicode_or_utf8_string.decode('utf8')
 
847
    except UnicodeDecodeError:
 
848
        raise BzrBadParameterNotUnicode(unicode_or_utf8_string)
 
849
 
 
850
 
 
851
_platform_normalizes_filenames = False
 
852
if sys.platform == 'darwin':
 
853
    _platform_normalizes_filenames = True
 
854
 
 
855
 
 
856
def normalizes_filenames():
 
857
    """Return True if this platform normalizes unicode filenames.
 
858
 
 
859
    Mac OSX does, Windows/Linux do not.
 
860
    """
 
861
    return _platform_normalizes_filenames
 
862
 
 
863
 
 
864
def _accessible_normalized_filename(path):
 
865
    """Get the unicode normalized path, and if you can access the file.
 
866
 
 
867
    On platforms where the system normalizes filenames (Mac OSX),
 
868
    you can access a file by any path which will normalize correctly.
 
869
    On platforms where the system does not normalize filenames 
 
870
    (Windows, Linux), you have to access a file by its exact path.
 
871
 
 
872
    Internally, bzr only supports NFC/NFKC normalization, since that is 
 
873
    the standard for XML documents.
 
874
 
 
875
    So return the normalized path, and a flag indicating if the file
 
876
    can be accessed by that path.
 
877
    """
 
878
 
 
879
    return unicodedata.normalize('NFKC', unicode(path)), True
 
880
 
 
881
 
 
882
def _inaccessible_normalized_filename(path):
 
883
    __doc__ = _accessible_normalized_filename.__doc__
 
884
 
 
885
    normalized = unicodedata.normalize('NFKC', unicode(path))
 
886
    return normalized, normalized == path
 
887
 
 
888
 
 
889
if _platform_normalizes_filenames:
 
890
    normalized_filename = _accessible_normalized_filename
 
891
else:
 
892
    normalized_filename = _inaccessible_normalized_filename
 
893
 
 
894
 
 
895
def terminal_width():
 
896
    """Return estimated terminal width."""
 
897
    if sys.platform == 'win32':
 
898
        import bzrlib.win32console
 
899
        return bzrlib.win32console.get_console_size()[0]
 
900
    width = 0
 
901
    try:
 
902
        import struct, fcntl, termios
 
903
        s = struct.pack('HHHH', 0, 0, 0, 0)
 
904
        x = fcntl.ioctl(1, termios.TIOCGWINSZ, s)
 
905
        width = struct.unpack('HHHH', x)[1]
 
906
    except IOError:
 
907
        pass
 
908
    if width <= 0:
 
909
        try:
 
910
            width = int(os.environ['COLUMNS'])
 
911
        except:
 
912
            pass
 
913
    if width <= 0:
 
914
        width = 80
 
915
 
 
916
    return width
 
917
 
 
918
 
 
919
def supports_executable():
 
920
    return sys.platform != "win32"
 
921
 
 
922
 
 
923
def set_or_unset_env(env_variable, value):
 
924
    """Modify the environment, setting or removing the env_variable.
 
925
 
 
926
    :param env_variable: The environment variable in question
 
927
    :param value: The value to set the environment to. If None, then
 
928
        the variable will be removed.
 
929
    :return: The original value of the environment variable.
 
930
    """
 
931
    orig_val = os.environ.get(env_variable)
 
932
    if value is None:
 
933
        if orig_val is not None:
 
934
            del os.environ[env_variable]
 
935
    else:
 
936
        if isinstance(value, unicode):
 
937
            value = value.encode(bzrlib.user_encoding)
 
938
        os.environ[env_variable] = value
 
939
    return orig_val
 
940
 
 
941
 
 
942
_validWin32PathRE = re.compile(r'^([A-Za-z]:[/\\])?[^:<>*"?\|]*$')
 
943
 
 
944
 
 
945
def check_legal_path(path):
 
946
    """Check whether the supplied path is legal.  
 
947
    This is only required on Windows, so we don't test on other platforms
 
948
    right now.
 
949
    """
 
950
    if sys.platform != "win32":
 
951
        return
 
952
    if _validWin32PathRE.match(path) is None:
 
953
        raise IllegalPath(path)
 
954
 
 
955
 
 
956
def walkdirs(top, prefix=""):
 
957
    """Yield data about all the directories in a tree.
 
958
    
 
959
    This yields all the data about the contents of a directory at a time.
 
960
    After each directory has been yielded, if the caller has mutated the list
 
961
    to exclude some directories, they are then not descended into.
 
962
    
 
963
    The data yielded is of the form:
 
964
    ((directory-relpath, directory-path-from-top),
 
965
    [(relpath, basename, kind, lstat), ...]),
 
966
     - directory-relpath is the relative path of the directory being returned
 
967
       with respect to top. prefix is prepended to this.
 
968
     - directory-path-from-root is the path including top for this directory. 
 
969
       It is suitable for use with os functions.
 
970
     - relpath is the relative path within the subtree being walked.
 
971
     - basename is the basename of the path
 
972
     - kind is the kind of the file now. If unknown then the file is not
 
973
       present within the tree - but it may be recorded as versioned. See
 
974
       versioned_kind.
 
975
     - lstat is the stat data *if* the file was statted.
 
976
     - planned, not implemented: 
 
977
       path_from_tree_root is the path from the root of the tree.
 
978
 
 
979
    :param prefix: Prefix the relpaths that are yielded with 'prefix'. This 
 
980
        allows one to walk a subtree but get paths that are relative to a tree
 
981
        rooted higher up.
 
982
    :return: an iterator over the dirs.
 
983
    """
 
984
    #TODO there is a bit of a smell where the results of the directory-
 
985
    # summary in this, and the path from the root, may not agree 
 
986
    # depending on top and prefix - i.e. ./foo and foo as a pair leads to
 
987
    # potentially confusing output. We should make this more robust - but
 
988
    # not at a speed cost. RBC 20060731
 
989
    lstat = os.lstat
 
990
    pending = []
 
991
    _directory = _directory_kind
 
992
    _listdir = listdir
 
993
    pending = [(prefix, "", _directory, None, top)]
 
994
    while pending:
 
995
        dirblock = []
 
996
        currentdir = pending.pop()
 
997
        # 0 - relpath, 1- basename, 2- kind, 3- stat, 4-toppath
 
998
        top = currentdir[4]
 
999
        if currentdir[0]:
 
1000
            relroot = currentdir[0] + '/'
 
1001
        else:
 
1002
            relroot = ""
 
1003
        for name in sorted(_listdir(top)):
 
1004
            abspath = top + '/' + name
 
1005
            statvalue = lstat(abspath)
 
1006
            dirblock.append((relroot + name, name,
 
1007
                file_kind_from_stat_mode(statvalue.st_mode),
 
1008
                statvalue, abspath))
 
1009
        yield (currentdir[0], top), dirblock
 
1010
        # push the user specified dirs from dirblock
 
1011
        for dir in reversed(dirblock):
 
1012
            if dir[2] == _directory:
 
1013
                pending.append(dir)
 
1014
 
 
1015
 
 
1016
def copy_tree(from_path, to_path, handlers={}):
 
1017
    """Copy all of the entries in from_path into to_path.
 
1018
 
 
1019
    :param from_path: The base directory to copy. 
 
1020
    :param to_path: The target directory. If it does not exist, it will
 
1021
        be created.
 
1022
    :param handlers: A dictionary of functions, which takes a source and
 
1023
        destinations for files, directories, etc.
 
1024
        It is keyed on the file kind, such as 'directory', 'symlink', or 'file'
 
1025
        'file', 'directory', and 'symlink' should always exist.
 
1026
        If they are missing, they will be replaced with 'os.mkdir()',
 
1027
        'os.readlink() + os.symlink()', and 'shutil.copy2()', respectively.
 
1028
    """
 
1029
    # Now, just copy the existing cached tree to the new location
 
1030
    # We use a cheap trick here.
 
1031
    # Absolute paths are prefixed with the first parameter
 
1032
    # relative paths are prefixed with the second.
 
1033
    # So we can get both the source and target returned
 
1034
    # without any extra work.
 
1035
 
 
1036
    def copy_dir(source, dest):
 
1037
        os.mkdir(dest)
 
1038
 
 
1039
    def copy_link(source, dest):
 
1040
        """Copy the contents of a symlink"""
 
1041
        link_to = os.readlink(source)
 
1042
        os.symlink(link_to, dest)
 
1043
 
 
1044
    real_handlers = {'file':shutil.copy2,
 
1045
                     'symlink':copy_link,
 
1046
                     'directory':copy_dir,
 
1047
                    }
 
1048
    real_handlers.update(handlers)
 
1049
 
 
1050
    if not os.path.exists(to_path):
 
1051
        real_handlers['directory'](from_path, to_path)
 
1052
 
 
1053
    for dir_info, entries in walkdirs(from_path, prefix=to_path):
 
1054
        for relpath, name, kind, st, abspath in entries:
 
1055
            real_handlers[kind](abspath, relpath)
 
1056
 
 
1057
 
 
1058
def path_prefix_key(path):
 
1059
    """Generate a prefix-order path key for path.
 
1060
 
 
1061
    This can be used to sort paths in the same way that walkdirs does.
 
1062
    """
 
1063
    return (dirname(path) , path)
 
1064
 
 
1065
 
 
1066
def compare_paths_prefix_order(path_a, path_b):
 
1067
    """Compare path_a and path_b to generate the same order walkdirs uses."""
 
1068
    key_a = path_prefix_key(path_a)
 
1069
    key_b = path_prefix_key(path_b)
 
1070
    return cmp(key_a, key_b)
 
1071
 
 
1072
 
 
1073
_cached_user_encoding = None
 
1074
 
 
1075
 
 
1076
def get_user_encoding():
 
1077
    """Find out what the preferred user encoding is.
 
1078
 
 
1079
    This is generally the encoding that is used for command line parameters
 
1080
    and file contents. This may be different from the terminal encoding
 
1081
    or the filesystem encoding.
 
1082
 
 
1083
    :return: A string defining the preferred user encoding
 
1084
    """
 
1085
    global _cached_user_encoding
 
1086
    if _cached_user_encoding is not None:
 
1087
        return _cached_user_encoding
 
1088
 
 
1089
    if sys.platform == 'darwin':
 
1090
        # work around egregious python 2.4 bug
 
1091
        sys.platform = 'posix'
 
1092
        try:
 
1093
            import locale
 
1094
        finally:
 
1095
            sys.platform = 'darwin'
 
1096
    else:
 
1097
        import locale
 
1098
 
 
1099
    try:
 
1100
        _cached_user_encoding = locale.getpreferredencoding()
 
1101
    except locale.Error, e:
 
1102
        sys.stderr.write('bzr: warning: %s\n'
 
1103
                         '  Could not determine what text encoding to use.\n'
 
1104
                         '  This error usually means your Python interpreter\n'
 
1105
                         '  doesn\'t support the locale set by $LANG (%s)\n'
 
1106
                         "  Continuing with ascii encoding.\n"
 
1107
                         % (e, os.environ.get('LANG')))
 
1108
 
 
1109
    if _cached_user_encoding is None:
 
1110
        _cached_user_encoding = 'ascii'
 
1111
    return _cached_user_encoding