/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/osutils.py

  • Committer: John Arbash Meinel
  • Date: 2006-10-06 05:53:44 UTC
  • mfrom: (2063 +trunk)
  • mto: This revision was merged to the branch mainline in revision 2071.
  • Revision ID: john@arbash-meinel.com-20061006055344-e73b97b7c6ca6e72
[merge] bzr.dev 2063

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Bazaar -- distributed version control
 
2
#
 
3
# Copyright (C) 2005 by Canonical Ltd
 
4
#
 
5
# This program is free software; you can redistribute it and/or modify
 
6
# it under the terms of the GNU General Public License as published by
 
7
# the Free Software Foundation; either version 2 of the License, or
 
8
# (at your option) any later version.
 
9
#
 
10
# This program is distributed in the hope that it will be useful,
 
11
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
12
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
13
# GNU General Public License for more details.
 
14
#
 
15
# You should have received a copy of the GNU General Public License
 
16
# along with this program; if not, write to the Free Software
 
17
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
18
 
 
19
from cStringIO import StringIO
 
20
import os
 
21
import re
 
22
import stat
 
23
from stat import (S_ISREG, S_ISDIR, S_ISLNK, ST_MODE, ST_SIZE,
 
24
                  S_ISCHR, S_ISBLK, S_ISFIFO, S_ISSOCK)
 
25
import sys
 
26
import time
 
27
 
 
28
from bzrlib.lazy_import import lazy_import
 
29
lazy_import(globals(), """
 
30
import errno
 
31
from ntpath import (abspath as _nt_abspath,
 
32
                    join as _nt_join,
 
33
                    normpath as _nt_normpath,
 
34
                    realpath as _nt_realpath,
 
35
                    splitdrive as _nt_splitdrive,
 
36
                    )
 
37
import posixpath
 
38
import sha
 
39
import shutil
 
40
from shutil import (
 
41
    rmtree,
 
42
    )
 
43
import string
 
44
import tempfile
 
45
from tempfile import (
 
46
    mkdtemp,
 
47
    )
 
48
import unicodedata
 
49
""")
 
50
 
 
51
import bzrlib
 
52
from bzrlib import (
 
53
    errors,
 
54
    )
 
55
from bzrlib.errors import (
 
56
    BzrError,
 
57
    BzrBadParameterNotUnicode,
 
58
    NoSuchFile,
 
59
    PathNotChild,
 
60
    IllegalPath,
 
61
    )
 
62
from bzrlib.symbol_versioning import (
 
63
    deprecated_function,
 
64
    zero_nine,
 
65
    )
 
66
from bzrlib.trace import mutter
 
67
 
 
68
 
 
69
# On win32, O_BINARY is used to indicate the file should
 
70
# be opened in binary mode, rather than text mode.
 
71
# On other platforms, O_BINARY doesn't exist, because
 
72
# they always open in binary mode, so it is okay to
 
73
# OR with 0 on those platforms
 
74
O_BINARY = getattr(os, 'O_BINARY', 0)
 
75
 
 
76
 
 
77
def make_readonly(filename):
 
78
    """Make a filename read-only."""
 
79
    mod = os.stat(filename).st_mode
 
80
    mod = mod & 0777555
 
81
    os.chmod(filename, mod)
 
82
 
 
83
 
 
84
def make_writable(filename):
 
85
    mod = os.stat(filename).st_mode
 
86
    mod = mod | 0200
 
87
    os.chmod(filename, mod)
 
88
 
 
89
 
 
90
_QUOTE_RE = None
 
91
 
 
92
 
 
93
def quotefn(f):
 
94
    """Return a quoted filename filename
 
95
 
 
96
    This previously used backslash quoting, but that works poorly on
 
97
    Windows."""
 
98
    # TODO: I'm not really sure this is the best format either.x
 
99
    global _QUOTE_RE
 
100
    if _QUOTE_RE is None:
 
101
        _QUOTE_RE = re.compile(r'([^a-zA-Z0-9.,:/\\_~-])')
 
102
        
 
103
    if _QUOTE_RE.search(f):
 
104
        return '"' + f + '"'
 
105
    else:
 
106
        return f
 
107
 
 
108
 
 
109
_directory_kind = 'directory'
 
110
 
 
111
_formats = {
 
112
    stat.S_IFDIR:_directory_kind,
 
113
    stat.S_IFCHR:'chardev',
 
114
    stat.S_IFBLK:'block',
 
115
    stat.S_IFREG:'file',
 
116
    stat.S_IFIFO:'fifo',
 
117
    stat.S_IFLNK:'symlink',
 
118
    stat.S_IFSOCK:'socket',
 
119
}
 
120
 
 
121
 
 
122
def file_kind_from_stat_mode(stat_mode, _formats=_formats, _unknown='unknown'):
 
123
    """Generate a file kind from a stat mode. This is used in walkdirs.
 
124
 
 
125
    Its performance is critical: Do not mutate without careful benchmarking.
 
126
    """
 
127
    try:
 
128
        return _formats[stat_mode & 0170000]
 
129
    except KeyError:
 
130
        return _unknown
 
131
 
 
132
 
 
133
def file_kind(f, _lstat=os.lstat, _mapper=file_kind_from_stat_mode):
 
134
    try:
 
135
        return _mapper(_lstat(f).st_mode)
 
136
    except OSError, e:
 
137
        if getattr(e, 'errno', None) == errno.ENOENT:
 
138
            raise errors.NoSuchFile(f)
 
139
        raise
 
140
 
 
141
 
 
142
def get_umask():
 
143
    """Return the current umask"""
 
144
    # Assume that people aren't messing with the umask while running
 
145
    # XXX: This is not thread safe, but there is no way to get the
 
146
    #      umask without setting it
 
147
    umask = os.umask(0)
 
148
    os.umask(umask)
 
149
    return umask
 
150
 
 
151
 
 
152
def kind_marker(kind):
 
153
    if kind == 'file':
 
154
        return ''
 
155
    elif kind == _directory_kind:
 
156
        return '/'
 
157
    elif kind == 'symlink':
 
158
        return '@'
 
159
    else:
 
160
        raise BzrError('invalid file kind %r' % kind)
 
161
 
 
162
lexists = getattr(os.path, 'lexists', None)
 
163
if lexists is None:
 
164
    def lexists(f):
 
165
        try:
 
166
            if getattr(os, 'lstat') is not None:
 
167
                os.lstat(f)
 
168
            else:
 
169
                os.stat(f)
 
170
            return True
 
171
        except OSError,e:
 
172
            if e.errno == errno.ENOENT:
 
173
                return False;
 
174
            else:
 
175
                raise BzrError("lstat/stat of (%r): %r" % (f, e))
 
176
 
 
177
 
 
178
def fancy_rename(old, new, rename_func, unlink_func):
 
179
    """A fancy rename, when you don't have atomic rename.
 
180
    
 
181
    :param old: The old path, to rename from
 
182
    :param new: The new path, to rename to
 
183
    :param rename_func: The potentially non-atomic rename function
 
184
    :param unlink_func: A way to delete the target file if the full rename succeeds
 
185
    """
 
186
 
 
187
    # sftp rename doesn't allow overwriting, so play tricks:
 
188
    import random
 
189
    base = os.path.basename(new)
 
190
    dirname = os.path.dirname(new)
 
191
    tmp_name = u'tmp.%s.%.9f.%d.%s' % (base, time.time(), os.getpid(), rand_chars(10))
 
192
    tmp_name = pathjoin(dirname, tmp_name)
 
193
 
 
194
    # Rename the file out of the way, but keep track if it didn't exist
 
195
    # We don't want to grab just any exception
 
196
    # something like EACCES should prevent us from continuing
 
197
    # The downside is that the rename_func has to throw an exception
 
198
    # with an errno = ENOENT, or NoSuchFile
 
199
    file_existed = False
 
200
    try:
 
201
        rename_func(new, tmp_name)
 
202
    except (NoSuchFile,), e:
 
203
        pass
 
204
    except IOError, e:
 
205
        # RBC 20060103 abstraction leakage: the paramiko SFTP clients rename
 
206
        # function raises an IOError with errno is None when a rename fails.
 
207
        # This then gets caught here.
 
208
        if e.errno not in (None, errno.ENOENT, errno.ENOTDIR):
 
209
            raise
 
210
    except Exception, e:
 
211
        if (getattr(e, 'errno', None) is None
 
212
            or e.errno not in (errno.ENOENT, errno.ENOTDIR)):
 
213
            raise
 
214
    else:
 
215
        file_existed = True
 
216
 
 
217
    success = False
 
218
    try:
 
219
        # This may throw an exception, in which case success will
 
220
        # not be set.
 
221
        rename_func(old, new)
 
222
        success = True
 
223
    finally:
 
224
        if file_existed:
 
225
            # If the file used to exist, rename it back into place
 
226
            # otherwise just delete it from the tmp location
 
227
            if success:
 
228
                unlink_func(tmp_name)
 
229
            else:
 
230
                rename_func(tmp_name, new)
 
231
 
 
232
 
 
233
# In Python 2.4.2 and older, os.path.abspath and os.path.realpath
 
234
# choke on a Unicode string containing a relative path if
 
235
# os.getcwd() returns a non-sys.getdefaultencoding()-encoded
 
236
# string.
 
237
_fs_enc = sys.getfilesystemencoding()
 
238
def _posix_abspath(path):
 
239
    # jam 20060426 rather than encoding to fsencoding
 
240
    # copy posixpath.abspath, but use os.getcwdu instead
 
241
    if not posixpath.isabs(path):
 
242
        path = posixpath.join(getcwd(), path)
 
243
    return posixpath.normpath(path)
 
244
 
 
245
 
 
246
def _posix_realpath(path):
 
247
    return posixpath.realpath(path.encode(_fs_enc)).decode(_fs_enc)
 
248
 
 
249
 
 
250
def _win32_fixdrive(path):
 
251
    """Force drive letters to be consistent.
 
252
 
 
253
    win32 is inconsistent whether it returns lower or upper case
 
254
    and even if it was consistent the user might type the other
 
255
    so we force it to uppercase
 
256
    running python.exe under cmd.exe return capital C:\\
 
257
    running win32 python inside a cygwin shell returns lowercase c:\\
 
258
    """
 
259
    drive, path = _nt_splitdrive(path)
 
260
    return drive.upper() + path
 
261
 
 
262
 
 
263
def _win32_abspath(path):
 
264
    # Real _nt_abspath doesn't have a problem with a unicode cwd
 
265
    return _win32_fixdrive(_nt_abspath(unicode(path)).replace('\\', '/'))
 
266
 
 
267
 
 
268
def _win32_realpath(path):
 
269
    # Real _nt_realpath doesn't have a problem with a unicode cwd
 
270
    return _win32_fixdrive(_nt_realpath(unicode(path)).replace('\\', '/'))
 
271
 
 
272
 
 
273
def _win32_pathjoin(*args):
 
274
    return _nt_join(*args).replace('\\', '/')
 
275
 
 
276
 
 
277
def _win32_normpath(path):
 
278
    return _win32_fixdrive(_nt_normpath(unicode(path)).replace('\\', '/'))
 
279
 
 
280
 
 
281
def _win32_getcwd():
 
282
    return _win32_fixdrive(os.getcwdu().replace('\\', '/'))
 
283
 
 
284
 
 
285
def _win32_mkdtemp(*args, **kwargs):
 
286
    return _win32_fixdrive(tempfile.mkdtemp(*args, **kwargs).replace('\\', '/'))
 
287
 
 
288
 
 
289
def _win32_rename(old, new):
 
290
    """We expect to be able to atomically replace 'new' with old.
 
291
 
 
292
    On win32, if new exists, it must be moved out of the way first,
 
293
    and then deleted. 
 
294
    """
 
295
    try:
 
296
        fancy_rename(old, new, rename_func=os.rename, unlink_func=os.unlink)
 
297
    except OSError, e:
 
298
        if e.errno in (errno.EPERM, errno.EACCES, errno.EBUSY, errno.EINVAL):
 
299
            # If we try to rename a non-existant file onto cwd, we get 
 
300
            # EPERM or EACCES instead of ENOENT, this will raise ENOENT 
 
301
            # if the old path doesn't exist, sometimes we get EACCES
 
302
            # On Linux, we seem to get EBUSY, on Mac we get EINVAL
 
303
            os.lstat(old)
 
304
        raise
 
305
 
 
306
 
 
307
def _mac_getcwd():
 
308
    return unicodedata.normalize('NFKC', os.getcwdu())
 
309
 
 
310
 
 
311
# Default is to just use the python builtins, but these can be rebound on
 
312
# particular platforms.
 
313
abspath = _posix_abspath
 
314
realpath = _posix_realpath
 
315
pathjoin = os.path.join
 
316
normpath = os.path.normpath
 
317
getcwd = os.getcwdu
 
318
rename = os.rename
 
319
dirname = os.path.dirname
 
320
basename = os.path.basename
 
321
# These were already imported into local scope
 
322
# mkdtemp = tempfile.mkdtemp
 
323
# rmtree = shutil.rmtree
 
324
 
 
325
MIN_ABS_PATHLENGTH = 1
 
326
 
 
327
 
 
328
if sys.platform == 'win32':
 
329
    abspath = _win32_abspath
 
330
    realpath = _win32_realpath
 
331
    pathjoin = _win32_pathjoin
 
332
    normpath = _win32_normpath
 
333
    getcwd = _win32_getcwd
 
334
    mkdtemp = _win32_mkdtemp
 
335
    rename = _win32_rename
 
336
 
 
337
    MIN_ABS_PATHLENGTH = 3
 
338
 
 
339
    def _win32_delete_readonly(function, path, excinfo):
 
340
        """Error handler for shutil.rmtree function [for win32]
 
341
        Helps to remove files and dirs marked as read-only.
 
342
        """
 
343
        type_, value = excinfo[:2]
 
344
        if function in (os.remove, os.rmdir) \
 
345
            and type_ == OSError \
 
346
            and value.errno == errno.EACCES:
 
347
            make_writable(path)
 
348
            function(path)
 
349
        else:
 
350
            raise
 
351
 
 
352
    def rmtree(path, ignore_errors=False, onerror=_win32_delete_readonly):
 
353
        """Replacer for shutil.rmtree: could remove readonly dirs/files"""
 
354
        return shutil.rmtree(path, ignore_errors, onerror)
 
355
elif sys.platform == 'darwin':
 
356
    getcwd = _mac_getcwd
 
357
 
 
358
 
 
359
def get_terminal_encoding():
 
360
    """Find the best encoding for printing to the screen.
 
361
 
 
362
    This attempts to check both sys.stdout and sys.stdin to see
 
363
    what encoding they are in, and if that fails it falls back to
 
364
    bzrlib.user_encoding.
 
365
    The problem is that on Windows, locale.getpreferredencoding()
 
366
    is not the same encoding as that used by the console:
 
367
    http://mail.python.org/pipermail/python-list/2003-May/162357.html
 
368
 
 
369
    On my standard US Windows XP, the preferred encoding is
 
370
    cp1252, but the console is cp437
 
371
    """
 
372
    output_encoding = getattr(sys.stdout, 'encoding', None)
 
373
    if not output_encoding:
 
374
        input_encoding = getattr(sys.stdin, 'encoding', None)
 
375
        if not input_encoding:
 
376
            output_encoding = bzrlib.user_encoding
 
377
            mutter('encoding stdout as bzrlib.user_encoding %r', output_encoding)
 
378
        else:
 
379
            output_encoding = input_encoding
 
380
            mutter('encoding stdout as sys.stdin encoding %r', output_encoding)
 
381
    else:
 
382
        mutter('encoding stdout as sys.stdout encoding %r', output_encoding)
 
383
    return output_encoding
 
384
 
 
385
 
 
386
def normalizepath(f):
 
387
    if getattr(os.path, 'realpath', None) is not None:
 
388
        F = realpath
 
389
    else:
 
390
        F = abspath
 
391
    [p,e] = os.path.split(f)
 
392
    if e == "" or e == "." or e == "..":
 
393
        return F(f)
 
394
    else:
 
395
        return pathjoin(F(p), e)
 
396
 
 
397
 
 
398
def backup_file(fn):
 
399
    """Copy a file to a backup.
 
400
 
 
401
    Backups are named in GNU-style, with a ~ suffix.
 
402
 
 
403
    If the file is already a backup, it's not copied.
 
404
    """
 
405
    if fn[-1] == '~':
 
406
        return
 
407
    bfn = fn + '~'
 
408
 
 
409
    if has_symlinks() and os.path.islink(fn):
 
410
        target = os.readlink(fn)
 
411
        os.symlink(target, bfn)
 
412
        return
 
413
    inf = file(fn, 'rb')
 
414
    try:
 
415
        content = inf.read()
 
416
    finally:
 
417
        inf.close()
 
418
    
 
419
    outf = file(bfn, 'wb')
 
420
    try:
 
421
        outf.write(content)
 
422
    finally:
 
423
        outf.close()
 
424
 
 
425
 
 
426
def isdir(f):
 
427
    """True if f is an accessible directory."""
 
428
    try:
 
429
        return S_ISDIR(os.lstat(f)[ST_MODE])
 
430
    except OSError:
 
431
        return False
 
432
 
 
433
 
 
434
def isfile(f):
 
435
    """True if f is a regular file."""
 
436
    try:
 
437
        return S_ISREG(os.lstat(f)[ST_MODE])
 
438
    except OSError:
 
439
        return False
 
440
 
 
441
def islink(f):
 
442
    """True if f is a symlink."""
 
443
    try:
 
444
        return S_ISLNK(os.lstat(f)[ST_MODE])
 
445
    except OSError:
 
446
        return False
 
447
 
 
448
def is_inside(dir, fname):
 
449
    """True if fname is inside dir.
 
450
    
 
451
    The parameters should typically be passed to osutils.normpath first, so
 
452
    that . and .. and repeated slashes are eliminated, and the separators
 
453
    are canonical for the platform.
 
454
    
 
455
    The empty string as a dir name is taken as top-of-tree and matches 
 
456
    everything.
 
457
    """
 
458
    # XXX: Most callers of this can actually do something smarter by 
 
459
    # looking at the inventory
 
460
    if dir == fname:
 
461
        return True
 
462
    
 
463
    if dir == '':
 
464
        return True
 
465
 
 
466
    if dir[-1] != '/':
 
467
        dir += '/'
 
468
 
 
469
    return fname.startswith(dir)
 
470
 
 
471
 
 
472
def is_inside_any(dir_list, fname):
 
473
    """True if fname is inside any of given dirs."""
 
474
    for dirname in dir_list:
 
475
        if is_inside(dirname, fname):
 
476
            return True
 
477
    else:
 
478
        return False
 
479
 
 
480
 
 
481
def is_inside_or_parent_of_any(dir_list, fname):
 
482
    """True if fname is a child or a parent of any of the given files."""
 
483
    for dirname in dir_list:
 
484
        if is_inside(dirname, fname) or is_inside(fname, dirname):
 
485
            return True
 
486
    else:
 
487
        return False
 
488
 
 
489
 
 
490
def pumpfile(fromfile, tofile):
 
491
    """Copy contents of one file to another."""
 
492
    BUFSIZE = 32768
 
493
    while True:
 
494
        b = fromfile.read(BUFSIZE)
 
495
        if not b:
 
496
            break
 
497
        tofile.write(b)
 
498
 
 
499
 
 
500
def file_iterator(input_file, readsize=32768):
 
501
    while True:
 
502
        b = input_file.read(readsize)
 
503
        if len(b) == 0:
 
504
            break
 
505
        yield b
 
506
 
 
507
 
 
508
def sha_file(f):
 
509
    if getattr(f, 'tell', None) is not None:
 
510
        assert f.tell() == 0
 
511
    s = sha.new()
 
512
    BUFSIZE = 128<<10
 
513
    while True:
 
514
        b = f.read(BUFSIZE)
 
515
        if not b:
 
516
            break
 
517
        s.update(b)
 
518
    return s.hexdigest()
 
519
 
 
520
 
 
521
 
 
522
def sha_strings(strings):
 
523
    """Return the sha-1 of concatenation of strings"""
 
524
    s = sha.new()
 
525
    map(s.update, strings)
 
526
    return s.hexdigest()
 
527
 
 
528
 
 
529
def sha_string(f):
 
530
    s = sha.new()
 
531
    s.update(f)
 
532
    return s.hexdigest()
 
533
 
 
534
 
 
535
def fingerprint_file(f):
 
536
    s = sha.new()
 
537
    b = f.read()
 
538
    s.update(b)
 
539
    size = len(b)
 
540
    return {'size': size,
 
541
            'sha1': s.hexdigest()}
 
542
 
 
543
 
 
544
def compare_files(a, b):
 
545
    """Returns true if equal in contents"""
 
546
    BUFSIZE = 4096
 
547
    while True:
 
548
        ai = a.read(BUFSIZE)
 
549
        bi = b.read(BUFSIZE)
 
550
        if ai != bi:
 
551
            return False
 
552
        if ai == '':
 
553
            return True
 
554
 
 
555
 
 
556
def local_time_offset(t=None):
 
557
    """Return offset of local zone from GMT, either at present or at time t."""
 
558
    # python2.3 localtime() can't take None
 
559
    if t is None:
 
560
        t = time.time()
 
561
        
 
562
    if time.localtime(t).tm_isdst and time.daylight:
 
563
        return -time.altzone
 
564
    else:
 
565
        return -time.timezone
 
566
 
 
567
    
 
568
def format_date(t, offset=0, timezone='original', date_fmt=None, 
 
569
                show_offset=True):
 
570
    ## TODO: Perhaps a global option to use either universal or local time?
 
571
    ## Or perhaps just let people set $TZ?
 
572
    assert isinstance(t, float)
 
573
    
 
574
    if timezone == 'utc':
 
575
        tt = time.gmtime(t)
 
576
        offset = 0
 
577
    elif timezone == 'original':
 
578
        if offset is None:
 
579
            offset = 0
 
580
        tt = time.gmtime(t + offset)
 
581
    elif timezone == 'local':
 
582
        tt = time.localtime(t)
 
583
        offset = local_time_offset(t)
 
584
    else:
 
585
        raise BzrError("unsupported timezone format %r" % timezone,
 
586
                       ['options are "utc", "original", "local"'])
 
587
    if date_fmt is None:
 
588
        date_fmt = "%a %Y-%m-%d %H:%M:%S"
 
589
    if show_offset:
 
590
        offset_str = ' %+03d%02d' % (offset / 3600, (offset / 60) % 60)
 
591
    else:
 
592
        offset_str = ''
 
593
    return (time.strftime(date_fmt, tt) +  offset_str)
 
594
 
 
595
 
 
596
def compact_date(when):
 
597
    return time.strftime('%Y%m%d%H%M%S', time.gmtime(when))
 
598
    
 
599
 
 
600
def format_delta(delta):
 
601
    """Get a nice looking string for a time delta.
 
602
 
 
603
    :param delta: The time difference in seconds, can be positive or negative.
 
604
        positive indicates time in the past, negative indicates time in the
 
605
        future. (usually time.time() - stored_time)
 
606
    :return: String formatted to show approximate resolution
 
607
    """
 
608
    delta = int(delta)
 
609
    if delta >= 0:
 
610
        direction = 'ago'
 
611
    else:
 
612
        direction = 'in the future'
 
613
        delta = -delta
 
614
 
 
615
    seconds = delta
 
616
    if seconds < 90: # print seconds up to 90 seconds
 
617
        if seconds == 1:
 
618
            return '%d second %s' % (seconds, direction,)
 
619
        else:
 
620
            return '%d seconds %s' % (seconds, direction)
 
621
 
 
622
    minutes = int(seconds / 60)
 
623
    seconds -= 60 * minutes
 
624
    if seconds == 1:
 
625
        plural_seconds = ''
 
626
    else:
 
627
        plural_seconds = 's'
 
628
    if minutes < 90: # print minutes, seconds up to 90 minutes
 
629
        if minutes == 1:
 
630
            return '%d minute, %d second%s %s' % (
 
631
                    minutes, seconds, plural_seconds, direction)
 
632
        else:
 
633
            return '%d minutes, %d second%s %s' % (
 
634
                    minutes, seconds, plural_seconds, direction)
 
635
 
 
636
    hours = int(minutes / 60)
 
637
    minutes -= 60 * hours
 
638
    if minutes == 1:
 
639
        plural_minutes = ''
 
640
    else:
 
641
        plural_minutes = 's'
 
642
 
 
643
    if hours == 1:
 
644
        return '%d hour, %d minute%s %s' % (hours, minutes,
 
645
                                            plural_minutes, direction)
 
646
    return '%d hours, %d minute%s %s' % (hours, minutes,
 
647
                                         plural_minutes, direction)
 
648
 
 
649
def filesize(f):
 
650
    """Return size of given open file."""
 
651
    return os.fstat(f.fileno())[ST_SIZE]
 
652
 
 
653
 
 
654
# Define rand_bytes based on platform.
 
655
try:
 
656
    # Python 2.4 and later have os.urandom,
 
657
    # but it doesn't work on some arches
 
658
    os.urandom(1)
 
659
    rand_bytes = os.urandom
 
660
except (NotImplementedError, AttributeError):
 
661
    # If python doesn't have os.urandom, or it doesn't work,
 
662
    # then try to first pull random data from /dev/urandom
 
663
    if os.path.exists("/dev/urandom"):
 
664
        rand_bytes = file('/dev/urandom', 'rb').read
 
665
    # Otherwise, use this hack as a last resort
 
666
    else:
 
667
        # not well seeded, but better than nothing
 
668
        def rand_bytes(n):
 
669
            import random
 
670
            s = ''
 
671
            while n:
 
672
                s += chr(random.randint(0, 255))
 
673
                n -= 1
 
674
            return s
 
675
 
 
676
 
 
677
ALNUM = '0123456789abcdefghijklmnopqrstuvwxyz'
 
678
def rand_chars(num):
 
679
    """Return a random string of num alphanumeric characters
 
680
    
 
681
    The result only contains lowercase chars because it may be used on 
 
682
    case-insensitive filesystems.
 
683
    """
 
684
    s = ''
 
685
    for raw_byte in rand_bytes(num):
 
686
        s += ALNUM[ord(raw_byte) % 36]
 
687
    return s
 
688
 
 
689
 
 
690
## TODO: We could later have path objects that remember their list
 
691
## decomposition (might be too tricksy though.)
 
692
 
 
693
def splitpath(p):
 
694
    """Turn string into list of parts."""
 
695
    assert isinstance(p, basestring)
 
696
 
 
697
    # split on either delimiter because people might use either on
 
698
    # Windows
 
699
    ps = re.split(r'[\\/]', p)
 
700
 
 
701
    rps = []
 
702
    for f in ps:
 
703
        if f == '..':
 
704
            raise BzrError("sorry, %r not allowed in path" % f)
 
705
        elif (f == '.') or (f == ''):
 
706
            pass
 
707
        else:
 
708
            rps.append(f)
 
709
    return rps
 
710
 
 
711
def joinpath(p):
 
712
    assert isinstance(p, list)
 
713
    for f in p:
 
714
        if (f == '..') or (f is None) or (f == ''):
 
715
            raise BzrError("sorry, %r not allowed in path" % f)
 
716
    return pathjoin(*p)
 
717
 
 
718
 
 
719
@deprecated_function(zero_nine)
 
720
def appendpath(p1, p2):
 
721
    if p1 == '':
 
722
        return p2
 
723
    else:
 
724
        return pathjoin(p1, p2)
 
725
    
 
726
 
 
727
def split_lines(s):
 
728
    """Split s into lines, but without removing the newline characters."""
 
729
    lines = s.split('\n')
 
730
    result = [line + '\n' for line in lines[:-1]]
 
731
    if lines[-1]:
 
732
        result.append(lines[-1])
 
733
    return result
 
734
 
 
735
 
 
736
def hardlinks_good():
 
737
    return sys.platform not in ('win32', 'cygwin', 'darwin')
 
738
 
 
739
 
 
740
def link_or_copy(src, dest):
 
741
    """Hardlink a file, or copy it if it can't be hardlinked."""
 
742
    if not hardlinks_good():
 
743
        shutil.copyfile(src, dest)
 
744
        return
 
745
    try:
 
746
        os.link(src, dest)
 
747
    except (OSError, IOError), e:
 
748
        if e.errno != errno.EXDEV:
 
749
            raise
 
750
        shutil.copyfile(src, dest)
 
751
 
 
752
def delete_any(full_path):
 
753
    """Delete a file or directory."""
 
754
    try:
 
755
        os.unlink(full_path)
 
756
    except OSError, e:
 
757
    # We may be renaming a dangling inventory id
 
758
        if e.errno not in (errno.EISDIR, errno.EACCES, errno.EPERM):
 
759
            raise
 
760
        os.rmdir(full_path)
 
761
 
 
762
 
 
763
def has_symlinks():
 
764
    if getattr(os, 'symlink', None) is not None:
 
765
        return True
 
766
    else:
 
767
        return False
 
768
        
 
769
 
 
770
def contains_whitespace(s):
 
771
    """True if there are any whitespace characters in s."""
 
772
    for ch in string.whitespace:
 
773
        if ch in s:
 
774
            return True
 
775
    else:
 
776
        return False
 
777
 
 
778
 
 
779
def contains_linebreaks(s):
 
780
    """True if there is any vertical whitespace in s."""
 
781
    for ch in '\f\n\r':
 
782
        if ch in s:
 
783
            return True
 
784
    else:
 
785
        return False
 
786
 
 
787
 
 
788
def relpath(base, path):
 
789
    """Return path relative to base, or raise exception.
 
790
 
 
791
    The path may be either an absolute path or a path relative to the
 
792
    current working directory.
 
793
 
 
794
    os.path.commonprefix (python2.4) has a bad bug that it works just
 
795
    on string prefixes, assuming that '/u' is a prefix of '/u2'.  This
 
796
    avoids that problem.
 
797
    """
 
798
 
 
799
    assert len(base) >= MIN_ABS_PATHLENGTH, ('Length of base must be equal or'
 
800
        ' exceed the platform minimum length (which is %d)' % 
 
801
        MIN_ABS_PATHLENGTH)
 
802
 
 
803
    rp = abspath(path)
 
804
 
 
805
    s = []
 
806
    head = rp
 
807
    while len(head) >= len(base):
 
808
        if head == base:
 
809
            break
 
810
        head, tail = os.path.split(head)
 
811
        if tail:
 
812
            s.insert(0, tail)
 
813
    else:
 
814
        raise PathNotChild(rp, base)
 
815
 
 
816
    if s:
 
817
        return pathjoin(*s)
 
818
    else:
 
819
        return ''
 
820
 
 
821
 
 
822
def safe_unicode(unicode_or_utf8_string):
 
823
    """Coerce unicode_or_utf8_string into unicode.
 
824
 
 
825
    If it is unicode, it is returned.
 
826
    Otherwise it is decoded from utf-8. If a decoding error
 
827
    occurs, it is wrapped as a If the decoding fails, the exception is wrapped 
 
828
    as a BzrBadParameter exception.
 
829
    """
 
830
    if isinstance(unicode_or_utf8_string, unicode):
 
831
        return unicode_or_utf8_string
 
832
    try:
 
833
        return unicode_or_utf8_string.decode('utf8')
 
834
    except UnicodeDecodeError:
 
835
        raise BzrBadParameterNotUnicode(unicode_or_utf8_string)
 
836
 
 
837
 
 
838
_platform_normalizes_filenames = False
 
839
if sys.platform == 'darwin':
 
840
    _platform_normalizes_filenames = True
 
841
 
 
842
 
 
843
def normalizes_filenames():
 
844
    """Return True if this platform normalizes unicode filenames.
 
845
 
 
846
    Mac OSX does, Windows/Linux do not.
 
847
    """
 
848
    return _platform_normalizes_filenames
 
849
 
 
850
 
 
851
def _accessible_normalized_filename(path):
 
852
    """Get the unicode normalized path, and if you can access the file.
 
853
 
 
854
    On platforms where the system normalizes filenames (Mac OSX),
 
855
    you can access a file by any path which will normalize correctly.
 
856
    On platforms where the system does not normalize filenames 
 
857
    (Windows, Linux), you have to access a file by its exact path.
 
858
 
 
859
    Internally, bzr only supports NFC/NFKC normalization, since that is 
 
860
    the standard for XML documents.
 
861
 
 
862
    So return the normalized path, and a flag indicating if the file
 
863
    can be accessed by that path.
 
864
    """
 
865
 
 
866
    return unicodedata.normalize('NFKC', unicode(path)), True
 
867
 
 
868
 
 
869
def _inaccessible_normalized_filename(path):
 
870
    __doc__ = _accessible_normalized_filename.__doc__
 
871
 
 
872
    normalized = unicodedata.normalize('NFKC', unicode(path))
 
873
    return normalized, normalized == path
 
874
 
 
875
 
 
876
if _platform_normalizes_filenames:
 
877
    normalized_filename = _accessible_normalized_filename
 
878
else:
 
879
    normalized_filename = _inaccessible_normalized_filename
 
880
 
 
881
 
 
882
def terminal_width():
 
883
    """Return estimated terminal width."""
 
884
    if sys.platform == 'win32':
 
885
        import bzrlib.win32console
 
886
        return bzrlib.win32console.get_console_size()[0]
 
887
    width = 0
 
888
    try:
 
889
        import struct, fcntl, termios
 
890
        s = struct.pack('HHHH', 0, 0, 0, 0)
 
891
        x = fcntl.ioctl(1, termios.TIOCGWINSZ, s)
 
892
        width = struct.unpack('HHHH', x)[1]
 
893
    except IOError:
 
894
        pass
 
895
    if width <= 0:
 
896
        try:
 
897
            width = int(os.environ['COLUMNS'])
 
898
        except:
 
899
            pass
 
900
    if width <= 0:
 
901
        width = 80
 
902
 
 
903
    return width
 
904
 
 
905
 
 
906
def supports_executable():
 
907
    return sys.platform != "win32"
 
908
 
 
909
 
 
910
def set_or_unset_env(env_variable, value):
 
911
    """Modify the environment, setting or removing the env_variable.
 
912
 
 
913
    :param env_variable: The environment variable in question
 
914
    :param value: The value to set the environment to. If None, then
 
915
        the variable will be removed.
 
916
    :return: The original value of the environment variable.
 
917
    """
 
918
    orig_val = os.environ.get(env_variable)
 
919
    if value is None:
 
920
        if orig_val is not None:
 
921
            del os.environ[env_variable]
 
922
    else:
 
923
        if isinstance(value, unicode):
 
924
            value = value.encode(bzrlib.user_encoding)
 
925
        os.environ[env_variable] = value
 
926
    return orig_val
 
927
 
 
928
 
 
929
_validWin32PathRE = re.compile(r'^([A-Za-z]:[/\\])?[^:<>*"?\|]*$')
 
930
 
 
931
 
 
932
def check_legal_path(path):
 
933
    """Check whether the supplied path is legal.  
 
934
    This is only required on Windows, so we don't test on other platforms
 
935
    right now.
 
936
    """
 
937
    if sys.platform != "win32":
 
938
        return
 
939
    if _validWin32PathRE.match(path) is None:
 
940
        raise IllegalPath(path)
 
941
 
 
942
 
 
943
def walkdirs(top, prefix=""):
 
944
    """Yield data about all the directories in a tree.
 
945
    
 
946
    This yields all the data about the contents of a directory at a time.
 
947
    After each directory has been yielded, if the caller has mutated the list
 
948
    to exclude some directories, they are then not descended into.
 
949
    
 
950
    The data yielded is of the form:
 
951
    ((directory-relpath, directory-path-from-top),
 
952
    [(relpath, basename, kind, lstat), ...]),
 
953
     - directory-relpath is the relative path of the directory being returned
 
954
       with respect to top. prefix is prepended to this.
 
955
     - directory-path-from-root is the path including top for this directory. 
 
956
       It is suitable for use with os functions.
 
957
     - relpath is the relative path within the subtree being walked.
 
958
     - basename is the basename of the path
 
959
     - kind is the kind of the file now. If unknown then the file is not
 
960
       present within the tree - but it may be recorded as versioned. See
 
961
       versioned_kind.
 
962
     - lstat is the stat data *if* the file was statted.
 
963
     - planned, not implemented: 
 
964
       path_from_tree_root is the path from the root of the tree.
 
965
 
 
966
    :param prefix: Prefix the relpaths that are yielded with 'prefix'. This 
 
967
        allows one to walk a subtree but get paths that are relative to a tree
 
968
        rooted higher up.
 
969
    :return: an iterator over the dirs.
 
970
    """
 
971
    #TODO there is a bit of a smell where the results of the directory-
 
972
    # summary in this, and the path from the root, may not agree 
 
973
    # depending on top and prefix - i.e. ./foo and foo as a pair leads to
 
974
    # potentially confusing output. We should make this more robust - but
 
975
    # not at a speed cost. RBC 20060731
 
976
    lstat = os.lstat
 
977
    pending = []
 
978
    _directory = _directory_kind
 
979
    _listdir = os.listdir
 
980
    pending = [(prefix, "", _directory, None, top)]
 
981
    while pending:
 
982
        dirblock = []
 
983
        currentdir = pending.pop()
 
984
        # 0 - relpath, 1- basename, 2- kind, 3- stat, 4-toppath
 
985
        top = currentdir[4]
 
986
        if currentdir[0]:
 
987
            relroot = currentdir[0] + '/'
 
988
        else:
 
989
            relroot = ""
 
990
        for name in sorted(_listdir(top)):
 
991
            abspath = top + '/' + name
 
992
            statvalue = lstat(abspath)
 
993
            dirblock.append((relroot + name, name,
 
994
                file_kind_from_stat_mode(statvalue.st_mode),
 
995
                statvalue, abspath))
 
996
        yield (currentdir[0], top), dirblock
 
997
        # push the user specified dirs from dirblock
 
998
        for dir in reversed(dirblock):
 
999
            if dir[2] == _directory:
 
1000
                pending.append(dir)
 
1001
 
 
1002
 
 
1003
def copy_tree(from_path, to_path, handlers={}):
 
1004
    """Copy all of the entries in from_path into to_path.
 
1005
 
 
1006
    :param from_path: The base directory to copy. 
 
1007
    :param to_path: The target directory. If it does not exist, it will
 
1008
        be created.
 
1009
    :param handlers: A dictionary of functions, which takes a source and
 
1010
        destinations for files, directories, etc.
 
1011
        It is keyed on the file kind, such as 'directory', 'symlink', or 'file'
 
1012
        'file', 'directory', and 'symlink' should always exist.
 
1013
        If they are missing, they will be replaced with 'os.mkdir()',
 
1014
        'os.readlink() + os.symlink()', and 'shutil.copy2()', respectively.
 
1015
    """
 
1016
    # Now, just copy the existing cached tree to the new location
 
1017
    # We use a cheap trick here.
 
1018
    # Absolute paths are prefixed with the first parameter
 
1019
    # relative paths are prefixed with the second.
 
1020
    # So we can get both the source and target returned
 
1021
    # without any extra work.
 
1022
 
 
1023
    def copy_dir(source, dest):
 
1024
        os.mkdir(dest)
 
1025
 
 
1026
    def copy_link(source, dest):
 
1027
        """Copy the contents of a symlink"""
 
1028
        link_to = os.readlink(source)
 
1029
        os.symlink(link_to, dest)
 
1030
 
 
1031
    real_handlers = {'file':shutil.copy2,
 
1032
                     'symlink':copy_link,
 
1033
                     'directory':copy_dir,
 
1034
                    }
 
1035
    real_handlers.update(handlers)
 
1036
 
 
1037
    if not os.path.exists(to_path):
 
1038
        real_handlers['directory'](from_path, to_path)
 
1039
 
 
1040
    for dir_info, entries in walkdirs(from_path, prefix=to_path):
 
1041
        for relpath, name, kind, st, abspath in entries:
 
1042
            real_handlers[kind](abspath, relpath)
 
1043
 
 
1044
 
 
1045
def path_prefix_key(path):
 
1046
    """Generate a prefix-order path key for path.
 
1047
 
 
1048
    This can be used to sort paths in the same way that walkdirs does.
 
1049
    """
 
1050
    return (dirname(path) , path)
 
1051
 
 
1052
 
 
1053
def compare_paths_prefix_order(path_a, path_b):
 
1054
    """Compare path_a and path_b to generate the same order walkdirs uses."""
 
1055
    key_a = path_prefix_key(path_a)
 
1056
    key_b = path_prefix_key(path_b)
 
1057
    return cmp(key_a, key_b)
 
1058
 
 
1059
 
 
1060
_cached_user_encoding = None
 
1061
 
 
1062
 
 
1063
def get_user_encoding():
 
1064
    """Find out what the preferred user encoding is.
 
1065
 
 
1066
    This is generally the encoding that is used for command line parameters
 
1067
    and file contents. This may be different from the terminal encoding
 
1068
    or the filesystem encoding.
 
1069
 
 
1070
    :return: A string defining the preferred user encoding
 
1071
    """
 
1072
    global _cached_user_encoding
 
1073
    if _cached_user_encoding is not None:
 
1074
        return _cached_user_encoding
 
1075
 
 
1076
    if sys.platform == 'darwin':
 
1077
        # work around egregious python 2.4 bug
 
1078
        sys.platform = 'posix'
 
1079
        try:
 
1080
            import locale
 
1081
        finally:
 
1082
            sys.platform = 'darwin'
 
1083
    else:
 
1084
        import locale
 
1085
 
 
1086
    try:
 
1087
        _cached_user_encoding = locale.getpreferredencoding()
 
1088
    except locale.Error, e:
 
1089
        sys.stderr.write('bzr: warning: %s\n'
 
1090
                         '  Could not determine what text encoding to use.\n'
 
1091
                         '  This error usually means your Python interpreter\n'
 
1092
                         '  doesn\'t support the locale set by $LANG (%s)\n'
 
1093
                         "  Continuing with ascii encoding.\n"
 
1094
                         % (e, os.environ.get('LANG')))
 
1095
 
 
1096
    if _cached_user_encoding is None:
 
1097
        _cached_user_encoding = 'ascii'
 
1098
    return _cached_user_encoding