/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/osutils.py

  • Committer: Martin Pool
  • Date: 2005-08-04 22:04:40 UTC
  • Revision ID: mbp@sourcefrog.net-20050804220440-99562df8151d1ac5
- add pending merge from aaron

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2006 Canonical Ltd
2
 
#
 
1
# Bazaar-NG -- distributed version control
 
2
 
 
3
# Copyright (C) 2005 by Canonical Ltd
 
4
 
3
5
# This program is free software; you can redistribute it and/or modify
4
6
# it under the terms of the GNU General Public License as published by
5
7
# the Free Software Foundation; either version 2 of the License, or
6
8
# (at your option) any later version.
7
 
#
 
9
 
8
10
# This program is distributed in the hope that it will be useful,
9
11
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
12
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
13
# GNU General Public License for more details.
12
 
#
 
14
 
13
15
# You should have received a copy of the GNU General Public License
14
16
# along with this program; if not, write to the Free Software
15
17
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
18
 
17
 
from cStringIO import StringIO
18
 
import os
19
 
import re
20
 
import stat
21
 
from stat import (S_ISREG, S_ISDIR, S_ISLNK, ST_MODE, ST_SIZE,
22
 
                  S_ISCHR, S_ISBLK, S_ISFIFO, S_ISSOCK)
23
 
import sys
24
 
import time
25
 
 
26
 
from bzrlib.lazy_import import lazy_import
27
 
lazy_import(globals(), """
28
 
import codecs
29
 
from datetime import datetime
30
 
import errno
31
 
from ntpath import (abspath as _nt_abspath,
32
 
                    join as _nt_join,
33
 
                    normpath as _nt_normpath,
34
 
                    realpath as _nt_realpath,
35
 
                    splitdrive as _nt_splitdrive,
36
 
                    )
37
 
import posixpath
38
 
import sha
39
 
import shutil
40
 
from shutil import (
41
 
    rmtree,
42
 
    )
43
 
import string
44
 
import tempfile
45
 
from tempfile import (
46
 
    mkdtemp,
47
 
    )
48
 
import unicodedata
49
 
 
50
 
from bzrlib import (
51
 
    errors,
52
 
    )
53
 
""")
54
 
 
 
19
import os, types, re, time, errno, sys
 
20
from stat import S_ISREG, S_ISDIR, S_ISLNK, ST_MODE, ST_SIZE
 
21
 
 
22
from bzrlib.errors import BzrError
 
23
from bzrlib.trace import mutter
55
24
import bzrlib
56
 
from bzrlib.symbol_versioning import (
57
 
    deprecated_function,
58
 
    zero_nine,
59
 
    )
60
 
from bzrlib.trace import mutter
61
 
 
62
 
 
63
 
# On win32, O_BINARY is used to indicate the file should
64
 
# be opened in binary mode, rather than text mode.
65
 
# On other platforms, O_BINARY doesn't exist, because
66
 
# they always open in binary mode, so it is okay to
67
 
# OR with 0 on those platforms
68
 
O_BINARY = getattr(os, 'O_BINARY', 0)
69
 
 
70
25
 
71
26
def make_readonly(filename):
72
27
    """Make a filename read-only."""
 
28
    # TODO: probably needs to be fixed for windows
73
29
    mod = os.stat(filename).st_mode
74
30
    mod = mod & 0777555
75
31
    os.chmod(filename, mod)
81
37
    os.chmod(filename, mod)
82
38
 
83
39
 
84
 
_QUOTE_RE = None
 
40
_QUOTE_RE = re.compile(r'([^a-zA-Z0-9.,:/_~-])')
85
41
 
 
42
_SLASH_RE = re.compile(r'[\\/]+')
86
43
 
87
44
def quotefn(f):
88
45
    """Return a quoted filename filename
90
47
    This previously used backslash quoting, but that works poorly on
91
48
    Windows."""
92
49
    # TODO: I'm not really sure this is the best format either.x
93
 
    global _QUOTE_RE
94
 
    if _QUOTE_RE is None:
95
 
        _QUOTE_RE = re.compile(r'([^a-zA-Z0-9.,:/\\_~-])')
96
 
        
97
50
    if _QUOTE_RE.search(f):
98
51
        return '"' + f + '"'
99
52
    else:
100
53
        return f
101
54
 
102
55
 
103
 
_directory_kind = 'directory'
104
 
 
105
 
_formats = {
106
 
    stat.S_IFDIR:_directory_kind,
107
 
    stat.S_IFCHR:'chardev',
108
 
    stat.S_IFBLK:'block',
109
 
    stat.S_IFREG:'file',
110
 
    stat.S_IFIFO:'fifo',
111
 
    stat.S_IFLNK:'symlink',
112
 
    stat.S_IFSOCK:'socket',
113
 
}
114
 
 
115
 
 
116
 
def file_kind_from_stat_mode(stat_mode, _formats=_formats, _unknown='unknown'):
117
 
    """Generate a file kind from a stat mode. This is used in walkdirs.
118
 
 
119
 
    Its performance is critical: Do not mutate without careful benchmarking.
120
 
    """
121
 
    try:
122
 
        return _formats[stat_mode & 0170000]
123
 
    except KeyError:
124
 
        return _unknown
125
 
 
126
 
 
127
 
def file_kind(f, _lstat=os.lstat, _mapper=file_kind_from_stat_mode):
128
 
    try:
129
 
        return _mapper(_lstat(f).st_mode)
130
 
    except OSError, e:
131
 
        if getattr(e, 'errno', None) == errno.ENOENT:
132
 
            raise errors.NoSuchFile(f)
133
 
        raise
134
 
 
135
 
 
136
 
def get_umask():
137
 
    """Return the current umask"""
138
 
    # Assume that people aren't messing with the umask while running
139
 
    # XXX: This is not thread safe, but there is no way to get the
140
 
    #      umask without setting it
141
 
    umask = os.umask(0)
142
 
    os.umask(umask)
143
 
    return umask
 
56
def file_kind(f):
 
57
    mode = os.lstat(f)[ST_MODE]
 
58
    if S_ISREG(mode):
 
59
        return 'file'
 
60
    elif S_ISDIR(mode):
 
61
        return 'directory'
 
62
    elif S_ISLNK(mode):
 
63
        return 'symlink'
 
64
    else:
 
65
        raise BzrError("can't handle file kind with mode %o of %r" % (mode, f))
144
66
 
145
67
 
146
68
def kind_marker(kind):
147
69
    if kind == 'file':
148
70
        return ''
149
 
    elif kind == _directory_kind:
 
71
    elif kind == 'directory':
150
72
        return '/'
151
73
    elif kind == 'symlink':
152
74
        return '@'
153
75
    else:
154
 
        raise errors.BzrError('invalid file kind %r' % kind)
155
 
 
156
 
lexists = getattr(os.path, 'lexists', None)
157
 
if lexists is None:
158
 
    def lexists(f):
159
 
        try:
160
 
            if getattr(os, 'lstat') is not None:
161
 
                os.lstat(f)
162
 
            else:
163
 
                os.stat(f)
164
 
            return True
165
 
        except OSError,e:
166
 
            if e.errno == errno.ENOENT:
167
 
                return False;
168
 
            else:
169
 
                raise errors.BzrError("lstat/stat of (%r): %r" % (f, e))
170
 
 
171
 
 
172
 
def fancy_rename(old, new, rename_func, unlink_func):
173
 
    """A fancy rename, when you don't have atomic rename.
174
 
    
175
 
    :param old: The old path, to rename from
176
 
    :param new: The new path, to rename to
177
 
    :param rename_func: The potentially non-atomic rename function
178
 
    :param unlink_func: A way to delete the target file if the full rename succeeds
179
 
    """
180
 
 
181
 
    # sftp rename doesn't allow overwriting, so play tricks:
182
 
    import random
183
 
    base = os.path.basename(new)
184
 
    dirname = os.path.dirname(new)
185
 
    tmp_name = u'tmp.%s.%.9f.%d.%s' % (base, time.time(), os.getpid(), rand_chars(10))
186
 
    tmp_name = pathjoin(dirname, tmp_name)
187
 
 
188
 
    # Rename the file out of the way, but keep track if it didn't exist
189
 
    # We don't want to grab just any exception
190
 
    # something like EACCES should prevent us from continuing
191
 
    # The downside is that the rename_func has to throw an exception
192
 
    # with an errno = ENOENT, or NoSuchFile
193
 
    file_existed = False
194
 
    try:
195
 
        rename_func(new, tmp_name)
196
 
    except (errors.NoSuchFile,), e:
197
 
        pass
198
 
    except IOError, e:
199
 
        # RBC 20060103 abstraction leakage: the paramiko SFTP clients rename
200
 
        # function raises an IOError with errno is None when a rename fails.
201
 
        # This then gets caught here.
202
 
        if e.errno not in (None, errno.ENOENT, errno.ENOTDIR):
203
 
            raise
204
 
    except Exception, e:
205
 
        if (getattr(e, 'errno', None) is None
206
 
            or e.errno not in (errno.ENOENT, errno.ENOTDIR)):
207
 
            raise
208
 
    else:
209
 
        file_existed = True
210
 
 
211
 
    success = False
212
 
    try:
213
 
        # This may throw an exception, in which case success will
214
 
        # not be set.
215
 
        rename_func(old, new)
216
 
        success = True
217
 
    finally:
218
 
        if file_existed:
219
 
            # If the file used to exist, rename it back into place
220
 
            # otherwise just delete it from the tmp location
221
 
            if success:
222
 
                unlink_func(tmp_name)
223
 
            else:
224
 
                rename_func(tmp_name, new)
225
 
 
226
 
 
227
 
# In Python 2.4.2 and older, os.path.abspath and os.path.realpath
228
 
# choke on a Unicode string containing a relative path if
229
 
# os.getcwd() returns a non-sys.getdefaultencoding()-encoded
230
 
# string.
231
 
_fs_enc = sys.getfilesystemencoding() or 'utf-8'
232
 
def _posix_abspath(path):
233
 
    # jam 20060426 rather than encoding to fsencoding
234
 
    # copy posixpath.abspath, but use os.getcwdu instead
235
 
    if not posixpath.isabs(path):
236
 
        path = posixpath.join(getcwd(), path)
237
 
    return posixpath.normpath(path)
238
 
 
239
 
 
240
 
def _posix_realpath(path):
241
 
    return posixpath.realpath(path.encode(_fs_enc)).decode(_fs_enc)
242
 
 
243
 
 
244
 
def _win32_fixdrive(path):
245
 
    """Force drive letters to be consistent.
246
 
 
247
 
    win32 is inconsistent whether it returns lower or upper case
248
 
    and even if it was consistent the user might type the other
249
 
    so we force it to uppercase
250
 
    running python.exe under cmd.exe return capital C:\\
251
 
    running win32 python inside a cygwin shell returns lowercase c:\\
252
 
    """
253
 
    drive, path = _nt_splitdrive(path)
254
 
    return drive.upper() + path
255
 
 
256
 
 
257
 
def _win32_abspath(path):
258
 
    # Real _nt_abspath doesn't have a problem with a unicode cwd
259
 
    return _win32_fixdrive(_nt_abspath(unicode(path)).replace('\\', '/'))
260
 
 
261
 
 
262
 
def _win32_realpath(path):
263
 
    # Real _nt_realpath doesn't have a problem with a unicode cwd
264
 
    return _win32_fixdrive(_nt_realpath(unicode(path)).replace('\\', '/'))
265
 
 
266
 
 
267
 
def _win32_pathjoin(*args):
268
 
    return _nt_join(*args).replace('\\', '/')
269
 
 
270
 
 
271
 
def _win32_normpath(path):
272
 
    return _win32_fixdrive(_nt_normpath(unicode(path)).replace('\\', '/'))
273
 
 
274
 
 
275
 
def _win32_getcwd():
276
 
    return _win32_fixdrive(os.getcwdu().replace('\\', '/'))
277
 
 
278
 
 
279
 
def _win32_mkdtemp(*args, **kwargs):
280
 
    return _win32_fixdrive(tempfile.mkdtemp(*args, **kwargs).replace('\\', '/'))
281
 
 
282
 
 
283
 
def _win32_rename(old, new):
284
 
    """We expect to be able to atomically replace 'new' with old.
285
 
 
286
 
    On win32, if new exists, it must be moved out of the way first,
287
 
    and then deleted. 
288
 
    """
289
 
    try:
290
 
        fancy_rename(old, new, rename_func=os.rename, unlink_func=os.unlink)
291
 
    except OSError, e:
292
 
        if e.errno in (errno.EPERM, errno.EACCES, errno.EBUSY, errno.EINVAL):
293
 
            # If we try to rename a non-existant file onto cwd, we get 
294
 
            # EPERM or EACCES instead of ENOENT, this will raise ENOENT 
295
 
            # if the old path doesn't exist, sometimes we get EACCES
296
 
            # On Linux, we seem to get EBUSY, on Mac we get EINVAL
297
 
            os.lstat(old)
298
 
        raise
299
 
 
300
 
 
301
 
def _mac_getcwd():
302
 
    return unicodedata.normalize('NFKC', os.getcwdu())
303
 
 
304
 
 
305
 
# Default is to just use the python builtins, but these can be rebound on
306
 
# particular platforms.
307
 
abspath = _posix_abspath
308
 
realpath = _posix_realpath
309
 
pathjoin = os.path.join
310
 
normpath = os.path.normpath
311
 
getcwd = os.getcwdu
312
 
rename = os.rename
313
 
dirname = os.path.dirname
314
 
basename = os.path.basename
315
 
split = os.path.split
316
 
splitext = os.path.splitext
317
 
# These were already imported into local scope
318
 
# mkdtemp = tempfile.mkdtemp
319
 
# rmtree = shutil.rmtree
320
 
 
321
 
MIN_ABS_PATHLENGTH = 1
322
 
 
323
 
 
324
 
if sys.platform == 'win32':
325
 
    abspath = _win32_abspath
326
 
    realpath = _win32_realpath
327
 
    pathjoin = _win32_pathjoin
328
 
    normpath = _win32_normpath
329
 
    getcwd = _win32_getcwd
330
 
    mkdtemp = _win32_mkdtemp
331
 
    rename = _win32_rename
332
 
 
333
 
    MIN_ABS_PATHLENGTH = 3
334
 
 
335
 
    def _win32_delete_readonly(function, path, excinfo):
336
 
        """Error handler for shutil.rmtree function [for win32]
337
 
        Helps to remove files and dirs marked as read-only.
338
 
        """
339
 
        exception = excinfo[1]
340
 
        if function in (os.remove, os.rmdir) \
341
 
            and isinstance(exception, OSError) \
342
 
            and exception.errno == errno.EACCES:
343
 
            make_writable(path)
344
 
            function(path)
345
 
        else:
346
 
            raise
347
 
 
348
 
    def rmtree(path, ignore_errors=False, onerror=_win32_delete_readonly):
349
 
        """Replacer for shutil.rmtree: could remove readonly dirs/files"""
350
 
        return shutil.rmtree(path, ignore_errors, onerror)
351
 
elif sys.platform == 'darwin':
352
 
    getcwd = _mac_getcwd
353
 
 
354
 
 
355
 
def get_terminal_encoding():
356
 
    """Find the best encoding for printing to the screen.
357
 
 
358
 
    This attempts to check both sys.stdout and sys.stdin to see
359
 
    what encoding they are in, and if that fails it falls back to
360
 
    bzrlib.user_encoding.
361
 
    The problem is that on Windows, locale.getpreferredencoding()
362
 
    is not the same encoding as that used by the console:
363
 
    http://mail.python.org/pipermail/python-list/2003-May/162357.html
364
 
 
365
 
    On my standard US Windows XP, the preferred encoding is
366
 
    cp1252, but the console is cp437
367
 
    """
368
 
    output_encoding = getattr(sys.stdout, 'encoding', None)
369
 
    if not output_encoding:
370
 
        input_encoding = getattr(sys.stdin, 'encoding', None)
371
 
        if not input_encoding:
372
 
            output_encoding = bzrlib.user_encoding
373
 
            mutter('encoding stdout as bzrlib.user_encoding %r', output_encoding)
374
 
        else:
375
 
            output_encoding = input_encoding
376
 
            mutter('encoding stdout as sys.stdin encoding %r', output_encoding)
377
 
    else:
378
 
        mutter('encoding stdout as sys.stdout encoding %r', output_encoding)
379
 
    if output_encoding == 'cp0':
380
 
        # invalid encoding (cp0 means 'no codepage' on Windows)
381
 
        output_encoding = bzrlib.user_encoding
382
 
        mutter('cp0 is invalid encoding.'
383
 
               ' encoding stdout as bzrlib.user_encoding %r', output_encoding)
384
 
    # check encoding
385
 
    try:
386
 
        codecs.lookup(output_encoding)
387
 
    except LookupError:
388
 
        sys.stderr.write('bzr: warning:'
389
 
                         ' unknown terminal encoding %s.\n'
390
 
                         '  Using encoding %s instead.\n'
391
 
                         % (output_encoding, bzrlib.user_encoding)
392
 
                        )
393
 
        output_encoding = bzrlib.user_encoding
394
 
 
395
 
    return output_encoding
396
 
 
397
 
 
398
 
def normalizepath(f):
399
 
    if getattr(os.path, 'realpath', None) is not None:
400
 
        F = realpath
401
 
    else:
402
 
        F = abspath
403
 
    [p,e] = os.path.split(f)
404
 
    if e == "" or e == "." or e == "..":
405
 
        return F(f)
406
 
    else:
407
 
        return pathjoin(F(p), e)
 
76
        raise BzrError('invalid file kind %r' % kind)
 
77
 
408
78
 
409
79
 
410
80
def backup_file(fn):
414
84
 
415
85
    If the file is already a backup, it's not copied.
416
86
    """
 
87
    import os
417
88
    if fn[-1] == '~':
418
89
        return
419
90
    bfn = fn + '~'
420
91
 
421
 
    if has_symlinks() and os.path.islink(fn):
422
 
        target = os.readlink(fn)
423
 
        os.symlink(target, bfn)
424
 
        return
425
92
    inf = file(fn, 'rb')
426
93
    try:
427
94
        content = inf.read()
434
101
    finally:
435
102
        outf.close()
436
103
 
 
104
def rename(path_from, path_to):
 
105
    """Basically the same as os.rename() just special for win32"""
 
106
    if sys.platform == 'win32':
 
107
        try:
 
108
            os.remove(path_to)
 
109
        except OSError, e:
 
110
            if e.errno != e.ENOENT:
 
111
                raise
 
112
    os.rename(path_from, path_to)
 
113
 
 
114
 
 
115
 
 
116
 
437
117
 
438
118
def isdir(f):
439
119
    """True if f is an accessible directory."""
443
123
        return False
444
124
 
445
125
 
 
126
 
446
127
def isfile(f):
447
128
    """True if f is a regular file."""
448
129
    try:
450
131
    except OSError:
451
132
        return False
452
133
 
453
 
def islink(f):
454
 
    """True if f is a symlink."""
455
 
    try:
456
 
        return S_ISLNK(os.lstat(f)[ST_MODE])
457
 
    except OSError:
458
 
        return False
459
134
 
460
135
def is_inside(dir, fname):
461
136
    """True if fname is inside dir.
462
137
    
463
 
    The parameters should typically be passed to osutils.normpath first, so
 
138
    The parameters should typically be passed to os.path.normpath first, so
464
139
    that . and .. and repeated slashes are eliminated, and the separators
465
140
    are canonical for the platform.
466
141
    
467
142
    The empty string as a dir name is taken as top-of-tree and matches 
468
143
    everything.
 
144
    
 
145
    >>> is_inside('src', 'src/foo.c')
 
146
    True
 
147
    >>> is_inside('src', 'srccontrol')
 
148
    False
 
149
    >>> is_inside('src', 'src/a/a/a/foo.c')
 
150
    True
 
151
    >>> is_inside('foo.c', 'foo.c')
 
152
    True
 
153
    >>> is_inside('foo.c', '')
 
154
    False
 
155
    >>> is_inside('', 'foo.c')
 
156
    True
469
157
    """
470
158
    # XXX: Most callers of this can actually do something smarter by 
471
159
    # looking at the inventory
474
162
    
475
163
    if dir == '':
476
164
        return True
477
 
 
478
 
    if dir[-1] != '/':
479
 
        dir += '/'
480
 
 
 
165
    
 
166
    if dir[-1] != os.sep:
 
167
        dir += os.sep
 
168
    
481
169
    return fname.startswith(dir)
482
170
 
483
171
 
490
178
        return False
491
179
 
492
180
 
493
 
def is_inside_or_parent_of_any(dir_list, fname):
494
 
    """True if fname is a child or a parent of any of the given files."""
495
 
    for dirname in dir_list:
496
 
        if is_inside(dirname, fname) or is_inside(fname, dirname):
497
 
            return True
498
 
    else:
499
 
        return False
500
 
 
501
 
 
502
181
def pumpfile(fromfile, tofile):
503
182
    """Copy contents of one file to another."""
504
 
    BUFSIZE = 32768
505
 
    while True:
506
 
        b = fromfile.read(BUFSIZE)
507
 
        if not b:
508
 
            break
509
 
        tofile.write(b)
510
 
 
511
 
 
512
 
def file_iterator(input_file, readsize=32768):
513
 
    while True:
514
 
        b = input_file.read(readsize)
515
 
        if len(b) == 0:
516
 
            break
517
 
        yield b
 
183
    tofile.write(fromfile.read())
 
184
 
 
185
 
 
186
def uuid():
 
187
    """Return a new UUID"""
 
188
    try:
 
189
        return file('/proc/sys/kernel/random/uuid').readline().rstrip('\n')
 
190
    except IOError:
 
191
        return chomp(os.popen('uuidgen').readline())
518
192
 
519
193
 
520
194
def sha_file(f):
521
 
    if getattr(f, 'tell', None) is not None:
 
195
    import sha
 
196
    if hasattr(f, 'tell'):
522
197
        assert f.tell() == 0
523
198
    s = sha.new()
524
199
    BUFSIZE = 128<<10
530
205
    return s.hexdigest()
531
206
 
532
207
 
533
 
 
534
 
def sha_strings(strings):
535
 
    """Return the sha-1 of concatenation of strings"""
536
 
    s = sha.new()
537
 
    map(s.update, strings)
538
 
    return s.hexdigest()
539
 
 
540
 
 
541
208
def sha_string(f):
 
209
    import sha
542
210
    s = sha.new()
543
211
    s.update(f)
544
212
    return s.hexdigest()
545
213
 
546
214
 
 
215
 
547
216
def fingerprint_file(f):
 
217
    import sha
548
218
    s = sha.new()
549
219
    b = f.read()
550
220
    s.update(b)
553
223
            'sha1': s.hexdigest()}
554
224
 
555
225
 
 
226
def config_dir():
 
227
    """Return per-user configuration directory.
 
228
 
 
229
    By default this is ~/.bzr.conf/
 
230
    
 
231
    TODO: Global option --config-dir to override this.
 
232
    """
 
233
    return os.path.expanduser("~/.bzr.conf")
 
234
 
 
235
 
 
236
def _auto_user_id():
 
237
    """Calculate automatic user identification.
 
238
 
 
239
    Returns (realname, email).
 
240
 
 
241
    Only used when none is set in the environment or the id file.
 
242
 
 
243
    This previously used the FQDN as the default domain, but that can
 
244
    be very slow on machines where DNS is broken.  So now we simply
 
245
    use the hostname.
 
246
    """
 
247
    import socket
 
248
 
 
249
    # XXX: Any good way to get real user name on win32?
 
250
 
 
251
    try:
 
252
        import pwd
 
253
        uid = os.getuid()
 
254
        w = pwd.getpwuid(uid)
 
255
        gecos = w.pw_gecos.decode(bzrlib.user_encoding)
 
256
        username = w.pw_name.decode(bzrlib.user_encoding)
 
257
        comma = gecos.find(',')
 
258
        if comma == -1:
 
259
            realname = gecos
 
260
        else:
 
261
            realname = gecos[:comma]
 
262
        if not realname:
 
263
            realname = username
 
264
 
 
265
    except ImportError:
 
266
        import getpass
 
267
        realname = username = getpass.getuser().decode(bzrlib.user_encoding)
 
268
 
 
269
    return realname, (username + '@' + socket.gethostname())
 
270
 
 
271
 
 
272
def _get_user_id():
 
273
    """Return the full user id from a file or environment variable.
 
274
 
 
275
    TODO: Allow taking this from a file in the branch directory too
 
276
    for per-branch ids."""
 
277
    v = os.environ.get('BZREMAIL')
 
278
    if v:
 
279
        return v.decode(bzrlib.user_encoding)
 
280
    
 
281
    try:
 
282
        return (open(os.path.join(config_dir(), "email"))
 
283
                .read()
 
284
                .decode(bzrlib.user_encoding)
 
285
                .rstrip("\r\n"))
 
286
    except IOError, e:
 
287
        if e.errno != errno.ENOENT:
 
288
            raise e
 
289
 
 
290
    v = os.environ.get('EMAIL')
 
291
    if v:
 
292
        return v.decode(bzrlib.user_encoding)
 
293
    else:    
 
294
        return None
 
295
 
 
296
 
 
297
def username():
 
298
    """Return email-style username.
 
299
 
 
300
    Something similar to 'Martin Pool <mbp@sourcefrog.net>'
 
301
 
 
302
    TODO: Check it's reasonably well-formed.
 
303
    """
 
304
    v = _get_user_id()
 
305
    if v:
 
306
        return v
 
307
    
 
308
    name, email = _auto_user_id()
 
309
    if name:
 
310
        return '%s <%s>' % (name, email)
 
311
    else:
 
312
        return email
 
313
 
 
314
 
 
315
_EMAIL_RE = re.compile(r'[\w+.-]+@[\w+.-]+')
 
316
def user_email():
 
317
    """Return just the email component of a username."""
 
318
    e = _get_user_id()
 
319
    if e:
 
320
        m = _EMAIL_RE.search(e)
 
321
        if not m:
 
322
            raise BzrError("%r doesn't seem to contain a reasonable email address" % e)
 
323
        return m.group(0)
 
324
 
 
325
    return _auto_user_id()[1]
 
326
    
 
327
 
 
328
 
556
329
def compare_files(a, b):
557
330
    """Returns true if equal in contents"""
558
331
    BUFSIZE = 4096
565
338
            return True
566
339
 
567
340
 
 
341
 
568
342
def local_time_offset(t=None):
569
343
    """Return offset of local zone from GMT, either at present or at time t."""
570
 
    if t is None:
 
344
    # python2.3 localtime() can't take None
 
345
    if t == None:
571
346
        t = time.time()
572
 
    offset = datetime.fromtimestamp(t) - datetime.utcfromtimestamp(t)
573
 
    return offset.days * 86400 + offset.seconds
 
347
        
 
348
    if time.localtime(t).tm_isdst and time.daylight:
 
349
        return -time.altzone
 
350
    else:
 
351
        return -time.timezone
574
352
 
575
353
    
576
 
def format_date(t, offset=0, timezone='original', date_fmt=None, 
577
 
                show_offset=True):
 
354
def format_date(t, offset=0, timezone='original'):
578
355
    ## TODO: Perhaps a global option to use either universal or local time?
579
356
    ## Or perhaps just let people set $TZ?
580
357
    assert isinstance(t, float)
583
360
        tt = time.gmtime(t)
584
361
        offset = 0
585
362
    elif timezone == 'original':
586
 
        if offset is None:
 
363
        if offset == None:
587
364
            offset = 0
588
365
        tt = time.gmtime(t + offset)
589
366
    elif timezone == 'local':
590
367
        tt = time.localtime(t)
591
368
        offset = local_time_offset(t)
592
369
    else:
593
 
        raise errors.BzrError("unsupported timezone format %r" % timezone,
594
 
                              ['options are "utc", "original", "local"'])
595
 
    if date_fmt is None:
596
 
        date_fmt = "%a %Y-%m-%d %H:%M:%S"
597
 
    if show_offset:
598
 
        offset_str = ' %+03d%02d' % (offset / 3600, (offset / 60) % 60)
599
 
    else:
600
 
        offset_str = ''
601
 
    return (time.strftime(date_fmt, tt) +  offset_str)
 
370
        raise BzrError("unsupported timezone format %r" % timezone,
 
371
                       ['options are "utc", "original", "local"'])
 
372
 
 
373
    return (time.strftime("%a %Y-%m-%d %H:%M:%S", tt)
 
374
            + ' %+03d%02d' % (offset / 3600, (offset / 60) % 60))
602
375
 
603
376
 
604
377
def compact_date(when):
605
378
    return time.strftime('%Y%m%d%H%M%S', time.gmtime(when))
606
379
    
607
380
 
608
 
def format_delta(delta):
609
 
    """Get a nice looking string for a time delta.
610
 
 
611
 
    :param delta: The time difference in seconds, can be positive or negative.
612
 
        positive indicates time in the past, negative indicates time in the
613
 
        future. (usually time.time() - stored_time)
614
 
    :return: String formatted to show approximate resolution
615
 
    """
616
 
    delta = int(delta)
617
 
    if delta >= 0:
618
 
        direction = 'ago'
619
 
    else:
620
 
        direction = 'in the future'
621
 
        delta = -delta
622
 
 
623
 
    seconds = delta
624
 
    if seconds < 90: # print seconds up to 90 seconds
625
 
        if seconds == 1:
626
 
            return '%d second %s' % (seconds, direction,)
627
 
        else:
628
 
            return '%d seconds %s' % (seconds, direction)
629
 
 
630
 
    minutes = int(seconds / 60)
631
 
    seconds -= 60 * minutes
632
 
    if seconds == 1:
633
 
        plural_seconds = ''
634
 
    else:
635
 
        plural_seconds = 's'
636
 
    if minutes < 90: # print minutes, seconds up to 90 minutes
637
 
        if minutes == 1:
638
 
            return '%d minute, %d second%s %s' % (
639
 
                    minutes, seconds, plural_seconds, direction)
640
 
        else:
641
 
            return '%d minutes, %d second%s %s' % (
642
 
                    minutes, seconds, plural_seconds, direction)
643
 
 
644
 
    hours = int(minutes / 60)
645
 
    minutes -= 60 * hours
646
 
    if minutes == 1:
647
 
        plural_minutes = ''
648
 
    else:
649
 
        plural_minutes = 's'
650
 
 
651
 
    if hours == 1:
652
 
        return '%d hour, %d minute%s %s' % (hours, minutes,
653
 
                                            plural_minutes, direction)
654
 
    return '%d hours, %d minute%s %s' % (hours, minutes,
655
 
                                         plural_minutes, direction)
656
381
 
657
382
def filesize(f):
658
383
    """Return size of given open file."""
659
384
    return os.fstat(f.fileno())[ST_SIZE]
660
385
 
661
386
 
662
 
# Define rand_bytes based on platform.
663
 
try:
664
 
    # Python 2.4 and later have os.urandom,
665
 
    # but it doesn't work on some arches
666
 
    os.urandom(1)
 
387
if hasattr(os, 'urandom'): # python 2.4 and later
667
388
    rand_bytes = os.urandom
668
 
except (NotImplementedError, AttributeError):
669
 
    # If python doesn't have os.urandom, or it doesn't work,
670
 
    # then try to first pull random data from /dev/urandom
671
 
    try:
672
 
        rand_bytes = file('/dev/urandom', 'rb').read
673
 
    # Otherwise, use this hack as a last resort
674
 
    except (IOError, OSError):
675
 
        # not well seeded, but better than nothing
676
 
        def rand_bytes(n):
677
 
            import random
678
 
            s = ''
679
 
            while n:
680
 
                s += chr(random.randint(0, 255))
681
 
                n -= 1
682
 
            return s
683
 
 
684
 
 
685
 
ALNUM = '0123456789abcdefghijklmnopqrstuvwxyz'
686
 
def rand_chars(num):
687
 
    """Return a random string of num alphanumeric characters
688
 
    
689
 
    The result only contains lowercase chars because it may be used on 
690
 
    case-insensitive filesystems.
691
 
    """
692
 
    s = ''
693
 
    for raw_byte in rand_bytes(num):
694
 
        s += ALNUM[ord(raw_byte) % 36]
695
 
    return s
 
389
elif sys.platform == 'linux2':
 
390
    rand_bytes = file('/dev/urandom', 'rb').read
 
391
else:
 
392
    # not well seeded, but better than nothing
 
393
    def rand_bytes(n):
 
394
        import random
 
395
        s = ''
 
396
        while n:
 
397
            s += chr(random.randint(0, 255))
 
398
            n -= 1
 
399
        return s
696
400
 
697
401
 
698
402
## TODO: We could later have path objects that remember their list
699
403
## decomposition (might be too tricksy though.)
700
404
 
701
405
def splitpath(p):
702
 
    """Turn string into list of parts."""
703
 
    assert isinstance(p, basestring)
 
406
    """Turn string into list of parts.
 
407
 
 
408
    >>> splitpath('a')
 
409
    ['a']
 
410
    >>> splitpath('a/b')
 
411
    ['a', 'b']
 
412
    >>> splitpath('a/./b')
 
413
    ['a', 'b']
 
414
    >>> splitpath('a/.b')
 
415
    ['a', '.b']
 
416
    >>> splitpath('a/../b')
 
417
    Traceback (most recent call last):
 
418
    ...
 
419
    BzrError: sorry, '..' not allowed in path
 
420
    """
 
421
    assert isinstance(p, types.StringTypes)
704
422
 
705
423
    # split on either delimiter because people might use either on
706
424
    # Windows
709
427
    rps = []
710
428
    for f in ps:
711
429
        if f == '..':
712
 
            raise errors.BzrError("sorry, %r not allowed in path" % f)
 
430
            raise BzrError("sorry, %r not allowed in path" % f)
713
431
        elif (f == '.') or (f == ''):
714
432
            pass
715
433
        else:
719
437
def joinpath(p):
720
438
    assert isinstance(p, list)
721
439
    for f in p:
722
 
        if (f == '..') or (f is None) or (f == ''):
723
 
            raise errors.BzrError("sorry, %r not allowed in path" % f)
724
 
    return pathjoin(*p)
725
 
 
726
 
 
727
 
@deprecated_function(zero_nine)
 
440
        if (f == '..') or (f == None) or (f == ''):
 
441
            raise BzrError("sorry, %r not allowed in path" % f)
 
442
    return os.path.join(*p)
 
443
 
 
444
 
728
445
def appendpath(p1, p2):
729
446
    if p1 == '':
730
447
        return p2
731
448
    else:
732
 
        return pathjoin(p1, p2)
 
449
        return os.path.join(p1, p2)
733
450
    
734
451
 
735
 
def split_lines(s):
736
 
    """Split s into lines, but without removing the newline characters."""
737
 
    lines = s.split('\n')
738
 
    result = [line + '\n' for line in lines[:-1]]
739
 
    if lines[-1]:
740
 
        result.append(lines[-1])
741
 
    return result
742
 
 
743
 
 
744
 
def hardlinks_good():
745
 
    return sys.platform not in ('win32', 'cygwin', 'darwin')
746
 
 
747
 
 
748
 
def link_or_copy(src, dest):
749
 
    """Hardlink a file, or copy it if it can't be hardlinked."""
750
 
    if not hardlinks_good():
751
 
        shutil.copyfile(src, dest)
752
 
        return
753
 
    try:
754
 
        os.link(src, dest)
755
 
    except (OSError, IOError), e:
756
 
        if e.errno != errno.EXDEV:
757
 
            raise
758
 
        shutil.copyfile(src, dest)
759
 
 
760
 
def delete_any(full_path):
761
 
    """Delete a file or directory."""
762
 
    try:
763
 
        os.unlink(full_path)
764
 
    except OSError, e:
765
 
    # We may be renaming a dangling inventory id
766
 
        if e.errno not in (errno.EISDIR, errno.EACCES, errno.EPERM):
767
 
            raise
768
 
        os.rmdir(full_path)
769
 
 
770
 
 
771
 
def has_symlinks():
772
 
    if getattr(os, 'symlink', None) is not None:
773
 
        return True
774
 
    else:
775
 
        return False
 
452
def extern_command(cmd, ignore_errors = False):
 
453
    mutter('external command: %s' % `cmd`)
 
454
    if os.system(cmd):
 
455
        if not ignore_errors:
 
456
            raise BzrError('command failed')
 
457
 
 
458
 
 
459
def _read_config_value(name):
 
460
    """Read a config value from the file ~/.bzr.conf/<name>
 
461
    Return None if the file does not exist"""
 
462
    try:
 
463
        f = file(os.path.join(config_dir(), name), "r")
 
464
        return f.read().decode(bzrlib.user_encoding).rstrip("\r\n")
 
465
    except IOError, e:
 
466
        if e.errno == errno.ENOENT:
 
467
            return None
 
468
        raise
 
469
 
 
470
 
 
471
def _get_editor():
 
472
    """Return a sequence of possible editor binaries for the current platform"""
 
473
    e = _read_config_value("editor")
 
474
    if e is not None:
 
475
        yield e
776
476
        
777
 
 
778
 
def contains_whitespace(s):
779
 
    """True if there are any whitespace characters in s."""
780
 
    for ch in string.whitespace:
781
 
        if ch in s:
782
 
            return True
783
 
    else:
784
 
        return False
785
 
 
786
 
 
787
 
def contains_linebreaks(s):
788
 
    """True if there is any vertical whitespace in s."""
789
 
    for ch in '\f\n\r':
790
 
        if ch in s:
791
 
            return True
792
 
    else:
793
 
        return False
794
 
 
795
 
 
796
 
def relpath(base, path):
797
 
    """Return path relative to base, or raise exception.
798
 
 
799
 
    The path may be either an absolute path or a path relative to the
800
 
    current working directory.
801
 
 
802
 
    os.path.commonprefix (python2.4) has a bad bug that it works just
803
 
    on string prefixes, assuming that '/u' is a prefix of '/u2'.  This
804
 
    avoids that problem.
805
 
    """
806
 
 
807
 
    assert len(base) >= MIN_ABS_PATHLENGTH, ('Length of base must be equal or'
808
 
        ' exceed the platform minimum length (which is %d)' % 
809
 
        MIN_ABS_PATHLENGTH)
810
 
 
811
 
    rp = abspath(path)
812
 
 
813
 
    s = []
814
 
    head = rp
815
 
    while len(head) >= len(base):
816
 
        if head == base:
 
477
    if os.name == "windows":
 
478
        yield "notepad.exe"
 
479
    elif os.name == "posix":
 
480
        try:
 
481
            yield os.environ["EDITOR"]
 
482
        except KeyError:
 
483
            yield "/usr/bin/vi"
 
484
 
 
485
 
 
486
def _run_editor(filename):
 
487
    """Try to execute an editor to edit the commit message. Returns True on success,
 
488
    False on failure"""
 
489
    for e in _get_editor():
 
490
        x = os.spawnvp(os.P_WAIT, e, (e, filename))
 
491
        if x == 0:
 
492
            return True
 
493
        elif x == 127:
 
494
            continue
 
495
        else:
817
496
            break
818
 
        head, tail = os.path.split(head)
819
 
        if tail:
820
 
            s.insert(0, tail)
821
 
    else:
822
 
        raise errors.PathNotChild(rp, base)
823
 
 
824
 
    if s:
825
 
        return pathjoin(*s)
826
 
    else:
827
 
        return ''
828
 
 
829
 
 
830
 
def safe_unicode(unicode_or_utf8_string):
831
 
    """Coerce unicode_or_utf8_string into unicode.
832
 
 
833
 
    If it is unicode, it is returned.
834
 
    Otherwise it is decoded from utf-8. If a decoding error
835
 
    occurs, it is wrapped as a If the decoding fails, the exception is wrapped 
836
 
    as a BzrBadParameter exception.
837
 
    """
838
 
    if isinstance(unicode_or_utf8_string, unicode):
839
 
        return unicode_or_utf8_string
840
 
    try:
841
 
        return unicode_or_utf8_string.decode('utf8')
842
 
    except UnicodeDecodeError:
843
 
        raise errors.BzrBadParameterNotUnicode(unicode_or_utf8_string)
844
 
 
845
 
 
846
 
_platform_normalizes_filenames = False
847
 
if sys.platform == 'darwin':
848
 
    _platform_normalizes_filenames = True
849
 
 
850
 
 
851
 
def normalizes_filenames():
852
 
    """Return True if this platform normalizes unicode filenames.
853
 
 
854
 
    Mac OSX does, Windows/Linux do not.
855
 
    """
856
 
    return _platform_normalizes_filenames
857
 
 
858
 
 
859
 
def _accessible_normalized_filename(path):
860
 
    """Get the unicode normalized path, and if you can access the file.
861
 
 
862
 
    On platforms where the system normalizes filenames (Mac OSX),
863
 
    you can access a file by any path which will normalize correctly.
864
 
    On platforms where the system does not normalize filenames 
865
 
    (Windows, Linux), you have to access a file by its exact path.
866
 
 
867
 
    Internally, bzr only supports NFC/NFKC normalization, since that is 
868
 
    the standard for XML documents.
869
 
 
870
 
    So return the normalized path, and a flag indicating if the file
871
 
    can be accessed by that path.
872
 
    """
873
 
 
874
 
    return unicodedata.normalize('NFKC', unicode(path)), True
875
 
 
876
 
 
877
 
def _inaccessible_normalized_filename(path):
878
 
    __doc__ = _accessible_normalized_filename.__doc__
879
 
 
880
 
    normalized = unicodedata.normalize('NFKC', unicode(path))
881
 
    return normalized, normalized == path
882
 
 
883
 
 
884
 
if _platform_normalizes_filenames:
885
 
    normalized_filename = _accessible_normalized_filename
886
 
else:
887
 
    normalized_filename = _inaccessible_normalized_filename
888
 
 
889
 
 
890
 
def terminal_width():
891
 
    """Return estimated terminal width."""
892
 
    if sys.platform == 'win32':
893
 
        import bzrlib.win32console
894
 
        return bzrlib.win32console.get_console_size()[0]
895
 
    width = 0
896
 
    try:
897
 
        import struct, fcntl, termios
898
 
        s = struct.pack('HHHH', 0, 0, 0, 0)
899
 
        x = fcntl.ioctl(1, termios.TIOCGWINSZ, s)
900
 
        width = struct.unpack('HHHH', x)[1]
901
 
    except IOError:
902
 
        pass
903
 
    if width <= 0:
904
 
        try:
905
 
            width = int(os.environ['COLUMNS'])
906
 
        except:
907
 
            pass
908
 
    if width <= 0:
909
 
        width = 80
910
 
 
911
 
    return width
912
 
 
913
 
 
914
 
def supports_executable():
915
 
    return sys.platform != "win32"
916
 
 
917
 
 
918
 
def set_or_unset_env(env_variable, value):
919
 
    """Modify the environment, setting or removing the env_variable.
920
 
 
921
 
    :param env_variable: The environment variable in question
922
 
    :param value: The value to set the environment to. If None, then
923
 
        the variable will be removed.
924
 
    :return: The original value of the environment variable.
925
 
    """
926
 
    orig_val = os.environ.get(env_variable)
927
 
    if value is None:
928
 
        if orig_val is not None:
929
 
            del os.environ[env_variable]
930
 
    else:
931
 
        if isinstance(value, unicode):
932
 
            value = value.encode(bzrlib.user_encoding)
933
 
        os.environ[env_variable] = value
934
 
    return orig_val
935
 
 
936
 
 
937
 
_validWin32PathRE = re.compile(r'^([A-Za-z]:[/\\])?[^:<>*"?\|]*$')
938
 
 
939
 
 
940
 
def check_legal_path(path):
941
 
    """Check whether the supplied path is legal.  
942
 
    This is only required on Windows, so we don't test on other platforms
943
 
    right now.
944
 
    """
945
 
    if sys.platform != "win32":
946
 
        return
947
 
    if _validWin32PathRE.match(path) is None:
948
 
        raise errors.IllegalPath(path)
949
 
 
950
 
 
951
 
def walkdirs(top, prefix=""):
952
 
    """Yield data about all the directories in a tree.
953
 
    
954
 
    This yields all the data about the contents of a directory at a time.
955
 
    After each directory has been yielded, if the caller has mutated the list
956
 
    to exclude some directories, they are then not descended into.
957
 
    
958
 
    The data yielded is of the form:
959
 
    ((directory-relpath, directory-path-from-top),
960
 
    [(relpath, basename, kind, lstat), ...]),
961
 
     - directory-relpath is the relative path of the directory being returned
962
 
       with respect to top. prefix is prepended to this.
963
 
     - directory-path-from-root is the path including top for this directory. 
964
 
       It is suitable for use with os functions.
965
 
     - relpath is the relative path within the subtree being walked.
966
 
     - basename is the basename of the path
967
 
     - kind is the kind of the file now. If unknown then the file is not
968
 
       present within the tree - but it may be recorded as versioned. See
969
 
       versioned_kind.
970
 
     - lstat is the stat data *if* the file was statted.
971
 
     - planned, not implemented: 
972
 
       path_from_tree_root is the path from the root of the tree.
973
 
 
974
 
    :param prefix: Prefix the relpaths that are yielded with 'prefix'. This 
975
 
        allows one to walk a subtree but get paths that are relative to a tree
976
 
        rooted higher up.
977
 
    :return: an iterator over the dirs.
978
 
    """
979
 
    #TODO there is a bit of a smell where the results of the directory-
980
 
    # summary in this, and the path from the root, may not agree 
981
 
    # depending on top and prefix - i.e. ./foo and foo as a pair leads to
982
 
    # potentially confusing output. We should make this more robust - but
983
 
    # not at a speed cost. RBC 20060731
984
 
    lstat = os.lstat
985
 
    pending = []
986
 
    _directory = _directory_kind
987
 
    _listdir = os.listdir
988
 
    pending = [(prefix, "", _directory, None, top)]
989
 
    while pending:
990
 
        dirblock = []
991
 
        currentdir = pending.pop()
992
 
        # 0 - relpath, 1- basename, 2- kind, 3- stat, 4-toppath
993
 
        top = currentdir[4]
994
 
        if currentdir[0]:
995
 
            relroot = currentdir[0] + '/'
996
 
        else:
997
 
            relroot = ""
998
 
        for name in sorted(_listdir(top)):
999
 
            abspath = top + '/' + name
1000
 
            statvalue = lstat(abspath)
1001
 
            dirblock.append((relroot + name, name,
1002
 
                file_kind_from_stat_mode(statvalue.st_mode),
1003
 
                statvalue, abspath))
1004
 
        yield (currentdir[0], top), dirblock
1005
 
        # push the user specified dirs from dirblock
1006
 
        for dir in reversed(dirblock):
1007
 
            if dir[2] == _directory:
1008
 
                pending.append(dir)
1009
 
 
1010
 
 
1011
 
def copy_tree(from_path, to_path, handlers={}):
1012
 
    """Copy all of the entries in from_path into to_path.
1013
 
 
1014
 
    :param from_path: The base directory to copy. 
1015
 
    :param to_path: The target directory. If it does not exist, it will
1016
 
        be created.
1017
 
    :param handlers: A dictionary of functions, which takes a source and
1018
 
        destinations for files, directories, etc.
1019
 
        It is keyed on the file kind, such as 'directory', 'symlink', or 'file'
1020
 
        'file', 'directory', and 'symlink' should always exist.
1021
 
        If they are missing, they will be replaced with 'os.mkdir()',
1022
 
        'os.readlink() + os.symlink()', and 'shutil.copy2()', respectively.
1023
 
    """
1024
 
    # Now, just copy the existing cached tree to the new location
1025
 
    # We use a cheap trick here.
1026
 
    # Absolute paths are prefixed with the first parameter
1027
 
    # relative paths are prefixed with the second.
1028
 
    # So we can get both the source and target returned
1029
 
    # without any extra work.
1030
 
 
1031
 
    def copy_dir(source, dest):
1032
 
        os.mkdir(dest)
1033
 
 
1034
 
    def copy_link(source, dest):
1035
 
        """Copy the contents of a symlink"""
1036
 
        link_to = os.readlink(source)
1037
 
        os.symlink(link_to, dest)
1038
 
 
1039
 
    real_handlers = {'file':shutil.copy2,
1040
 
                     'symlink':copy_link,
1041
 
                     'directory':copy_dir,
1042
 
                    }
1043
 
    real_handlers.update(handlers)
1044
 
 
1045
 
    if not os.path.exists(to_path):
1046
 
        real_handlers['directory'](from_path, to_path)
1047
 
 
1048
 
    for dir_info, entries in walkdirs(from_path, prefix=to_path):
1049
 
        for relpath, name, kind, st, abspath in entries:
1050
 
            real_handlers[kind](abspath, relpath)
1051
 
 
1052
 
 
1053
 
def path_prefix_key(path):
1054
 
    """Generate a prefix-order path key for path.
1055
 
 
1056
 
    This can be used to sort paths in the same way that walkdirs does.
1057
 
    """
1058
 
    return (dirname(path) , path)
1059
 
 
1060
 
 
1061
 
def compare_paths_prefix_order(path_a, path_b):
1062
 
    """Compare path_a and path_b to generate the same order walkdirs uses."""
1063
 
    key_a = path_prefix_key(path_a)
1064
 
    key_b = path_prefix_key(path_b)
1065
 
    return cmp(key_a, key_b)
1066
 
 
1067
 
 
1068
 
_cached_user_encoding = None
1069
 
 
1070
 
 
1071
 
def get_user_encoding(use_cache=True):
1072
 
    """Find out what the preferred user encoding is.
1073
 
 
1074
 
    This is generally the encoding that is used for command line parameters
1075
 
    and file contents. This may be different from the terminal encoding
1076
 
    or the filesystem encoding.
1077
 
 
1078
 
    :param  use_cache:  Enable cache for detected encoding.
1079
 
                        (This parameter is turned on by default,
1080
 
                        and required only for selftesting)
1081
 
 
1082
 
    :return: A string defining the preferred user encoding
1083
 
    """
1084
 
    global _cached_user_encoding
1085
 
    if _cached_user_encoding is not None and use_cache:
1086
 
        return _cached_user_encoding
1087
 
 
1088
 
    if sys.platform == 'darwin':
1089
 
        # work around egregious python 2.4 bug
1090
 
        sys.platform = 'posix'
1091
 
        try:
1092
 
            import locale
1093
 
        finally:
1094
 
            sys.platform = 'darwin'
1095
 
    else:
1096
 
        import locale
1097
 
 
1098
 
    try:
1099
 
        user_encoding = locale.getpreferredencoding()
1100
 
    except locale.Error, e:
1101
 
        sys.stderr.write('bzr: warning: %s\n'
1102
 
                         '  Could not determine what text encoding to use.\n'
1103
 
                         '  This error usually means your Python interpreter\n'
1104
 
                         '  doesn\'t support the locale set by $LANG (%s)\n'
1105
 
                         "  Continuing with ascii encoding.\n"
1106
 
                         % (e, os.environ.get('LANG')))
1107
 
        user_encoding = 'ascii'
1108
 
 
1109
 
    # Windows returns 'cp0' to indicate there is no code page. So we'll just
1110
 
    # treat that as ASCII, and not support printing unicode characters to the
1111
 
    # console.
1112
 
    if user_encoding in (None, 'cp0'):
1113
 
        user_encoding = 'ascii'
1114
 
    else:
1115
 
        # check encoding
1116
 
        try:
1117
 
            codecs.lookup(user_encoding)
1118
 
        except LookupError:
1119
 
            sys.stderr.write('bzr: warning:'
1120
 
                             ' unknown encoding %s.'
1121
 
                             ' Continuing with ascii encoding.\n'
1122
 
                             % user_encoding
1123
 
                            )
1124
 
            user_encoding = 'ascii'
1125
 
 
1126
 
    if use_cache:
1127
 
        _cached_user_encoding = user_encoding
1128
 
 
1129
 
    return user_encoding
1130
 
 
1131
 
 
1132
 
def recv_all(socket, bytes):
1133
 
    """Receive an exact number of bytes.
1134
 
 
1135
 
    Regular Socket.recv() may return less than the requested number of bytes,
1136
 
    dependning on what's in the OS buffer.  MSG_WAITALL is not available
1137
 
    on all platforms, but this should work everywhere.  This will return
1138
 
    less than the requested amount if the remote end closes.
1139
 
 
1140
 
    This isn't optimized and is intended mostly for use in testing.
1141
 
    """
1142
 
    b = ''
1143
 
    while len(b) < bytes:
1144
 
        new = socket.recv(bytes - len(b))
1145
 
        if new == '':
1146
 
            break # eof
1147
 
        b += new
1148
 
    return b
1149
 
 
1150
 
def dereference_path(path):
1151
 
    """Determine the real path to a file.
1152
 
 
1153
 
    All parent elements are dereferenced.  But the file itself is not
1154
 
    dereferenced.
1155
 
    :param path: The original path.  May be absolute or relative.
1156
 
    :return: the real path *to* the file
1157
 
    """
1158
 
    parent, base = os.path.split(path)
1159
 
    # The pathjoin for '.' is a workaround for Python bug #1213894.
1160
 
    # (initial path components aren't dereferenced)
1161
 
    return pathjoin(realpath(pathjoin('.', parent)), base)
 
497
    raise BzrError("Could not start any editor. Please specify $EDITOR or use ~/.bzr.conf/editor")
 
498
    return False
 
499
                          
 
500
 
 
501
def get_text_message(infotext, ignoreline = "default"):
 
502
    import tempfile
 
503
    
 
504
    if ignoreline == "default":
 
505
        ignoreline = "-- This line and the following will be ignored --"
 
506
        
 
507
    try:
 
508
        tmp_fileno, msgfilename = tempfile.mkstemp()
 
509
        msgfile = os.close(tmp_fileno)
 
510
        if infotext is not None and infotext != "":
 
511
            hasinfo = True
 
512
            msgfile = file(msgfilename, "w")
 
513
            msgfile.write("\n\n%s\n\n%s" % (ignoreline, infotext))
 
514
            msgfile.close()
 
515
        else:
 
516
            hasinfo = False
 
517
 
 
518
        if not _run_editor(msgfilename):
 
519
            return None
 
520
        
 
521
        started = False
 
522
        msg = []
 
523
        lastline, nlines = 0, 0
 
524
        for line in file(msgfilename, "r"):
 
525
            stripped_line = line.strip()
 
526
            # strip empty line before the log message starts
 
527
            if not started:
 
528
                if stripped_line != "":
 
529
                    started = True
 
530
                else:
 
531
                    continue
 
532
            # check for the ignore line only if there
 
533
            # is additional information at the end
 
534
            if hasinfo and stripped_line == ignoreline:
 
535
                break
 
536
            nlines += 1
 
537
            # keep track of the last line that had some content
 
538
            if stripped_line != "":
 
539
                lastline = nlines
 
540
            msg.append(line)
 
541
            
 
542
        if len(msg) == 0:
 
543
            return None
 
544
        # delete empty lines at the end
 
545
        del msg[lastline:]
 
546
        # add a newline at the end, if needed
 
547
        if not msg[-1].endswith("\n"):
 
548
            return "%s%s" % ("".join(msg), "\n")
 
549
        else:
 
550
            return "".join(msg)
 
551
    finally:
 
552
        # delete the msg file in any case
 
553
        try: os.unlink(msgfilename)
 
554
        except IOError: pass