/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/osutils.py

  • Committer: Robert Collins
  • Date: 2005-09-29 02:55:34 UTC
  • mfrom: (1185.1.47)
  • mto: This revision was merged to the branch mainline in revision 1397.
  • Revision ID: robertc@robertcollins.net-20050929025534-1782933743abbfd5
update with integration

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Bazaar-NG -- distributed version control
 
2
#
 
3
# Copyright (C) 2005 by Canonical Ltd
 
4
#
 
5
# This program is free software; you can redistribute it and/or modify
 
6
# it under the terms of the GNU General Public License as published by
 
7
# the Free Software Foundation; either version 2 of the License, or
 
8
# (at your option) any later version.
 
9
#
 
10
# This program is distributed in the hope that it will be useful,
 
11
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
12
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
13
# GNU General Public License for more details.
 
14
#
 
15
# You should have received a copy of the GNU General Public License
 
16
# along with this program; if not, write to the Free Software
 
17
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
18
 
 
19
from shutil import copyfile
 
20
from stat import (S_ISREG, S_ISDIR, S_ISLNK, ST_MODE, ST_SIZE,
 
21
                  S_ISCHR, S_ISBLK, S_ISFIFO, S_ISSOCK)
 
22
import errno
 
23
import os
 
24
import re
 
25
import sha
 
26
import sys
 
27
import time
 
28
import types
 
29
 
 
30
import bzrlib
 
31
from bzrlib.errors import BzrError
 
32
from bzrlib.trace import mutter
 
33
 
 
34
 
 
35
def make_readonly(filename):
 
36
    """Make a filename read-only."""
 
37
    mod = os.stat(filename).st_mode
 
38
    mod = mod & 0777555
 
39
    os.chmod(filename, mod)
 
40
 
 
41
 
 
42
def make_writable(filename):
 
43
    mod = os.stat(filename).st_mode
 
44
    mod = mod | 0200
 
45
    os.chmod(filename, mod)
 
46
 
 
47
 
 
48
_QUOTE_RE = None
 
49
 
 
50
 
 
51
def quotefn(f):
 
52
    """Return a quoted filename filename
 
53
 
 
54
    This previously used backslash quoting, but that works poorly on
 
55
    Windows."""
 
56
    # TODO: I'm not really sure this is the best format either.x
 
57
    global _QUOTE_RE
 
58
    if _QUOTE_RE == None:
 
59
        _QUOTE_RE = re.compile(r'([^a-zA-Z0-9.,:/\\_~-])')
 
60
        
 
61
    if _QUOTE_RE.search(f):
 
62
        return '"' + f + '"'
 
63
    else:
 
64
        return f
 
65
 
 
66
 
 
67
def file_kind(f):
 
68
    mode = os.lstat(f)[ST_MODE]
 
69
    if S_ISREG(mode):
 
70
        return 'file'
 
71
    elif S_ISDIR(mode):
 
72
        return 'directory'
 
73
    elif S_ISLNK(mode):
 
74
        return 'symlink'
 
75
    elif S_ISCHR(mode):
 
76
        return 'chardev'
 
77
    elif S_ISBLK(mode):
 
78
        return 'block'
 
79
    elif S_ISFIFO(mode):
 
80
        return 'fifo'
 
81
    elif S_ISSOCK(mode):
 
82
        return 'socket'
 
83
    else:
 
84
        return 'unknown'
 
85
 
 
86
 
 
87
def kind_marker(kind):
 
88
    if kind == 'file':
 
89
        return ''
 
90
    elif kind == 'directory':
 
91
        return '/'
 
92
    elif kind == 'symlink':
 
93
        return '@'
 
94
    else:
 
95
        raise BzrError('invalid file kind %r' % kind)
 
96
 
 
97
def lexists(f):
 
98
    try:
 
99
        if hasattr(os, 'lstat'):
 
100
            os.lstat(f)
 
101
        else:
 
102
            os.stat(f)
 
103
        return True
 
104
    except OSError,e:
 
105
        if e.errno == errno.ENOENT:
 
106
            return False;
 
107
        else:
 
108
            raise BzrError("lstat/stat of (%r): %r" % (f, e))
 
109
 
 
110
def normalizepath(f):
 
111
    if hasattr(os.path, 'realpath'):
 
112
        F = os.path.realpath
 
113
    else:
 
114
        F = os.path.abspath
 
115
    [p,e] = os.path.split(f)
 
116
    if e == "" or e == "." or e == "..":
 
117
        return F(f)
 
118
    else:
 
119
        return os.path.join(F(p), e)
 
120
    
 
121
 
 
122
def backup_file(fn):
 
123
    """Copy a file to a backup.
 
124
 
 
125
    Backups are named in GNU-style, with a ~ suffix.
 
126
 
 
127
    If the file is already a backup, it's not copied.
 
128
    """
 
129
    if fn[-1] == '~':
 
130
        return
 
131
    bfn = fn + '~'
 
132
 
 
133
    inf = file(fn, 'rb')
 
134
    try:
 
135
        content = inf.read()
 
136
    finally:
 
137
        inf.close()
 
138
    
 
139
    outf = file(bfn, 'wb')
 
140
    try:
 
141
        outf.write(content)
 
142
    finally:
 
143
        outf.close()
 
144
 
 
145
if os.name == 'nt':
 
146
    import shutil
 
147
    rename = shutil.move
 
148
else:
 
149
    rename = os.rename
 
150
 
 
151
 
 
152
def isdir(f):
 
153
    """True if f is an accessible directory."""
 
154
    try:
 
155
        return S_ISDIR(os.lstat(f)[ST_MODE])
 
156
    except OSError:
 
157
        return False
 
158
 
 
159
 
 
160
def isfile(f):
 
161
    """True if f is a regular file."""
 
162
    try:
 
163
        return S_ISREG(os.lstat(f)[ST_MODE])
 
164
    except OSError:
 
165
        return False
 
166
 
 
167
def islink(f):
 
168
    """True if f is a symlink."""
 
169
    try:
 
170
        return S_ISLNK(os.lstat(f)[ST_MODE])
 
171
    except OSError:
 
172
        return False
 
173
 
 
174
def is_inside(dir, fname):
 
175
    """True if fname is inside dir.
 
176
    
 
177
    The parameters should typically be passed to os.path.normpath first, so
 
178
    that . and .. and repeated slashes are eliminated, and the separators
 
179
    are canonical for the platform.
 
180
    
 
181
    The empty string as a dir name is taken as top-of-tree and matches 
 
182
    everything.
 
183
    
 
184
    >>> is_inside('src', os.path.join('src', 'foo.c'))
 
185
    True
 
186
    >>> is_inside('src', 'srccontrol')
 
187
    False
 
188
    >>> is_inside('src', os.path.join('src', 'a', 'a', 'a', 'foo.c'))
 
189
    True
 
190
    >>> is_inside('foo.c', 'foo.c')
 
191
    True
 
192
    >>> is_inside('foo.c', '')
 
193
    False
 
194
    >>> is_inside('', 'foo.c')
 
195
    True
 
196
    """
 
197
    # XXX: Most callers of this can actually do something smarter by 
 
198
    # looking at the inventory
 
199
    if dir == fname:
 
200
        return True
 
201
    
 
202
    if dir == '':
 
203
        return True
 
204
 
 
205
    if dir[-1] != os.sep:
 
206
        dir += os.sep
 
207
 
 
208
    return fname.startswith(dir)
 
209
 
 
210
 
 
211
def is_inside_any(dir_list, fname):
 
212
    """True if fname is inside any of given dirs."""
 
213
    for dirname in dir_list:
 
214
        if is_inside(dirname, fname):
 
215
            return True
 
216
    else:
 
217
        return False
 
218
 
 
219
 
 
220
def pumpfile(fromfile, tofile):
 
221
    """Copy contents of one file to another."""
 
222
    tofile.write(fromfile.read())
 
223
 
 
224
 
 
225
def sha_file(f):
 
226
    if hasattr(f, 'tell'):
 
227
        assert f.tell() == 0
 
228
    s = sha.new()
 
229
    BUFSIZE = 128<<10
 
230
    while True:
 
231
        b = f.read(BUFSIZE)
 
232
        if not b:
 
233
            break
 
234
        s.update(b)
 
235
    return s.hexdigest()
 
236
 
 
237
 
 
238
def sha_string(f):
 
239
    s = sha.new()
 
240
    s.update(f)
 
241
    return s.hexdigest()
 
242
 
 
243
 
 
244
def fingerprint_file(f):
 
245
    s = sha.new()
 
246
    b = f.read()
 
247
    s.update(b)
 
248
    size = len(b)
 
249
    return {'size': size,
 
250
            'sha1': s.hexdigest()}
 
251
 
 
252
 
 
253
def config_dir():
 
254
    """Return per-user configuration directory.
 
255
 
 
256
    By default this is ~/.bzr.conf/
 
257
    
 
258
    TODO: Global option --config-dir to override this.
 
259
    """
 
260
    return os.path.join(os.path.expanduser("~"), ".bzr.conf")
 
261
 
 
262
 
 
263
def _auto_user_id():
 
264
    """Calculate automatic user identification.
 
265
 
 
266
    Returns (realname, email).
 
267
 
 
268
    Only used when none is set in the environment or the id file.
 
269
 
 
270
    This previously used the FQDN as the default domain, but that can
 
271
    be very slow on machines where DNS is broken.  So now we simply
 
272
    use the hostname.
 
273
    """
 
274
    import socket
 
275
 
 
276
    # XXX: Any good way to get real user name on win32?
 
277
 
 
278
    try:
 
279
        import pwd
 
280
        uid = os.getuid()
 
281
        w = pwd.getpwuid(uid)
 
282
        gecos = w.pw_gecos.decode(bzrlib.user_encoding)
 
283
        username = w.pw_name.decode(bzrlib.user_encoding)
 
284
        comma = gecos.find(',')
 
285
        if comma == -1:
 
286
            realname = gecos
 
287
        else:
 
288
            realname = gecos[:comma]
 
289
        if not realname:
 
290
            realname = username
 
291
 
 
292
    except ImportError:
 
293
        import getpass
 
294
        realname = username = getpass.getuser().decode(bzrlib.user_encoding)
 
295
 
 
296
    return realname, (username + '@' + socket.gethostname())
 
297
 
 
298
 
 
299
def _get_user_id(branch):
 
300
    """Return the full user id from a file or environment variable.
 
301
 
 
302
    e.g. "John Hacker <jhacker@foo.org>"
 
303
 
 
304
    branch
 
305
        A branch to use for a per-branch configuration, or None.
 
306
 
 
307
    The following are searched in order:
 
308
 
 
309
    1. $BZREMAIL
 
310
    2. .bzr/email for this branch.
 
311
    3. ~/.bzr.conf/email
 
312
    4. $EMAIL
 
313
    """
 
314
    v = os.environ.get('BZREMAIL')
 
315
    if v:
 
316
        return v.decode(bzrlib.user_encoding)
 
317
 
 
318
    if branch:
 
319
        try:
 
320
            return (branch.controlfile("email", "r") 
 
321
                    .read()
 
322
                    .decode(bzrlib.user_encoding)
 
323
                    .rstrip("\r\n"))
 
324
        except IOError, e:
 
325
            if e.errno != errno.ENOENT:
 
326
                raise
 
327
        except BzrError, e:
 
328
            pass
 
329
    
 
330
    try:
 
331
        return (open(os.path.join(config_dir(), "email"))
 
332
                .read()
 
333
                .decode(bzrlib.user_encoding)
 
334
                .rstrip("\r\n"))
 
335
    except IOError, e:
 
336
        if e.errno != errno.ENOENT:
 
337
            raise e
 
338
 
 
339
    v = os.environ.get('EMAIL')
 
340
    if v:
 
341
        return v.decode(bzrlib.user_encoding)
 
342
    else:    
 
343
        return None
 
344
 
 
345
 
 
346
def username(branch):
 
347
    """Return email-style username.
 
348
 
 
349
    Something similar to 'Martin Pool <mbp@sourcefrog.net>'
 
350
 
 
351
    TODO: Check it's reasonably well-formed.
 
352
    """
 
353
    v = _get_user_id(branch)
 
354
    if v:
 
355
        return v
 
356
    
 
357
    name, email = _auto_user_id()
 
358
    if name:
 
359
        return '%s <%s>' % (name, email)
 
360
    else:
 
361
        return email
 
362
 
 
363
 
 
364
def user_email(branch):
 
365
    """Return just the email component of a username."""
 
366
    e = _get_user_id(branch)
 
367
    if e:
 
368
        m = re.search(r'[\w+.-]+@[\w+.-]+', e)
 
369
        if not m:
 
370
            raise BzrError("%r doesn't seem to contain "
 
371
                           "a reasonable email address" % e)
 
372
        return m.group(0)
 
373
 
 
374
    return _auto_user_id()[1]
 
375
 
 
376
 
 
377
def compare_files(a, b):
 
378
    """Returns true if equal in contents"""
 
379
    BUFSIZE = 4096
 
380
    while True:
 
381
        ai = a.read(BUFSIZE)
 
382
        bi = b.read(BUFSIZE)
 
383
        if ai != bi:
 
384
            return False
 
385
        if ai == '':
 
386
            return True
 
387
 
 
388
 
 
389
def local_time_offset(t=None):
 
390
    """Return offset of local zone from GMT, either at present or at time t."""
 
391
    # python2.3 localtime() can't take None
 
392
    if t == None:
 
393
        t = time.time()
 
394
        
 
395
    if time.localtime(t).tm_isdst and time.daylight:
 
396
        return -time.altzone
 
397
    else:
 
398
        return -time.timezone
 
399
 
 
400
    
 
401
def format_date(t, offset=0, timezone='original'):
 
402
    ## TODO: Perhaps a global option to use either universal or local time?
 
403
    ## Or perhaps just let people set $TZ?
 
404
    assert isinstance(t, float)
 
405
    
 
406
    if timezone == 'utc':
 
407
        tt = time.gmtime(t)
 
408
        offset = 0
 
409
    elif timezone == 'original':
 
410
        if offset == None:
 
411
            offset = 0
 
412
        tt = time.gmtime(t + offset)
 
413
    elif timezone == 'local':
 
414
        tt = time.localtime(t)
 
415
        offset = local_time_offset(t)
 
416
    else:
 
417
        raise BzrError("unsupported timezone format %r" % timezone,
 
418
                       ['options are "utc", "original", "local"'])
 
419
 
 
420
    return (time.strftime("%a %Y-%m-%d %H:%M:%S", tt)
 
421
            + ' %+03d%02d' % (offset / 3600, (offset / 60) % 60))
 
422
 
 
423
 
 
424
def compact_date(when):
 
425
    return time.strftime('%Y%m%d%H%M%S', time.gmtime(when))
 
426
    
 
427
 
 
428
 
 
429
def filesize(f):
 
430
    """Return size of given open file."""
 
431
    return os.fstat(f.fileno())[ST_SIZE]
 
432
 
 
433
# Define rand_bytes based on platform.
 
434
try:
 
435
    # Python 2.4 and later have os.urandom,
 
436
    # but it doesn't work on some arches
 
437
    os.urandom(1)
 
438
    rand_bytes = os.urandom
 
439
except (NotImplementedError, AttributeError):
 
440
    # If python doesn't have os.urandom, or it doesn't work,
 
441
    # then try to first pull random data from /dev/urandom
 
442
    if os.path.exists("/dev/urandom"):
 
443
        rand_bytes = file('/dev/urandom', 'rb').read
 
444
    # Otherwise, use this hack as a last resort
 
445
    else:
 
446
        # not well seeded, but better than nothing
 
447
        def rand_bytes(n):
 
448
            import random
 
449
            s = ''
 
450
            while n:
 
451
                s += chr(random.randint(0, 255))
 
452
                n -= 1
 
453
            return s
 
454
 
 
455
## TODO: We could later have path objects that remember their list
 
456
## decomposition (might be too tricksy though.)
 
457
 
 
458
def splitpath(p):
 
459
    """Turn string into list of parts.
 
460
 
 
461
    >>> splitpath('a')
 
462
    ['a']
 
463
    >>> splitpath('a/b')
 
464
    ['a', 'b']
 
465
    >>> splitpath('a/./b')
 
466
    ['a', 'b']
 
467
    >>> splitpath('a/.b')
 
468
    ['a', '.b']
 
469
    >>> splitpath('a/../b')
 
470
    Traceback (most recent call last):
 
471
    ...
 
472
    BzrError: sorry, '..' not allowed in path
 
473
    """
 
474
    assert isinstance(p, types.StringTypes)
 
475
 
 
476
    # split on either delimiter because people might use either on
 
477
    # Windows
 
478
    ps = re.split(r'[\\/]', p)
 
479
 
 
480
    rps = []
 
481
    for f in ps:
 
482
        if f == '..':
 
483
            raise BzrError("sorry, %r not allowed in path" % f)
 
484
        elif (f == '.') or (f == ''):
 
485
            pass
 
486
        else:
 
487
            rps.append(f)
 
488
    return rps
 
489
 
 
490
def joinpath(p):
 
491
    assert isinstance(p, list)
 
492
    for f in p:
 
493
        if (f == '..') or (f == None) or (f == ''):
 
494
            raise BzrError("sorry, %r not allowed in path" % f)
 
495
    return os.path.join(*p)
 
496
 
 
497
 
 
498
def appendpath(p1, p2):
 
499
    if p1 == '':
 
500
        return p2
 
501
    else:
 
502
        return os.path.join(p1, p2)
 
503
    
 
504
 
 
505
def _read_config_value(name):
 
506
    """Read a config value from the file ~/.bzr.conf/<name>
 
507
    Return None if the file does not exist"""
 
508
    try:
 
509
        f = file(os.path.join(config_dir(), name), "r")
 
510
        return f.read().decode(bzrlib.user_encoding).rstrip("\r\n")
 
511
    except IOError, e:
 
512
        if e.errno == errno.ENOENT:
 
513
            return None
 
514
        raise
 
515
 
 
516
 
 
517
def hardlinks_good():
 
518
    return sys.platform not in ('win32', 'cygwin', 'darwin')
 
519
 
 
520
 
 
521
def link_or_copy(src, dest):
 
522
    """Hardlink a file, or copy it if it can't be hardlinked."""
 
523
    if not hardlinks_good():
 
524
        copyfile(src, dest)
 
525
        return
 
526
    try:
 
527
        os.link(src, dest)
 
528
    except (OSError, IOError), e:
 
529
        if e.errno != errno.EXDEV:
 
530
            raise
 
531
        copyfile(src, dest)