/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/transport/local.py

  • Committer: Robert Collins
  • Date: 2008-08-20 02:07:36 UTC
  • mfrom: (3640 +trunk)
  • mto: This revision was merged to the branch mainline in revision 3682.
  • Revision ID: robertc@robertcollins.net-20080820020736-g2xe4921zzxtymle
Merge bzr.dev

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/transport/local.py
1
1
# Copyright (C) 2005, 2006 Canonical Ltd
2
 
 
 
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
5
5
# the Free Software Foundation; either version 2 of the License, or
6
6
# (at your option) any later version.
7
 
 
 
7
#
8
8
# This program is distributed in the hope that it will be useful,
9
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
11
# GNU General Public License for more details.
12
 
 
 
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
20
20
"""
21
21
 
22
22
import os
 
23
from stat import ST_MODE, S_ISDIR, ST_SIZE, S_IMODE
 
24
import sys
 
25
 
 
26
from bzrlib.lazy_import import lazy_import
 
27
lazy_import(globals(), """
 
28
import errno
23
29
import shutil
24
 
import sys
25
 
from stat import ST_MODE, S_ISDIR, ST_SIZE
26
 
import tempfile
27
30
 
28
 
from bzrlib.osutils import (abspath, realpath, normpath, pathjoin, rename, 
29
 
                            check_legal_path, rmtree)
30
 
from bzrlib.symbol_versioning import warn
 
31
from bzrlib import (
 
32
    atomicfile,
 
33
    osutils,
 
34
    urlutils,
 
35
    symbol_versioning,
 
36
    transport,
 
37
    )
31
38
from bzrlib.trace import mutter
 
39
from bzrlib.transport import LateReadError
 
40
""")
 
41
 
32
42
from bzrlib.transport import Transport, Server
33
 
import bzrlib.urlutils as urlutils
 
43
 
 
44
 
 
45
_append_flags = os.O_CREAT | os.O_APPEND | os.O_WRONLY | osutils.O_BINARY
 
46
_put_non_atomic_flags = os.O_CREAT | os.O_TRUNC | os.O_WRONLY | osutils.O_BINARY
34
47
 
35
48
 
36
49
class LocalTransport(Transport):
39
52
    def __init__(self, base):
40
53
        """Set the base path where files will be stored."""
41
54
        if not base.startswith('file://'):
42
 
            warn("Instantiating LocalTransport with a filesystem path"
 
55
            symbol_versioning.warn(
 
56
                "Instantiating LocalTransport with a filesystem path"
43
57
                " is deprecated as of bzr 0.8."
44
58
                " Please use bzrlib.transport.get_transport()"
45
59
                " or pass in a file:// url.",
49
63
            base = urlutils.local_path_to_url(base)
50
64
        if base[-1] != '/':
51
65
            base = base + '/'
 
66
 
 
67
        # Special case : windows has no "root", but does have
 
68
        # multiple lettered drives inside it. #240910
 
69
        if sys.platform == 'win32' and base == 'file:///':
 
70
            base = ''
 
71
            self._local_base = ''
 
72
            super(LocalTransport, self).__init__(base)
 
73
            return
 
74
            
52
75
        super(LocalTransport, self).__init__(base)
53
76
        self._local_base = urlutils.local_path_from_url(base)
54
77
 
55
 
    def should_cache(self):
56
 
        return False
57
 
 
58
78
    def clone(self, offset=None):
59
79
        """Return a new LocalTransport with root at self.base + offset
60
80
        Because the local filesystem does not require a connection, 
63
83
        if offset is None:
64
84
            return LocalTransport(self.base)
65
85
        else:
66
 
            return LocalTransport(self.abspath(offset))
 
86
            abspath = self.abspath(offset)
 
87
            if abspath == 'file://':
 
88
                # fix upwalk for UNC path
 
89
                # when clone from //HOST/path updir recursively
 
90
                # we should stop at least at //HOST part
 
91
                abspath = self.base
 
92
            return LocalTransport(abspath)
67
93
 
68
94
    def _abspath(self, relative_reference):
69
95
        """Return a path for use in os calls.
79
105
    def abspath(self, relpath):
80
106
        """Return the full url to the given relative URL."""
81
107
        # TODO: url escape the result. RBC 20060523.
82
 
        assert isinstance(relpath, basestring), (type(relpath), relpath)
83
108
        # jam 20060426 Using normpath on the real path, because that ensures
84
109
        #       proper handling of stuff like
85
 
        path = normpath(pathjoin(self._local_base, urlutils.unescape(relpath)))
 
110
        path = osutils.normpath(osutils.pathjoin(
 
111
                    self._local_base, urlutils.unescape(relpath)))
86
112
        return urlutils.local_path_to_url(path)
87
113
 
88
114
    def local_abspath(self, relpath):
91
117
        This function only exists for the LocalTransport, since it is
92
118
        the only one that has direct local access.
93
119
        This is mostly for stuff like WorkingTree which needs to know
94
 
        the local working directory.
95
 
        
 
120
        the local working directory.  The returned path will always contain
 
121
        forward slashes as the path separator, regardless of the platform.
 
122
 
96
123
        This function is quite expensive: it calls realpath which resolves
97
124
        symlinks.
98
125
        """
107
134
            abspath = u'.'
108
135
 
109
136
        return urlutils.file_relpath(
110
 
            urlutils.strip_trailing_slash(self.base), 
 
137
            urlutils.strip_trailing_slash(self.base),
111
138
            urlutils.strip_trailing_slash(abspath))
112
139
 
113
140
    def has(self, relpath):
118
145
 
119
146
        :param relpath: The relative path to the file
120
147
        """
 
148
        canonical_url = self.abspath(relpath)
 
149
        if canonical_url in transport._file_streams:
 
150
            transport._file_streams[canonical_url].flush()
121
151
        try:
122
152
            path = self._abspath(relpath)
123
153
            return open(path, 'rb')
124
154
        except (IOError, OSError),e:
125
 
            self._translate_error(e, path)
126
 
 
127
 
    def put(self, relpath, f, mode=None):
128
 
        """Copy the file-like or string object into the location.
129
 
 
130
 
        :param relpath: Location to put the contents, relative to base.
131
 
        :param f:       File-like or string object.
132
 
        """
133
 
        from bzrlib.atomicfile import AtomicFile
134
 
 
135
 
        path = relpath
136
 
        try:
137
 
            path = self._abspath(relpath)
138
 
            check_legal_path(path)
139
 
            fp = AtomicFile(path, 'wb', new_mode=mode)
140
 
        except (IOError, OSError),e:
141
 
            self._translate_error(e, path)
142
 
        try:
143
 
            self._pump(f, fp)
144
 
            fp.commit()
145
 
        finally:
146
 
            fp.close()
 
155
            if e.errno == errno.EISDIR:
 
156
                return LateReadError(relpath)
 
157
            self._translate_error(e, path)
 
158
 
 
159
    def put_file(self, relpath, f, mode=None):
 
160
        """Copy the file-like object into the location.
 
161
 
 
162
        :param relpath: Location to put the contents, relative to base.
 
163
        :param f:       File-like object.
 
164
        :param mode: The mode for the newly created file, 
 
165
                     None means just use the default
 
166
        """
 
167
 
 
168
        path = relpath
 
169
        try:
 
170
            path = self._abspath(relpath)
 
171
            osutils.check_legal_path(path)
 
172
            fp = atomicfile.AtomicFile(path, 'wb', new_mode=mode)
 
173
        except (IOError, OSError),e:
 
174
            self._translate_error(e, path)
 
175
        try:
 
176
            length = self._pump(f, fp)
 
177
            fp.commit()
 
178
        finally:
 
179
            fp.close()
 
180
        return length
 
181
 
 
182
    def put_bytes(self, relpath, bytes, mode=None):
 
183
        """Copy the string into the location.
 
184
 
 
185
        :param relpath: Location to put the contents, relative to base.
 
186
        :param bytes:   String
 
187
        """
 
188
 
 
189
        path = relpath
 
190
        try:
 
191
            path = self._abspath(relpath)
 
192
            osutils.check_legal_path(path)
 
193
            fp = atomicfile.AtomicFile(path, 'wb', new_mode=mode)
 
194
        except (IOError, OSError),e:
 
195
            self._translate_error(e, path)
 
196
        try:
 
197
            fp.write(bytes)
 
198
            fp.commit()
 
199
        finally:
 
200
            fp.close()
 
201
 
 
202
    def _put_non_atomic_helper(self, relpath, writer,
 
203
                               mode=None,
 
204
                               create_parent_dir=False,
 
205
                               dir_mode=None):
 
206
        """Common functionality information for the put_*_non_atomic.
 
207
 
 
208
        This tracks all the create_parent_dir stuff.
 
209
 
 
210
        :param relpath: the path we are putting to.
 
211
        :param writer: A function that takes an os level file descriptor
 
212
            and writes whatever data it needs to write there.
 
213
        :param mode: The final file mode.
 
214
        :param create_parent_dir: Should we be creating the parent directory
 
215
            if it doesn't exist?
 
216
        """
 
217
        abspath = self._abspath(relpath)
 
218
        if mode is None:
 
219
            # os.open() will automatically use the umask
 
220
            local_mode = 0666
 
221
        else:
 
222
            local_mode = mode
 
223
        try:
 
224
            fd = os.open(abspath, _put_non_atomic_flags, local_mode)
 
225
        except (IOError, OSError),e:
 
226
            # We couldn't create the file, maybe we need to create
 
227
            # the parent directory, and try again
 
228
            if (not create_parent_dir
 
229
                or e.errno not in (errno.ENOENT,errno.ENOTDIR)):
 
230
                self._translate_error(e, relpath)
 
231
            parent_dir = os.path.dirname(abspath)
 
232
            if not parent_dir:
 
233
                self._translate_error(e, relpath)
 
234
            self._mkdir(parent_dir, mode=dir_mode)
 
235
            # We created the parent directory, lets try to open the
 
236
            # file again
 
237
            try:
 
238
                fd = os.open(abspath, _put_non_atomic_flags, local_mode)
 
239
            except (IOError, OSError), e:
 
240
                self._translate_error(e, relpath)
 
241
        try:
 
242
            st = os.fstat(fd)
 
243
            if mode is not None and mode != S_IMODE(st.st_mode):
 
244
                # Because of umask, we may still need to chmod the file.
 
245
                # But in the general case, we won't have to
 
246
                os.chmod(abspath, mode)
 
247
            writer(fd)
 
248
        finally:
 
249
            os.close(fd)
 
250
 
 
251
    def put_file_non_atomic(self, relpath, f, mode=None,
 
252
                            create_parent_dir=False,
 
253
                            dir_mode=None):
 
254
        """Copy the file-like object into the target location.
 
255
 
 
256
        This function is not strictly safe to use. It is only meant to
 
257
        be used when you already know that the target does not exist.
 
258
        It is not safe, because it will open and truncate the remote
 
259
        file. So there may be a time when the file has invalid contents.
 
260
 
 
261
        :param relpath: The remote location to put the contents.
 
262
        :param f:       File-like object.
 
263
        :param mode:    Possible access permissions for new file.
 
264
                        None means do not set remote permissions.
 
265
        :param create_parent_dir: If we cannot create the target file because
 
266
                        the parent directory does not exist, go ahead and
 
267
                        create it, and then try again.
 
268
        """
 
269
        def writer(fd):
 
270
            self._pump_to_fd(f, fd)
 
271
        self._put_non_atomic_helper(relpath, writer, mode=mode,
 
272
                                    create_parent_dir=create_parent_dir,
 
273
                                    dir_mode=dir_mode)
 
274
 
 
275
    def put_bytes_non_atomic(self, relpath, bytes, mode=None,
 
276
                             create_parent_dir=False, dir_mode=None):
 
277
        def writer(fd):
 
278
            os.write(fd, bytes)
 
279
        self._put_non_atomic_helper(relpath, writer, mode=mode,
 
280
                                    create_parent_dir=create_parent_dir,
 
281
                                    dir_mode=dir_mode)
147
282
 
148
283
    def iter_files_recursive(self):
149
284
        """Iter the relative paths of files in the transports sub-tree."""
157
292
            else:
158
293
                yield relpath
159
294
 
 
295
    def _mkdir(self, abspath, mode=None):
 
296
        """Create a real directory, filtering through mode"""
 
297
        if mode is None:
 
298
            # os.mkdir() will filter through umask
 
299
            local_mode = 0777
 
300
        else:
 
301
            local_mode = mode
 
302
        try:
 
303
            os.mkdir(abspath, local_mode)
 
304
            if mode is not None:
 
305
                # It is probably faster to just do the chmod, rather than
 
306
                # doing a stat, and then trying to compare
 
307
                os.chmod(abspath, mode)
 
308
        except (IOError, OSError),e:
 
309
            self._translate_error(e, abspath)
 
310
 
160
311
    def mkdir(self, relpath, mode=None):
161
312
        """Create a directory at the given path."""
162
 
        path = relpath
 
313
        self._mkdir(self._abspath(relpath), mode=mode)
 
314
 
 
315
    def open_write_stream(self, relpath, mode=None):
 
316
        """See Transport.open_write_stream."""
 
317
        # initialise the file
 
318
        self.put_bytes_non_atomic(relpath, "", mode=mode)
 
319
        abspath = self._abspath(relpath)
 
320
        handle = open(abspath, 'wb')
 
321
        if mode is not None:
 
322
            self._check_mode_and_size(abspath, handle.fileno(), mode)
 
323
        transport._file_streams[self.abspath(relpath)] = handle
 
324
        return transport.FileFileStream(self, relpath, handle)
 
325
 
 
326
    def _get_append_file(self, relpath, mode=None):
 
327
        """Call os.open() for the given relpath"""
 
328
        file_abspath = self._abspath(relpath)
 
329
        if mode is None:
 
330
            # os.open() will automatically use the umask
 
331
            local_mode = 0666
 
332
        else:
 
333
            local_mode = mode
163
334
        try:
164
 
            path = self._abspath(relpath)
165
 
            os.mkdir(path)
166
 
            if mode is not None:
167
 
                os.chmod(path, mode)
 
335
            return file_abspath, os.open(file_abspath, _append_flags, local_mode)
168
336
        except (IOError, OSError),e:
169
 
            self._translate_error(e, path)
170
 
 
171
 
    def append(self, relpath, f, mode=None):
 
337
            self._translate_error(e, relpath)
 
338
 
 
339
    def _check_mode_and_size(self, file_abspath, fd, mode=None):
 
340
        """Check the mode of the file, and return the current size"""
 
341
        st = os.fstat(fd)
 
342
        if mode is not None and mode != S_IMODE(st.st_mode):
 
343
            # Because of umask, we may still need to chmod the file.
 
344
            # But in the general case, we won't have to
 
345
            os.chmod(file_abspath, mode)
 
346
        return st.st_size
 
347
 
 
348
    def append_file(self, relpath, f, mode=None):
172
349
        """Append the text in the file-like object into the final location."""
173
 
        abspath = self._abspath(relpath)
174
 
        try:
175
 
            fp = open(abspath, 'ab')
176
 
            # FIXME should we really be chmodding every time ? RBC 20060523
177
 
            if mode is not None:
178
 
                os.chmod(abspath, mode)
179
 
        except (IOError, OSError),e:
180
 
            self._translate_error(e, relpath)
181
 
        # win32 workaround (tell on an unwritten file returns 0)
182
 
        fp.seek(0, 2)
183
 
        result = fp.tell()
184
 
        self._pump(f, fp)
185
 
        return result
 
350
        file_abspath, fd = self._get_append_file(relpath, mode=mode)
 
351
        try:
 
352
            result = self._check_mode_and_size(file_abspath, fd, mode=mode)
 
353
            self._pump_to_fd(f, fd)
 
354
        finally:
 
355
            os.close(fd)
 
356
        return result
 
357
 
 
358
    def append_bytes(self, relpath, bytes, mode=None):
 
359
        """Append the text in the string into the final location."""
 
360
        file_abspath, fd = self._get_append_file(relpath, mode=mode)
 
361
        try:
 
362
            result = self._check_mode_and_size(file_abspath, fd, mode=mode)
 
363
            os.write(fd, bytes)
 
364
        finally:
 
365
            os.close(fd)
 
366
        return result
 
367
 
 
368
    def _pump_to_fd(self, fromfile, to_fd):
 
369
        """Copy contents of one file to another."""
 
370
        BUFSIZE = 32768
 
371
        while True:
 
372
            b = fromfile.read(BUFSIZE)
 
373
            if not b:
 
374
                break
 
375
            os.write(to_fd, b)
186
376
 
187
377
    def copy(self, rel_from, rel_to):
188
378
        """Copy the item at rel_from to the location at rel_to"""
211
401
 
212
402
        try:
213
403
            # this version will delete the destination if necessary
214
 
            rename(path_from, path_to)
 
404
            osutils.rename(path_from, path_to)
215
405
        except (IOError, OSError),e:
216
406
            # TODO: What about path_to?
217
407
            self._translate_error(e, path_from)
225
415
        except (IOError, OSError),e:
226
416
            self._translate_error(e, path)
227
417
 
 
418
    def external_url(self):
 
419
        """See bzrlib.transport.Transport.external_url."""
 
420
        # File URL's are externally usable.
 
421
        return self.base
 
422
 
228
423
    def copy_to(self, relpaths, other, mode=None, pb=None):
229
424
        """Copy a set of entries from self into another Transport.
230
425
 
262
457
        """
263
458
        path = self._abspath(relpath)
264
459
        try:
265
 
            return [urlutils.escape(entry) for entry in os.listdir(path)]
 
460
            entries = os.listdir(path)
266
461
        except (IOError, OSError), e:
267
462
            self._translate_error(e, path)
 
463
        return [urlutils.escape(entry) for entry in entries]
268
464
 
269
465
    def stat(self, relpath):
270
466
        """Return the stat information for a file.
314
510
            return True
315
511
 
316
512
 
317
 
class ScratchTransport(LocalTransport):
318
 
    """A transport that works in a temporary dir and cleans up after itself.
 
513
class EmulatedWin32LocalTransport(LocalTransport):
 
514
    """Special transport for testing Win32 [UNC] paths on non-windows"""
 
515
 
 
516
    def __init__(self, base):
 
517
        if base[-1] != '/':
 
518
            base = base + '/'
 
519
        super(LocalTransport, self).__init__(base)
 
520
        self._local_base = urlutils._win32_local_path_from_url(base)
 
521
 
 
522
    def abspath(self, relpath):
 
523
        path = osutils.normpath(osutils.pathjoin(
 
524
                    self._local_base, urlutils.unescape(relpath)))
 
525
        return urlutils._win32_local_path_to_url(path)
 
526
 
 
527
    def clone(self, offset=None):
 
528
        """Return a new LocalTransport with root at self.base + offset
 
529
        Because the local filesystem does not require a connection, 
 
530
        we can just return a new object.
 
531
        """
 
532
        if offset is None:
 
533
            return EmulatedWin32LocalTransport(self.base)
 
534
        else:
 
535
            abspath = self.abspath(offset)
 
536
            if abspath == 'file://':
 
537
                # fix upwalk for UNC path
 
538
                # when clone from //HOST/path updir recursively
 
539
                # we should stop at least at //HOST part
 
540
                abspath = self.base
 
541
            return EmulatedWin32LocalTransport(abspath)
 
542
 
 
543
 
 
544
class LocalURLServer(Server):
 
545
    """A pretend server for local transports, using file:// urls.
319
546
    
320
 
    The dir only exists for the lifetime of the Python object.
321
 
    Obviously you should not put anything precious in it.
 
547
    Of course no actual server is required to access the local filesystem, so
 
548
    this just exists to tell the test code how to get to it.
322
549
    """
323
550
 
324
 
    def __init__(self, base=None):
325
 
        if base is None:
326
 
            base = tempfile.mkdtemp()
327
 
        super(ScratchTransport, self).__init__(base)
328
 
 
329
 
    def __del__(self):
330
 
        rmtree(self.base, ignore_errors=True)
331
 
        mutter("%r destroyed" % self)
332
 
 
333
 
 
334
 
class LocalRelpathServer(Server):
335
 
    """A pretend server for local transports, using relpaths."""
336
 
 
337
 
    def get_url(self):
338
 
        """See Transport.Server.get_url."""
339
 
        return "."
340
 
 
341
 
 
342
 
class LocalAbspathServer(Server):
343
 
    """A pretend server for local transports, using absolute paths."""
344
 
 
345
 
    def get_url(self):
346
 
        """See Transport.Server.get_url."""
347
 
        return os.path.abspath("")
348
 
 
349
 
 
350
 
class LocalURLServer(Server):
351
 
    """A pretend server for local transports, using file:// urls."""
 
551
    def setUp(self):
 
552
        """Setup the server to service requests.
 
553
        
 
554
        :param decorated_transport: ignored by this implementation.
 
555
        """
352
556
 
353
557
    def get_url(self):
354
558
        """See Transport.Server.get_url."""
357
561
 
358
562
def get_test_permutations():
359
563
    """Return the permutations to be used in testing."""
360
 
    return [(LocalTransport, LocalRelpathServer),
361
 
            (LocalTransport, LocalAbspathServer),
 
564
    return [
362
565
            (LocalTransport, LocalURLServer),
363
566
            ]