/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/tree.py

  • Committer: mbp at sourcefrog
  • Date: 2005-04-06 02:20:40 UTC
  • Revision ID: mbp@sourcefrog.net-20050406022039-dfbff590495c81193a32fd8b
- better output from test.sh- test.sh exercises cat command (currently broken)

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005 Canonical Ltd
 
2
 
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
 
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
 
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
"""Tree classes, representing directory at point in time.
 
18
"""
 
19
 
 
20
from sets import Set
 
21
import os.path, os, fnmatch
 
22
 
 
23
from osutils import pumpfile, compare_files, filesize, quotefn, sha_file, \
 
24
     joinpath, splitpath, appendpath, isdir, isfile, file_kind, fingerprint_file
 
25
import errno
 
26
from stat import S_ISREG, S_ISDIR, ST_MODE, ST_SIZE
 
27
 
 
28
from inventory import Inventory
 
29
from trace import mutter, note
 
30
from errors import bailout
 
31
import branch
 
32
 
 
33
import bzrlib
 
34
 
 
35
class Tree:
 
36
    """Abstract file tree.
 
37
 
 
38
    There are several subclasses:
 
39
    
 
40
    * `WorkingTree` exists as files on disk editable by the user.
 
41
 
 
42
    * `RevisionTree` is a tree as recorded at some point in the past.
 
43
 
 
44
    * `EmptyTree`
 
45
 
 
46
    Trees contain an `Inventory` object, and also know how to retrieve
 
47
    file texts mentioned in the inventory, either from a working
 
48
    directory or from a store.
 
49
 
 
50
    It is possible for trees to contain files that are not described
 
51
    in their inventory or vice versa; for this use `filenames()`.
 
52
 
 
53
    Trees can be compared, etc, regardless of whether they are working
 
54
    trees or versioned trees.
 
55
    """
 
56
    
 
57
    def has_filename(self, filename):
 
58
        """True if the tree has given filename."""
 
59
        raise NotImplementedError()
 
60
 
 
61
    def has_id(self, file_id):
 
62
        return self.inventory.has_id(file_id)
 
63
 
 
64
    def id_set(self):
 
65
        """Return set of all ids in this tree."""
 
66
        return self.inventory.id_set()
 
67
 
 
68
    def id2path(self, file_id):
 
69
        return self.inventory.id2path(file_id)
 
70
 
 
71
    def _get_inventory(self):
 
72
        return self._inventory
 
73
 
 
74
    inventory = property(_get_inventory,
 
75
                         doc="Inventory of this Tree")
 
76
 
 
77
    def _check_retrieved(self, ie, f):
 
78
        fp = fingerprint_file(f)
 
79
        f.seek(0)
 
80
        
 
81
        if ie.text_size is not None:
 
82
            if ie.text_size != fp['size']:
 
83
                bailout("mismatched size for file %r in %r" % (ie.file_id, self._store),
 
84
                        ["inventory expects %d bytes" % ie.text_size,
 
85
                         "file is actually %d bytes" % fp['size'],
 
86
                         "store is probably damaged/corrupt"])
 
87
 
 
88
        if ie.text_sha1 != fp['sha1']:
 
89
            bailout("wrong SHA-1 for file %r in %r" % (ie.file_id, self._store),
 
90
                    ["inventory expects %s" % ie.text_sha1,
 
91
                     "file is actually %s" % fp['sha1'],
 
92
                     "store is probably damaged/corrupt"])
 
93
 
 
94
 
 
95
    def print_file(self, fileid):
 
96
        """Print file with id `fileid` to stdout."""
 
97
        import sys
 
98
        pumpfile(self.get_file(fileid), sys.stdout)
 
99
        
 
100
        
 
101
    def export(self, dest):        
 
102
        """Export this tree to a new directory.
 
103
 
 
104
        `dest` should not exist, and will be created holding the
 
105
        contents of this tree.
 
106
 
 
107
        :todo: To handle subdirectories we need to create the
 
108
               directories first.
 
109
 
 
110
        :note: If the export fails, the destination directory will be
 
111
               left in a half-assed state.
 
112
        """
 
113
        os.mkdir(dest)
 
114
        mutter('export version %r' % self)
 
115
        inv = self.inventory
 
116
        for dp, ie in inv.iter_entries():
 
117
            kind = ie.kind
 
118
            fullpath = appendpath(dest, dp)
 
119
            if kind == 'directory':
 
120
                os.mkdir(fullpath)
 
121
            elif kind == 'file':
 
122
                pumpfile(self.get_file(ie.file_id), file(fullpath, 'wb'))
 
123
            else:
 
124
                bailout("don't know how to export {%s} of kind %r", fid, kind)
 
125
            mutter("  export {%s} kind %s to %s" % (ie.file_id, kind, fullpath))
 
126
 
 
127
 
 
128
 
 
129
class WorkingTree(Tree):
 
130
    """Working copy tree.
 
131
 
 
132
    The inventory is held in the `Branch` working-inventory, and the
 
133
    files are in a directory on disk.
 
134
 
 
135
    It is possible for a `WorkingTree` to have a filename which is
 
136
    not listed in the Inventory and vice versa.
 
137
    """
 
138
    def __init__(self, basedir, inv):
 
139
        self._inventory = inv
 
140
        self.basedir = basedir
 
141
        self.path2id = inv.path2id
 
142
 
 
143
    def __repr__(self):
 
144
        return "<%s of %s>" % (self.__class__.__name__,
 
145
                               self.basedir)
 
146
 
 
147
    def abspath(self, filename):
 
148
        return os.path.join(self.basedir, filename)
 
149
 
 
150
    def has_filename(self, filename):
 
151
        return os.path.exists(self.abspath(filename))
 
152
 
 
153
    def get_file(self, file_id):
 
154
        return self.get_file_byname(self.id2path(file_id))
 
155
 
 
156
    def get_file_byname(self, filename):
 
157
        return file(self.abspath(filename), 'rb')
 
158
 
 
159
    def _get_store_filename(self, file_id):
 
160
        return self.abspath(self.id2path(file_id))
 
161
 
 
162
    def has_id(self, file_id):
 
163
        # files that have been deleted are excluded
 
164
        if not self.inventory.has_id(file_id):
 
165
            return False
 
166
        return os.access(self.abspath(self.inventory.id2path(file_id)), os.F_OK)
 
167
 
 
168
    def get_file_size(self, file_id):
 
169
        return os.stat(self._get_store_filename(file_id))[ST_SIZE]
 
170
 
 
171
    def get_file_sha1(self, file_id):
 
172
        f = self.get_file(file_id)
 
173
        return sha_file(f)
 
174
 
 
175
 
 
176
    def file_class(self, filename):
 
177
        if self.path2id(filename):
 
178
            return 'V'
 
179
        elif self.is_ignored(filename):
 
180
            return 'I'
 
181
        else:
 
182
            return '?'
 
183
 
 
184
 
 
185
    def list_files(self):
 
186
        """Recursively list all files as (path, class, kind, id).
 
187
 
 
188
        Lists, but does not descend into unversioned directories.
 
189
 
 
190
        This does not include files that have been deleted in this
 
191
        tree.
 
192
 
 
193
        Skips the control directory.
 
194
        """
 
195
        inv = self.inventory
 
196
 
 
197
        def descend(from_dir, from_dir_id, dp):
 
198
            ls = os.listdir(dp)
 
199
            ls.sort()
 
200
            for f in ls:
 
201
                ## TODO: If we find a subdirectory with its own .bzr
 
202
                ## directory, then that is a separate tree and we
 
203
                ## should exclude it.
 
204
                if bzrlib.BZRDIR == f:
 
205
                    continue
 
206
 
 
207
                # path within tree
 
208
                fp = appendpath(from_dir, f)
 
209
 
 
210
                # absolute path
 
211
                fap = appendpath(dp, f)
 
212
                
 
213
                f_ie = inv.get_child(from_dir_id, f)
 
214
                if f_ie:
 
215
                    c = 'V'
 
216
                elif self.is_ignored(fp):
 
217
                    c = 'I'
 
218
                else:
 
219
                    c = '?'
 
220
 
 
221
                fk = file_kind(fap)
 
222
 
 
223
                if f_ie:
 
224
                    if f_ie.kind != fk:
 
225
                        bailout("file %r entered as kind %r id %r, now of kind %r"
 
226
                                % (fap, f_ie.kind, f_ie.file_id, fk))
 
227
 
 
228
                yield fp, c, fk, (f_ie and f_ie.file_id)
 
229
 
 
230
                if fk != 'directory':
 
231
                    continue
 
232
 
 
233
                if c != 'V':
 
234
                    # don't descend unversioned directories
 
235
                    continue
 
236
                
 
237
                for ff in descend(fp, f_ie.file_id, fap):
 
238
                    yield ff
 
239
 
 
240
        for f in descend('', None, self.basedir):
 
241
            yield f
 
242
            
 
243
 
 
244
 
 
245
    def unknowns(self):
 
246
        for subp in self.extras():
 
247
            if not self.is_ignored(subp):
 
248
                yield subp
 
249
 
 
250
 
 
251
    def extras(self):
 
252
        """Yield all unknown files in this WorkingTree.
 
253
 
 
254
        If there are any unknown directories then only the directory is
 
255
        returned, not all its children.  But if there are unknown files
 
256
        under a versioned subdirectory, they are returned.
 
257
 
 
258
        Currently returned depth-first, sorted by name within directories.
 
259
        """
 
260
        ## TODO: Work from given directory downwards
 
261
        
 
262
        for path, dir_entry in self.inventory.directories():
 
263
            mutter("search for unknowns in %r" % path)
 
264
            dirabs = self.abspath(path)
 
265
            if not isdir(dirabs):
 
266
                # e.g. directory deleted
 
267
                continue
 
268
 
 
269
            fl = []
 
270
            for subf in os.listdir(dirabs):
 
271
                if (subf != '.bzr'
 
272
                    and (subf not in dir_entry.children)):
 
273
                    fl.append(subf)
 
274
            
 
275
            fl.sort()
 
276
            for subf in fl:
 
277
                subp = appendpath(path, subf)
 
278
                yield subp
 
279
 
 
280
 
 
281
    def ignored_files(self):
 
282
        """Yield list of PATH, IGNORE_PATTERN"""
 
283
        for subp in self.extras():
 
284
            pat = self.is_ignored(subp)
 
285
            if pat != None:
 
286
                yield subp, pat
 
287
 
 
288
 
 
289
    def get_ignore_list(self):
 
290
        """Return list of ignore patterns.
 
291
 
 
292
        Cached in the Tree object after the first call.
 
293
        """
 
294
        if hasattr(self, '_ignorelist'):
 
295
            return self._ignorelist
 
296
 
 
297
        l = bzrlib.DEFAULT_IGNORE[:]
 
298
        if self.has_filename(bzrlib.IGNORE_FILENAME):
 
299
            f = self.get_file_byname(bzrlib.IGNORE_FILENAME)
 
300
            l.extend([line.rstrip("\n\r") for line in f.readlines()])
 
301
        self._ignorelist = l
 
302
        return l
 
303
 
 
304
 
 
305
    def is_ignored(self, filename):
 
306
        """Check whether the filename matches an ignore pattern.
 
307
 
 
308
        Patterns containing '/' need to match the whole path; others
 
309
        match against only the last component.
 
310
 
 
311
        If the file is ignored, returns the pattern which caused it to
 
312
        be ignored, otherwise None.  So this can simply be used as a
 
313
        boolean if desired."""
 
314
 
 
315
        ## TODO: Use '**' to match directories, and other extended globbing stuff from cvs/rsync.
 
316
        
 
317
        for pat in self.get_ignore_list():
 
318
            if '/' in pat:
 
319
                # as a special case, you can put ./ at the start of a pattern;
 
320
                # this is good to match in the top-level only;
 
321
                if pat[:2] == './':
 
322
                    newpat = pat[2:]
 
323
                else:
 
324
                    newpat = pat
 
325
                if fnmatch.fnmatchcase(filename, newpat):
 
326
                    return pat
 
327
            else:
 
328
                if fnmatch.fnmatchcase(splitpath(filename)[-1], pat):
 
329
                    return pat
 
330
        return None
 
331
        
 
332
 
 
333
        
 
334
        
 
335
 
 
336
class RevisionTree(Tree):
 
337
    """Tree viewing a previous revision.
 
338
 
 
339
    File text can be retrieved from the text store.
 
340
 
 
341
    :todo: Some kind of `__repr__` method, but a good one
 
342
           probably means knowing the branch and revision number,
 
343
           or at least passing a description to the constructor.
 
344
    """
 
345
    
 
346
    def __init__(self, store, inv):
 
347
        self._store = store
 
348
        self._inventory = inv
 
349
 
 
350
    def get_file(self, file_id):
 
351
        ie = self._inventory[file_id]
 
352
        f = self._store[ie.text_id]
 
353
        mutter("  get fileid{%s} from %r" % (file_id, self))
 
354
        self._check_retrieved(ie, f)
 
355
        return f
 
356
 
 
357
    def get_file_size(self, file_id):
 
358
        return self._inventory[file_id].text_size
 
359
 
 
360
    def get_file_sha1(self, file_id):
 
361
        ie = self._inventory[file_id]
 
362
        return ie.text_sha1
 
363
 
 
364
    def has_filename(self, filename):
 
365
        return bool(self.inventory.path2id(filename))
 
366
 
 
367
    def list_files(self):
 
368
        # The only files returned by this are those from the version
 
369
        for path, entry in self.inventory.iter_entries():
 
370
            yield path, 'V', entry.kind, entry.file_id
 
371
 
 
372
 
 
373
class EmptyTree(Tree):
 
374
    def __init__(self):
 
375
        self._inventory = Inventory()
 
376
 
 
377
    def has_filename(self, filename):
 
378
        return False
 
379
 
 
380
    def list_files(self):
 
381
        if False:  # just to make it a generator
 
382
            yield None
 
383
    
 
384
 
 
385
 
 
386
######################################################################
 
387
# diff
 
388
 
 
389
# TODO: Merge these two functions into a single one that can operate
 
390
# on either a whole tree or a set of files.
 
391
 
 
392
# TODO: Return the diff in order by filename, not by category or in
 
393
# random order.  Can probably be done by lock-stepping through the
 
394
# filenames from both trees.
 
395
 
 
396
 
 
397
def file_status(filename, old_tree, new_tree):
 
398
    """Return single-letter status, old and new names for a file.
 
399
 
 
400
    The complexity here is in deciding how to represent renames;
 
401
    many complex cases are possible.
 
402
    """
 
403
    old_inv = old_tree.inventory
 
404
    new_inv = new_tree.inventory
 
405
    new_id = new_inv.path2id(filename)
 
406
    old_id = old_inv.path2id(filename)
 
407
 
 
408
    if not new_id and not old_id:
 
409
        # easy: doesn't exist in either; not versioned at all
 
410
        if new_tree.is_ignored(filename):
 
411
            return 'I', None, None
 
412
        else:
 
413
            return '?', None, None
 
414
    elif new_id:
 
415
        # There is now a file of this name, great.
 
416
        pass
 
417
    else:
 
418
        # There is no longer a file of this name, but we can describe
 
419
        # what happened to the file that used to have
 
420
        # this name.  There are two possibilities: either it was
 
421
        # deleted entirely, or renamed.
 
422
        assert old_id
 
423
        if new_inv.has_id(old_id):
 
424
            return 'X', old_inv.id2path(old_id), new_inv.id2path(old_id)
 
425
        else:
 
426
            return 'D', old_inv.id2path(old_id), None
 
427
 
 
428
    # if the file_id is new in this revision, it is added
 
429
    if new_id and not old_inv.has_id(new_id):
 
430
        return 'A'
 
431
 
 
432
    # if there used to be a file of this name, but that ID has now
 
433
    # disappeared, it is deleted
 
434
    if old_id and not new_inv.has_id(old_id):
 
435
        return 'D'
 
436
 
 
437
    return 'wtf?'
 
438
 
 
439
    
 
440
 
 
441
def find_renames(old_inv, new_inv):
 
442
    for file_id in old_inv:
 
443
        if file_id not in new_inv:
 
444
            continue
 
445
        old_name = old_inv.id2path(file_id)
 
446
        new_name = new_inv.id2path(file_id)
 
447
        if old_name != new_name:
 
448
            yield (old_name, new_name)
 
449