/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/inventory.py

  • Committer: Martin Pool
  • Date: 2005-05-25 03:27:02 UTC
  • Revision ID: mbp@sourcefrog.net-20050525032702-395f038adb33c235
- clean up statcache code
- stat files in order by inum
- report on added/deleted files

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# (C) 2005 Canonical Ltd
 
2
 
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
 
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
 
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
 
 
18
# This should really be an id randomly assigned when the tree is
 
19
# created, but it's not for now.
 
20
ROOT_ID = "TREE_ROOT"
 
21
 
 
22
 
 
23
import sys, os.path, types, re
 
24
 
 
25
try:
 
26
    from cElementTree import Element, ElementTree, SubElement
 
27
except ImportError:
 
28
    from elementtree.ElementTree import Element, ElementTree, SubElement
 
29
 
 
30
from xml import XMLMixin
 
31
from errors import bailout, BzrError, BzrCheckError
 
32
 
 
33
import bzrlib
 
34
from bzrlib.osutils import uuid, quotefn, splitpath, joinpath, appendpath
 
35
from bzrlib.trace import mutter
 
36
 
 
37
class InventoryEntry(XMLMixin):
 
38
    """Description of a versioned file.
 
39
 
 
40
    An InventoryEntry has the following fields, which are also
 
41
    present in the XML inventory-entry element:
 
42
 
 
43
    * *file_id*
 
44
    * *name*: (only the basename within the directory, must not
 
45
      contain slashes)
 
46
    * *kind*: "directory" or "file"
 
47
    * *directory_id*: (if absent/null means the branch root directory)
 
48
    * *text_sha1*: only for files
 
49
    * *text_size*: in bytes, only for files 
 
50
    * *text_id*: identifier for the text version, only for files
 
51
 
 
52
    InventoryEntries can also exist inside a WorkingTree
 
53
    inventory, in which case they are not yet bound to a
 
54
    particular revision of the file.  In that case the text_sha1,
 
55
    text_size and text_id are absent.
 
56
 
 
57
 
 
58
    >>> i = Inventory()
 
59
    >>> i.path2id('')
 
60
    'TREE_ROOT'
 
61
    >>> i.add(InventoryEntry('123', 'src', 'directory', ROOT_ID))
 
62
    >>> i.add(InventoryEntry('2323', 'hello.c', 'file', parent_id='123'))
 
63
    >>> for j in i.iter_entries():
 
64
    ...   print j
 
65
    ... 
 
66
    ('src', InventoryEntry('123', 'src', kind='directory', parent_id='TREE_ROOT'))
 
67
    ('src/hello.c', InventoryEntry('2323', 'hello.c', kind='file', parent_id='123'))
 
68
    >>> i.add(InventoryEntry('2323', 'bye.c', 'file', '123'))
 
69
    Traceback (most recent call last):
 
70
    ...
 
71
    BzrError: ('inventory already contains entry with id {2323}', [])
 
72
    >>> i.add(InventoryEntry('2324', 'bye.c', 'file', '123'))
 
73
    >>> i.add(InventoryEntry('2325', 'wibble', 'directory', '123'))
 
74
    >>> i.path2id('src/wibble')
 
75
    '2325'
 
76
    >>> '2325' in i
 
77
    True
 
78
    >>> i.add(InventoryEntry('2326', 'wibble.c', 'file', '2325'))
 
79
    >>> i['2326']
 
80
    InventoryEntry('2326', 'wibble.c', kind='file', parent_id='2325')
 
81
    >>> for j in i.iter_entries():
 
82
    ...     print j[0]
 
83
    ...     assert i.path2id(j[0])
 
84
    ... 
 
85
    src
 
86
    src/bye.c
 
87
    src/hello.c
 
88
    src/wibble
 
89
    src/wibble/wibble.c
 
90
    >>> i.id2path('2326')
 
91
    'src/wibble/wibble.c'
 
92
 
 
93
    TODO: Maybe also keep the full path of the entry, and the children?
 
94
           But those depend on its position within a particular inventory, and
 
95
           it would be nice not to need to hold the backpointer here.
 
96
    """
 
97
 
 
98
    # TODO: split InventoryEntry into subclasses for files,
 
99
    # directories, etc etc.
 
100
 
 
101
    text_sha1 = None
 
102
    text_size = None
 
103
    
 
104
    def __init__(self, file_id, name, kind, parent_id, text_id=None):
 
105
        """Create an InventoryEntry
 
106
        
 
107
        The filename must be a single component, relative to the
 
108
        parent directory; it cannot be a whole path or relative name.
 
109
 
 
110
        >>> e = InventoryEntry('123', 'hello.c', 'file', ROOT_ID)
 
111
        >>> e.name
 
112
        'hello.c'
 
113
        >>> e.file_id
 
114
        '123'
 
115
        >>> e = InventoryEntry('123', 'src/hello.c', 'file', ROOT_ID)
 
116
        Traceback (most recent call last):
 
117
        BzrCheckError: InventoryEntry name 'src/hello.c' is invalid
 
118
        """
 
119
        if '/' in name or '\\' in name:
 
120
            raise BzrCheckError('InventoryEntry name %r is invalid' % name)
 
121
        
 
122
        self.file_id = file_id
 
123
        self.name = name
 
124
        self.kind = kind
 
125
        self.text_id = text_id
 
126
        self.parent_id = parent_id
 
127
        if kind == 'directory':
 
128
            self.children = {}
 
129
        elif kind == 'file':
 
130
            pass
 
131
        else:
 
132
            raise BzrError("unhandled entry kind %r" % kind)
 
133
 
 
134
 
 
135
 
 
136
    def sorted_children(self):
 
137
        l = self.children.items()
 
138
        l.sort()
 
139
        return l
 
140
 
 
141
 
 
142
    def copy(self):
 
143
        other = InventoryEntry(self.file_id, self.name, self.kind,
 
144
                               self.parent_id, text_id=self.text_id)
 
145
        other.text_sha1 = self.text_sha1
 
146
        other.text_size = self.text_size
 
147
        # note that children are *not* copied; they're pulled across when
 
148
        # others are added
 
149
        return other
 
150
 
 
151
 
 
152
    def __repr__(self):
 
153
        return ("%s(%r, %r, kind=%r, parent_id=%r)"
 
154
                % (self.__class__.__name__,
 
155
                   self.file_id,
 
156
                   self.name,
 
157
                   self.kind,
 
158
                   self.parent_id))
 
159
 
 
160
    
 
161
    def to_element(self):
 
162
        """Convert to XML element"""
 
163
        e = Element('entry')
 
164
 
 
165
        e.set('name', self.name)
 
166
        e.set('file_id', self.file_id)
 
167
        e.set('kind', self.kind)
 
168
 
 
169
        if self.text_size != None:
 
170
            e.set('text_size', '%d' % self.text_size)
 
171
            
 
172
        for f in ['text_id', 'text_sha1']:
 
173
            v = getattr(self, f)
 
174
            if v != None:
 
175
                e.set(f, v)
 
176
 
 
177
        # to be conservative, we don't externalize the root pointers
 
178
        # for now, leaving them as null in the xml form.  in a future
 
179
        # version it will be implied by nested elements.
 
180
        if self.parent_id != ROOT_ID:
 
181
            assert isinstance(self.parent_id, basestring)
 
182
            e.set('parent_id', self.parent_id)
 
183
 
 
184
        e.tail = '\n'
 
185
            
 
186
        return e
 
187
 
 
188
 
 
189
    def from_element(cls, elt):
 
190
        assert elt.tag == 'entry'
 
191
 
 
192
        ## original format inventories don't have a parent_id for
 
193
        ## nodes in the root directory, but it's cleaner to use one
 
194
        ## internally.
 
195
        parent_id = elt.get('parent_id')
 
196
        if parent_id == None:
 
197
            parent_id = ROOT_ID
 
198
 
 
199
        self = cls(elt.get('file_id'), elt.get('name'), elt.get('kind'), parent_id)
 
200
        self.text_id = elt.get('text_id')
 
201
        self.text_sha1 = elt.get('text_sha1')
 
202
        
 
203
        ## mutter("read inventoryentry: %r" % (elt.attrib))
 
204
 
 
205
        v = elt.get('text_size')
 
206
        self.text_size = v and int(v)
 
207
 
 
208
        return self
 
209
            
 
210
 
 
211
    from_element = classmethod(from_element)
 
212
 
 
213
    def __eq__(self, other):
 
214
        if not isinstance(other, InventoryEntry):
 
215
            return NotImplemented
 
216
 
 
217
        return (self.file_id == other.file_id) \
 
218
               and (self.name == other.name) \
 
219
               and (self.text_sha1 == other.text_sha1) \
 
220
               and (self.text_size == other.text_size) \
 
221
               and (self.text_id == other.text_id) \
 
222
               and (self.parent_id == other.parent_id) \
 
223
               and (self.kind == other.kind)
 
224
 
 
225
 
 
226
    def __ne__(self, other):
 
227
        return not (self == other)
 
228
 
 
229
    def __hash__(self):
 
230
        raise ValueError('not hashable')
 
231
 
 
232
 
 
233
 
 
234
class RootEntry(InventoryEntry):
 
235
    def __init__(self, file_id):
 
236
        self.file_id = file_id
 
237
        self.children = {}
 
238
        self.kind = 'root_directory'
 
239
        self.parent_id = None
 
240
        self.name = ''
 
241
 
 
242
    def __eq__(self, other):
 
243
        if not isinstance(other, RootEntry):
 
244
            return NotImplemented
 
245
        
 
246
        return (self.file_id == other.file_id) \
 
247
               and (self.children == other.children)
 
248
 
 
249
 
 
250
 
 
251
class Inventory(XMLMixin):
 
252
    """Inventory of versioned files in a tree.
 
253
 
 
254
    This describes which file_id is present at each point in the tree,
 
255
    and possibly the SHA-1 or other information about the file.
 
256
    Entries can be looked up either by path or by file_id.
 
257
 
 
258
    The inventory represents a typical unix file tree, with
 
259
    directories containing files and subdirectories.  We never store
 
260
    the full path to a file, because renaming a directory implicitly
 
261
    moves all of its contents.  This class internally maintains a
 
262
    lookup tree that allows the children under a directory to be
 
263
    returned quickly.
 
264
 
 
265
    InventoryEntry objects must not be modified after they are
 
266
    inserted, other than through the Inventory API.
 
267
 
 
268
    >>> inv = Inventory()
 
269
    >>> inv.write_xml(sys.stdout)
 
270
    <inventory>
 
271
    </inventory>
 
272
    >>> inv.add(InventoryEntry('123-123', 'hello.c', 'file', ROOT_ID))
 
273
    >>> inv['123-123'].name
 
274
    'hello.c'
 
275
 
 
276
    May be treated as an iterator or set to look up file ids:
 
277
    
 
278
    >>> bool(inv.path2id('hello.c'))
 
279
    True
 
280
    >>> '123-123' in inv
 
281
    True
 
282
 
 
283
    May also look up by name:
 
284
 
 
285
    >>> [x[0] for x in inv.iter_entries()]
 
286
    ['hello.c']
 
287
    
 
288
    >>> inv.write_xml(sys.stdout)
 
289
    <inventory>
 
290
    <entry file_id="123-123" kind="file" name="hello.c" />
 
291
    </inventory>
 
292
 
 
293
    """
 
294
    def __init__(self):
 
295
        """Create or read an inventory.
 
296
 
 
297
        If a working directory is specified, the inventory is read
 
298
        from there.  If the file is specified, read from that. If not,
 
299
        the inventory is created empty.
 
300
 
 
301
        The inventory is created with a default root directory, with
 
302
        an id of None.
 
303
        """
 
304
        self.root = RootEntry(ROOT_ID)
 
305
        self._byid = {self.root.file_id: self.root}
 
306
 
 
307
 
 
308
    def __iter__(self):
 
309
        return iter(self._byid)
 
310
 
 
311
 
 
312
    def __len__(self):
 
313
        """Returns number of entries."""
 
314
        return len(self._byid)
 
315
 
 
316
 
 
317
    def iter_entries(self, from_dir=None):
 
318
        """Return (path, entry) pairs, in order by name."""
 
319
        if from_dir == None:
 
320
            assert self.root
 
321
            from_dir = self.root
 
322
        elif isinstance(from_dir, basestring):
 
323
            from_dir = self._byid[from_dir]
 
324
            
 
325
        kids = from_dir.children.items()
 
326
        kids.sort()
 
327
        for name, ie in kids:
 
328
            yield name, ie
 
329
            if ie.kind == 'directory':
 
330
                for cn, cie in self.iter_entries(from_dir=ie.file_id):
 
331
                    yield os.path.join(name, cn), cie
 
332
                    
 
333
 
 
334
 
 
335
    def directories(self):
 
336
        """Return (path, entry) pairs for all directories.
 
337
        """
 
338
        def descend(parent_ie):
 
339
            parent_name = parent_ie.name
 
340
            yield parent_name, parent_ie
 
341
 
 
342
            # directory children in sorted order
 
343
            dn = []
 
344
            for ie in parent_ie.children.itervalues():
 
345
                if ie.kind == 'directory':
 
346
                    dn.append((ie.name, ie))
 
347
            dn.sort()
 
348
            
 
349
            for name, child_ie in dn:
 
350
                for sub_name, sub_ie in descend(child_ie):
 
351
                    yield appendpath(parent_name, sub_name), sub_ie
 
352
 
 
353
        for name, ie in descend(self.root):
 
354
            yield name, ie
 
355
        
 
356
 
 
357
 
 
358
    def __contains__(self, file_id):
 
359
        """True if this entry contains a file with given id.
 
360
 
 
361
        >>> inv = Inventory()
 
362
        >>> inv.add(InventoryEntry('123', 'foo.c', 'file', ROOT_ID))
 
363
        >>> '123' in inv
 
364
        True
 
365
        >>> '456' in inv
 
366
        False
 
367
        """
 
368
        return file_id in self._byid
 
369
 
 
370
 
 
371
    def __getitem__(self, file_id):
 
372
        """Return the entry for given file_id.
 
373
 
 
374
        >>> inv = Inventory()
 
375
        >>> inv.add(InventoryEntry('123123', 'hello.c', 'file', ROOT_ID))
 
376
        >>> inv['123123'].name
 
377
        'hello.c'
 
378
        """
 
379
        try:
 
380
            return self._byid[file_id]
 
381
        except KeyError:
 
382
            if file_id == None:
 
383
                raise BzrError("can't look up file_id None")
 
384
            else:
 
385
                raise BzrError("file_id {%s} not in inventory" % file_id)
 
386
 
 
387
 
 
388
    def get_file_kind(self, file_id):
 
389
        return self._byid[file_id].kind
 
390
 
 
391
    def get_child(self, parent_id, filename):
 
392
        return self[parent_id].children.get(filename)
 
393
 
 
394
 
 
395
    def add(self, entry):
 
396
        """Add entry to inventory.
 
397
 
 
398
        To add  a file to a branch ready to be committed, use Branch.add,
 
399
        which calls this."""
 
400
        if entry.file_id in self._byid:
 
401
            bailout("inventory already contains entry with id {%s}" % entry.file_id)
 
402
 
 
403
        try:
 
404
            parent = self._byid[entry.parent_id]
 
405
        except KeyError:
 
406
            bailout("parent_id {%s} not in inventory" % entry.parent_id)
 
407
 
 
408
        if parent.children.has_key(entry.name):
 
409
            bailout("%s is already versioned" %
 
410
                    appendpath(self.id2path(parent.file_id), entry.name))
 
411
 
 
412
        self._byid[entry.file_id] = entry
 
413
        parent.children[entry.name] = entry
 
414
 
 
415
 
 
416
    def add_path(self, relpath, kind, file_id=None):
 
417
        """Add entry from a path.
 
418
 
 
419
        The immediate parent must already be versioned"""
 
420
        parts = bzrlib.osutils.splitpath(relpath)
 
421
        if len(parts) == 0:
 
422
            bailout("cannot re-add root of inventory")
 
423
 
 
424
        if file_id == None:
 
425
            file_id = bzrlib.branch.gen_file_id(relpath)
 
426
 
 
427
        parent_id = self.path2id(parts[:-1])
 
428
        assert parent_id != None
 
429
        ie = InventoryEntry(file_id, parts[-1],
 
430
                            kind=kind, parent_id=parent_id)
 
431
        return self.add(ie)
 
432
 
 
433
 
 
434
    def __delitem__(self, file_id):
 
435
        """Remove entry by id.
 
436
 
 
437
        >>> inv = Inventory()
 
438
        >>> inv.add(InventoryEntry('123', 'foo.c', 'file', ROOT_ID))
 
439
        >>> '123' in inv
 
440
        True
 
441
        >>> del inv['123']
 
442
        >>> '123' in inv
 
443
        False
 
444
        """
 
445
        ie = self[file_id]
 
446
 
 
447
        assert self[ie.parent_id].children[ie.name] == ie
 
448
        
 
449
        # TODO: Test deleting all children; maybe hoist to a separate
 
450
        # deltree method?
 
451
        if ie.kind == 'directory':
 
452
            for cie in ie.children.values():
 
453
                del self[cie.file_id]
 
454
            del ie.children
 
455
 
 
456
        del self._byid[file_id]
 
457
        del self[ie.parent_id].children[ie.name]
 
458
 
 
459
 
 
460
    def to_element(self):
 
461
        """Convert to XML Element"""
 
462
        e = Element('inventory')
 
463
        e.text = '\n'
 
464
        for path, ie in self.iter_entries():
 
465
            e.append(ie.to_element())
 
466
        return e
 
467
    
 
468
 
 
469
    def from_element(cls, elt):
 
470
        """Construct from XML Element
 
471
 
 
472
        >>> inv = Inventory()
 
473
        >>> inv.add(InventoryEntry('foo.c-123981239', 'foo.c', 'file', ROOT_ID))
 
474
        >>> elt = inv.to_element()
 
475
        >>> inv2 = Inventory.from_element(elt)
 
476
        >>> inv2 == inv
 
477
        True
 
478
        """
 
479
        assert elt.tag == 'inventory'
 
480
        o = cls()
 
481
        for e in elt:
 
482
            o.add(InventoryEntry.from_element(e))
 
483
        return o
 
484
        
 
485
    from_element = classmethod(from_element)
 
486
 
 
487
 
 
488
    def __eq__(self, other):
 
489
        """Compare two sets by comparing their contents.
 
490
 
 
491
        >>> i1 = Inventory()
 
492
        >>> i2 = Inventory()
 
493
        >>> i1 == i2
 
494
        True
 
495
        >>> i1.add(InventoryEntry('123', 'foo', 'file', ROOT_ID))
 
496
        >>> i1 == i2
 
497
        False
 
498
        >>> i2.add(InventoryEntry('123', 'foo', 'file', ROOT_ID))
 
499
        >>> i1 == i2
 
500
        True
 
501
        """
 
502
        if not isinstance(other, Inventory):
 
503
            return NotImplemented
 
504
 
 
505
        if len(self._byid) != len(other._byid):
 
506
            # shortcut: obviously not the same
 
507
            return False
 
508
 
 
509
        return self._byid == other._byid
 
510
 
 
511
 
 
512
    def __ne__(self, other):
 
513
        return not (self == other)
 
514
 
 
515
 
 
516
    def __hash__(self):
 
517
        raise ValueError('not hashable')
 
518
 
 
519
 
 
520
 
 
521
    def get_idpath(self, file_id):
 
522
        """Return a list of file_ids for the path to an entry.
 
523
 
 
524
        The list contains one element for each directory followed by
 
525
        the id of the file itself.  So the length of the returned list
 
526
        is equal to the depth of the file in the tree, counting the
 
527
        root directory as depth 1.
 
528
        """
 
529
        p = []
 
530
        while file_id != None:
 
531
            try:
 
532
                ie = self._byid[file_id]
 
533
            except KeyError:
 
534
                bailout("file_id {%s} not found in inventory" % file_id)
 
535
            p.insert(0, ie.file_id)
 
536
            file_id = ie.parent_id
 
537
        return p
 
538
 
 
539
 
 
540
    def id2path(self, file_id):
 
541
        """Return as a list the path to file_id."""
 
542
 
 
543
        # get all names, skipping root
 
544
        p = [self[fid].name for fid in self.get_idpath(file_id)[1:]]
 
545
        return os.sep.join(p)
 
546
            
 
547
 
 
548
 
 
549
    def path2id(self, name):
 
550
        """Walk down through directories to return entry of last component.
 
551
 
 
552
        names may be either a list of path components, or a single
 
553
        string, in which case it is automatically split.
 
554
 
 
555
        This returns the entry of the last component in the path,
 
556
        which may be either a file or a directory.
 
557
 
 
558
        Returns None iff the path is not found.
 
559
        """
 
560
        if isinstance(name, types.StringTypes):
 
561
            name = splitpath(name)
 
562
 
 
563
        mutter("lookup path %r" % name)
 
564
 
 
565
        parent = self.root
 
566
        for f in name:
 
567
            try:
 
568
                cie = parent.children[f]
 
569
                assert cie.name == f
 
570
                assert cie.parent_id == parent.file_id
 
571
                parent = cie
 
572
            except KeyError:
 
573
                # or raise an error?
 
574
                return None
 
575
 
 
576
        return parent.file_id
 
577
 
 
578
 
 
579
    def has_filename(self, names):
 
580
        return bool(self.path2id(names))
 
581
 
 
582
 
 
583
    def has_id(self, file_id):
 
584
        return self._byid.has_key(file_id)
 
585
 
 
586
 
 
587
    def rename(self, file_id, new_parent_id, new_name):
 
588
        """Move a file within the inventory.
 
589
 
 
590
        This can change either the name, or the parent, or both.
 
591
 
 
592
        This does not move the working file."""
 
593
        if not is_valid_name(new_name):
 
594
            bailout("not an acceptable filename: %r" % new_name)
 
595
 
 
596
        new_parent = self._byid[new_parent_id]
 
597
        if new_name in new_parent.children:
 
598
            bailout("%r already exists in %r" % (new_name, self.id2path(new_parent_id)))
 
599
 
 
600
        new_parent_idpath = self.get_idpath(new_parent_id)
 
601
        if file_id in new_parent_idpath:
 
602
            bailout("cannot move directory %r into a subdirectory of itself, %r"
 
603
                    % (self.id2path(file_id), self.id2path(new_parent_id)))
 
604
 
 
605
        file_ie = self._byid[file_id]
 
606
        old_parent = self._byid[file_ie.parent_id]
 
607
 
 
608
        # TODO: Don't leave things messed up if this fails
 
609
 
 
610
        del old_parent.children[file_ie.name]
 
611
        new_parent.children[new_name] = file_ie
 
612
        
 
613
        file_ie.name = new_name
 
614
        file_ie.parent_id = new_parent_id
 
615
 
 
616
 
 
617
 
 
618
 
 
619
_NAME_RE = re.compile(r'^[^/\\]+$')
 
620
 
 
621
def is_valid_name(name):
 
622
    return bool(_NAME_RE.match(name))