/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/inventory.py

  • Committer: Martin Pool
  • Date: 2005-05-11 08:07:56 UTC
  • Revision ID: mbp@sourcefrog.net-20050511080756-ce1fdb2d72f5e028
- more status form test fixes

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# (C) 2005 Canonical Ltd
 
2
 
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
 
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
 
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
 
 
18
# This should really be an id randomly assigned when the tree is
 
19
# created, but it's not for now.
 
20
ROOT_ID = "TREE_ROOT"
 
21
 
 
22
 
 
23
import sys, os.path, types, re
 
24
from sets import Set
 
25
 
 
26
try:
 
27
    from cElementTree import Element, ElementTree, SubElement
 
28
except ImportError:
 
29
    from elementtree.ElementTree import Element, ElementTree, SubElement
 
30
 
 
31
from xml import XMLMixin
 
32
from errors import bailout, BzrError, BzrCheckError
 
33
 
 
34
import bzrlib
 
35
from bzrlib.osutils import uuid, quotefn, splitpath, joinpath, appendpath
 
36
from bzrlib.trace import mutter
 
37
 
 
38
class InventoryEntry(XMLMixin):
 
39
    """Description of a versioned file.
 
40
 
 
41
    An InventoryEntry has the following fields, which are also
 
42
    present in the XML inventory-entry element:
 
43
 
 
44
    * *file_id*
 
45
    * *name*: (only the basename within the directory, must not
 
46
      contain slashes)
 
47
    * *kind*: "directory" or "file"
 
48
    * *directory_id*: (if absent/null means the branch root directory)
 
49
    * *text_sha1*: only for files
 
50
    * *text_size*: in bytes, only for files 
 
51
    * *text_id*: identifier for the text version, only for files
 
52
 
 
53
    InventoryEntries can also exist inside a WorkingTree
 
54
    inventory, in which case they are not yet bound to a
 
55
    particular revision of the file.  In that case the text_sha1,
 
56
    text_size and text_id are absent.
 
57
 
 
58
 
 
59
    >>> i = Inventory()
 
60
    >>> i.path2id('')
 
61
    'TREE_ROOT'
 
62
    >>> i.add(InventoryEntry('123', 'src', 'directory', ROOT_ID))
 
63
    >>> i.add(InventoryEntry('2323', 'hello.c', 'file', parent_id='123'))
 
64
    >>> for j in i.iter_entries():
 
65
    ...   print j
 
66
    ... 
 
67
    ('src', InventoryEntry('123', 'src', kind='directory', parent_id='TREE_ROOT'))
 
68
    ('src/hello.c', InventoryEntry('2323', 'hello.c', kind='file', parent_id='123'))
 
69
    >>> i.add(InventoryEntry('2323', 'bye.c', 'file', '123'))
 
70
    Traceback (most recent call last):
 
71
    ...
 
72
    BzrError: ('inventory already contains entry with id {2323}', [])
 
73
    >>> i.add(InventoryEntry('2324', 'bye.c', 'file', '123'))
 
74
    >>> i.add(InventoryEntry('2325', 'wibble', 'directory', '123'))
 
75
    >>> i.path2id('src/wibble')
 
76
    '2325'
 
77
    >>> '2325' in i
 
78
    True
 
79
    >>> i.add(InventoryEntry('2326', 'wibble.c', 'file', '2325'))
 
80
    >>> i['2326']
 
81
    InventoryEntry('2326', 'wibble.c', kind='file', parent_id='2325')
 
82
    >>> for j in i.iter_entries():
 
83
    ...     print j[0]
 
84
    ...     assert i.path2id(j[0])
 
85
    ... 
 
86
    src
 
87
    src/bye.c
 
88
    src/hello.c
 
89
    src/wibble
 
90
    src/wibble/wibble.c
 
91
    >>> i.id2path('2326')
 
92
    'src/wibble/wibble.c'
 
93
 
 
94
    TODO: Maybe also keep the full path of the entry, and the children?
 
95
           But those depend on its position within a particular inventory, and
 
96
           it would be nice not to need to hold the backpointer here.
 
97
    """
 
98
 
 
99
    # TODO: split InventoryEntry into subclasses for files,
 
100
    # directories, etc etc.
 
101
 
 
102
    text_sha1 = None
 
103
    text_size = None
 
104
    
 
105
    def __init__(self, file_id, name, kind, parent_id, text_id=None):
 
106
        """Create an InventoryEntry
 
107
        
 
108
        The filename must be a single component, relative to the
 
109
        parent directory; it cannot be a whole path or relative name.
 
110
 
 
111
        >>> e = InventoryEntry('123', 'hello.c', 'file', ROOT_ID)
 
112
        >>> e.name
 
113
        'hello.c'
 
114
        >>> e.file_id
 
115
        '123'
 
116
        >>> e = InventoryEntry('123', 'src/hello.c', 'file', ROOT_ID)
 
117
        Traceback (most recent call last):
 
118
        BzrCheckError: InventoryEntry name 'src/hello.c' is invalid
 
119
        """
 
120
        if '/' in name or '\\' in name:
 
121
            raise BzrCheckError('InventoryEntry name %r is invalid' % name)
 
122
        
 
123
        self.file_id = file_id
 
124
        self.name = name
 
125
        self.kind = kind
 
126
        self.text_id = text_id
 
127
        self.parent_id = parent_id
 
128
        if kind == 'directory':
 
129
            self.children = {}
 
130
        elif kind == 'file':
 
131
            pass
 
132
        else:
 
133
            raise BzrError("unhandled entry kind %r" % kind)
 
134
 
 
135
 
 
136
 
 
137
    def sorted_children(self):
 
138
        l = self.children.items()
 
139
        l.sort()
 
140
        return l
 
141
 
 
142
 
 
143
    def copy(self):
 
144
        other = InventoryEntry(self.file_id, self.name, self.kind,
 
145
                               self.parent_id, text_id=self.text_id)
 
146
        other.text_sha1 = self.text_sha1
 
147
        other.text_size = self.text_size
 
148
        return other
 
149
 
 
150
 
 
151
    def __repr__(self):
 
152
        return ("%s(%r, %r, kind=%r, parent_id=%r)"
 
153
                % (self.__class__.__name__,
 
154
                   self.file_id,
 
155
                   self.name,
 
156
                   self.kind,
 
157
                   self.parent_id))
 
158
 
 
159
    
 
160
    def to_element(self):
 
161
        """Convert to XML element"""
 
162
        e = Element('entry')
 
163
 
 
164
        e.set('name', self.name)
 
165
        e.set('file_id', self.file_id)
 
166
        e.set('kind', self.kind)
 
167
 
 
168
        if self.text_size != None:
 
169
            e.set('text_size', '%d' % self.text_size)
 
170
            
 
171
        for f in ['text_id', 'text_sha1']:
 
172
            v = getattr(self, f)
 
173
            if v != None:
 
174
                e.set(f, v)
 
175
 
 
176
        # to be conservative, we don't externalize the root pointers
 
177
        # for now, leaving them as null in the xml form.  in a future
 
178
        # version it will be implied by nested elements.
 
179
        if self.parent_id != ROOT_ID:
 
180
            assert isinstance(self.parent_id, basestring)
 
181
            e.set('parent_id', self.parent_id)
 
182
 
 
183
        e.tail = '\n'
 
184
            
 
185
        return e
 
186
 
 
187
 
 
188
    def from_element(cls, elt):
 
189
        assert elt.tag == 'entry'
 
190
 
 
191
        ## original format inventories don't have a parent_id for
 
192
        ## nodes in the root directory, but it's cleaner to use one
 
193
        ## internally.
 
194
        parent_id = elt.get('parent_id')
 
195
        if parent_id == None:
 
196
            parent_id = ROOT_ID
 
197
 
 
198
        self = cls(elt.get('file_id'), elt.get('name'), elt.get('kind'), parent_id)
 
199
        self.text_id = elt.get('text_id')
 
200
        self.text_sha1 = elt.get('text_sha1')
 
201
        
 
202
        ## mutter("read inventoryentry: %r" % (elt.attrib))
 
203
 
 
204
        v = elt.get('text_size')
 
205
        self.text_size = v and int(v)
 
206
 
 
207
        return self
 
208
            
 
209
 
 
210
    from_element = classmethod(from_element)
 
211
 
 
212
    def __cmp__(self, other):
 
213
        if self is other:
 
214
            return 0
 
215
        if not isinstance(other, InventoryEntry):
 
216
            return NotImplemented
 
217
 
 
218
        return cmp(self.file_id, other.file_id) \
 
219
               or cmp(self.name, other.name) \
 
220
               or cmp(self.text_sha1, other.text_sha1) \
 
221
               or cmp(self.text_size, other.text_size) \
 
222
               or cmp(self.text_id, other.text_id) \
 
223
               or cmp(self.parent_id, other.parent_id) \
 
224
               or cmp(self.kind, other.kind)
 
225
 
 
226
 
 
227
 
 
228
class RootEntry(InventoryEntry):
 
229
    def __init__(self, file_id):
 
230
        self.file_id = file_id
 
231
        self.children = {}
 
232
        self.kind = 'root_directory'
 
233
        self.parent_id = None
 
234
        self.name = ''
 
235
 
 
236
    def __cmp__(self, other):
 
237
        if self is other:
 
238
            return 0
 
239
        if not isinstance(other, RootEntry):
 
240
            return NotImplemented
 
241
        return cmp(self.file_id, other.file_id) \
 
242
               or cmp(self.children, other.children)
 
243
 
 
244
 
 
245
 
 
246
class Inventory(XMLMixin):
 
247
    """Inventory of versioned files in a tree.
 
248
 
 
249
    This describes which file_id is present at each point in the tree,
 
250
    and possibly the SHA-1 or other information about the file.
 
251
    Entries can be looked up either by path or by file_id.
 
252
 
 
253
    The inventory represents a typical unix file tree, with
 
254
    directories containing files and subdirectories.  We never store
 
255
    the full path to a file, because renaming a directory implicitly
 
256
    moves all of its contents.  This class internally maintains a
 
257
    lookup tree that allows the children under a directory to be
 
258
    returned quickly.
 
259
 
 
260
    InventoryEntry objects must not be modified after they are
 
261
    inserted, other than through the Inventory API.
 
262
 
 
263
    >>> inv = Inventory()
 
264
    >>> inv.write_xml(sys.stdout)
 
265
    <inventory>
 
266
    </inventory>
 
267
    >>> inv.add(InventoryEntry('123-123', 'hello.c', 'file', ROOT_ID))
 
268
    >>> inv['123-123'].name
 
269
    'hello.c'
 
270
 
 
271
    May be treated as an iterator or set to look up file ids:
 
272
    
 
273
    >>> bool(inv.path2id('hello.c'))
 
274
    True
 
275
    >>> '123-123' in inv
 
276
    True
 
277
 
 
278
    May also look up by name:
 
279
 
 
280
    >>> [x[0] for x in inv.iter_entries()]
 
281
    ['hello.c']
 
282
    
 
283
    >>> inv.write_xml(sys.stdout)
 
284
    <inventory>
 
285
    <entry file_id="123-123" kind="file" name="hello.c" />
 
286
    </inventory>
 
287
 
 
288
    """
 
289
    def __init__(self):
 
290
        """Create or read an inventory.
 
291
 
 
292
        If a working directory is specified, the inventory is read
 
293
        from there.  If the file is specified, read from that. If not,
 
294
        the inventory is created empty.
 
295
 
 
296
        The inventory is created with a default root directory, with
 
297
        an id of None.
 
298
        """
 
299
        self.root = RootEntry(ROOT_ID)
 
300
        self._byid = {self.root.file_id: self.root}
 
301
 
 
302
 
 
303
    def __iter__(self):
 
304
        return iter(self._byid)
 
305
 
 
306
 
 
307
    def __len__(self):
 
308
        """Returns number of entries."""
 
309
        return len(self._byid)
 
310
 
 
311
 
 
312
    def iter_entries(self, from_dir=None):
 
313
        """Return (path, entry) pairs, in order by name."""
 
314
        if from_dir == None:
 
315
            assert self.root
 
316
            from_dir = self.root
 
317
        elif isinstance(from_dir, basestring):
 
318
            from_dir = self._byid[from_dir]
 
319
            
 
320
        kids = from_dir.children.items()
 
321
        kids.sort()
 
322
        for name, ie in kids:
 
323
            yield name, ie
 
324
            if ie.kind == 'directory':
 
325
                for cn, cie in self.iter_entries(from_dir=ie.file_id):
 
326
                    yield os.path.join(name, cn), cie
 
327
                    
 
328
 
 
329
 
 
330
    def directories(self):
 
331
        """Return (path, entry) pairs for all directories.
 
332
        """
 
333
        def descend(parent_ie):
 
334
            parent_name = parent_ie.name
 
335
            yield parent_name, parent_ie
 
336
 
 
337
            # directory children in sorted order
 
338
            dn = []
 
339
            for ie in parent_ie.children.itervalues():
 
340
                if ie.kind == 'directory':
 
341
                    dn.append((ie.name, ie))
 
342
            dn.sort()
 
343
            
 
344
            for name, child_ie in dn:
 
345
                for sub_name, sub_ie in descend(child_ie):
 
346
                    yield appendpath(parent_name, sub_name), sub_ie
 
347
 
 
348
        for name, ie in descend(self.root):
 
349
            yield name, ie
 
350
        
 
351
 
 
352
 
 
353
    def __contains__(self, file_id):
 
354
        """True if this entry contains a file with given id.
 
355
 
 
356
        >>> inv = Inventory()
 
357
        >>> inv.add(InventoryEntry('123', 'foo.c', 'file', ROOT_ID))
 
358
        >>> '123' in inv
 
359
        True
 
360
        >>> '456' in inv
 
361
        False
 
362
        """
 
363
        return file_id in self._byid
 
364
 
 
365
 
 
366
    def __getitem__(self, file_id):
 
367
        """Return the entry for given file_id.
 
368
 
 
369
        >>> inv = Inventory()
 
370
        >>> inv.add(InventoryEntry('123123', 'hello.c', 'file', ROOT_ID))
 
371
        >>> inv['123123'].name
 
372
        'hello.c'
 
373
        """
 
374
        try:
 
375
            return self._byid[file_id]
 
376
        except KeyError:
 
377
            if file_id == None:
 
378
                raise BzrError("can't look up file_id None")
 
379
            else:
 
380
                raise BzrError("file_id {%s} not in inventory" % file_id)
 
381
 
 
382
 
 
383
    def get_file_kind(self, file_id):
 
384
        return self._byid[file_id].kind
 
385
 
 
386
    def get_child(self, parent_id, filename):
 
387
        return self[parent_id].children.get(filename)
 
388
 
 
389
 
 
390
    def add(self, entry):
 
391
        """Add entry to inventory.
 
392
 
 
393
        To add  a file to a branch ready to be committed, use Branch.add,
 
394
        which calls this."""
 
395
        if entry.file_id in self._byid:
 
396
            bailout("inventory already contains entry with id {%s}" % entry.file_id)
 
397
 
 
398
        try:
 
399
            parent = self._byid[entry.parent_id]
 
400
        except KeyError:
 
401
            bailout("parent_id {%s} not in inventory" % entry.parent_id)
 
402
 
 
403
        if parent.children.has_key(entry.name):
 
404
            bailout("%s is already versioned" %
 
405
                    appendpath(self.id2path(parent.file_id), entry.name))
 
406
 
 
407
        self._byid[entry.file_id] = entry
 
408
        parent.children[entry.name] = entry
 
409
 
 
410
 
 
411
    def add_path(self, relpath, kind, file_id=None):
 
412
        """Add entry from a path.
 
413
 
 
414
        The immediate parent must already be versioned"""
 
415
        parts = bzrlib.osutils.splitpath(relpath)
 
416
        if len(parts) == 0:
 
417
            bailout("cannot re-add root of inventory")
 
418
 
 
419
        if file_id == None:
 
420
            file_id = bzrlib.branch.gen_file_id(relpath)
 
421
 
 
422
        parent_id = self.path2id(parts[:-1])
 
423
        assert parent_id != None
 
424
        ie = InventoryEntry(file_id, parts[-1],
 
425
                            kind=kind, parent_id=parent_id)
 
426
        return self.add(ie)
 
427
 
 
428
 
 
429
    def __delitem__(self, file_id):
 
430
        """Remove entry by id.
 
431
 
 
432
        >>> inv = Inventory()
 
433
        >>> inv.add(InventoryEntry('123', 'foo.c', 'file', ROOT_ID))
 
434
        >>> '123' in inv
 
435
        True
 
436
        >>> del inv['123']
 
437
        >>> '123' in inv
 
438
        False
 
439
        """
 
440
        ie = self[file_id]
 
441
 
 
442
        assert self[ie.parent_id].children[ie.name] == ie
 
443
        
 
444
        # TODO: Test deleting all children; maybe hoist to a separate
 
445
        # deltree method?
 
446
        if ie.kind == 'directory':
 
447
            for cie in ie.children.values():
 
448
                del self[cie.file_id]
 
449
            del ie.children
 
450
 
 
451
        del self._byid[file_id]
 
452
        del self[ie.parent_id].children[ie.name]
 
453
 
 
454
 
 
455
    def id_set(self):
 
456
        return Set(self._byid)
 
457
 
 
458
 
 
459
    def to_element(self):
 
460
        """Convert to XML Element"""
 
461
        e = Element('inventory')
 
462
        e.text = '\n'
 
463
        for path, ie in self.iter_entries():
 
464
            e.append(ie.to_element())
 
465
        return e
 
466
    
 
467
 
 
468
    def from_element(cls, elt):
 
469
        """Construct from XML Element
 
470
 
 
471
        >>> inv = Inventory()
 
472
        >>> inv.add(InventoryEntry('foo.c-123981239', 'foo.c', 'file', ROOT_ID))
 
473
        >>> elt = inv.to_element()
 
474
        >>> inv2 = Inventory.from_element(elt)
 
475
        >>> inv2 == inv
 
476
        True
 
477
        """
 
478
        assert elt.tag == 'inventory'
 
479
        o = cls()
 
480
        for e in elt:
 
481
            o.add(InventoryEntry.from_element(e))
 
482
        return o
 
483
        
 
484
    from_element = classmethod(from_element)
 
485
 
 
486
 
 
487
    def __cmp__(self, other):
 
488
        """Compare two sets by comparing their contents.
 
489
 
 
490
        >>> i1 = Inventory()
 
491
        >>> i2 = Inventory()
 
492
        >>> i1 == i2
 
493
        True
 
494
        >>> i1.add(InventoryEntry('123', 'foo', 'file', ROOT_ID))
 
495
        >>> i1 == i2
 
496
        False
 
497
        >>> i2.add(InventoryEntry('123', 'foo', 'file', ROOT_ID))
 
498
        >>> i1 == i2
 
499
        True
 
500
        """
 
501
        if self is other:
 
502
            return 0
 
503
        
 
504
        if not isinstance(other, Inventory):
 
505
            return NotImplemented
 
506
 
 
507
        if self.id_set() ^ other.id_set():
 
508
            return 1
 
509
 
 
510
        for file_id in self._byid:
 
511
            c = cmp(self[file_id], other[file_id])
 
512
            if c: return c
 
513
 
 
514
        return 0
 
515
 
 
516
 
 
517
    def get_idpath(self, file_id):
 
518
        """Return a list of file_ids for the path to an entry.
 
519
 
 
520
        The list contains one element for each directory followed by
 
521
        the id of the file itself.  So the length of the returned list
 
522
        is equal to the depth of the file in the tree, counting the
 
523
        root directory as depth 1.
 
524
        """
 
525
        p = []
 
526
        while file_id != None:
 
527
            try:
 
528
                ie = self._byid[file_id]
 
529
            except KeyError:
 
530
                bailout("file_id {%s} not found in inventory" % file_id)
 
531
            p.insert(0, ie.file_id)
 
532
            file_id = ie.parent_id
 
533
        return p
 
534
 
 
535
 
 
536
    def id2path(self, file_id):
 
537
        """Return as a list the path to file_id."""
 
538
 
 
539
        # get all names, skipping root
 
540
        p = [self[fid].name for fid in self.get_idpath(file_id)[1:]]
 
541
        return os.sep.join(p)
 
542
            
 
543
 
 
544
 
 
545
    def path2id(self, name):
 
546
        """Walk down through directories to return entry of last component.
 
547
 
 
548
        names may be either a list of path components, or a single
 
549
        string, in which case it is automatically split.
 
550
 
 
551
        This returns the entry of the last component in the path,
 
552
        which may be either a file or a directory.
 
553
 
 
554
        Returns None iff the path is not found.
 
555
        """
 
556
        if isinstance(name, types.StringTypes):
 
557
            name = splitpath(name)
 
558
 
 
559
        mutter("lookup path %r" % name)
 
560
 
 
561
        parent = self.root
 
562
        for f in name:
 
563
            try:
 
564
                cie = parent.children[f]
 
565
                assert cie.name == f
 
566
                assert cie.parent_id == parent.file_id
 
567
                parent = cie
 
568
            except KeyError:
 
569
                # or raise an error?
 
570
                return None
 
571
 
 
572
        return parent.file_id
 
573
 
 
574
 
 
575
    def has_filename(self, names):
 
576
        return bool(self.path2id(names))
 
577
 
 
578
 
 
579
    def has_id(self, file_id):
 
580
        return self._byid.has_key(file_id)
 
581
 
 
582
 
 
583
    def rename(self, file_id, new_parent_id, new_name):
 
584
        """Move a file within the inventory.
 
585
 
 
586
        This can change either the name, or the parent, or both.
 
587
 
 
588
        This does not move the working file."""
 
589
        if not is_valid_name(new_name):
 
590
            bailout("not an acceptable filename: %r" % new_name)
 
591
 
 
592
        new_parent = self._byid[new_parent_id]
 
593
        if new_name in new_parent.children:
 
594
            bailout("%r already exists in %r" % (new_name, self.id2path(new_parent_id)))
 
595
 
 
596
        new_parent_idpath = self.get_idpath(new_parent_id)
 
597
        if file_id in new_parent_idpath:
 
598
            bailout("cannot move directory %r into a subdirectory of itself, %r"
 
599
                    % (self.id2path(file_id), self.id2path(new_parent_id)))
 
600
 
 
601
        file_ie = self._byid[file_id]
 
602
        old_parent = self._byid[file_ie.parent_id]
 
603
 
 
604
        # TODO: Don't leave things messed up if this fails
 
605
 
 
606
        del old_parent.children[file_ie.name]
 
607
        new_parent.children[new_name] = file_ie
 
608
        
 
609
        file_ie.name = new_name
 
610
        file_ie.parent_id = new_parent_id
 
611
 
 
612
 
 
613
 
 
614
 
 
615
_NAME_RE = re.compile(r'^[^/\\]+$')
 
616
 
 
617
def is_valid_name(name):
 
618
    return bool(_NAME_RE.match(name))