/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/inventory.py

  • Committer: Martin Pool
  • Date: 2005-05-19 09:59:49 UTC
  • Revision ID: mbp@sourcefrog.net-20050519095949-2aaed7613265e594
- More cleanups for set type

- Clean up Inventory cmp method

- Remove the Inventory.id_set and Tree.id_set methods: don't built
  sets when just using the dictionaries will do.

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# (C) 2005 Canonical Ltd
 
2
 
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
 
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
 
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
 
 
18
# This should really be an id randomly assigned when the tree is
 
19
# created, but it's not for now.
 
20
ROOT_ID = "TREE_ROOT"
 
21
 
 
22
 
 
23
import sys, os.path, types, re
 
24
 
 
25
try:
 
26
    from cElementTree import Element, ElementTree, SubElement
 
27
except ImportError:
 
28
    from elementtree.ElementTree import Element, ElementTree, SubElement
 
29
 
 
30
from xml import XMLMixin
 
31
from errors import bailout, BzrError, BzrCheckError
 
32
 
 
33
import bzrlib
 
34
from bzrlib.osutils import uuid, quotefn, splitpath, joinpath, appendpath
 
35
from bzrlib.trace import mutter
 
36
 
 
37
class InventoryEntry(XMLMixin):
 
38
    """Description of a versioned file.
 
39
 
 
40
    An InventoryEntry has the following fields, which are also
 
41
    present in the XML inventory-entry element:
 
42
 
 
43
    * *file_id*
 
44
    * *name*: (only the basename within the directory, must not
 
45
      contain slashes)
 
46
    * *kind*: "directory" or "file"
 
47
    * *directory_id*: (if absent/null means the branch root directory)
 
48
    * *text_sha1*: only for files
 
49
    * *text_size*: in bytes, only for files 
 
50
    * *text_id*: identifier for the text version, only for files
 
51
 
 
52
    InventoryEntries can also exist inside a WorkingTree
 
53
    inventory, in which case they are not yet bound to a
 
54
    particular revision of the file.  In that case the text_sha1,
 
55
    text_size and text_id are absent.
 
56
 
 
57
 
 
58
    >>> i = Inventory()
 
59
    >>> i.path2id('')
 
60
    'TREE_ROOT'
 
61
    >>> i.add(InventoryEntry('123', 'src', 'directory', ROOT_ID))
 
62
    >>> i.add(InventoryEntry('2323', 'hello.c', 'file', parent_id='123'))
 
63
    >>> for j in i.iter_entries():
 
64
    ...   print j
 
65
    ... 
 
66
    ('src', InventoryEntry('123', 'src', kind='directory', parent_id='TREE_ROOT'))
 
67
    ('src/hello.c', InventoryEntry('2323', 'hello.c', kind='file', parent_id='123'))
 
68
    >>> i.add(InventoryEntry('2323', 'bye.c', 'file', '123'))
 
69
    Traceback (most recent call last):
 
70
    ...
 
71
    BzrError: ('inventory already contains entry with id {2323}', [])
 
72
    >>> i.add(InventoryEntry('2324', 'bye.c', 'file', '123'))
 
73
    >>> i.add(InventoryEntry('2325', 'wibble', 'directory', '123'))
 
74
    >>> i.path2id('src/wibble')
 
75
    '2325'
 
76
    >>> '2325' in i
 
77
    True
 
78
    >>> i.add(InventoryEntry('2326', 'wibble.c', 'file', '2325'))
 
79
    >>> i['2326']
 
80
    InventoryEntry('2326', 'wibble.c', kind='file', parent_id='2325')
 
81
    >>> for j in i.iter_entries():
 
82
    ...     print j[0]
 
83
    ...     assert i.path2id(j[0])
 
84
    ... 
 
85
    src
 
86
    src/bye.c
 
87
    src/hello.c
 
88
    src/wibble
 
89
    src/wibble/wibble.c
 
90
    >>> i.id2path('2326')
 
91
    'src/wibble/wibble.c'
 
92
 
 
93
    TODO: Maybe also keep the full path of the entry, and the children?
 
94
           But those depend on its position within a particular inventory, and
 
95
           it would be nice not to need to hold the backpointer here.
 
96
    """
 
97
 
 
98
    # TODO: split InventoryEntry into subclasses for files,
 
99
    # directories, etc etc.
 
100
 
 
101
    text_sha1 = None
 
102
    text_size = None
 
103
    
 
104
    def __init__(self, file_id, name, kind, parent_id, text_id=None):
 
105
        """Create an InventoryEntry
 
106
        
 
107
        The filename must be a single component, relative to the
 
108
        parent directory; it cannot be a whole path or relative name.
 
109
 
 
110
        >>> e = InventoryEntry('123', 'hello.c', 'file', ROOT_ID)
 
111
        >>> e.name
 
112
        'hello.c'
 
113
        >>> e.file_id
 
114
        '123'
 
115
        >>> e = InventoryEntry('123', 'src/hello.c', 'file', ROOT_ID)
 
116
        Traceback (most recent call last):
 
117
        BzrCheckError: InventoryEntry name 'src/hello.c' is invalid
 
118
        """
 
119
        if '/' in name or '\\' in name:
 
120
            raise BzrCheckError('InventoryEntry name %r is invalid' % name)
 
121
        
 
122
        self.file_id = file_id
 
123
        self.name = name
 
124
        self.kind = kind
 
125
        self.text_id = text_id
 
126
        self.parent_id = parent_id
 
127
        if kind == 'directory':
 
128
            self.children = {}
 
129
        elif kind == 'file':
 
130
            pass
 
131
        else:
 
132
            raise BzrError("unhandled entry kind %r" % kind)
 
133
 
 
134
 
 
135
 
 
136
    def sorted_children(self):
 
137
        l = self.children.items()
 
138
        l.sort()
 
139
        return l
 
140
 
 
141
 
 
142
    def copy(self):
 
143
        other = InventoryEntry(self.file_id, self.name, self.kind,
 
144
                               self.parent_id, text_id=self.text_id)
 
145
        other.text_sha1 = self.text_sha1
 
146
        other.text_size = self.text_size
 
147
        # note that children are *not* copied; they're pulled across when
 
148
        # others are added
 
149
        return other
 
150
 
 
151
 
 
152
    def __repr__(self):
 
153
        return ("%s(%r, %r, kind=%r, parent_id=%r)"
 
154
                % (self.__class__.__name__,
 
155
                   self.file_id,
 
156
                   self.name,
 
157
                   self.kind,
 
158
                   self.parent_id))
 
159
 
 
160
    
 
161
    def to_element(self):
 
162
        """Convert to XML element"""
 
163
        e = Element('entry')
 
164
 
 
165
        e.set('name', self.name)
 
166
        e.set('file_id', self.file_id)
 
167
        e.set('kind', self.kind)
 
168
 
 
169
        if self.text_size != None:
 
170
            e.set('text_size', '%d' % self.text_size)
 
171
            
 
172
        for f in ['text_id', 'text_sha1']:
 
173
            v = getattr(self, f)
 
174
            if v != None:
 
175
                e.set(f, v)
 
176
 
 
177
        # to be conservative, we don't externalize the root pointers
 
178
        # for now, leaving them as null in the xml form.  in a future
 
179
        # version it will be implied by nested elements.
 
180
        if self.parent_id != ROOT_ID:
 
181
            assert isinstance(self.parent_id, basestring)
 
182
            e.set('parent_id', self.parent_id)
 
183
 
 
184
        e.tail = '\n'
 
185
            
 
186
        return e
 
187
 
 
188
 
 
189
    def from_element(cls, elt):
 
190
        assert elt.tag == 'entry'
 
191
 
 
192
        ## original format inventories don't have a parent_id for
 
193
        ## nodes in the root directory, but it's cleaner to use one
 
194
        ## internally.
 
195
        parent_id = elt.get('parent_id')
 
196
        if parent_id == None:
 
197
            parent_id = ROOT_ID
 
198
 
 
199
        self = cls(elt.get('file_id'), elt.get('name'), elt.get('kind'), parent_id)
 
200
        self.text_id = elt.get('text_id')
 
201
        self.text_sha1 = elt.get('text_sha1')
 
202
        
 
203
        ## mutter("read inventoryentry: %r" % (elt.attrib))
 
204
 
 
205
        v = elt.get('text_size')
 
206
        self.text_size = v and int(v)
 
207
 
 
208
        return self
 
209
            
 
210
 
 
211
    from_element = classmethod(from_element)
 
212
 
 
213
    def __cmp__(self, other):
 
214
        if self is other:
 
215
            return 0
 
216
        if not isinstance(other, InventoryEntry):
 
217
            return NotImplemented
 
218
 
 
219
        return cmp(self.file_id, other.file_id) \
 
220
               or cmp(self.name, other.name) \
 
221
               or cmp(self.text_sha1, other.text_sha1) \
 
222
               or cmp(self.text_size, other.text_size) \
 
223
               or cmp(self.text_id, other.text_id) \
 
224
               or cmp(self.parent_id, other.parent_id) \
 
225
               or cmp(self.kind, other.kind)
 
226
 
 
227
 
 
228
 
 
229
class RootEntry(InventoryEntry):
 
230
    def __init__(self, file_id):
 
231
        self.file_id = file_id
 
232
        self.children = {}
 
233
        self.kind = 'root_directory'
 
234
        self.parent_id = None
 
235
        self.name = ''
 
236
 
 
237
    def __cmp__(self, other):
 
238
        if self is other:
 
239
            return 0
 
240
        if not isinstance(other, RootEntry):
 
241
            return NotImplemented
 
242
        return cmp(self.file_id, other.file_id) \
 
243
               or cmp(self.children, other.children)
 
244
 
 
245
 
 
246
 
 
247
class Inventory(XMLMixin):
 
248
    """Inventory of versioned files in a tree.
 
249
 
 
250
    This describes which file_id is present at each point in the tree,
 
251
    and possibly the SHA-1 or other information about the file.
 
252
    Entries can be looked up either by path or by file_id.
 
253
 
 
254
    The inventory represents a typical unix file tree, with
 
255
    directories containing files and subdirectories.  We never store
 
256
    the full path to a file, because renaming a directory implicitly
 
257
    moves all of its contents.  This class internally maintains a
 
258
    lookup tree that allows the children under a directory to be
 
259
    returned quickly.
 
260
 
 
261
    InventoryEntry objects must not be modified after they are
 
262
    inserted, other than through the Inventory API.
 
263
 
 
264
    >>> inv = Inventory()
 
265
    >>> inv.write_xml(sys.stdout)
 
266
    <inventory>
 
267
    </inventory>
 
268
    >>> inv.add(InventoryEntry('123-123', 'hello.c', 'file', ROOT_ID))
 
269
    >>> inv['123-123'].name
 
270
    'hello.c'
 
271
 
 
272
    May be treated as an iterator or set to look up file ids:
 
273
    
 
274
    >>> bool(inv.path2id('hello.c'))
 
275
    True
 
276
    >>> '123-123' in inv
 
277
    True
 
278
 
 
279
    May also look up by name:
 
280
 
 
281
    >>> [x[0] for x in inv.iter_entries()]
 
282
    ['hello.c']
 
283
    
 
284
    >>> inv.write_xml(sys.stdout)
 
285
    <inventory>
 
286
    <entry file_id="123-123" kind="file" name="hello.c" />
 
287
    </inventory>
 
288
 
 
289
    """
 
290
    def __init__(self):
 
291
        """Create or read an inventory.
 
292
 
 
293
        If a working directory is specified, the inventory is read
 
294
        from there.  If the file is specified, read from that. If not,
 
295
        the inventory is created empty.
 
296
 
 
297
        The inventory is created with a default root directory, with
 
298
        an id of None.
 
299
        """
 
300
        self.root = RootEntry(ROOT_ID)
 
301
        self._byid = {self.root.file_id: self.root}
 
302
 
 
303
 
 
304
    def __iter__(self):
 
305
        return iter(self._byid)
 
306
 
 
307
 
 
308
    def __len__(self):
 
309
        """Returns number of entries."""
 
310
        return len(self._byid)
 
311
 
 
312
 
 
313
    def iter_entries(self, from_dir=None):
 
314
        """Return (path, entry) pairs, in order by name."""
 
315
        if from_dir == None:
 
316
            assert self.root
 
317
            from_dir = self.root
 
318
        elif isinstance(from_dir, basestring):
 
319
            from_dir = self._byid[from_dir]
 
320
            
 
321
        kids = from_dir.children.items()
 
322
        kids.sort()
 
323
        for name, ie in kids:
 
324
            yield name, ie
 
325
            if ie.kind == 'directory':
 
326
                for cn, cie in self.iter_entries(from_dir=ie.file_id):
 
327
                    yield os.path.join(name, cn), cie
 
328
                    
 
329
 
 
330
 
 
331
    def directories(self):
 
332
        """Return (path, entry) pairs for all directories.
 
333
        """
 
334
        def descend(parent_ie):
 
335
            parent_name = parent_ie.name
 
336
            yield parent_name, parent_ie
 
337
 
 
338
            # directory children in sorted order
 
339
            dn = []
 
340
            for ie in parent_ie.children.itervalues():
 
341
                if ie.kind == 'directory':
 
342
                    dn.append((ie.name, ie))
 
343
            dn.sort()
 
344
            
 
345
            for name, child_ie in dn:
 
346
                for sub_name, sub_ie in descend(child_ie):
 
347
                    yield appendpath(parent_name, sub_name), sub_ie
 
348
 
 
349
        for name, ie in descend(self.root):
 
350
            yield name, ie
 
351
        
 
352
 
 
353
 
 
354
    def __contains__(self, file_id):
 
355
        """True if this entry contains a file with given id.
 
356
 
 
357
        >>> inv = Inventory()
 
358
        >>> inv.add(InventoryEntry('123', 'foo.c', 'file', ROOT_ID))
 
359
        >>> '123' in inv
 
360
        True
 
361
        >>> '456' in inv
 
362
        False
 
363
        """
 
364
        return file_id in self._byid
 
365
 
 
366
 
 
367
    def __getitem__(self, file_id):
 
368
        """Return the entry for given file_id.
 
369
 
 
370
        >>> inv = Inventory()
 
371
        >>> inv.add(InventoryEntry('123123', 'hello.c', 'file', ROOT_ID))
 
372
        >>> inv['123123'].name
 
373
        'hello.c'
 
374
        """
 
375
        try:
 
376
            return self._byid[file_id]
 
377
        except KeyError:
 
378
            if file_id == None:
 
379
                raise BzrError("can't look up file_id None")
 
380
            else:
 
381
                raise BzrError("file_id {%s} not in inventory" % file_id)
 
382
 
 
383
 
 
384
    def get_file_kind(self, file_id):
 
385
        return self._byid[file_id].kind
 
386
 
 
387
    def get_child(self, parent_id, filename):
 
388
        return self[parent_id].children.get(filename)
 
389
 
 
390
 
 
391
    def add(self, entry):
 
392
        """Add entry to inventory.
 
393
 
 
394
        To add  a file to a branch ready to be committed, use Branch.add,
 
395
        which calls this."""
 
396
        if entry.file_id in self._byid:
 
397
            bailout("inventory already contains entry with id {%s}" % entry.file_id)
 
398
 
 
399
        try:
 
400
            parent = self._byid[entry.parent_id]
 
401
        except KeyError:
 
402
            bailout("parent_id {%s} not in inventory" % entry.parent_id)
 
403
 
 
404
        if parent.children.has_key(entry.name):
 
405
            bailout("%s is already versioned" %
 
406
                    appendpath(self.id2path(parent.file_id), entry.name))
 
407
 
 
408
        self._byid[entry.file_id] = entry
 
409
        parent.children[entry.name] = entry
 
410
 
 
411
 
 
412
    def add_path(self, relpath, kind, file_id=None):
 
413
        """Add entry from a path.
 
414
 
 
415
        The immediate parent must already be versioned"""
 
416
        parts = bzrlib.osutils.splitpath(relpath)
 
417
        if len(parts) == 0:
 
418
            bailout("cannot re-add root of inventory")
 
419
 
 
420
        if file_id == None:
 
421
            file_id = bzrlib.branch.gen_file_id(relpath)
 
422
 
 
423
        parent_id = self.path2id(parts[:-1])
 
424
        assert parent_id != None
 
425
        ie = InventoryEntry(file_id, parts[-1],
 
426
                            kind=kind, parent_id=parent_id)
 
427
        return self.add(ie)
 
428
 
 
429
 
 
430
    def __delitem__(self, file_id):
 
431
        """Remove entry by id.
 
432
 
 
433
        >>> inv = Inventory()
 
434
        >>> inv.add(InventoryEntry('123', 'foo.c', 'file', ROOT_ID))
 
435
        >>> '123' in inv
 
436
        True
 
437
        >>> del inv['123']
 
438
        >>> '123' in inv
 
439
        False
 
440
        """
 
441
        ie = self[file_id]
 
442
 
 
443
        assert self[ie.parent_id].children[ie.name] == ie
 
444
        
 
445
        # TODO: Test deleting all children; maybe hoist to a separate
 
446
        # deltree method?
 
447
        if ie.kind == 'directory':
 
448
            for cie in ie.children.values():
 
449
                del self[cie.file_id]
 
450
            del ie.children
 
451
 
 
452
        del self._byid[file_id]
 
453
        del self[ie.parent_id].children[ie.name]
 
454
 
 
455
 
 
456
    def to_element(self):
 
457
        """Convert to XML Element"""
 
458
        e = Element('inventory')
 
459
        e.text = '\n'
 
460
        for path, ie in self.iter_entries():
 
461
            e.append(ie.to_element())
 
462
        return e
 
463
    
 
464
 
 
465
    def from_element(cls, elt):
 
466
        """Construct from XML Element
 
467
 
 
468
        >>> inv = Inventory()
 
469
        >>> inv.add(InventoryEntry('foo.c-123981239', 'foo.c', 'file', ROOT_ID))
 
470
        >>> elt = inv.to_element()
 
471
        >>> inv2 = Inventory.from_element(elt)
 
472
        >>> inv2 == inv
 
473
        True
 
474
        """
 
475
        assert elt.tag == 'inventory'
 
476
        o = cls()
 
477
        for e in elt:
 
478
            o.add(InventoryEntry.from_element(e))
 
479
        return o
 
480
        
 
481
    from_element = classmethod(from_element)
 
482
 
 
483
 
 
484
    def __cmp__(self, other):
 
485
        """Compare two sets by comparing their contents.
 
486
 
 
487
        >>> i1 = Inventory()
 
488
        >>> i2 = Inventory()
 
489
        >>> i1 == i2
 
490
        True
 
491
        >>> i1.add(InventoryEntry('123', 'foo', 'file', ROOT_ID))
 
492
        >>> i1 == i2
 
493
        False
 
494
        >>> i2.add(InventoryEntry('123', 'foo', 'file', ROOT_ID))
 
495
        >>> i1 == i2
 
496
        True
 
497
        """
 
498
        if self is other:
 
499
            return 0
 
500
        
 
501
        if not isinstance(other, Inventory):
 
502
            return NotImplemented
 
503
 
 
504
        byid = self._byid
 
505
        otherids = other._byid
 
506
 
 
507
        if len(byid) != len(otherids):
 
508
            # shortcut: obviously not the same
 
509
            return 1                    
 
510
        
 
511
        for file_id in byid:
 
512
            if file_id not in otherids:
 
513
                return 1
 
514
            
 
515
            c = cmp(byid[file_id], otherids[file_id])
 
516
            if c: return c
 
517
 
 
518
        for file_id in otherids:
 
519
            if file_id not in byid:
 
520
                return 1
 
521
 
 
522
        return 0
 
523
 
 
524
 
 
525
    def get_idpath(self, file_id):
 
526
        """Return a list of file_ids for the path to an entry.
 
527
 
 
528
        The list contains one element for each directory followed by
 
529
        the id of the file itself.  So the length of the returned list
 
530
        is equal to the depth of the file in the tree, counting the
 
531
        root directory as depth 1.
 
532
        """
 
533
        p = []
 
534
        while file_id != None:
 
535
            try:
 
536
                ie = self._byid[file_id]
 
537
            except KeyError:
 
538
                bailout("file_id {%s} not found in inventory" % file_id)
 
539
            p.insert(0, ie.file_id)
 
540
            file_id = ie.parent_id
 
541
        return p
 
542
 
 
543
 
 
544
    def id2path(self, file_id):
 
545
        """Return as a list the path to file_id."""
 
546
 
 
547
        # get all names, skipping root
 
548
        p = [self[fid].name for fid in self.get_idpath(file_id)[1:]]
 
549
        return os.sep.join(p)
 
550
            
 
551
 
 
552
 
 
553
    def path2id(self, name):
 
554
        """Walk down through directories to return entry of last component.
 
555
 
 
556
        names may be either a list of path components, or a single
 
557
        string, in which case it is automatically split.
 
558
 
 
559
        This returns the entry of the last component in the path,
 
560
        which may be either a file or a directory.
 
561
 
 
562
        Returns None iff the path is not found.
 
563
        """
 
564
        if isinstance(name, types.StringTypes):
 
565
            name = splitpath(name)
 
566
 
 
567
        mutter("lookup path %r" % name)
 
568
 
 
569
        parent = self.root
 
570
        for f in name:
 
571
            try:
 
572
                cie = parent.children[f]
 
573
                assert cie.name == f
 
574
                assert cie.parent_id == parent.file_id
 
575
                parent = cie
 
576
            except KeyError:
 
577
                # or raise an error?
 
578
                return None
 
579
 
 
580
        return parent.file_id
 
581
 
 
582
 
 
583
    def has_filename(self, names):
 
584
        return bool(self.path2id(names))
 
585
 
 
586
 
 
587
    def has_id(self, file_id):
 
588
        return self._byid.has_key(file_id)
 
589
 
 
590
 
 
591
    def rename(self, file_id, new_parent_id, new_name):
 
592
        """Move a file within the inventory.
 
593
 
 
594
        This can change either the name, or the parent, or both.
 
595
 
 
596
        This does not move the working file."""
 
597
        if not is_valid_name(new_name):
 
598
            bailout("not an acceptable filename: %r" % new_name)
 
599
 
 
600
        new_parent = self._byid[new_parent_id]
 
601
        if new_name in new_parent.children:
 
602
            bailout("%r already exists in %r" % (new_name, self.id2path(new_parent_id)))
 
603
 
 
604
        new_parent_idpath = self.get_idpath(new_parent_id)
 
605
        if file_id in new_parent_idpath:
 
606
            bailout("cannot move directory %r into a subdirectory of itself, %r"
 
607
                    % (self.id2path(file_id), self.id2path(new_parent_id)))
 
608
 
 
609
        file_ie = self._byid[file_id]
 
610
        old_parent = self._byid[file_ie.parent_id]
 
611
 
 
612
        # TODO: Don't leave things messed up if this fails
 
613
 
 
614
        del old_parent.children[file_ie.name]
 
615
        new_parent.children[new_name] = file_ie
 
616
        
 
617
        file_ie.name = new_name
 
618
        file_ie.parent_id = new_parent_id
 
619
 
 
620
 
 
621
 
 
622
 
 
623
_NAME_RE = re.compile(r'^[^/\\]+$')
 
624
 
 
625
def is_valid_name(name):
 
626
    return bool(_NAME_RE.match(name))