/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/inventory.py

  • Committer: mbp at sourcefrog
  • Date: 2005-03-29 02:31:34 UTC
  • Revision ID: mbp@sourcefrog.net-20050329023134-2d1eb96c55831937
check size and sha1 of files retrieved from the tree

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
#! /usr/bin/env python
 
2
# -*- coding: UTF-8 -*-
 
3
 
 
4
# This program is free software; you can redistribute it and/or modify
 
5
# it under the terms of the GNU General Public License as published by
 
6
# the Free Software Foundation; either version 2 of the License, or
 
7
# (at your option) any later version.
 
8
 
 
9
# This program is distributed in the hope that it will be useful,
 
10
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
11
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
12
# GNU General Public License for more details.
 
13
 
 
14
# You should have received a copy of the GNU General Public License
 
15
# along with this program; if not, write to the Free Software
 
16
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
17
 
 
18
"""Inventories map files to their name in a revision."""
 
19
 
 
20
# TODO: Maybe store inventory_id in the file?  Not really needed.
 
21
 
 
22
__copyright__ = "Copyright (C) 2005 Canonical Ltd."
 
23
__author__ = "Martin Pool <mbp@canonical.com>"
 
24
 
 
25
import sys, os.path, types
 
26
from sets import Set
 
27
 
 
28
try:
 
29
    from cElementTree import Element, ElementTree, SubElement
 
30
except ImportError:
 
31
    from elementtree.ElementTree import Element, ElementTree, SubElement
 
32
 
 
33
from xml import XMLMixin
 
34
from errors import bailout
 
35
 
 
36
import bzrlib
 
37
from bzrlib.osutils import uuid, quotefn, splitpath, joinpath, appendpath
 
38
from bzrlib.trace import mutter
 
39
 
 
40
class InventoryEntry(XMLMixin):
 
41
    """Description of a versioned file.
 
42
 
 
43
    An InventoryEntry has the following fields, which are also
 
44
    present in the XML inventory-entry element:
 
45
 
 
46
    * *file_id*
 
47
    * *name*: (only the basename within the directory, must not
 
48
      contain slashes)
 
49
    * *kind*: "directory" or "file"
 
50
    * *directory_id*: (if absent/null means the branch root directory)
 
51
    * *text_sha1*: only for files
 
52
    * *text_size*: in bytes, only for files 
 
53
    * *text_id*: identifier for the text version, only for files
 
54
 
 
55
    InventoryEntries can also exist inside a WorkingTree
 
56
    inventory, in which case they are not yet bound to a
 
57
    particular revision of the file.  In that case the text_sha1,
 
58
    text_size and text_id are absent.
 
59
 
 
60
 
 
61
    >>> i = Inventory()
 
62
    >>> i.path2id('')
 
63
    >>> i.add(InventoryEntry('123', 'src', kind='directory'))
 
64
    >>> i.add(InventoryEntry('2323', 'hello.c', parent_id='123'))
 
65
    >>> for j in i.iter_entries():
 
66
    ...   print j
 
67
    ... 
 
68
    ('src', InventoryEntry('123', 'src', kind='directory', parent_id=None))
 
69
    ('src/hello.c', InventoryEntry('2323', 'hello.c', kind='file', parent_id='123'))
 
70
    >>> i.add(InventoryEntry('2323', 'bye.c', parent_id='123'))
 
71
    Traceback (most recent call last):
 
72
    ...
 
73
    BzrError: ('inventory already contains entry with id {2323}', [])
 
74
    >>> i.add(InventoryEntry('2324', 'bye.c', parent_id='123'))
 
75
    >>> i.add(InventoryEntry('2325', 'wibble', parent_id='123', kind='directory'))
 
76
    >>> i.path2id('src/wibble')
 
77
    '2325'
 
78
    >>> '2325' in i
 
79
    True
 
80
    >>> i.add(InventoryEntry('2326', 'wibble.c', parent_id='2325'))
 
81
    >>> i['2326']
 
82
    InventoryEntry('2326', 'wibble.c', kind='file', parent_id='2325')
 
83
    >>> for j in i.iter_entries():
 
84
    ...     print j[0]
 
85
    ...     assert i.path2id(j[0])
 
86
    ... 
 
87
    src
 
88
    src/bye.c
 
89
    src/hello.c
 
90
    src/wibble
 
91
    src/wibble/wibble.c
 
92
    >>> i.id2path('2326')
 
93
    'src/wibble/wibble.c'
 
94
 
 
95
    :todo: Maybe also keep the full path of the entry, and the children?
 
96
           But those depend on its position within a particular inventory, and
 
97
           it would be nice not to need to hold the backpointer here.
 
98
    """
 
99
    def __init__(self, file_id, name, kind='file', text_id=None,
 
100
                 parent_id=None):
 
101
        """Create an InventoryEntry
 
102
        
 
103
        The filename must be a single component, relative to the
 
104
        parent directory; it cannot be a whole path or relative name.
 
105
 
 
106
        >>> e = InventoryEntry('123', 'hello.c')
 
107
        >>> e.name
 
108
        'hello.c'
 
109
        >>> e.file_id
 
110
        '123'
 
111
        >>> e = InventoryEntry('123', 'src/hello.c')
 
112
        Traceback (most recent call last):
 
113
        BzrError: ("InventoryEntry name is not a simple filename: 'src/hello.c'", [])
 
114
        """
 
115
        
 
116
        if len(splitpath(name)) != 1:
 
117
            bailout('InventoryEntry name is not a simple filename: %r'
 
118
                    % name)
 
119
        
 
120
        self.file_id = file_id
 
121
        self.name = name
 
122
        assert kind in ['file', 'directory']
 
123
        self.kind = kind
 
124
        self.text_id = text_id
 
125
        self.parent_id = parent_id
 
126
        self.text_sha1 = None
 
127
        self.text_size = None
 
128
 
 
129
 
 
130
    def copy(self):
 
131
        other = InventoryEntry(self.file_id, self.name, self.kind,
 
132
                               self.text_id, self.parent_id)
 
133
        other.text_sha1 = self.text_sha1
 
134
        other.text_size = self.text_size
 
135
        return other
 
136
 
 
137
 
 
138
    def __repr__(self):
 
139
        return ("%s(%r, %r, kind=%r, parent_id=%r)"
 
140
                % (self.__class__.__name__,
 
141
                   self.file_id,
 
142
                   self.name,
 
143
                   self.kind,
 
144
                   self.parent_id))
 
145
 
 
146
    
 
147
    def to_element(self):
 
148
        """Convert to XML element"""
 
149
        e = Element('entry')
 
150
 
 
151
        e.set('name', self.name)
 
152
        e.set('file_id', self.file_id)
 
153
        e.set('kind', self.kind)
 
154
 
 
155
        if self.text_size is not None:
 
156
            e.set('text_size', '%d' % self.text_size)
 
157
            
 
158
        for f in ['text_id', 'text_sha1', 'parent_id']:
 
159
            v = getattr(self, f)
 
160
            if v is not None:
 
161
                e.set(f, v)
 
162
 
 
163
        e.tail = '\n'
 
164
            
 
165
        return e
 
166
 
 
167
 
 
168
    def from_element(cls, elt):
 
169
        assert elt.tag == 'entry'
 
170
        self = cls(elt.get('file_id'), elt.get('name'), elt.get('kind'))
 
171
        self.text_id = elt.get('text_id')
 
172
        self.text_sha1 = elt.get('text_sha1')
 
173
        self.parent_id = elt.get('parent_id')
 
174
        
 
175
        ## mutter("read inventoryentry: %r" % (elt.attrib))
 
176
 
 
177
        v = elt.get('text_size')
 
178
        self.text_size = v and int(v)
 
179
 
 
180
        return self
 
181
            
 
182
 
 
183
    from_element = classmethod(from_element)
 
184
 
 
185
    def __cmp__(self, other):
 
186
        if self is other:
 
187
            return 0
 
188
        if not isinstance(other, InventoryEntry):
 
189
            return NotImplemented
 
190
 
 
191
        return cmp(self.file_id, other.file_id) \
 
192
               or cmp(self.name, other.name) \
 
193
               or cmp(self.text_sha1, other.text_sha1) \
 
194
               or cmp(self.text_size, other.text_size) \
 
195
               or cmp(self.text_id, other.text_id) \
 
196
               or cmp(self.parent_id, other.parent_id) \
 
197
               or cmp(self.kind, other.kind)
 
198
 
 
199
 
 
200
 
 
201
class Inventory(XMLMixin):
 
202
    """Inventory of versioned files in a tree.
 
203
 
 
204
    An Inventory acts like a set of InventoryEntry items.  You can
 
205
    also look files up by their file_id or name.
 
206
    
 
207
    May be read from and written to a metadata file in a tree.  To
 
208
    manipulate the inventory (for example to add a file), it is read
 
209
    in, modified, and then written back out.
 
210
 
 
211
    The inventory represents a typical unix file tree, with
 
212
    directories containing files and subdirectories.  We never store
 
213
    the full path to a file, because renaming a directory implicitly
 
214
    moves all of its contents.  This class internally maintains a
 
215
    lookup tree that allows the children under a directory to be
 
216
    returned quickly.
 
217
 
 
218
    InventoryEntry objects must not be modified after they are
 
219
    inserted.
 
220
 
 
221
    >>> inv = Inventory()
 
222
    >>> inv.write_xml(sys.stdout)
 
223
    <inventory>
 
224
    </inventory>
 
225
    >>> inv.add(InventoryEntry('123-123', 'hello.c'))
 
226
    >>> inv['123-123'].name
 
227
    'hello.c'
 
228
    >>> for file_id in inv: print file_id
 
229
    ...
 
230
    123-123
 
231
 
 
232
    May be treated as an iterator or set to look up file ids:
 
233
    
 
234
    >>> bool(inv.path2id('hello.c'))
 
235
    True
 
236
    >>> '123-123' in inv
 
237
    True
 
238
 
 
239
    May also look up by name:
 
240
 
 
241
    >>> [x[0] for x in inv.iter_entries()]
 
242
    ['hello.c']
 
243
    
 
244
    >>> inv.write_xml(sys.stdout)
 
245
    <inventory>
 
246
    <entry file_id="123-123" kind="file" name="hello.c" />
 
247
    </inventory>
 
248
 
 
249
    """
 
250
 
 
251
    ## TODO: Clear up handling of files in subdirectories; we probably
 
252
    ## do want to be able to just look them up by name but this
 
253
    ## probably means gradually walking down the path, looking up as we go.
 
254
 
 
255
    ## TODO: Make sure only canonical filenames are stored.
 
256
 
 
257
    ## TODO: Do something sensible about the possible collisions on
 
258
    ## case-losing filesystems.  Perhaps we should just always forbid
 
259
    ## such collisions.
 
260
 
 
261
    ## _tree should probably just be stored as
 
262
    ## InventoryEntry._children on each directory.
 
263
 
 
264
    def __init__(self):
 
265
        """Create or read an inventory.
 
266
 
 
267
        If a working directory is specified, the inventory is read
 
268
        from there.  If the file is specified, read from that. If not,
 
269
        the inventory is created empty.
 
270
        """
 
271
        self._byid = dict()
 
272
 
 
273
        # _tree is indexed by parent_id; at each level a map from name
 
274
        # to ie.  The None entry is the root.
 
275
        self._tree = {None: {}}
 
276
 
 
277
 
 
278
    def __iter__(self):
 
279
        return iter(self._byid)
 
280
 
 
281
 
 
282
    def __len__(self):
 
283
        """Returns number of entries."""
 
284
        return len(self._byid)
 
285
 
 
286
 
 
287
    def iter_entries(self, parent_id=None):
 
288
        """Return (path, entry) pairs, in order by name."""
 
289
        kids = self._tree[parent_id].items()
 
290
        kids.sort()
 
291
        for name, ie in kids:
 
292
            yield name, ie
 
293
            if ie.kind == 'directory':
 
294
                for cn, cie in self.iter_entries(parent_id=ie.file_id):
 
295
                    yield joinpath([name, cn]), cie
 
296
 
 
297
 
 
298
    def directories(self, include_root=True):
 
299
        """Return (path, entry) pairs for all directories.
 
300
        """
 
301
        if include_root:
 
302
            yield '', None
 
303
        for path, entry in self.iter_entries():
 
304
            if entry.kind == 'directory':
 
305
                yield path, entry
 
306
        
 
307
 
 
308
 
 
309
    def children(self, parent_id):
 
310
        """Return entries that are direct children of parent_id."""
 
311
        return self._tree[parent_id]
 
312
                    
 
313
 
 
314
 
 
315
    # TODO: return all paths and entries
 
316
 
 
317
 
 
318
    def __contains__(self, file_id):
 
319
        """True if this entry contains a file with given id.
 
320
 
 
321
        >>> inv = Inventory()
 
322
        >>> inv.add(InventoryEntry('123', 'foo.c'))
 
323
        >>> '123' in inv
 
324
        True
 
325
        >>> '456' in inv
 
326
        False
 
327
        """
 
328
        return file_id in self._byid
 
329
 
 
330
 
 
331
    def __getitem__(self, file_id):
 
332
        """Return the entry for given file_id.
 
333
 
 
334
        >>> inv = Inventory()
 
335
        >>> inv.add(InventoryEntry('123123', 'hello.c'))
 
336
        >>> inv['123123'].name
 
337
        'hello.c'
 
338
        """
 
339
        return self._byid[file_id]
 
340
 
 
341
 
 
342
    def add(self, entry):
 
343
        """Add entry to inventory.
 
344
 
 
345
        To add  a file to a branch ready to be committed, use Branch.add,
 
346
        which calls this."""
 
347
        if entry.file_id in self:
 
348
            bailout("inventory already contains entry with id {%s}" % entry.file_id)
 
349
 
 
350
        if entry.parent_id != None:
 
351
            if entry.parent_id not in self:
 
352
                bailout("parent_id %s of new entry not found in inventory"
 
353
                        % entry.parent_id)
 
354
            
 
355
        if self._tree[entry.parent_id].has_key(entry.name):
 
356
            bailout("%s is already versioned"
 
357
                    % appendpath(self.id2path(entry.parent_id), entry.name))
 
358
 
 
359
        self._byid[entry.file_id] = entry
 
360
        self._tree[entry.parent_id][entry.name] = entry
 
361
 
 
362
        if entry.kind == 'directory':
 
363
            self._tree[entry.file_id] = {}
 
364
 
 
365
 
 
366
    def add_path(self, relpath, kind, file_id=None):
 
367
        """Add entry from a path.
 
368
 
 
369
        The immediate parent must already be versioned"""
 
370
        parts = bzrlib.osutils.splitpath(relpath)
 
371
        if len(parts) == 0:
 
372
            bailout("cannot re-add root of inventory")
 
373
 
 
374
        if file_id is None:
 
375
            file_id = bzrlib.branch.gen_file_id(relpath)
 
376
 
 
377
        parent_id = self.path2id(parts[:-1])
 
378
        ie = InventoryEntry(file_id, parts[-1],
 
379
                            kind=kind, parent_id=parent_id)
 
380
        return self.add(ie)
 
381
 
 
382
 
 
383
    def __delitem__(self, file_id):
 
384
        """Remove entry by id.
 
385
 
 
386
        >>> inv = Inventory()
 
387
        >>> inv.add(InventoryEntry('123', 'foo.c'))
 
388
        >>> '123' in inv
 
389
        True
 
390
        >>> del inv['123']
 
391
        >>> '123' in inv
 
392
        False
 
393
        """
 
394
        ie = self[file_id]
 
395
 
 
396
        assert self._tree[ie.parent_id][ie.name] == ie
 
397
        
 
398
        # TODO: Test deleting all children; maybe hoist to a separate
 
399
        # deltree method?
 
400
        if ie.kind == 'directory':
 
401
            for cie in self._tree[file_id].values():
 
402
                del self[cie.file_id]
 
403
            del self._tree[file_id]
 
404
 
 
405
        del self._byid[file_id]
 
406
        del self._tree[ie.parent_id][ie.name]
 
407
 
 
408
 
 
409
    def id_set(self):
 
410
        return Set(self._byid)
 
411
 
 
412
 
 
413
    def to_element(self):
 
414
        """Convert to XML Element"""
 
415
        e = Element('inventory')
 
416
        e.text = '\n'
 
417
        for path, ie in self.iter_entries():
 
418
            e.append(ie.to_element())
 
419
        return e
 
420
    
 
421
 
 
422
    def from_element(cls, elt):
 
423
        """Construct from XML Element
 
424
 
 
425
        >>> inv = Inventory()
 
426
        >>> inv.add(InventoryEntry('foo.c-123981239', 'foo.c'))
 
427
        >>> elt = inv.to_element()
 
428
        >>> inv2 = Inventory.from_element(elt)
 
429
        >>> inv2 == inv
 
430
        True
 
431
        """
 
432
        assert elt.tag == 'inventory'
 
433
        o = cls()
 
434
        for e in elt:
 
435
            o.add(InventoryEntry.from_element(e))
 
436
        return o
 
437
        
 
438
    from_element = classmethod(from_element)
 
439
 
 
440
 
 
441
    def __cmp__(self, other):
 
442
        """Compare two sets by comparing their contents.
 
443
 
 
444
        >>> i1 = Inventory()
 
445
        >>> i2 = Inventory()
 
446
        >>> i1 == i2
 
447
        True
 
448
        >>> i1.add(InventoryEntry('123', 'foo'))
 
449
        >>> i1 == i2
 
450
        False
 
451
        >>> i2.add(InventoryEntry('123', 'foo'))
 
452
        >>> i1 == i2
 
453
        True
 
454
        """
 
455
        if self is other:
 
456
            return 0
 
457
        
 
458
        if not isinstance(other, Inventory):
 
459
            return NotImplemented
 
460
 
 
461
        if self.id_set() ^ other.id_set():
 
462
            return 1
 
463
 
 
464
        for file_id in self._byid:
 
465
            c = cmp(self[file_id], other[file_id])
 
466
            if c: return c
 
467
 
 
468
        return 0
 
469
 
 
470
 
 
471
    def id2path(self, file_id):
 
472
        """Return as a list the path to file_id."""
 
473
        p = []
 
474
        while file_id != None:
 
475
            ie = self[file_id]
 
476
            p = [ie.name] + p
 
477
            file_id = ie.parent_id
 
478
        return joinpath(p)
 
479
            
 
480
 
 
481
 
 
482
    def path2id(self, name):
 
483
        """Walk down through directories to return entry of last component.
 
484
 
 
485
        names may be either a list of path components, or a single
 
486
        string, in which case it is automatically split.
 
487
 
 
488
        This returns the entry of the last component in the path,
 
489
        which may be either a file or a directory.
 
490
        """
 
491
        if isinstance(name, types.StringTypes):
 
492
            name = splitpath(name)
 
493
 
 
494
        parent_id = None
 
495
        for f in name:
 
496
            try:
 
497
                cie = self._tree[parent_id][f]
 
498
                assert cie.name == f
 
499
                parent_id = cie.file_id
 
500
            except KeyError:
 
501
                # or raise an error?
 
502
                return None
 
503
 
 
504
        return parent_id
 
505
 
 
506
 
 
507
    def get_child(self, parent_id, child_name):
 
508
        return self._tree[parent_id].get(child_name)
 
509
 
 
510
 
 
511
    def has_filename(self, names):
 
512
        return bool(self.path2id(names))
 
513
 
 
514
 
 
515
    def has_id(self, file_id):
 
516
        assert isinstance(file_id, str)
 
517
        return self._byid.has_key(file_id)
 
518
 
 
519
 
 
520
 
 
521
 
 
522
 
 
523
if __name__ == '__main__':
 
524
    import doctest, inventory
 
525
    doctest.testmod(inventory)