/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/inventory.py

  • Committer: Martin Pool
  • Date: 2005-09-06 06:44:11 UTC
  • Revision ID: mbp@sourcefrog.net-20050906064410-86f1113d1d1ee429
- fix v5 packing of inventory entries

  add test for round-trip on inventory entries

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# (C) 2005 Canonical Ltd
 
2
 
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
 
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
 
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
 
 
18
# This should really be an id randomly assigned when the tree is
 
19
# created, but it's not for now.
 
20
ROOT_ID = "TREE_ROOT"
 
21
 
 
22
 
 
23
import sys, os.path, types, re
 
24
 
 
25
import bzrlib
 
26
from bzrlib.errors import BzrError, BzrCheckError
 
27
 
 
28
from bzrlib.osutils import uuid, quotefn, splitpath, joinpath, appendpath
 
29
from bzrlib.trace import mutter
 
30
from bzrlib.errors import NotVersionedError
 
31
        
 
32
 
 
33
class InventoryEntry(object):
 
34
    """Description of a versioned file.
 
35
 
 
36
    An InventoryEntry has the following fields, which are also
 
37
    present in the XML inventory-entry element:
 
38
 
 
39
    * *file_id*
 
40
    * *name*: (only the basename within the directory, must not
 
41
      contain slashes)
 
42
    * *kind*: "directory" or "file"
 
43
    * *directory_id*: (if absent/null means the branch root directory)
 
44
    * *text_sha1*: only for files
 
45
    * *text_size*: in bytes, only for files 
 
46
    * *text_id*: identifier for the text version, only for files
 
47
 
 
48
    InventoryEntries can also exist inside a WorkingTree
 
49
    inventory, in which case they are not yet bound to a
 
50
    particular revision of the file.  In that case the text_sha1,
 
51
    text_size and text_id are absent.
 
52
 
 
53
 
 
54
    >>> i = Inventory()
 
55
    >>> i.path2id('')
 
56
    'TREE_ROOT'
 
57
    >>> i.add(InventoryEntry('123', 'src', 'directory', ROOT_ID))
 
58
    InventoryEntry('123', 'src', kind='directory', parent_id='TREE_ROOT')
 
59
    >>> i.add(InventoryEntry('2323', 'hello.c', 'file', parent_id='123'))
 
60
    InventoryEntry('2323', 'hello.c', kind='file', parent_id='123')
 
61
    >>> for j in i.iter_entries():
 
62
    ...   print j
 
63
    ... 
 
64
    ('src', InventoryEntry('123', 'src', kind='directory', parent_id='TREE_ROOT'))
 
65
    ('src/hello.c', InventoryEntry('2323', 'hello.c', kind='file', parent_id='123'))
 
66
    >>> i.add(InventoryEntry('2323', 'bye.c', 'file', '123'))
 
67
    Traceback (most recent call last):
 
68
    ...
 
69
    BzrError: inventory already contains entry with id {2323}
 
70
    >>> i.add(InventoryEntry('2324', 'bye.c', 'file', '123'))
 
71
    InventoryEntry('2324', 'bye.c', kind='file', parent_id='123')
 
72
    >>> i.add(InventoryEntry('2325', 'wibble', 'directory', '123'))
 
73
    InventoryEntry('2325', 'wibble', kind='directory', parent_id='123')
 
74
    >>> i.path2id('src/wibble')
 
75
    '2325'
 
76
    >>> '2325' in i
 
77
    True
 
78
    >>> i.add(InventoryEntry('2326', 'wibble.c', 'file', '2325'))
 
79
    InventoryEntry('2326', 'wibble.c', kind='file', parent_id='2325')
 
80
    >>> i['2326']
 
81
    InventoryEntry('2326', 'wibble.c', kind='file', parent_id='2325')
 
82
    >>> for j in i.iter_entries():
 
83
    ...     print j[0]
 
84
    ...     assert i.path2id(j[0])
 
85
    ... 
 
86
    src
 
87
    src/bye.c
 
88
    src/hello.c
 
89
    src/wibble
 
90
    src/wibble/wibble.c
 
91
    >>> i.id2path('2326')
 
92
    'src/wibble/wibble.c'
 
93
 
 
94
    TODO: Maybe also keep the full path of the entry, and the children?
 
95
           But those depend on its position within a particular inventory, and
 
96
           it would be nice not to need to hold the backpointer here.
 
97
    """
 
98
 
 
99
    # TODO: split InventoryEntry into subclasses for files,
 
100
    # directories, etc etc.
 
101
 
 
102
    __slots__ = ['text_sha1', 'text_size', 'file_id', 'name', 'kind',
 
103
                 'text_id', 'parent_id', 'children',
 
104
                 'text_version', 'entry_version', ]
 
105
 
 
106
    def __init__(self, file_id, name, kind, parent_id, text_id=None):
 
107
        """Create an InventoryEntry
 
108
        
 
109
        The filename must be a single component, relative to the
 
110
        parent directory; it cannot be a whole path or relative name.
 
111
 
 
112
        >>> e = InventoryEntry('123', 'hello.c', 'file', ROOT_ID)
 
113
        >>> e.name
 
114
        'hello.c'
 
115
        >>> e.file_id
 
116
        '123'
 
117
        >>> e = InventoryEntry('123', 'src/hello.c', 'file', ROOT_ID)
 
118
        Traceback (most recent call last):
 
119
        BzrCheckError: InventoryEntry name 'src/hello.c' is invalid
 
120
        """
 
121
        assert isinstance(name, basestring), name
 
122
        if '/' in name or '\\' in name:
 
123
            raise BzrCheckError('InventoryEntry name %r is invalid' % name)
 
124
        
 
125
        self.text_sha1 = None
 
126
        self.text_size = None
 
127
    
 
128
        self.file_id = file_id
 
129
        self.name = name
 
130
        self.kind = kind
 
131
        self.text_id = text_id
 
132
        self.parent_id = parent_id
 
133
        if kind == 'directory':
 
134
            self.children = {}
 
135
        elif kind == 'file':
 
136
            pass
 
137
        else:
 
138
            raise BzrError("unhandled entry kind %r" % kind)
 
139
 
 
140
 
 
141
 
 
142
    def sorted_children(self):
 
143
        l = self.children.items()
 
144
        l.sort()
 
145
        return l
 
146
 
 
147
 
 
148
    def copy(self):
 
149
        other = InventoryEntry(self.file_id, self.name, self.kind,
 
150
                               self.parent_id, text_id=self.text_id)
 
151
        other.text_sha1 = self.text_sha1
 
152
        other.text_size = self.text_size
 
153
        # note that children are *not* copied; they're pulled across when
 
154
        # others are added
 
155
        return other
 
156
 
 
157
 
 
158
    def __repr__(self):
 
159
        return ("%s(%r, %r, kind=%r, parent_id=%r)"
 
160
                % (self.__class__.__name__,
 
161
                   self.file_id,
 
162
                   self.name,
 
163
                   self.kind,
 
164
                   self.parent_id))
 
165
 
 
166
    
 
167
    def __eq__(self, other):
 
168
        if not isinstance(other, InventoryEntry):
 
169
            return NotImplemented
 
170
 
 
171
        return (self.file_id == other.file_id) \
 
172
               and (self.name == other.name) \
 
173
               and (self.text_sha1 == other.text_sha1) \
 
174
               and (self.text_size == other.text_size) \
 
175
               and (self.text_id == other.text_id) \
 
176
               and (self.parent_id == other.parent_id) \
 
177
               and (self.kind == other.kind)
 
178
 
 
179
 
 
180
    def __ne__(self, other):
 
181
        return not (self == other)
 
182
 
 
183
    def __hash__(self):
 
184
        raise ValueError('not hashable')
 
185
 
 
186
 
 
187
 
 
188
class RootEntry(InventoryEntry):
 
189
    def __init__(self, file_id):
 
190
        self.file_id = file_id
 
191
        self.children = {}
 
192
        self.kind = 'root_directory'
 
193
        self.parent_id = None
 
194
        self.name = ''
 
195
 
 
196
    def __eq__(self, other):
 
197
        if not isinstance(other, RootEntry):
 
198
            return NotImplemented
 
199
        
 
200
        return (self.file_id == other.file_id) \
 
201
               and (self.children == other.children)
 
202
 
 
203
 
 
204
 
 
205
class Inventory(object):
 
206
    """Inventory of versioned files in a tree.
 
207
 
 
208
    This describes which file_id is present at each point in the tree,
 
209
    and possibly the SHA-1 or other information about the file.
 
210
    Entries can be looked up either by path or by file_id.
 
211
 
 
212
    The inventory represents a typical unix file tree, with
 
213
    directories containing files and subdirectories.  We never store
 
214
    the full path to a file, because renaming a directory implicitly
 
215
    moves all of its contents.  This class internally maintains a
 
216
    lookup tree that allows the children under a directory to be
 
217
    returned quickly.
 
218
 
 
219
    InventoryEntry objects must not be modified after they are
 
220
    inserted, other than through the Inventory API.
 
221
 
 
222
    >>> inv = Inventory()
 
223
    >>> inv.add(InventoryEntry('123-123', 'hello.c', 'file', ROOT_ID))
 
224
    InventoryEntry('123-123', 'hello.c', kind='file', parent_id='TREE_ROOT')
 
225
    >>> inv['123-123'].name
 
226
    'hello.c'
 
227
 
 
228
    May be treated as an iterator or set to look up file ids:
 
229
    
 
230
    >>> bool(inv.path2id('hello.c'))
 
231
    True
 
232
    >>> '123-123' in inv
 
233
    True
 
234
 
 
235
    May also look up by name:
 
236
 
 
237
    >>> [x[0] for x in inv.iter_entries()]
 
238
    ['hello.c']
 
239
    >>> inv = Inventory('TREE_ROOT-12345678-12345678')
 
240
    >>> inv.add(InventoryEntry('123-123', 'hello.c', 'file', ROOT_ID))
 
241
    InventoryEntry('123-123', 'hello.c', kind='file', parent_id='TREE_ROOT-12345678-12345678')
 
242
    """
 
243
    def __init__(self, root_id=ROOT_ID):
 
244
        """Create or read an inventory.
 
245
 
 
246
        If a working directory is specified, the inventory is read
 
247
        from there.  If the file is specified, read from that. If not,
 
248
        the inventory is created empty.
 
249
 
 
250
        The inventory is created with a default root directory, with
 
251
        an id of None.
 
252
        """
 
253
        # We are letting Branch(init=True) create a unique inventory
 
254
        # root id. Rather than generating a random one here.
 
255
        #if root_id is None:
 
256
        #    root_id = bzrlib.branch.gen_file_id('TREE_ROOT')
 
257
        self.root = RootEntry(root_id)
 
258
        self._byid = {self.root.file_id: self.root}
 
259
 
 
260
 
 
261
    def __iter__(self):
 
262
        return iter(self._byid)
 
263
 
 
264
 
 
265
    def __len__(self):
 
266
        """Returns number of entries."""
 
267
        return len(self._byid)
 
268
 
 
269
 
 
270
    def iter_entries(self, from_dir=None):
 
271
        """Return (path, entry) pairs, in order by name."""
 
272
        if from_dir == None:
 
273
            assert self.root
 
274
            from_dir = self.root
 
275
        elif isinstance(from_dir, basestring):
 
276
            from_dir = self._byid[from_dir]
 
277
            
 
278
        kids = from_dir.children.items()
 
279
        kids.sort()
 
280
        for name, ie in kids:
 
281
            yield name, ie
 
282
            if ie.kind == 'directory':
 
283
                for cn, cie in self.iter_entries(from_dir=ie.file_id):
 
284
                    yield os.path.join(name, cn), cie
 
285
 
 
286
 
 
287
    def entries(self):
 
288
        """Return list of (path, ie) for all entries except the root.
 
289
 
 
290
        This may be faster than iter_entries.
 
291
        """
 
292
        accum = []
 
293
        def descend(dir_ie, dir_path):
 
294
            kids = dir_ie.children.items()
 
295
            kids.sort()
 
296
            for name, ie in kids:
 
297
                child_path = os.path.join(dir_path, name)
 
298
                accum.append((child_path, ie))
 
299
                if ie.kind == 'directory':
 
300
                    descend(ie, child_path)
 
301
 
 
302
        descend(self.root, '')
 
303
        return accum
 
304
 
 
305
 
 
306
    def directories(self):
 
307
        """Return (path, entry) pairs for all directories, including the root.
 
308
        """
 
309
        accum = []
 
310
        def descend(parent_ie, parent_path):
 
311
            accum.append((parent_path, parent_ie))
 
312
            
 
313
            kids = [(ie.name, ie) for ie in parent_ie.children.itervalues() if ie.kind == 'directory']
 
314
            kids.sort()
 
315
 
 
316
            for name, child_ie in kids:
 
317
                child_path = os.path.join(parent_path, name)
 
318
                descend(child_ie, child_path)
 
319
        descend(self.root, '')
 
320
        return accum
 
321
        
 
322
 
 
323
 
 
324
    def __contains__(self, file_id):
 
325
        """True if this entry contains a file with given id.
 
326
 
 
327
        >>> inv = Inventory()
 
328
        >>> inv.add(InventoryEntry('123', 'foo.c', 'file', ROOT_ID))
 
329
        InventoryEntry('123', 'foo.c', kind='file', parent_id='TREE_ROOT')
 
330
        >>> '123' in inv
 
331
        True
 
332
        >>> '456' in inv
 
333
        False
 
334
        """
 
335
        return file_id in self._byid
 
336
 
 
337
 
 
338
    def __getitem__(self, file_id):
 
339
        """Return the entry for given file_id.
 
340
 
 
341
        >>> inv = Inventory()
 
342
        >>> inv.add(InventoryEntry('123123', 'hello.c', 'file', ROOT_ID))
 
343
        InventoryEntry('123123', 'hello.c', kind='file', parent_id='TREE_ROOT')
 
344
        >>> inv['123123'].name
 
345
        'hello.c'
 
346
        """
 
347
        try:
 
348
            return self._byid[file_id]
 
349
        except KeyError:
 
350
            if file_id == None:
 
351
                raise BzrError("can't look up file_id None")
 
352
            else:
 
353
                raise BzrError("file_id {%s} not in inventory" % file_id)
 
354
 
 
355
 
 
356
    def get_file_kind(self, file_id):
 
357
        return self._byid[file_id].kind
 
358
 
 
359
    def get_child(self, parent_id, filename):
 
360
        return self[parent_id].children.get(filename)
 
361
 
 
362
 
 
363
    def add(self, entry):
 
364
        """Add entry to inventory.
 
365
 
 
366
        To add  a file to a branch ready to be committed, use Branch.add,
 
367
        which calls this.
 
368
 
 
369
        Returns the new entry object.
 
370
        """
 
371
        if entry.file_id in self._byid:
 
372
            raise BzrError("inventory already contains entry with id {%s}" % entry.file_id)
 
373
 
 
374
        if entry.parent_id == ROOT_ID or entry.parent_id is None:
 
375
            entry.parent_id = self.root.file_id
 
376
 
 
377
        try:
 
378
            parent = self._byid[entry.parent_id]
 
379
        except KeyError:
 
380
            raise BzrError("parent_id {%s} not in inventory" % entry.parent_id)
 
381
 
 
382
        if parent.children.has_key(entry.name):
 
383
            raise BzrError("%s is already versioned" %
 
384
                    appendpath(self.id2path(parent.file_id), entry.name))
 
385
 
 
386
        self._byid[entry.file_id] = entry
 
387
        parent.children[entry.name] = entry
 
388
        return entry
 
389
 
 
390
 
 
391
    def add_path(self, relpath, kind, file_id=None):
 
392
        """Add entry from a path.
 
393
 
 
394
        The immediate parent must already be versioned.
 
395
 
 
396
        Returns the new entry object."""
 
397
        from bzrlib.branch import gen_file_id
 
398
        
 
399
        parts = bzrlib.osutils.splitpath(relpath)
 
400
        if len(parts) == 0:
 
401
            raise BzrError("cannot re-add root of inventory")
 
402
 
 
403
        if file_id == None:
 
404
            file_id = gen_file_id(relpath)
 
405
 
 
406
        parent_path = parts[:-1]
 
407
        parent_id = self.path2id(parent_path)
 
408
        if parent_id == None:
 
409
            raise NotVersionedError(parent_path)
 
410
 
 
411
        ie = InventoryEntry(file_id, parts[-1],
 
412
                            kind=kind, parent_id=parent_id)
 
413
        return self.add(ie)
 
414
 
 
415
 
 
416
    def __delitem__(self, file_id):
 
417
        """Remove entry by id.
 
418
 
 
419
        >>> inv = Inventory()
 
420
        >>> inv.add(InventoryEntry('123', 'foo.c', 'file', ROOT_ID))
 
421
        InventoryEntry('123', 'foo.c', kind='file', parent_id='TREE_ROOT')
 
422
        >>> '123' in inv
 
423
        True
 
424
        >>> del inv['123']
 
425
        >>> '123' in inv
 
426
        False
 
427
        """
 
428
        ie = self[file_id]
 
429
 
 
430
        assert self[ie.parent_id].children[ie.name] == ie
 
431
        
 
432
        # TODO: Test deleting all children; maybe hoist to a separate
 
433
        # deltree method?
 
434
        if ie.kind == 'directory':
 
435
            for cie in ie.children.values():
 
436
                del self[cie.file_id]
 
437
            del ie.children
 
438
 
 
439
        del self._byid[file_id]
 
440
        del self[ie.parent_id].children[ie.name]
 
441
 
 
442
 
 
443
    def __eq__(self, other):
 
444
        """Compare two sets by comparing their contents.
 
445
 
 
446
        >>> i1 = Inventory()
 
447
        >>> i2 = Inventory()
 
448
        >>> i1 == i2
 
449
        True
 
450
        >>> i1.add(InventoryEntry('123', 'foo', 'file', ROOT_ID))
 
451
        InventoryEntry('123', 'foo', kind='file', parent_id='TREE_ROOT')
 
452
        >>> i1 == i2
 
453
        False
 
454
        >>> i2.add(InventoryEntry('123', 'foo', 'file', ROOT_ID))
 
455
        InventoryEntry('123', 'foo', kind='file', parent_id='TREE_ROOT')
 
456
        >>> i1 == i2
 
457
        True
 
458
        """
 
459
        if not isinstance(other, Inventory):
 
460
            return NotImplemented
 
461
 
 
462
        if len(self._byid) != len(other._byid):
 
463
            # shortcut: obviously not the same
 
464
            return False
 
465
 
 
466
        return self._byid == other._byid
 
467
 
 
468
 
 
469
    def __ne__(self, other):
 
470
        return not (self == other)
 
471
 
 
472
 
 
473
    def __hash__(self):
 
474
        raise ValueError('not hashable')
 
475
 
 
476
 
 
477
    def get_idpath(self, file_id):
 
478
        """Return a list of file_ids for the path to an entry.
 
479
 
 
480
        The list contains one element for each directory followed by
 
481
        the id of the file itself.  So the length of the returned list
 
482
        is equal to the depth of the file in the tree, counting the
 
483
        root directory as depth 1.
 
484
        """
 
485
        p = []
 
486
        while file_id != None:
 
487
            try:
 
488
                ie = self._byid[file_id]
 
489
            except KeyError:
 
490
                raise BzrError("file_id {%s} not found in inventory" % file_id)
 
491
            p.insert(0, ie.file_id)
 
492
            file_id = ie.parent_id
 
493
        return p
 
494
 
 
495
 
 
496
    def id2path(self, file_id):
 
497
        """Return as a list the path to file_id."""
 
498
 
 
499
        # get all names, skipping root
 
500
        p = [self._byid[fid].name for fid in self.get_idpath(file_id)[1:]]
 
501
        return os.sep.join(p)
 
502
            
 
503
 
 
504
 
 
505
    def path2id(self, name):
 
506
        """Walk down through directories to return entry of last component.
 
507
 
 
508
        names may be either a list of path components, or a single
 
509
        string, in which case it is automatically split.
 
510
 
 
511
        This returns the entry of the last component in the path,
 
512
        which may be either a file or a directory.
 
513
 
 
514
        Returns None iff the path is not found.
 
515
        """
 
516
        if isinstance(name, types.StringTypes):
 
517
            name = splitpath(name)
 
518
 
 
519
        mutter("lookup path %r" % name)
 
520
 
 
521
        parent = self.root
 
522
        for f in name:
 
523
            try:
 
524
                cie = parent.children[f]
 
525
                assert cie.name == f
 
526
                assert cie.parent_id == parent.file_id
 
527
                parent = cie
 
528
            except KeyError:
 
529
                # or raise an error?
 
530
                return None
 
531
 
 
532
        return parent.file_id
 
533
 
 
534
 
 
535
    def has_filename(self, names):
 
536
        return bool(self.path2id(names))
 
537
 
 
538
 
 
539
    def has_id(self, file_id):
 
540
        return self._byid.has_key(file_id)
 
541
 
 
542
 
 
543
    def rename(self, file_id, new_parent_id, new_name):
 
544
        """Move a file within the inventory.
 
545
 
 
546
        This can change either the name, or the parent, or both.
 
547
 
 
548
        This does not move the working file."""
 
549
        if not is_valid_name(new_name):
 
550
            raise BzrError("not an acceptable filename: %r" % new_name)
 
551
 
 
552
        new_parent = self._byid[new_parent_id]
 
553
        if new_name in new_parent.children:
 
554
            raise BzrError("%r already exists in %r" % (new_name, self.id2path(new_parent_id)))
 
555
 
 
556
        new_parent_idpath = self.get_idpath(new_parent_id)
 
557
        if file_id in new_parent_idpath:
 
558
            raise BzrError("cannot move directory %r into a subdirectory of itself, %r"
 
559
                    % (self.id2path(file_id), self.id2path(new_parent_id)))
 
560
 
 
561
        file_ie = self._byid[file_id]
 
562
        old_parent = self._byid[file_ie.parent_id]
 
563
 
 
564
        # TODO: Don't leave things messed up if this fails
 
565
 
 
566
        del old_parent.children[file_ie.name]
 
567
        new_parent.children[new_name] = file_ie
 
568
        
 
569
        file_ie.name = new_name
 
570
        file_ie.parent_id = new_parent_id
 
571
 
 
572
 
 
573
 
 
574
 
 
575
_NAME_RE = None
 
576
 
 
577
def is_valid_name(name):
 
578
    global _NAME_RE
 
579
    if _NAME_RE == None:
 
580
        _NAME_RE = re.compile(r'^[^/\\]+$')
 
581
        
 
582
    return bool(_NAME_RE.match(name))