/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/inventory.py

  • Committer: Martin Pool
  • Date: 2005-09-08 11:17:45 UTC
  • Revision ID: mbp@sourcefrog.net-20050908111745-b36aa1b62bb3c73b
- move away newinventory module which isn't actually used

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# (C) 2005 Canonical Ltd
 
2
 
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
 
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
 
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
 
 
18
# TODO: Maybe also keep the full path of the entry, and the children?
 
19
# But those depend on its position within a particular inventory, and
 
20
# it would be nice not to need to hold the backpointer here.
 
21
 
 
22
# TODO: Perhaps split InventoryEntry into subclasses for files,
 
23
# directories, etc etc.
 
24
 
 
25
 
 
26
# This should really be an id randomly assigned when the tree is
 
27
# created, but it's not for now.
 
28
ROOT_ID = "TREE_ROOT"
 
29
 
 
30
 
 
31
import sys, os.path, types, re
 
32
 
 
33
import bzrlib
 
34
from bzrlib.errors import BzrError, BzrCheckError
 
35
 
 
36
from bzrlib.osutils import uuid, quotefn, splitpath, joinpath, appendpath
 
37
from bzrlib.trace import mutter
 
38
from bzrlib.errors import NotVersionedError
 
39
        
 
40
 
 
41
class InventoryEntry(object):
 
42
    """Description of a versioned file.
 
43
 
 
44
    An InventoryEntry has the following fields, which are also
 
45
    present in the XML inventory-entry element:
 
46
 
 
47
    file_id
 
48
 
 
49
    name
 
50
        (within the parent directory)
 
51
 
 
52
    kind
 
53
        'directory' or 'file'
 
54
 
 
55
    parent_id
 
56
        file_id of the parent directory, or ROOT_ID
 
57
 
 
58
    entry_version
 
59
        the revision_id in which the name or parent of this file was
 
60
        last changed
 
61
 
 
62
    text_sha1
 
63
        sha-1 of the text of the file
 
64
        
 
65
    text_size
 
66
        size in bytes of the text of the file
 
67
        
 
68
    text_version
 
69
        the revision_id in which the text of this file was introduced
 
70
 
 
71
    (reading a version 4 tree created a text_id field.)
 
72
 
 
73
    >>> i = Inventory()
 
74
    >>> i.path2id('')
 
75
    'TREE_ROOT'
 
76
    >>> i.add(InventoryEntry('123', 'src', 'directory', ROOT_ID))
 
77
    InventoryEntry('123', 'src', kind='directory', parent_id='TREE_ROOT')
 
78
    >>> i.add(InventoryEntry('2323', 'hello.c', 'file', parent_id='123'))
 
79
    InventoryEntry('2323', 'hello.c', kind='file', parent_id='123')
 
80
    >>> for j in i.iter_entries():
 
81
    ...   print j
 
82
    ... 
 
83
    ('src', InventoryEntry('123', 'src', kind='directory', parent_id='TREE_ROOT'))
 
84
    ('src/hello.c', InventoryEntry('2323', 'hello.c', kind='file', parent_id='123'))
 
85
    >>> i.add(InventoryEntry('2323', 'bye.c', 'file', '123'))
 
86
    Traceback (most recent call last):
 
87
    ...
 
88
    BzrError: inventory already contains entry with id {2323}
 
89
    >>> i.add(InventoryEntry('2324', 'bye.c', 'file', '123'))
 
90
    InventoryEntry('2324', 'bye.c', kind='file', parent_id='123')
 
91
    >>> i.add(InventoryEntry('2325', 'wibble', 'directory', '123'))
 
92
    InventoryEntry('2325', 'wibble', kind='directory', parent_id='123')
 
93
    >>> i.path2id('src/wibble')
 
94
    '2325'
 
95
    >>> '2325' in i
 
96
    True
 
97
    >>> i.add(InventoryEntry('2326', 'wibble.c', 'file', '2325'))
 
98
    InventoryEntry('2326', 'wibble.c', kind='file', parent_id='2325')
 
99
    >>> i['2326']
 
100
    InventoryEntry('2326', 'wibble.c', kind='file', parent_id='2325')
 
101
    >>> for j in i.iter_entries():
 
102
    ...     print j[0]
 
103
    ...     assert i.path2id(j[0])
 
104
    ... 
 
105
    src
 
106
    src/bye.c
 
107
    src/hello.c
 
108
    src/wibble
 
109
    src/wibble/wibble.c
 
110
    >>> i.id2path('2326')
 
111
    'src/wibble/wibble.c'
 
112
    """
 
113
    
 
114
    __slots__ = ['text_sha1', 'text_size', 'file_id', 'name', 'kind',
 
115
                 'text_id', 'parent_id', 'children',
 
116
                 'text_version', 'entry_version', ]
 
117
 
 
118
 
 
119
    def __init__(self, file_id, name, kind, parent_id, text_id=None):
 
120
        """Create an InventoryEntry
 
121
        
 
122
        The filename must be a single component, relative to the
 
123
        parent directory; it cannot be a whole path or relative name.
 
124
 
 
125
        >>> e = InventoryEntry('123', 'hello.c', 'file', ROOT_ID)
 
126
        >>> e.name
 
127
        'hello.c'
 
128
        >>> e.file_id
 
129
        '123'
 
130
        >>> e = InventoryEntry('123', 'src/hello.c', 'file', ROOT_ID)
 
131
        Traceback (most recent call last):
 
132
        BzrCheckError: InventoryEntry name 'src/hello.c' is invalid
 
133
        """
 
134
        assert isinstance(name, basestring), name
 
135
        if '/' in name or '\\' in name:
 
136
            raise BzrCheckError('InventoryEntry name %r is invalid' % name)
 
137
        
 
138
        self.text_version = None
 
139
        self.entry_version = None
 
140
        self.text_sha1 = None
 
141
        self.text_size = None
 
142
        self.file_id = file_id
 
143
        self.name = name
 
144
        self.kind = kind
 
145
        self.text_id = text_id
 
146
        self.parent_id = parent_id
 
147
        if kind == 'directory':
 
148
            self.children = {}
 
149
        elif kind == 'file':
 
150
            pass
 
151
        else:
 
152
            raise BzrError("unhandled entry kind %r" % kind)
 
153
 
 
154
 
 
155
 
 
156
    def sorted_children(self):
 
157
        l = self.children.items()
 
158
        l.sort()
 
159
        return l
 
160
 
 
161
 
 
162
    def copy(self):
 
163
        other = InventoryEntry(self.file_id, self.name, self.kind,
 
164
                               self.parent_id)
 
165
        other.text_id = self.text_id
 
166
        other.text_sha1 = self.text_sha1
 
167
        other.text_size = self.text_size
 
168
        # note that children are *not* copied; they're pulled across when
 
169
        # others are added
 
170
        return other
 
171
 
 
172
 
 
173
    def __repr__(self):
 
174
        return ("%s(%r, %r, kind=%r, parent_id=%r)"
 
175
                % (self.__class__.__name__,
 
176
                   self.file_id,
 
177
                   self.name,
 
178
                   self.kind,
 
179
                   self.parent_id))
 
180
 
 
181
    
 
182
    def __eq__(self, other):
 
183
        if not isinstance(other, InventoryEntry):
 
184
            return NotImplemented
 
185
 
 
186
        return (self.file_id == other.file_id) \
 
187
               and (self.name == other.name) \
 
188
               and (self.text_sha1 == other.text_sha1) \
 
189
               and (self.text_size == other.text_size) \
 
190
               and (self.text_id == other.text_id) \
 
191
               and (self.parent_id == other.parent_id) \
 
192
               and (self.kind == other.kind) \
 
193
               and (self.text_version == other.text_version) \
 
194
               and (self.entry_version == other.entry_version)
 
195
 
 
196
 
 
197
    def __ne__(self, other):
 
198
        return not (self == other)
 
199
 
 
200
    def __hash__(self):
 
201
        raise ValueError('not hashable')
 
202
 
 
203
 
 
204
 
 
205
class RootEntry(InventoryEntry):
 
206
    def __init__(self, file_id):
 
207
        self.file_id = file_id
 
208
        self.children = {}
 
209
        self.kind = 'root_directory'
 
210
        self.parent_id = None
 
211
        self.name = ''
 
212
 
 
213
    def __eq__(self, other):
 
214
        if not isinstance(other, RootEntry):
 
215
            return NotImplemented
 
216
        
 
217
        return (self.file_id == other.file_id) \
 
218
               and (self.children == other.children)
 
219
 
 
220
 
 
221
 
 
222
class Inventory(object):
 
223
    """Inventory of versioned files in a tree.
 
224
 
 
225
    This describes which file_id is present at each point in the tree,
 
226
    and possibly the SHA-1 or other information about the file.
 
227
    Entries can be looked up either by path or by file_id.
 
228
 
 
229
    The inventory represents a typical unix file tree, with
 
230
    directories containing files and subdirectories.  We never store
 
231
    the full path to a file, because renaming a directory implicitly
 
232
    moves all of its contents.  This class internally maintains a
 
233
    lookup tree that allows the children under a directory to be
 
234
    returned quickly.
 
235
 
 
236
    InventoryEntry objects must not be modified after they are
 
237
    inserted, other than through the Inventory API.
 
238
 
 
239
    >>> inv = Inventory()
 
240
    >>> inv.add(InventoryEntry('123-123', 'hello.c', 'file', ROOT_ID))
 
241
    InventoryEntry('123-123', 'hello.c', kind='file', parent_id='TREE_ROOT')
 
242
    >>> inv['123-123'].name
 
243
    'hello.c'
 
244
 
 
245
    May be treated as an iterator or set to look up file ids:
 
246
    
 
247
    >>> bool(inv.path2id('hello.c'))
 
248
    True
 
249
    >>> '123-123' in inv
 
250
    True
 
251
 
 
252
    May also look up by name:
 
253
 
 
254
    >>> [x[0] for x in inv.iter_entries()]
 
255
    ['hello.c']
 
256
    >>> inv = Inventory('TREE_ROOT-12345678-12345678')
 
257
    >>> inv.add(InventoryEntry('123-123', 'hello.c', 'file', ROOT_ID))
 
258
    InventoryEntry('123-123', 'hello.c', kind='file', parent_id='TREE_ROOT-12345678-12345678')
 
259
    """
 
260
    def __init__(self, root_id=ROOT_ID):
 
261
        """Create or read an inventory.
 
262
 
 
263
        If a working directory is specified, the inventory is read
 
264
        from there.  If the file is specified, read from that. If not,
 
265
        the inventory is created empty.
 
266
 
 
267
        The inventory is created with a default root directory, with
 
268
        an id of None.
 
269
        """
 
270
        # We are letting Branch(init=True) create a unique inventory
 
271
        # root id. Rather than generating a random one here.
 
272
        #if root_id is None:
 
273
        #    root_id = bzrlib.branch.gen_file_id('TREE_ROOT')
 
274
        self.root = RootEntry(root_id)
 
275
        self._byid = {self.root.file_id: self.root}
 
276
 
 
277
 
 
278
    def copy(self):
 
279
        other = Inventory(self.root.file_id)
 
280
        for entry in self._byid.itervalues():
 
281
            if entry == self.root:
 
282
                continue
 
283
            other.add(entry.copy())
 
284
        return other
 
285
 
 
286
 
 
287
    def __iter__(self):
 
288
        return iter(self._byid)
 
289
 
 
290
 
 
291
    def __len__(self):
 
292
        """Returns number of entries."""
 
293
        return len(self._byid)
 
294
 
 
295
 
 
296
    def iter_entries(self, from_dir=None):
 
297
        """Return (path, entry) pairs, in order by name."""
 
298
        if from_dir == None:
 
299
            assert self.root
 
300
            from_dir = self.root
 
301
        elif isinstance(from_dir, basestring):
 
302
            from_dir = self._byid[from_dir]
 
303
            
 
304
        kids = from_dir.children.items()
 
305
        kids.sort()
 
306
        for name, ie in kids:
 
307
            yield name, ie
 
308
            if ie.kind == 'directory':
 
309
                for cn, cie in self.iter_entries(from_dir=ie.file_id):
 
310
                    yield os.path.join(name, cn), cie
 
311
 
 
312
 
 
313
    def entries(self):
 
314
        """Return list of (path, ie) for all entries except the root.
 
315
 
 
316
        This may be faster than iter_entries.
 
317
        """
 
318
        accum = []
 
319
        def descend(dir_ie, dir_path):
 
320
            kids = dir_ie.children.items()
 
321
            kids.sort()
 
322
            for name, ie in kids:
 
323
                child_path = os.path.join(dir_path, name)
 
324
                accum.append((child_path, ie))
 
325
                if ie.kind == 'directory':
 
326
                    descend(ie, child_path)
 
327
 
 
328
        descend(self.root, '')
 
329
        return accum
 
330
 
 
331
 
 
332
    def directories(self):
 
333
        """Return (path, entry) pairs for all directories, including the root.
 
334
        """
 
335
        accum = []
 
336
        def descend(parent_ie, parent_path):
 
337
            accum.append((parent_path, parent_ie))
 
338
            
 
339
            kids = [(ie.name, ie) for ie in parent_ie.children.itervalues() if ie.kind == 'directory']
 
340
            kids.sort()
 
341
 
 
342
            for name, child_ie in kids:
 
343
                child_path = os.path.join(parent_path, name)
 
344
                descend(child_ie, child_path)
 
345
        descend(self.root, '')
 
346
        return accum
 
347
        
 
348
 
 
349
 
 
350
    def __contains__(self, file_id):
 
351
        """True if this entry contains a file with given id.
 
352
 
 
353
        >>> inv = Inventory()
 
354
        >>> inv.add(InventoryEntry('123', 'foo.c', 'file', ROOT_ID))
 
355
        InventoryEntry('123', 'foo.c', kind='file', parent_id='TREE_ROOT')
 
356
        >>> '123' in inv
 
357
        True
 
358
        >>> '456' in inv
 
359
        False
 
360
        """
 
361
        return file_id in self._byid
 
362
 
 
363
 
 
364
    def __getitem__(self, file_id):
 
365
        """Return the entry for given file_id.
 
366
 
 
367
        >>> inv = Inventory()
 
368
        >>> inv.add(InventoryEntry('123123', 'hello.c', 'file', ROOT_ID))
 
369
        InventoryEntry('123123', 'hello.c', kind='file', parent_id='TREE_ROOT')
 
370
        >>> inv['123123'].name
 
371
        'hello.c'
 
372
        """
 
373
        try:
 
374
            return self._byid[file_id]
 
375
        except KeyError:
 
376
            if file_id == None:
 
377
                raise BzrError("can't look up file_id None")
 
378
            else:
 
379
                raise BzrError("file_id {%s} not in inventory" % file_id)
 
380
 
 
381
 
 
382
    def get_file_kind(self, file_id):
 
383
        return self._byid[file_id].kind
 
384
 
 
385
    def get_child(self, parent_id, filename):
 
386
        return self[parent_id].children.get(filename)
 
387
 
 
388
 
 
389
    def add(self, entry):
 
390
        """Add entry to inventory.
 
391
 
 
392
        To add  a file to a branch ready to be committed, use Branch.add,
 
393
        which calls this.
 
394
 
 
395
        Returns the new entry object.
 
396
        """
 
397
        if entry.file_id in self._byid:
 
398
            raise BzrError("inventory already contains entry with id {%s}" % entry.file_id)
 
399
 
 
400
        if entry.parent_id == ROOT_ID or entry.parent_id is None:
 
401
            entry.parent_id = self.root.file_id
 
402
 
 
403
        try:
 
404
            parent = self._byid[entry.parent_id]
 
405
        except KeyError:
 
406
            raise BzrError("parent_id {%s} not in inventory" % entry.parent_id)
 
407
 
 
408
        if parent.children.has_key(entry.name):
 
409
            raise BzrError("%s is already versioned" %
 
410
                    appendpath(self.id2path(parent.file_id), entry.name))
 
411
 
 
412
        self._byid[entry.file_id] = entry
 
413
        parent.children[entry.name] = entry
 
414
        return entry
 
415
 
 
416
 
 
417
    def add_path(self, relpath, kind, file_id=None):
 
418
        """Add entry from a path.
 
419
 
 
420
        The immediate parent must already be versioned.
 
421
 
 
422
        Returns the new entry object."""
 
423
        from bzrlib.branch import gen_file_id
 
424
        
 
425
        parts = bzrlib.osutils.splitpath(relpath)
 
426
        if len(parts) == 0:
 
427
            raise BzrError("cannot re-add root of inventory")
 
428
 
 
429
        if file_id == None:
 
430
            file_id = gen_file_id(relpath)
 
431
 
 
432
        parent_path = parts[:-1]
 
433
        parent_id = self.path2id(parent_path)
 
434
        if parent_id == None:
 
435
            raise NotVersionedError(parent_path)
 
436
 
 
437
        ie = InventoryEntry(file_id, parts[-1],
 
438
                            kind=kind, parent_id=parent_id)
 
439
        return self.add(ie)
 
440
 
 
441
 
 
442
    def __delitem__(self, file_id):
 
443
        """Remove entry by id.
 
444
 
 
445
        >>> inv = Inventory()
 
446
        >>> inv.add(InventoryEntry('123', 'foo.c', 'file', ROOT_ID))
 
447
        InventoryEntry('123', 'foo.c', kind='file', parent_id='TREE_ROOT')
 
448
        >>> '123' in inv
 
449
        True
 
450
        >>> del inv['123']
 
451
        >>> '123' in inv
 
452
        False
 
453
        """
 
454
        ie = self[file_id]
 
455
 
 
456
        assert self[ie.parent_id].children[ie.name] == ie
 
457
        
 
458
        # TODO: Test deleting all children; maybe hoist to a separate
 
459
        # deltree method?
 
460
        if ie.kind == 'directory':
 
461
            for cie in ie.children.values():
 
462
                del self[cie.file_id]
 
463
            del ie.children
 
464
 
 
465
        del self._byid[file_id]
 
466
        del self[ie.parent_id].children[ie.name]
 
467
 
 
468
 
 
469
    def __eq__(self, other):
 
470
        """Compare two sets by comparing their contents.
 
471
 
 
472
        >>> i1 = Inventory()
 
473
        >>> i2 = Inventory()
 
474
        >>> i1 == i2
 
475
        True
 
476
        >>> i1.add(InventoryEntry('123', 'foo', 'file', ROOT_ID))
 
477
        InventoryEntry('123', 'foo', kind='file', parent_id='TREE_ROOT')
 
478
        >>> i1 == i2
 
479
        False
 
480
        >>> i2.add(InventoryEntry('123', 'foo', 'file', ROOT_ID))
 
481
        InventoryEntry('123', 'foo', kind='file', parent_id='TREE_ROOT')
 
482
        >>> i1 == i2
 
483
        True
 
484
        """
 
485
        if not isinstance(other, Inventory):
 
486
            return NotImplemented
 
487
 
 
488
        if len(self._byid) != len(other._byid):
 
489
            # shortcut: obviously not the same
 
490
            return False
 
491
 
 
492
        return self._byid == other._byid
 
493
 
 
494
 
 
495
    def __ne__(self, other):
 
496
        return not (self == other)
 
497
 
 
498
 
 
499
    def __hash__(self):
 
500
        raise ValueError('not hashable')
 
501
 
 
502
 
 
503
    def get_idpath(self, file_id):
 
504
        """Return a list of file_ids for the path to an entry.
 
505
 
 
506
        The list contains one element for each directory followed by
 
507
        the id of the file itself.  So the length of the returned list
 
508
        is equal to the depth of the file in the tree, counting the
 
509
        root directory as depth 1.
 
510
        """
 
511
        p = []
 
512
        while file_id != None:
 
513
            try:
 
514
                ie = self._byid[file_id]
 
515
            except KeyError:
 
516
                raise BzrError("file_id {%s} not found in inventory" % file_id)
 
517
            p.insert(0, ie.file_id)
 
518
            file_id = ie.parent_id
 
519
        return p
 
520
 
 
521
 
 
522
    def id2path(self, file_id):
 
523
        """Return as a list the path to file_id."""
 
524
 
 
525
        # get all names, skipping root
 
526
        p = [self._byid[fid].name for fid in self.get_idpath(file_id)[1:]]
 
527
        return os.sep.join(p)
 
528
            
 
529
 
 
530
 
 
531
    def path2id(self, name):
 
532
        """Walk down through directories to return entry of last component.
 
533
 
 
534
        names may be either a list of path components, or a single
 
535
        string, in which case it is automatically split.
 
536
 
 
537
        This returns the entry of the last component in the path,
 
538
        which may be either a file or a directory.
 
539
 
 
540
        Returns None iff the path is not found.
 
541
        """
 
542
        if isinstance(name, types.StringTypes):
 
543
            name = splitpath(name)
 
544
 
 
545
        mutter("lookup path %r" % name)
 
546
 
 
547
        parent = self.root
 
548
        for f in name:
 
549
            try:
 
550
                cie = parent.children[f]
 
551
                assert cie.name == f
 
552
                assert cie.parent_id == parent.file_id
 
553
                parent = cie
 
554
            except KeyError:
 
555
                # or raise an error?
 
556
                return None
 
557
 
 
558
        return parent.file_id
 
559
 
 
560
 
 
561
    def has_filename(self, names):
 
562
        return bool(self.path2id(names))
 
563
 
 
564
 
 
565
    def has_id(self, file_id):
 
566
        return self._byid.has_key(file_id)
 
567
 
 
568
 
 
569
    def rename(self, file_id, new_parent_id, new_name):
 
570
        """Move a file within the inventory.
 
571
 
 
572
        This can change either the name, or the parent, or both.
 
573
 
 
574
        This does not move the working file."""
 
575
        if not is_valid_name(new_name):
 
576
            raise BzrError("not an acceptable filename: %r" % new_name)
 
577
 
 
578
        new_parent = self._byid[new_parent_id]
 
579
        if new_name in new_parent.children:
 
580
            raise BzrError("%r already exists in %r" % (new_name, self.id2path(new_parent_id)))
 
581
 
 
582
        new_parent_idpath = self.get_idpath(new_parent_id)
 
583
        if file_id in new_parent_idpath:
 
584
            raise BzrError("cannot move directory %r into a subdirectory of itself, %r"
 
585
                    % (self.id2path(file_id), self.id2path(new_parent_id)))
 
586
 
 
587
        file_ie = self._byid[file_id]
 
588
        old_parent = self._byid[file_ie.parent_id]
 
589
 
 
590
        # TODO: Don't leave things messed up if this fails
 
591
 
 
592
        del old_parent.children[file_ie.name]
 
593
        new_parent.children[new_name] = file_ie
 
594
        
 
595
        file_ie.name = new_name
 
596
        file_ie.parent_id = new_parent_id
 
597
 
 
598
 
 
599
 
 
600
 
 
601
_NAME_RE = None
 
602
 
 
603
def is_valid_name(name):
 
604
    global _NAME_RE
 
605
    if _NAME_RE == None:
 
606
        _NAME_RE = re.compile(r'^[^/\\]+$')
 
607
        
 
608
    return bool(_NAME_RE.match(name))