/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/inventory.py

  • Committer: Robert Collins
  • Date: 2005-09-27 07:24:40 UTC
  • mfrom: (1185.1.41)
  • Revision ID: robertc@robertcollins.net-20050927072440-1bf4d99c3e1db5b3
pair programming worx... merge integration and weave

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# (C) 2005 Canonical Ltd
 
2
 
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
 
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
 
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
 
 
18
# TODO: Maybe also keep the full path of the entry, and the children?
 
19
# But those depend on its position within a particular inventory, and
 
20
# it would be nice not to need to hold the backpointer here.
 
21
 
 
22
# TODO: Perhaps split InventoryEntry into subclasses for files,
 
23
# directories, etc etc.
 
24
 
 
25
 
 
26
# This should really be an id randomly assigned when the tree is
 
27
# created, but it's not for now.
 
28
ROOT_ID = "TREE_ROOT"
 
29
 
 
30
 
 
31
import os.path
 
32
import re
 
33
import sys
 
34
import types
 
35
 
 
36
import bzrlib
 
37
from bzrlib.errors import BzrError, BzrCheckError
 
38
 
 
39
from bzrlib.osutils import quotefn, splitpath, joinpath, appendpath
 
40
from bzrlib.trace import mutter
 
41
from bzrlib.errors import NotVersionedError
 
42
 
 
43
 
 
44
class InventoryEntry(object):
 
45
    """Description of a versioned file.
 
46
 
 
47
    An InventoryEntry has the following fields, which are also
 
48
    present in the XML inventory-entry element:
 
49
 
 
50
    file_id
 
51
 
 
52
    name
 
53
        (within the parent directory)
 
54
 
 
55
    kind
 
56
        'directory' or 'file'
 
57
 
 
58
    parent_id
 
59
        file_id of the parent directory, or ROOT_ID
 
60
 
 
61
    name_version
 
62
        the revision_id in which the name or parent of this file was
 
63
        last changed
 
64
 
 
65
    text_sha1
 
66
        sha-1 of the text of the file
 
67
        
 
68
    text_size
 
69
        size in bytes of the text of the file
 
70
        
 
71
    text_version
 
72
        the revision_id in which the text of this file was introduced
 
73
 
 
74
    (reading a version 4 tree created a text_id field.)
 
75
 
 
76
    >>> i = Inventory()
 
77
    >>> i.path2id('')
 
78
    'TREE_ROOT'
 
79
    >>> i.add(InventoryEntry('123', 'src', 'directory', ROOT_ID))
 
80
    InventoryEntry('123', 'src', kind='directory', parent_id='TREE_ROOT')
 
81
    >>> i.add(InventoryEntry('2323', 'hello.c', 'file', parent_id='123'))
 
82
    InventoryEntry('2323', 'hello.c', kind='file', parent_id='123')
 
83
    >>> for j in i.iter_entries():
 
84
    ...   print j
 
85
    ... 
 
86
    ('src', InventoryEntry('123', 'src', kind='directory', parent_id='TREE_ROOT'))
 
87
    ('src/hello.c', InventoryEntry('2323', 'hello.c', kind='file', parent_id='123'))
 
88
    >>> i.add(InventoryEntry('2323', 'bye.c', 'file', '123'))
 
89
    Traceback (most recent call last):
 
90
    ...
 
91
    BzrError: inventory already contains entry with id {2323}
 
92
    >>> i.add(InventoryEntry('2324', 'bye.c', 'file', '123'))
 
93
    InventoryEntry('2324', 'bye.c', kind='file', parent_id='123')
 
94
    >>> i.add(InventoryEntry('2325', 'wibble', 'directory', '123'))
 
95
    InventoryEntry('2325', 'wibble', kind='directory', parent_id='123')
 
96
    >>> i.path2id('src/wibble')
 
97
    '2325'
 
98
    >>> '2325' in i
 
99
    True
 
100
    >>> i.add(InventoryEntry('2326', 'wibble.c', 'file', '2325'))
 
101
    InventoryEntry('2326', 'wibble.c', kind='file', parent_id='2325')
 
102
    >>> i['2326']
 
103
    InventoryEntry('2326', 'wibble.c', kind='file', parent_id='2325')
 
104
    >>> for path, entry in i.iter_entries():
 
105
    ...     print path.replace('\\\\', '/')     # for win32 os.sep
 
106
    ...     assert i.path2id(path)
 
107
    ... 
 
108
    src
 
109
    src/bye.c
 
110
    src/hello.c
 
111
    src/wibble
 
112
    src/wibble/wibble.c
 
113
    >>> i.id2path('2326').replace('\\\\', '/')
 
114
    'src/wibble/wibble.c'
 
115
    """
 
116
    
 
117
    __slots__ = ['text_sha1', 'text_size', 'file_id', 'name', 'kind',
 
118
                 'text_id', 'parent_id', 'children',
 
119
                 'text_version', 'name_version', ]
 
120
 
 
121
 
 
122
    def __init__(self, file_id, name, kind, parent_id, text_id=None):
 
123
        """Create an InventoryEntry
 
124
        
 
125
        The filename must be a single component, relative to the
 
126
        parent directory; it cannot be a whole path or relative name.
 
127
 
 
128
        >>> e = InventoryEntry('123', 'hello.c', 'file', ROOT_ID)
 
129
        >>> e.name
 
130
        'hello.c'
 
131
        >>> e.file_id
 
132
        '123'
 
133
        >>> e = InventoryEntry('123', 'src/hello.c', 'file', ROOT_ID)
 
134
        Traceback (most recent call last):
 
135
        BzrCheckError: InventoryEntry name 'src/hello.c' is invalid
 
136
        """
 
137
        assert isinstance(name, basestring), name
 
138
        if '/' in name or '\\' in name:
 
139
            raise BzrCheckError('InventoryEntry name %r is invalid' % name)
 
140
        
 
141
        self.text_version = None
 
142
        self.name_version = None
 
143
        self.text_sha1 = None
 
144
        self.text_size = None
 
145
        self.file_id = file_id
 
146
        self.name = name
 
147
        self.kind = kind
 
148
        self.text_id = text_id
 
149
        self.parent_id = parent_id
 
150
        if kind == 'directory':
 
151
            self.children = {}
 
152
        elif kind == 'file':
 
153
            pass
 
154
        else:
 
155
            raise BzrError("unhandled entry kind %r" % kind)
 
156
 
 
157
 
 
158
 
 
159
    def sorted_children(self):
 
160
        l = self.children.items()
 
161
        l.sort()
 
162
        return l
 
163
 
 
164
 
 
165
    def copy(self):
 
166
        other = InventoryEntry(self.file_id, self.name, self.kind,
 
167
                               self.parent_id)
 
168
        other.text_id = self.text_id
 
169
        other.text_sha1 = self.text_sha1
 
170
        other.text_size = self.text_size
 
171
        other.text_version = self.text_version
 
172
        other.name_version = self.name_version
 
173
        # note that children are *not* copied; they're pulled across when
 
174
        # others are added
 
175
        return other
 
176
 
 
177
 
 
178
    def __repr__(self):
 
179
        return ("%s(%r, %r, kind=%r, parent_id=%r)"
 
180
                % (self.__class__.__name__,
 
181
                   self.file_id,
 
182
                   self.name,
 
183
                   self.kind,
 
184
                   self.parent_id))
 
185
 
 
186
    
 
187
    def __eq__(self, other):
 
188
        if not isinstance(other, InventoryEntry):
 
189
            return NotImplemented
 
190
 
 
191
        return (self.file_id == other.file_id) \
 
192
               and (self.name == other.name) \
 
193
               and (self.text_sha1 == other.text_sha1) \
 
194
               and (self.text_size == other.text_size) \
 
195
               and (self.text_id == other.text_id) \
 
196
               and (self.parent_id == other.parent_id) \
 
197
               and (self.kind == other.kind) \
 
198
               and (self.text_version == other.text_version) \
 
199
               and (self.name_version == other.name_version)
 
200
 
 
201
 
 
202
    def __ne__(self, other):
 
203
        return not (self == other)
 
204
 
 
205
    def __hash__(self):
 
206
        raise ValueError('not hashable')
 
207
 
 
208
 
 
209
 
 
210
class RootEntry(InventoryEntry):
 
211
    def __init__(self, file_id):
 
212
        self.file_id = file_id
 
213
        self.children = {}
 
214
        self.kind = 'root_directory'
 
215
        self.parent_id = None
 
216
        self.name = ''
 
217
 
 
218
    def __eq__(self, other):
 
219
        if not isinstance(other, RootEntry):
 
220
            return NotImplemented
 
221
        
 
222
        return (self.file_id == other.file_id) \
 
223
               and (self.children == other.children)
 
224
 
 
225
 
 
226
 
 
227
class Inventory(object):
 
228
    """Inventory of versioned files in a tree.
 
229
 
 
230
    This describes which file_id is present at each point in the tree,
 
231
    and possibly the SHA-1 or other information about the file.
 
232
    Entries can be looked up either by path or by file_id.
 
233
 
 
234
    The inventory represents a typical unix file tree, with
 
235
    directories containing files and subdirectories.  We never store
 
236
    the full path to a file, because renaming a directory implicitly
 
237
    moves all of its contents.  This class internally maintains a
 
238
    lookup tree that allows the children under a directory to be
 
239
    returned quickly.
 
240
 
 
241
    InventoryEntry objects must not be modified after they are
 
242
    inserted, other than through the Inventory API.
 
243
 
 
244
    >>> inv = Inventory()
 
245
    >>> inv.add(InventoryEntry('123-123', 'hello.c', 'file', ROOT_ID))
 
246
    InventoryEntry('123-123', 'hello.c', kind='file', parent_id='TREE_ROOT')
 
247
    >>> inv['123-123'].name
 
248
    'hello.c'
 
249
 
 
250
    May be treated as an iterator or set to look up file ids:
 
251
    
 
252
    >>> bool(inv.path2id('hello.c'))
 
253
    True
 
254
    >>> '123-123' in inv
 
255
    True
 
256
 
 
257
    May also look up by name:
 
258
 
 
259
    >>> [x[0] for x in inv.iter_entries()]
 
260
    ['hello.c']
 
261
    >>> inv = Inventory('TREE_ROOT-12345678-12345678')
 
262
    >>> inv.add(InventoryEntry('123-123', 'hello.c', 'file', ROOT_ID))
 
263
    InventoryEntry('123-123', 'hello.c', kind='file', parent_id='TREE_ROOT-12345678-12345678')
 
264
    """
 
265
    def __init__(self, root_id=ROOT_ID):
 
266
        """Create or read an inventory.
 
267
 
 
268
        If a working directory is specified, the inventory is read
 
269
        from there.  If the file is specified, read from that. If not,
 
270
        the inventory is created empty.
 
271
 
 
272
        The inventory is created with a default root directory, with
 
273
        an id of None.
 
274
        """
 
275
        # We are letting Branch.initialize() create a unique inventory
 
276
        # root id. Rather than generating a random one here.
 
277
        #if root_id is None:
 
278
        #    root_id = bzrlib.branch.gen_file_id('TREE_ROOT')
 
279
        self.root = RootEntry(root_id)
 
280
        self._byid = {self.root.file_id: self.root}
 
281
 
 
282
 
 
283
    def copy(self):
 
284
        other = Inventory(self.root.file_id)
 
285
        # copy recursively so we know directories will be added before
 
286
        # their children.  There are more efficient ways than this...
 
287
        for path, entry in self.iter_entries():
 
288
            if entry == self.root:
 
289
                continue
 
290
            other.add(entry.copy())
 
291
        return other
 
292
 
 
293
 
 
294
    def __iter__(self):
 
295
        return iter(self._byid)
 
296
 
 
297
 
 
298
    def __len__(self):
 
299
        """Returns number of entries."""
 
300
        return len(self._byid)
 
301
 
 
302
 
 
303
    def iter_entries(self, from_dir=None):
 
304
        """Return (path, entry) pairs, in order by name."""
 
305
        if from_dir == None:
 
306
            assert self.root
 
307
            from_dir = self.root
 
308
        elif isinstance(from_dir, basestring):
 
309
            from_dir = self._byid[from_dir]
 
310
            
 
311
        kids = from_dir.children.items()
 
312
        kids.sort()
 
313
        for name, ie in kids:
 
314
            yield name, ie
 
315
            if ie.kind == 'directory':
 
316
                for cn, cie in self.iter_entries(from_dir=ie.file_id):
 
317
                    yield os.path.join(name, cn), cie
 
318
 
 
319
 
 
320
    def entries(self):
 
321
        """Return list of (path, ie) for all entries except the root.
 
322
 
 
323
        This may be faster than iter_entries.
 
324
        """
 
325
        accum = []
 
326
        def descend(dir_ie, dir_path):
 
327
            kids = dir_ie.children.items()
 
328
            kids.sort()
 
329
            for name, ie in kids:
 
330
                child_path = os.path.join(dir_path, name)
 
331
                accum.append((child_path, ie))
 
332
                if ie.kind == 'directory':
 
333
                    descend(ie, child_path)
 
334
 
 
335
        descend(self.root, '')
 
336
        return accum
 
337
 
 
338
 
 
339
    def directories(self):
 
340
        """Return (path, entry) pairs for all directories, including the root.
 
341
        """
 
342
        accum = []
 
343
        def descend(parent_ie, parent_path):
 
344
            accum.append((parent_path, parent_ie))
 
345
            
 
346
            kids = [(ie.name, ie) for ie in parent_ie.children.itervalues() if ie.kind == 'directory']
 
347
            kids.sort()
 
348
 
 
349
            for name, child_ie in kids:
 
350
                child_path = os.path.join(parent_path, name)
 
351
                descend(child_ie, child_path)
 
352
        descend(self.root, '')
 
353
        return accum
 
354
        
 
355
 
 
356
 
 
357
    def __contains__(self, file_id):
 
358
        """True if this entry contains a file with given id.
 
359
 
 
360
        >>> inv = Inventory()
 
361
        >>> inv.add(InventoryEntry('123', 'foo.c', 'file', ROOT_ID))
 
362
        InventoryEntry('123', 'foo.c', kind='file', parent_id='TREE_ROOT')
 
363
        >>> '123' in inv
 
364
        True
 
365
        >>> '456' in inv
 
366
        False
 
367
        """
 
368
        return file_id in self._byid
 
369
 
 
370
 
 
371
    def __getitem__(self, file_id):
 
372
        """Return the entry for given file_id.
 
373
 
 
374
        >>> inv = Inventory()
 
375
        >>> inv.add(InventoryEntry('123123', 'hello.c', 'file', ROOT_ID))
 
376
        InventoryEntry('123123', 'hello.c', kind='file', parent_id='TREE_ROOT')
 
377
        >>> inv['123123'].name
 
378
        'hello.c'
 
379
        """
 
380
        try:
 
381
            return self._byid[file_id]
 
382
        except KeyError:
 
383
            if file_id == None:
 
384
                raise BzrError("can't look up file_id None")
 
385
            else:
 
386
                raise BzrError("file_id {%s} not in inventory" % file_id)
 
387
 
 
388
 
 
389
    def get_file_kind(self, file_id):
 
390
        return self._byid[file_id].kind
 
391
 
 
392
    def get_child(self, parent_id, filename):
 
393
        return self[parent_id].children.get(filename)
 
394
 
 
395
 
 
396
    def add(self, entry):
 
397
        """Add entry to inventory.
 
398
 
 
399
        To add  a file to a branch ready to be committed, use Branch.add,
 
400
        which calls this.
 
401
 
 
402
        Returns the new entry object.
 
403
        """
 
404
        if entry.file_id in self._byid:
 
405
            raise BzrError("inventory already contains entry with id {%s}" % entry.file_id)
 
406
 
 
407
        if entry.parent_id == ROOT_ID or entry.parent_id is None:
 
408
            entry.parent_id = self.root.file_id
 
409
 
 
410
        try:
 
411
            parent = self._byid[entry.parent_id]
 
412
        except KeyError:
 
413
            raise BzrError("parent_id {%s} not in inventory" % entry.parent_id)
 
414
 
 
415
        if parent.children.has_key(entry.name):
 
416
            raise BzrError("%s is already versioned" %
 
417
                    appendpath(self.id2path(parent.file_id), entry.name))
 
418
 
 
419
        self._byid[entry.file_id] = entry
 
420
        parent.children[entry.name] = entry
 
421
        return entry
 
422
 
 
423
 
 
424
    def add_path(self, relpath, kind, file_id=None):
 
425
        """Add entry from a path.
 
426
 
 
427
        The immediate parent must already be versioned.
 
428
 
 
429
        Returns the new entry object."""
 
430
        from bzrlib.branch import gen_file_id
 
431
        
 
432
        parts = bzrlib.osutils.splitpath(relpath)
 
433
        if len(parts) == 0:
 
434
            raise BzrError("cannot re-add root of inventory")
 
435
 
 
436
        if file_id == None:
 
437
            file_id = gen_file_id(relpath)
 
438
 
 
439
        parent_path = parts[:-1]
 
440
        parent_id = self.path2id(parent_path)
 
441
        if parent_id == None:
 
442
            raise NotVersionedError(parent_path)
 
443
 
 
444
        ie = InventoryEntry(file_id, parts[-1],
 
445
                            kind=kind, parent_id=parent_id)
 
446
        return self.add(ie)
 
447
 
 
448
 
 
449
    def __delitem__(self, file_id):
 
450
        """Remove entry by id.
 
451
 
 
452
        >>> inv = Inventory()
 
453
        >>> inv.add(InventoryEntry('123', 'foo.c', 'file', ROOT_ID))
 
454
        InventoryEntry('123', 'foo.c', kind='file', parent_id='TREE_ROOT')
 
455
        >>> '123' in inv
 
456
        True
 
457
        >>> del inv['123']
 
458
        >>> '123' in inv
 
459
        False
 
460
        """
 
461
        ie = self[file_id]
 
462
 
 
463
        assert self[ie.parent_id].children[ie.name] == ie
 
464
        
 
465
        # TODO: Test deleting all children; maybe hoist to a separate
 
466
        # deltree method?
 
467
        if ie.kind == 'directory':
 
468
            for cie in ie.children.values():
 
469
                del self[cie.file_id]
 
470
            del ie.children
 
471
 
 
472
        del self._byid[file_id]
 
473
        del self[ie.parent_id].children[ie.name]
 
474
 
 
475
 
 
476
    def __eq__(self, other):
 
477
        """Compare two sets by comparing their contents.
 
478
 
 
479
        >>> i1 = Inventory()
 
480
        >>> i2 = Inventory()
 
481
        >>> i1 == i2
 
482
        True
 
483
        >>> i1.add(InventoryEntry('123', 'foo', 'file', ROOT_ID))
 
484
        InventoryEntry('123', 'foo', kind='file', parent_id='TREE_ROOT')
 
485
        >>> i1 == i2
 
486
        False
 
487
        >>> i2.add(InventoryEntry('123', 'foo', 'file', ROOT_ID))
 
488
        InventoryEntry('123', 'foo', kind='file', parent_id='TREE_ROOT')
 
489
        >>> i1 == i2
 
490
        True
 
491
        """
 
492
        if not isinstance(other, Inventory):
 
493
            return NotImplemented
 
494
 
 
495
        if len(self._byid) != len(other._byid):
 
496
            # shortcut: obviously not the same
 
497
            return False
 
498
 
 
499
        return self._byid == other._byid
 
500
 
 
501
 
 
502
    def __ne__(self, other):
 
503
        return not self.__eq__(other)
 
504
 
 
505
 
 
506
    def __hash__(self):
 
507
        raise ValueError('not hashable')
 
508
 
 
509
 
 
510
    def get_idpath(self, file_id):
 
511
        """Return a list of file_ids for the path to an entry.
 
512
 
 
513
        The list contains one element for each directory followed by
 
514
        the id of the file itself.  So the length of the returned list
 
515
        is equal to the depth of the file in the tree, counting the
 
516
        root directory as depth 1.
 
517
        """
 
518
        p = []
 
519
        while file_id != None:
 
520
            try:
 
521
                ie = self._byid[file_id]
 
522
            except KeyError:
 
523
                raise BzrError("file_id {%s} not found in inventory" % file_id)
 
524
            p.insert(0, ie.file_id)
 
525
            file_id = ie.parent_id
 
526
        return p
 
527
 
 
528
 
 
529
    def id2path(self, file_id):
 
530
        """Return as a list the path to file_id."""
 
531
 
 
532
        # get all names, skipping root
 
533
        p = [self._byid[fid].name for fid in self.get_idpath(file_id)[1:]]
 
534
        return os.sep.join(p)
 
535
            
 
536
 
 
537
 
 
538
    def path2id(self, name):
 
539
        """Walk down through directories to return entry of last component.
 
540
 
 
541
        names may be either a list of path components, or a single
 
542
        string, in which case it is automatically split.
 
543
 
 
544
        This returns the entry of the last component in the path,
 
545
        which may be either a file or a directory.
 
546
 
 
547
        Returns None iff the path is not found.
 
548
        """
 
549
        if isinstance(name, types.StringTypes):
 
550
            name = splitpath(name)
 
551
 
 
552
        mutter("lookup path %r" % name)
 
553
 
 
554
        parent = self.root
 
555
        for f in name:
 
556
            try:
 
557
                cie = parent.children[f]
 
558
                assert cie.name == f
 
559
                assert cie.parent_id == parent.file_id
 
560
                parent = cie
 
561
            except KeyError:
 
562
                # or raise an error?
 
563
                return None
 
564
 
 
565
        return parent.file_id
 
566
 
 
567
 
 
568
    def has_filename(self, names):
 
569
        return bool(self.path2id(names))
 
570
 
 
571
 
 
572
    def has_id(self, file_id):
 
573
        return self._byid.has_key(file_id)
 
574
 
 
575
 
 
576
    def rename(self, file_id, new_parent_id, new_name):
 
577
        """Move a file within the inventory.
 
578
 
 
579
        This can change either the name, or the parent, or both.
 
580
 
 
581
        This does not move the working file."""
 
582
        if not is_valid_name(new_name):
 
583
            raise BzrError("not an acceptable filename: %r" % new_name)
 
584
 
 
585
        new_parent = self._byid[new_parent_id]
 
586
        if new_name in new_parent.children:
 
587
            raise BzrError("%r already exists in %r" % (new_name, self.id2path(new_parent_id)))
 
588
 
 
589
        new_parent_idpath = self.get_idpath(new_parent_id)
 
590
        if file_id in new_parent_idpath:
 
591
            raise BzrError("cannot move directory %r into a subdirectory of itself, %r"
 
592
                    % (self.id2path(file_id), self.id2path(new_parent_id)))
 
593
 
 
594
        file_ie = self._byid[file_id]
 
595
        old_parent = self._byid[file_ie.parent_id]
 
596
 
 
597
        # TODO: Don't leave things messed up if this fails
 
598
 
 
599
        del old_parent.children[file_ie.name]
 
600
        new_parent.children[new_name] = file_ie
 
601
        
 
602
        file_ie.name = new_name
 
603
        file_ie.parent_id = new_parent_id
 
604
 
 
605
 
 
606
 
 
607
 
 
608
_NAME_RE = None
 
609
 
 
610
def is_valid_name(name):
 
611
    global _NAME_RE
 
612
    if _NAME_RE == None:
 
613
        _NAME_RE = re.compile(r'^[^/\\]+$')
 
614
        
 
615
    return bool(_NAME_RE.match(name))