1
# (C) 2005 Canonical Ltd
 
 
3
# This program is free software; you can redistribute it and/or modify
 
 
4
# it under the terms of the GNU General Public License as published by
 
 
5
# the Free Software Foundation; either version 2 of the License, or
 
 
6
# (at your option) any later version.
 
 
8
# This program is distributed in the hope that it will be useful,
 
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
 
11
# GNU General Public License for more details.
 
 
13
# You should have received a copy of the GNU General Public License
 
 
14
# along with this program; if not, write to the Free Software
 
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
 
18
# This should really be an id randomly assigned when the tree is
 
 
19
# created, but it's not for now.
 
 
23
import sys, os.path, types, re
 
 
26
from bzrlib.errors import BzrError, BzrCheckError
 
 
28
from bzrlib.osutils import uuid, quotefn, splitpath, joinpath, appendpath
 
 
29
from bzrlib.trace import mutter
 
 
31
class InventoryEntry(object):
 
 
32
    """Description of a versioned file.
 
 
34
    An InventoryEntry has the following fields, which are also
 
 
35
    present in the XML inventory-entry element:
 
 
38
    * *name*: (only the basename within the directory, must not
 
 
40
    * *kind*: "directory" or "file"
 
 
41
    * *directory_id*: (if absent/null means the branch root directory)
 
 
42
    * *text_sha1*: only for files
 
 
43
    * *text_size*: in bytes, only for files 
 
 
44
    * *text_id*: identifier for the text version, only for files
 
 
46
    InventoryEntries can also exist inside a WorkingTree
 
 
47
    inventory, in which case they are not yet bound to a
 
 
48
    particular revision of the file.  In that case the text_sha1,
 
 
49
    text_size and text_id are absent.
 
 
55
    >>> i.add(InventoryEntry('123', 'src', 'directory', ROOT_ID))
 
 
56
    >>> i.add(InventoryEntry('2323', 'hello.c', 'file', parent_id='123'))
 
 
57
    >>> for j in i.iter_entries():
 
 
60
    ('src', InventoryEntry('123', 'src', kind='directory', parent_id='TREE_ROOT'))
 
 
61
    ('src/hello.c', InventoryEntry('2323', 'hello.c', kind='file', parent_id='123'))
 
 
62
    >>> i.add(InventoryEntry('2323', 'bye.c', 'file', '123'))
 
 
63
    Traceback (most recent call last):
 
 
65
    BzrError: inventory already contains entry with id {2323}
 
 
66
    >>> i.add(InventoryEntry('2324', 'bye.c', 'file', '123'))
 
 
67
    >>> i.add(InventoryEntry('2325', 'wibble', 'directory', '123'))
 
 
68
    >>> i.path2id('src/wibble')
 
 
72
    >>> i.add(InventoryEntry('2326', 'wibble.c', 'file', '2325'))
 
 
74
    InventoryEntry('2326', 'wibble.c', kind='file', parent_id='2325')
 
 
75
    >>> for j in i.iter_entries():
 
 
77
    ...     assert i.path2id(j[0])
 
 
87
    TODO: Maybe also keep the full path of the entry, and the children?
 
 
88
           But those depend on its position within a particular inventory, and
 
 
89
           it would be nice not to need to hold the backpointer here.
 
 
92
    # TODO: split InventoryEntry into subclasses for files,
 
 
93
    # directories, etc etc.
 
 
95
    __slots__ = ['text_sha1', 'text_size', 'file_id', 'name', 'kind',
 
 
96
                 'text_id', 'parent_id', 'children', ]
 
 
98
    def __init__(self, file_id, name, kind, parent_id, text_id=None):
 
 
99
        """Create an InventoryEntry
 
 
101
        The filename must be a single component, relative to the
 
 
102
        parent directory; it cannot be a whole path or relative name.
 
 
104
        >>> e = InventoryEntry('123', 'hello.c', 'file', ROOT_ID)
 
 
109
        >>> e = InventoryEntry('123', 'src/hello.c', 'file', ROOT_ID)
 
 
110
        Traceback (most recent call last):
 
 
111
        BzrCheckError: InventoryEntry name 'src/hello.c' is invalid
 
 
113
        if '/' in name or '\\' in name:
 
 
114
            raise BzrCheckError('InventoryEntry name %r is invalid' % name)
 
 
116
        self.text_sha1 = None
 
 
117
        self.text_size = None
 
 
119
        self.file_id = file_id
 
 
122
        self.text_id = text_id
 
 
123
        self.parent_id = parent_id
 
 
124
        if kind == 'directory':
 
 
129
            raise BzrError("unhandled entry kind %r" % kind)
 
 
133
    def sorted_children(self):
 
 
134
        l = self.children.items()
 
 
140
        other = InventoryEntry(self.file_id, self.name, self.kind,
 
 
141
                               self.parent_id, text_id=self.text_id)
 
 
142
        other.text_sha1 = self.text_sha1
 
 
143
        other.text_size = self.text_size
 
 
144
        # note that children are *not* copied; they're pulled across when
 
 
150
        return ("%s(%r, %r, kind=%r, parent_id=%r)"
 
 
151
                % (self.__class__.__name__,
 
 
158
    def to_element(self):
 
 
159
        """Convert to XML element"""
 
 
160
        from bzrlib.xml import Element
 
 
164
        e.set('name', self.name)
 
 
165
        e.set('file_id', self.file_id)
 
 
166
        e.set('kind', self.kind)
 
 
168
        if self.text_size != None:
 
 
169
            e.set('text_size', '%d' % self.text_size)
 
 
171
        for f in ['text_id', 'text_sha1']:
 
 
176
        # to be conservative, we don't externalize the root pointers
 
 
177
        # for now, leaving them as null in the xml form.  in a future
 
 
178
        # version it will be implied by nested elements.
 
 
179
        if self.parent_id != ROOT_ID:
 
 
180
            assert isinstance(self.parent_id, basestring)
 
 
181
            e.set('parent_id', self.parent_id)
 
 
188
    def from_element(cls, elt):
 
 
189
        assert elt.tag == 'entry'
 
 
191
        ## original format inventories don't have a parent_id for
 
 
192
        ## nodes in the root directory, but it's cleaner to use one
 
 
194
        parent_id = elt.get('parent_id')
 
 
195
        if parent_id == None:
 
 
198
        self = cls(elt.get('file_id'), elt.get('name'), elt.get('kind'), parent_id)
 
 
199
        self.text_id = elt.get('text_id')
 
 
200
        self.text_sha1 = elt.get('text_sha1')
 
 
202
        ## mutter("read inventoryentry: %r" % (elt.attrib))
 
 
204
        v = elt.get('text_size')
 
 
205
        self.text_size = v and int(v)
 
 
210
    from_element = classmethod(from_element)
 
 
212
    def __eq__(self, other):
 
 
213
        if not isinstance(other, InventoryEntry):
 
 
214
            return NotImplemented
 
 
216
        return (self.file_id == other.file_id) \
 
 
217
               and (self.name == other.name) \
 
 
218
               and (self.text_sha1 == other.text_sha1) \
 
 
219
               and (self.text_size == other.text_size) \
 
 
220
               and (self.text_id == other.text_id) \
 
 
221
               and (self.parent_id == other.parent_id) \
 
 
222
               and (self.kind == other.kind)
 
 
225
    def __ne__(self, other):
 
 
226
        return not (self == other)
 
 
229
        raise ValueError('not hashable')
 
 
233
class RootEntry(InventoryEntry):
 
 
234
    def __init__(self, file_id):
 
 
235
        self.file_id = file_id
 
 
237
        self.kind = 'root_directory'
 
 
238
        self.parent_id = None
 
 
241
    def __eq__(self, other):
 
 
242
        if not isinstance(other, RootEntry):
 
 
243
            return NotImplemented
 
 
245
        return (self.file_id == other.file_id) \
 
 
246
               and (self.children == other.children)
 
 
250
class Inventory(object):
 
 
251
    """Inventory of versioned files in a tree.
 
 
253
    This describes which file_id is present at each point in the tree,
 
 
254
    and possibly the SHA-1 or other information about the file.
 
 
255
    Entries can be looked up either by path or by file_id.
 
 
257
    The inventory represents a typical unix file tree, with
 
 
258
    directories containing files and subdirectories.  We never store
 
 
259
    the full path to a file, because renaming a directory implicitly
 
 
260
    moves all of its contents.  This class internally maintains a
 
 
261
    lookup tree that allows the children under a directory to be
 
 
264
    InventoryEntry objects must not be modified after they are
 
 
265
    inserted, other than through the Inventory API.
 
 
267
    >>> inv = Inventory()
 
 
268
    >>> inv.add(InventoryEntry('123-123', 'hello.c', 'file', ROOT_ID))
 
 
269
    >>> inv['123-123'].name
 
 
272
    May be treated as an iterator or set to look up file ids:
 
 
274
    >>> bool(inv.path2id('hello.c'))
 
 
279
    May also look up by name:
 
 
281
    >>> [x[0] for x in inv.iter_entries()]
 
 
283
    >>> inv = Inventory('TREE_ROOT-12345678-12345678')
 
 
284
    >>> inv.add(InventoryEntry('123-123', 'hello.c', 'file', ROOT_ID))
 
 
286
    def __init__(self, root_id=ROOT_ID):
 
 
287
        """Create or read an inventory.
 
 
289
        If a working directory is specified, the inventory is read
 
 
290
        from there.  If the file is specified, read from that. If not,
 
 
291
        the inventory is created empty.
 
 
293
        The inventory is created with a default root directory, with
 
 
296
        # We are letting Branch(init=True) create a unique inventory
 
 
297
        # root id. Rather than generating a random one here.
 
 
299
        #    root_id = bzrlib.branch.gen_file_id('TREE_ROOT')
 
 
300
        self.root = RootEntry(root_id)
 
 
301
        self._byid = {self.root.file_id: self.root}
 
 
305
        return iter(self._byid)
 
 
309
        """Returns number of entries."""
 
 
310
        return len(self._byid)
 
 
313
    def iter_entries(self, from_dir=None):
 
 
314
        """Return (path, entry) pairs, in order by name."""
 
 
318
        elif isinstance(from_dir, basestring):
 
 
319
            from_dir = self._byid[from_dir]
 
 
321
        kids = from_dir.children.items()
 
 
323
        for name, ie in kids:
 
 
325
            if ie.kind == 'directory':
 
 
326
                for cn, cie in self.iter_entries(from_dir=ie.file_id):
 
 
327
                    yield os.path.join(name, cn), cie
 
 
331
        """Return list of (path, ie) for all entries except the root.
 
 
333
        This may be faster than iter_entries.
 
 
336
        def descend(dir_ie, dir_path):
 
 
337
            kids = dir_ie.children.items()
 
 
339
            for name, ie in kids:
 
 
340
                child_path = os.path.join(dir_path, name)
 
 
341
                accum.append((child_path, ie))
 
 
342
                if ie.kind == 'directory':
 
 
343
                    descend(ie, child_path)
 
 
345
        descend(self.root, '')
 
 
349
    def directories(self):
 
 
350
        """Return (path, entry) pairs for all directories, including the root.
 
 
353
        def descend(parent_ie, parent_path):
 
 
354
            accum.append((parent_path, parent_ie))
 
 
356
            kids = [(ie.name, ie) for ie in parent_ie.children.itervalues() if ie.kind == 'directory']
 
 
359
            for name, child_ie in kids:
 
 
360
                child_path = os.path.join(parent_path, name)
 
 
361
                descend(child_ie, child_path)
 
 
362
        descend(self.root, '')
 
 
367
    def __contains__(self, file_id):
 
 
368
        """True if this entry contains a file with given id.
 
 
370
        >>> inv = Inventory()
 
 
371
        >>> inv.add(InventoryEntry('123', 'foo.c', 'file', ROOT_ID))
 
 
377
        return file_id in self._byid
 
 
380
    def __getitem__(self, file_id):
 
 
381
        """Return the entry for given file_id.
 
 
383
        >>> inv = Inventory()
 
 
384
        >>> inv.add(InventoryEntry('123123', 'hello.c', 'file', ROOT_ID))
 
 
385
        >>> inv['123123'].name
 
 
389
            return self._byid[file_id]
 
 
392
                raise BzrError("can't look up file_id None")
 
 
394
                raise BzrError("file_id {%s} not in inventory" % file_id)
 
 
397
    def get_file_kind(self, file_id):
 
 
398
        return self._byid[file_id].kind
 
 
400
    def get_child(self, parent_id, filename):
 
 
401
        return self[parent_id].children.get(filename)
 
 
404
    def add(self, entry):
 
 
405
        """Add entry to inventory.
 
 
407
        To add  a file to a branch ready to be committed, use Branch.add,
 
 
409
        if entry.file_id in self._byid:
 
 
410
            raise BzrError("inventory already contains entry with id {%s}" % entry.file_id)
 
 
412
        if entry.parent_id == ROOT_ID or entry.parent_id is None:
 
 
413
            entry.parent_id = self.root.file_id
 
 
416
            parent = self._byid[entry.parent_id]
 
 
418
            raise BzrError("parent_id {%s} not in inventory" % entry.parent_id)
 
 
420
        if parent.children.has_key(entry.name):
 
 
421
            raise BzrError("%s is already versioned" %
 
 
422
                    appendpath(self.id2path(parent.file_id), entry.name))
 
 
424
        self._byid[entry.file_id] = entry
 
 
425
        parent.children[entry.name] = entry
 
 
428
    def add_path(self, relpath, kind, file_id=None):
 
 
429
        """Add entry from a path.
 
 
431
        The immediate parent must already be versioned"""
 
 
432
        from bzrlib.errors import NotVersionedError
 
 
434
        parts = bzrlib.osutils.splitpath(relpath)
 
 
436
            raise BzrError("cannot re-add root of inventory")
 
 
439
            from bzrlib.branch import gen_file_id
 
 
440
            file_id = gen_file_id(relpath)
 
 
442
        parent_path = parts[:-1]
 
 
443
        parent_id = self.path2id(parent_path)
 
 
444
        if parent_id == None:
 
 
445
            raise NotVersionedError(parent_path)
 
 
447
        ie = InventoryEntry(file_id, parts[-1],
 
 
448
                            kind=kind, parent_id=parent_id)
 
 
452
    def __delitem__(self, file_id):
 
 
453
        """Remove entry by id.
 
 
455
        >>> inv = Inventory()
 
 
456
        >>> inv.add(InventoryEntry('123', 'foo.c', 'file', ROOT_ID))
 
 
465
        assert self[ie.parent_id].children[ie.name] == ie
 
 
467
        # TODO: Test deleting all children; maybe hoist to a separate
 
 
469
        if ie.kind == 'directory':
 
 
470
            for cie in ie.children.values():
 
 
471
                del self[cie.file_id]
 
 
474
        del self._byid[file_id]
 
 
475
        del self[ie.parent_id].children[ie.name]
 
 
478
    def to_element(self):
 
 
479
        """Convert to XML Element"""
 
 
480
        from bzrlib.xml import Element
 
 
482
        e = Element('inventory')
 
 
484
        if self.root.file_id not in (None, ROOT_ID):
 
 
485
            e.set('file_id', self.root.file_id)
 
 
486
        for path, ie in self.iter_entries():
 
 
487
            e.append(ie.to_element())
 
 
491
    def from_element(cls, elt):
 
 
492
        """Construct from XML Element
 
 
494
        >>> inv = Inventory()
 
 
495
        >>> inv.add(InventoryEntry('foo.c-123981239', 'foo.c', 'file', ROOT_ID))
 
 
496
        >>> elt = inv.to_element()
 
 
497
        >>> inv2 = Inventory.from_element(elt)
 
 
501
        # XXXX: doctest doesn't run this properly under python2.3
 
 
502
        assert elt.tag == 'inventory'
 
 
503
        root_id = elt.get('file_id') or ROOT_ID
 
 
506
            ie = InventoryEntry.from_element(e)
 
 
507
            if ie.parent_id == ROOT_ID:
 
 
508
                ie.parent_id = root_id
 
 
512
    from_element = classmethod(from_element)
 
 
515
    def __eq__(self, other):
 
 
516
        """Compare two sets by comparing their contents.
 
 
522
        >>> i1.add(InventoryEntry('123', 'foo', 'file', ROOT_ID))
 
 
525
        >>> i2.add(InventoryEntry('123', 'foo', 'file', ROOT_ID))
 
 
529
        if not isinstance(other, Inventory):
 
 
530
            return NotImplemented
 
 
532
        if len(self._byid) != len(other._byid):
 
 
533
            # shortcut: obviously not the same
 
 
536
        return self._byid == other._byid
 
 
539
    def __ne__(self, other):
 
 
540
        return not (self == other)
 
 
544
        raise ValueError('not hashable')
 
 
548
    def get_idpath(self, file_id):
 
 
549
        """Return a list of file_ids for the path to an entry.
 
 
551
        The list contains one element for each directory followed by
 
 
552
        the id of the file itself.  So the length of the returned list
 
 
553
        is equal to the depth of the file in the tree, counting the
 
 
554
        root directory as depth 1.
 
 
557
        while file_id != None:
 
 
559
                ie = self._byid[file_id]
 
 
561
                raise BzrError("file_id {%s} not found in inventory" % file_id)
 
 
562
            p.insert(0, ie.file_id)
 
 
563
            file_id = ie.parent_id
 
 
567
    def id2path(self, file_id):
 
 
568
        """Return as a list the path to file_id."""
 
 
570
        # get all names, skipping root
 
 
571
        p = [self._byid[fid].name for fid in self.get_idpath(file_id)[1:]]
 
 
572
        return os.sep.join(p)
 
 
576
    def path2id(self, name):
 
 
577
        """Walk down through directories to return entry of last component.
 
 
579
        names may be either a list of path components, or a single
 
 
580
        string, in which case it is automatically split.
 
 
582
        This returns the entry of the last component in the path,
 
 
583
        which may be either a file or a directory.
 
 
585
        Returns None iff the path is not found.
 
 
587
        if isinstance(name, types.StringTypes):
 
 
588
            name = splitpath(name)
 
 
590
        mutter("lookup path %r" % name)
 
 
595
                cie = parent.children[f]
 
 
597
                assert cie.parent_id == parent.file_id
 
 
603
        return parent.file_id
 
 
606
    def has_filename(self, names):
 
 
607
        return bool(self.path2id(names))
 
 
610
    def has_id(self, file_id):
 
 
611
        return self._byid.has_key(file_id)
 
 
614
    def rename(self, file_id, new_parent_id, new_name):
 
 
615
        """Move a file within the inventory.
 
 
617
        This can change either the name, or the parent, or both.
 
 
619
        This does not move the working file."""
 
 
620
        if not is_valid_name(new_name):
 
 
621
            raise BzrError("not an acceptable filename: %r" % new_name)
 
 
623
        new_parent = self._byid[new_parent_id]
 
 
624
        if new_name in new_parent.children:
 
 
625
            raise BzrError("%r already exists in %r" % (new_name, self.id2path(new_parent_id)))
 
 
627
        new_parent_idpath = self.get_idpath(new_parent_id)
 
 
628
        if file_id in new_parent_idpath:
 
 
629
            raise BzrError("cannot move directory %r into a subdirectory of itself, %r"
 
 
630
                    % (self.id2path(file_id), self.id2path(new_parent_id)))
 
 
632
        file_ie = self._byid[file_id]
 
 
633
        old_parent = self._byid[file_ie.parent_id]
 
 
635
        # TODO: Don't leave things messed up if this fails
 
 
637
        del old_parent.children[file_ie.name]
 
 
638
        new_parent.children[new_name] = file_ie
 
 
640
        file_ie.name = new_name
 
 
641
        file_ie.parent_id = new_parent_id
 
 
646
_NAME_RE = re.compile(r'^[^/\\]+$')
 
 
648
def is_valid_name(name):
 
 
649
    return bool(_NAME_RE.match(name))