1
# (C) 2005 Canonical Ltd
 
 
3
# This program is free software; you can redistribute it and/or modify
 
 
4
# it under the terms of the GNU General Public License as published by
 
 
5
# the Free Software Foundation; either version 2 of the License, or
 
 
6
# (at your option) any later version.
 
 
8
# This program is distributed in the hope that it will be useful,
 
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
 
11
# GNU General Public License for more details.
 
 
13
# You should have received a copy of the GNU General Public License
 
 
14
# along with this program; if not, write to the Free Software
 
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
 
18
# This should really be an id randomly assigned when the tree is
 
 
19
# created, but it's not for now.
 
 
23
import sys, os.path, types, re
 
 
27
    from cElementTree import Element, ElementTree, SubElement
 
 
29
    from elementtree.ElementTree import Element, ElementTree, SubElement
 
 
31
from xml import XMLMixin
 
 
32
from errors import bailout, BzrError, BzrCheckError
 
 
35
from bzrlib.osutils import uuid, quotefn, splitpath, joinpath, appendpath
 
 
36
from bzrlib.trace import mutter
 
 
38
class InventoryEntry(XMLMixin):
 
 
39
    """Description of a versioned file.
 
 
41
    An InventoryEntry has the following fields, which are also
 
 
42
    present in the XML inventory-entry element:
 
 
45
    * *name*: (only the basename within the directory, must not
 
 
47
    * *kind*: "directory" or "file"
 
 
48
    * *directory_id*: (if absent/null means the branch root directory)
 
 
49
    * *text_sha1*: only for files
 
 
50
    * *text_size*: in bytes, only for files 
 
 
51
    * *text_id*: identifier for the text version, only for files
 
 
53
    InventoryEntries can also exist inside a WorkingTree
 
 
54
    inventory, in which case they are not yet bound to a
 
 
55
    particular revision of the file.  In that case the text_sha1,
 
 
56
    text_size and text_id are absent.
 
 
62
    >>> i.add(InventoryEntry('123', 'src', 'directory', ROOT_ID))
 
 
63
    >>> i.add(InventoryEntry('2323', 'hello.c', 'file', parent_id='123'))
 
 
64
    >>> for j in i.iter_entries():
 
 
67
    ('src', InventoryEntry('123', 'src', kind='directory', parent_id='TREE_ROOT'))
 
 
68
    ('src/hello.c', InventoryEntry('2323', 'hello.c', kind='file', parent_id='123'))
 
 
69
    >>> i.add(InventoryEntry('2323', 'bye.c', 'file', '123'))
 
 
70
    Traceback (most recent call last):
 
 
72
    BzrError: ('inventory already contains entry with id {2323}', [])
 
 
73
    >>> i.add(InventoryEntry('2324', 'bye.c', 'file', '123'))
 
 
74
    >>> i.add(InventoryEntry('2325', 'wibble', 'directory', '123'))
 
 
75
    >>> i.path2id('src/wibble')
 
 
79
    >>> i.add(InventoryEntry('2326', 'wibble.c', 'file', '2325'))
 
 
81
    InventoryEntry('2326', 'wibble.c', kind='file', parent_id='2325')
 
 
82
    >>> for j in i.iter_entries():
 
 
84
    ...     assert i.path2id(j[0])
 
 
94
    TODO: Maybe also keep the full path of the entry, and the children?
 
 
95
           But those depend on its position within a particular inventory, and
 
 
96
           it would be nice not to need to hold the backpointer here.
 
 
99
    # TODO: split InventoryEntry into subclasses for files,
 
 
100
    # directories, etc etc.
 
 
105
    def __init__(self, file_id, name, kind, parent_id, text_id=None):
 
 
106
        """Create an InventoryEntry
 
 
108
        The filename must be a single component, relative to the
 
 
109
        parent directory; it cannot be a whole path or relative name.
 
 
111
        >>> e = InventoryEntry('123', 'hello.c', 'file', ROOT_ID)
 
 
116
        >>> e = InventoryEntry('123', 'src/hello.c', 'file', ROOT_ID)
 
 
117
        Traceback (most recent call last):
 
 
118
        BzrCheckError: InventoryEntry name 'src/hello.c' is invalid
 
 
120
        if '/' in name or '\\' in name:
 
 
121
            raise BzrCheckError('InventoryEntry name %r is invalid' % name)
 
 
123
        self.file_id = file_id
 
 
126
        self.text_id = text_id
 
 
127
        self.parent_id = parent_id
 
 
128
        if kind == 'directory':
 
 
133
            raise BzrError("unhandled entry kind %r" % kind)
 
 
137
    def sorted_children(self):
 
 
138
        l = self.children.items()
 
 
144
        other = InventoryEntry(self.file_id, self.name, self.kind,
 
 
145
                               self.parent_id, text_id=self.text_id)
 
 
146
        other.text_sha1 = self.text_sha1
 
 
147
        other.text_size = self.text_size
 
 
148
        # note that children are *not* copied; they're pulled across when
 
 
154
        return ("%s(%r, %r, kind=%r, parent_id=%r)"
 
 
155
                % (self.__class__.__name__,
 
 
162
    def to_element(self):
 
 
163
        """Convert to XML element"""
 
 
166
        e.set('name', self.name)
 
 
167
        e.set('file_id', self.file_id)
 
 
168
        e.set('kind', self.kind)
 
 
170
        if self.text_size != None:
 
 
171
            e.set('text_size', '%d' % self.text_size)
 
 
173
        for f in ['text_id', 'text_sha1']:
 
 
178
        # to be conservative, we don't externalize the root pointers
 
 
179
        # for now, leaving them as null in the xml form.  in a future
 
 
180
        # version it will be implied by nested elements.
 
 
181
        if self.parent_id != ROOT_ID:
 
 
182
            assert isinstance(self.parent_id, basestring)
 
 
183
            e.set('parent_id', self.parent_id)
 
 
190
    def from_element(cls, elt):
 
 
191
        assert elt.tag == 'entry'
 
 
193
        ## original format inventories don't have a parent_id for
 
 
194
        ## nodes in the root directory, but it's cleaner to use one
 
 
196
        parent_id = elt.get('parent_id')
 
 
197
        if parent_id == None:
 
 
200
        self = cls(elt.get('file_id'), elt.get('name'), elt.get('kind'), parent_id)
 
 
201
        self.text_id = elt.get('text_id')
 
 
202
        self.text_sha1 = elt.get('text_sha1')
 
 
204
        ## mutter("read inventoryentry: %r" % (elt.attrib))
 
 
206
        v = elt.get('text_size')
 
 
207
        self.text_size = v and int(v)
 
 
212
    from_element = classmethod(from_element)
 
 
214
    def __cmp__(self, other):
 
 
217
        if not isinstance(other, InventoryEntry):
 
 
218
            return NotImplemented
 
 
220
        return cmp(self.file_id, other.file_id) \
 
 
221
               or cmp(self.name, other.name) \
 
 
222
               or cmp(self.text_sha1, other.text_sha1) \
 
 
223
               or cmp(self.text_size, other.text_size) \
 
 
224
               or cmp(self.text_id, other.text_id) \
 
 
225
               or cmp(self.parent_id, other.parent_id) \
 
 
226
               or cmp(self.kind, other.kind)
 
 
230
class RootEntry(InventoryEntry):
 
 
231
    def __init__(self, file_id):
 
 
232
        self.file_id = file_id
 
 
234
        self.kind = 'root_directory'
 
 
235
        self.parent_id = None
 
 
238
    def __cmp__(self, other):
 
 
241
        if not isinstance(other, RootEntry):
 
 
242
            return NotImplemented
 
 
243
        return cmp(self.file_id, other.file_id) \
 
 
244
               or cmp(self.children, other.children)
 
 
248
class Inventory(XMLMixin):
 
 
249
    """Inventory of versioned files in a tree.
 
 
251
    This describes which file_id is present at each point in the tree,
 
 
252
    and possibly the SHA-1 or other information about the file.
 
 
253
    Entries can be looked up either by path or by file_id.
 
 
255
    The inventory represents a typical unix file tree, with
 
 
256
    directories containing files and subdirectories.  We never store
 
 
257
    the full path to a file, because renaming a directory implicitly
 
 
258
    moves all of its contents.  This class internally maintains a
 
 
259
    lookup tree that allows the children under a directory to be
 
 
262
    InventoryEntry objects must not be modified after they are
 
 
263
    inserted, other than through the Inventory API.
 
 
265
    >>> inv = Inventory()
 
 
266
    >>> inv.write_xml(sys.stdout)
 
 
269
    >>> inv.add(InventoryEntry('123-123', 'hello.c', 'file', ROOT_ID))
 
 
270
    >>> inv['123-123'].name
 
 
273
    May be treated as an iterator or set to look up file ids:
 
 
275
    >>> bool(inv.path2id('hello.c'))
 
 
280
    May also look up by name:
 
 
282
    >>> [x[0] for x in inv.iter_entries()]
 
 
285
    >>> inv.write_xml(sys.stdout)
 
 
287
    <entry file_id="123-123" kind="file" name="hello.c" />
 
 
292
        """Create or read an inventory.
 
 
294
        If a working directory is specified, the inventory is read
 
 
295
        from there.  If the file is specified, read from that. If not,
 
 
296
        the inventory is created empty.
 
 
298
        The inventory is created with a default root directory, with
 
 
301
        self.root = RootEntry(ROOT_ID)
 
 
302
        self._byid = {self.root.file_id: self.root}
 
 
306
        return iter(self._byid)
 
 
310
        """Returns number of entries."""
 
 
311
        return len(self._byid)
 
 
314
    def iter_entries(self, from_dir=None):
 
 
315
        """Return (path, entry) pairs, in order by name."""
 
 
319
        elif isinstance(from_dir, basestring):
 
 
320
            from_dir = self._byid[from_dir]
 
 
322
        kids = from_dir.children.items()
 
 
324
        for name, ie in kids:
 
 
326
            if ie.kind == 'directory':
 
 
327
                for cn, cie in self.iter_entries(from_dir=ie.file_id):
 
 
328
                    yield os.path.join(name, cn), cie
 
 
332
    def directories(self):
 
 
333
        """Return (path, entry) pairs for all directories.
 
 
335
        def descend(parent_ie):
 
 
336
            parent_name = parent_ie.name
 
 
337
            yield parent_name, parent_ie
 
 
339
            # directory children in sorted order
 
 
341
            for ie in parent_ie.children.itervalues():
 
 
342
                if ie.kind == 'directory':
 
 
343
                    dn.append((ie.name, ie))
 
 
346
            for name, child_ie in dn:
 
 
347
                for sub_name, sub_ie in descend(child_ie):
 
 
348
                    yield appendpath(parent_name, sub_name), sub_ie
 
 
350
        for name, ie in descend(self.root):
 
 
355
    def __contains__(self, file_id):
 
 
356
        """True if this entry contains a file with given id.
 
 
358
        >>> inv = Inventory()
 
 
359
        >>> inv.add(InventoryEntry('123', 'foo.c', 'file', ROOT_ID))
 
 
365
        return file_id in self._byid
 
 
368
    def __getitem__(self, file_id):
 
 
369
        """Return the entry for given file_id.
 
 
371
        >>> inv = Inventory()
 
 
372
        >>> inv.add(InventoryEntry('123123', 'hello.c', 'file', ROOT_ID))
 
 
373
        >>> inv['123123'].name
 
 
377
            return self._byid[file_id]
 
 
380
                raise BzrError("can't look up file_id None")
 
 
382
                raise BzrError("file_id {%s} not in inventory" % file_id)
 
 
385
    def get_file_kind(self, file_id):
 
 
386
        return self._byid[file_id].kind
 
 
388
    def get_child(self, parent_id, filename):
 
 
389
        return self[parent_id].children.get(filename)
 
 
392
    def add(self, entry):
 
 
393
        """Add entry to inventory.
 
 
395
        To add  a file to a branch ready to be committed, use Branch.add,
 
 
397
        if entry.file_id in self._byid:
 
 
398
            bailout("inventory already contains entry with id {%s}" % entry.file_id)
 
 
401
            parent = self._byid[entry.parent_id]
 
 
403
            bailout("parent_id {%s} not in inventory" % entry.parent_id)
 
 
405
        if parent.children.has_key(entry.name):
 
 
406
            bailout("%s is already versioned" %
 
 
407
                    appendpath(self.id2path(parent.file_id), entry.name))
 
 
409
        self._byid[entry.file_id] = entry
 
 
410
        parent.children[entry.name] = entry
 
 
413
    def add_path(self, relpath, kind, file_id=None):
 
 
414
        """Add entry from a path.
 
 
416
        The immediate parent must already be versioned"""
 
 
417
        parts = bzrlib.osutils.splitpath(relpath)
 
 
419
            bailout("cannot re-add root of inventory")
 
 
422
            file_id = bzrlib.branch.gen_file_id(relpath)
 
 
424
        parent_id = self.path2id(parts[:-1])
 
 
425
        assert parent_id != None
 
 
426
        ie = InventoryEntry(file_id, parts[-1],
 
 
427
                            kind=kind, parent_id=parent_id)
 
 
431
    def __delitem__(self, file_id):
 
 
432
        """Remove entry by id.
 
 
434
        >>> inv = Inventory()
 
 
435
        >>> inv.add(InventoryEntry('123', 'foo.c', 'file', ROOT_ID))
 
 
444
        assert self[ie.parent_id].children[ie.name] == ie
 
 
446
        # TODO: Test deleting all children; maybe hoist to a separate
 
 
448
        if ie.kind == 'directory':
 
 
449
            for cie in ie.children.values():
 
 
450
                del self[cie.file_id]
 
 
453
        del self._byid[file_id]
 
 
454
        del self[ie.parent_id].children[ie.name]
 
 
458
        return Set(self._byid)
 
 
461
    def to_element(self):
 
 
462
        """Convert to XML Element"""
 
 
463
        e = Element('inventory')
 
 
465
        for path, ie in self.iter_entries():
 
 
466
            e.append(ie.to_element())
 
 
470
    def from_element(cls, elt):
 
 
471
        """Construct from XML Element
 
 
473
        >>> inv = Inventory()
 
 
474
        >>> inv.add(InventoryEntry('foo.c-123981239', 'foo.c', 'file', ROOT_ID))
 
 
475
        >>> elt = inv.to_element()
 
 
476
        >>> inv2 = Inventory.from_element(elt)
 
 
480
        assert elt.tag == 'inventory'
 
 
483
            o.add(InventoryEntry.from_element(e))
 
 
486
    from_element = classmethod(from_element)
 
 
489
    def __cmp__(self, other):
 
 
490
        """Compare two sets by comparing their contents.
 
 
496
        >>> i1.add(InventoryEntry('123', 'foo', 'file', ROOT_ID))
 
 
499
        >>> i2.add(InventoryEntry('123', 'foo', 'file', ROOT_ID))
 
 
506
        if not isinstance(other, Inventory):
 
 
507
            return NotImplemented
 
 
509
        if self.id_set() ^ other.id_set():
 
 
512
        for file_id in self._byid:
 
 
513
            c = cmp(self[file_id], other[file_id])
 
 
519
    def get_idpath(self, file_id):
 
 
520
        """Return a list of file_ids for the path to an entry.
 
 
522
        The list contains one element for each directory followed by
 
 
523
        the id of the file itself.  So the length of the returned list
 
 
524
        is equal to the depth of the file in the tree, counting the
 
 
525
        root directory as depth 1.
 
 
528
        while file_id != None:
 
 
530
                ie = self._byid[file_id]
 
 
532
                bailout("file_id {%s} not found in inventory" % file_id)
 
 
533
            p.insert(0, ie.file_id)
 
 
534
            file_id = ie.parent_id
 
 
538
    def id2path(self, file_id):
 
 
539
        """Return as a list the path to file_id."""
 
 
541
        # get all names, skipping root
 
 
542
        p = [self[fid].name for fid in self.get_idpath(file_id)[1:]]
 
 
543
        return os.sep.join(p)
 
 
547
    def path2id(self, name):
 
 
548
        """Walk down through directories to return entry of last component.
 
 
550
        names may be either a list of path components, or a single
 
 
551
        string, in which case it is automatically split.
 
 
553
        This returns the entry of the last component in the path,
 
 
554
        which may be either a file or a directory.
 
 
556
        Returns None iff the path is not found.
 
 
558
        if isinstance(name, types.StringTypes):
 
 
559
            name = splitpath(name)
 
 
561
        mutter("lookup path %r" % name)
 
 
566
                cie = parent.children[f]
 
 
568
                assert cie.parent_id == parent.file_id
 
 
574
        return parent.file_id
 
 
577
    def has_filename(self, names):
 
 
578
        return bool(self.path2id(names))
 
 
581
    def has_id(self, file_id):
 
 
582
        return self._byid.has_key(file_id)
 
 
585
    def rename(self, file_id, new_parent_id, new_name):
 
 
586
        """Move a file within the inventory.
 
 
588
        This can change either the name, or the parent, or both.
 
 
590
        This does not move the working file."""
 
 
591
        if not is_valid_name(new_name):
 
 
592
            bailout("not an acceptable filename: %r" % new_name)
 
 
594
        new_parent = self._byid[new_parent_id]
 
 
595
        if new_name in new_parent.children:
 
 
596
            bailout("%r already exists in %r" % (new_name, self.id2path(new_parent_id)))
 
 
598
        new_parent_idpath = self.get_idpath(new_parent_id)
 
 
599
        if file_id in new_parent_idpath:
 
 
600
            bailout("cannot move directory %r into a subdirectory of itself, %r"
 
 
601
                    % (self.id2path(file_id), self.id2path(new_parent_id)))
 
 
603
        file_ie = self._byid[file_id]
 
 
604
        old_parent = self._byid[file_ie.parent_id]
 
 
606
        # TODO: Don't leave things messed up if this fails
 
 
608
        del old_parent.children[file_ie.name]
 
 
609
        new_parent.children[new_name] = file_ie
 
 
611
        file_ie.name = new_name
 
 
612
        file_ie.parent_id = new_parent_id
 
 
617
_NAME_RE = re.compile(r'^[^/\\]+$')
 
 
619
def is_valid_name(name):
 
 
620
    return bool(_NAME_RE.match(name))