/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/inventory.py

  • Committer: Robert Collins
  • Date: 2005-09-29 02:55:34 UTC
  • mfrom: (1185.1.47)
  • mto: This revision was merged to the branch mainline in revision 1397.
  • Revision ID: robertc@robertcollins.net-20050929025534-1782933743abbfd5
update with integration

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# (C) 2005 Canonical Ltd
 
2
 
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
 
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
 
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
 
 
18
# This should really be an id randomly assigned when the tree is
 
19
# created, but it's not for now.
 
20
ROOT_ID = "TREE_ROOT"
 
21
 
 
22
 
 
23
import os.path
 
24
import re
 
25
import sys
 
26
import types
 
27
 
 
28
import bzrlib
 
29
from bzrlib.errors import BzrError, BzrCheckError
 
30
 
 
31
from bzrlib.osutils import quotefn, splitpath, joinpath, appendpath
 
32
from bzrlib.trace import mutter
 
33
from bzrlib.errors import NotVersionedError
 
34
 
 
35
 
 
36
class InventoryEntry(object):
 
37
    """Description of a versioned file.
 
38
 
 
39
    An InventoryEntry has the following fields, which are also
 
40
    present in the XML inventory-entry element:
 
41
 
 
42
    * *file_id*
 
43
    * *name*: (only the basename within the directory, must not
 
44
      contain slashes)
 
45
    * *kind*: "directory" or "file"
 
46
    * *directory_id*: (if absent/null means the branch root directory)
 
47
    * *text_sha1*: only for files
 
48
    * *text_size*: in bytes, only for files 
 
49
    * *text_id*: identifier for the text version, only for files
 
50
 
 
51
    InventoryEntries can also exist inside a WorkingTree
 
52
    inventory, in which case they are not yet bound to a
 
53
    particular revision of the file.  In that case the text_sha1,
 
54
    text_size and text_id are absent.
 
55
 
 
56
 
 
57
    >>> i = Inventory()
 
58
    >>> i.path2id('')
 
59
    'TREE_ROOT'
 
60
    >>> i.add(InventoryEntry('123', 'src', 'directory', ROOT_ID))
 
61
    InventoryEntry('123', 'src', kind='directory', parent_id='TREE_ROOT')
 
62
    >>> i.add(InventoryEntry('2323', 'hello.c', 'file', parent_id='123'))
 
63
    InventoryEntry('2323', 'hello.c', kind='file', parent_id='123')
 
64
    >>> for j in i.iter_entries():
 
65
    ...   print j
 
66
    ... 
 
67
    ('src', InventoryEntry('123', 'src', kind='directory', parent_id='TREE_ROOT'))
 
68
    ('src/hello.c', InventoryEntry('2323', 'hello.c', kind='file', parent_id='123'))
 
69
    >>> i.add(InventoryEntry('2323', 'bye.c', 'file', '123'))
 
70
    Traceback (most recent call last):
 
71
    ...
 
72
    BzrError: inventory already contains entry with id {2323}
 
73
    >>> i.add(InventoryEntry('2324', 'bye.c', 'file', '123'))
 
74
    InventoryEntry('2324', 'bye.c', kind='file', parent_id='123')
 
75
    >>> i.add(InventoryEntry('2325', 'wibble', 'directory', '123'))
 
76
    InventoryEntry('2325', 'wibble', kind='directory', parent_id='123')
 
77
    >>> i.path2id('src/wibble')
 
78
    '2325'
 
79
    >>> '2325' in i
 
80
    True
 
81
    >>> i.add(InventoryEntry('2326', 'wibble.c', 'file', '2325'))
 
82
    InventoryEntry('2326', 'wibble.c', kind='file', parent_id='2325')
 
83
    >>> i['2326']
 
84
    InventoryEntry('2326', 'wibble.c', kind='file', parent_id='2325')
 
85
    >>> for path, entry in i.iter_entries():
 
86
    ...     print path.replace('\\\\', '/')     # for win32 os.sep
 
87
    ...     assert i.path2id(path)
 
88
    ... 
 
89
    src
 
90
    src/bye.c
 
91
    src/hello.c
 
92
    src/wibble
 
93
    src/wibble/wibble.c
 
94
    >>> i.id2path('2326').replace('\\\\', '/')
 
95
    'src/wibble/wibble.c'
 
96
 
 
97
    TODO: Maybe also keep the full path of the entry, and the children?
 
98
           But those depend on its position within a particular inventory, and
 
99
           it would be nice not to need to hold the backpointer here.
 
100
    """
 
101
 
 
102
    # TODO: split InventoryEntry into subclasses for files,
 
103
    # directories, etc etc.
 
104
 
 
105
    __slots__ = ['text_sha1', 'text_size', 'file_id', 'name', 'kind',
 
106
                 'text_id', 'parent_id', 'children',
 
107
                 'text_version', 'entry_version', 'symlink_target']
 
108
 
 
109
    def __init__(self, file_id, name, kind, parent_id, text_id=None):
 
110
        """Create an InventoryEntry
 
111
        
 
112
        The filename must be a single component, relative to the
 
113
        parent directory; it cannot be a whole path or relative name.
 
114
 
 
115
        >>> e = InventoryEntry('123', 'hello.c', 'file', ROOT_ID)
 
116
        >>> e.name
 
117
        'hello.c'
 
118
        >>> e.file_id
 
119
        '123'
 
120
        >>> e = InventoryEntry('123', 'src/hello.c', 'file', ROOT_ID)
 
121
        Traceback (most recent call last):
 
122
        BzrCheckError: InventoryEntry name 'src/hello.c' is invalid
 
123
        """
 
124
        assert isinstance(name, basestring), name
 
125
        if '/' in name or '\\' in name:
 
126
            raise BzrCheckError('InventoryEntry name %r is invalid' % name)
 
127
        
 
128
        self.text_version = None
 
129
        self.entry_version = None
 
130
        self.text_sha1 = None
 
131
        self.text_size = None
 
132
        self.file_id = file_id
 
133
        self.name = name
 
134
        self.kind = kind
 
135
        self.text_id = text_id
 
136
        self.parent_id = parent_id
 
137
        self.symlink_target = None
 
138
        if kind == 'directory':
 
139
            self.children = {}
 
140
        elif kind == 'file':
 
141
            pass
 
142
        elif kind == 'symlink':
 
143
            pass
 
144
        else:
 
145
            raise BzrError("unhandled entry kind %r" % kind)
 
146
 
 
147
    def read_symlink_target(self, path):
 
148
        if self.kind == 'symlink':
 
149
            try:
 
150
                self.symlink_target = os.readlink(path)
 
151
            except OSError,e:
 
152
                raise BzrError("os.readlink error, %s" % e)
 
153
 
 
154
    def sorted_children(self):
 
155
        l = self.children.items()
 
156
        l.sort()
 
157
        return l
 
158
 
 
159
 
 
160
    def copy(self):
 
161
        other = InventoryEntry(self.file_id, self.name, self.kind,
 
162
                               self.parent_id, text_id=self.text_id)
 
163
        other.text_sha1 = self.text_sha1
 
164
        other.text_size = self.text_size
 
165
        other.symlink_target = self.symlink_target
 
166
        # note that children are *not* copied; they're pulled across when
 
167
        # others are added
 
168
        return other
 
169
 
 
170
 
 
171
    def __repr__(self):
 
172
        return ("%s(%r, %r, kind=%r, parent_id=%r)"
 
173
                % (self.__class__.__name__,
 
174
                   self.file_id,
 
175
                   self.name,
 
176
                   self.kind,
 
177
                   self.parent_id))
 
178
 
 
179
    def __eq__(self, other):
 
180
        if not isinstance(other, InventoryEntry):
 
181
            return NotImplemented
 
182
 
 
183
        return (self.file_id == other.file_id) \
 
184
               and (self.name == other.name) \
 
185
               and (other.symlink_target == self.symlink_target) \
 
186
               and (self.text_sha1 == other.text_sha1) \
 
187
               and (self.text_size == other.text_size) \
 
188
               and (self.text_id == other.text_id) \
 
189
               and (self.parent_id == other.parent_id) \
 
190
               and (self.kind == other.kind) \
 
191
               and (self.text_version == other.text_version) \
 
192
               and (self.entry_version == other.entry_version)
 
193
 
 
194
    def __ne__(self, other):
 
195
        return not (self == other)
 
196
 
 
197
    def __hash__(self):
 
198
        raise ValueError('not hashable')
 
199
 
 
200
 
 
201
 
 
202
class RootEntry(InventoryEntry):
 
203
    def __init__(self, file_id):
 
204
        self.file_id = file_id
 
205
        self.children = {}
 
206
        self.kind = 'root_directory'
 
207
        self.parent_id = None
 
208
        self.name = ''
 
209
 
 
210
    def __eq__(self, other):
 
211
        if not isinstance(other, RootEntry):
 
212
            return NotImplemented
 
213
        
 
214
        return (self.file_id == other.file_id) \
 
215
               and (self.children == other.children)
 
216
 
 
217
 
 
218
 
 
219
class Inventory(object):
 
220
    """Inventory of versioned files in a tree.
 
221
 
 
222
    This describes which file_id is present at each point in the tree,
 
223
    and possibly the SHA-1 or other information about the file.
 
224
    Entries can be looked up either by path or by file_id.
 
225
 
 
226
    The inventory represents a typical unix file tree, with
 
227
    directories containing files and subdirectories.  We never store
 
228
    the full path to a file, because renaming a directory implicitly
 
229
    moves all of its contents.  This class internally maintains a
 
230
    lookup tree that allows the children under a directory to be
 
231
    returned quickly.
 
232
 
 
233
    InventoryEntry objects must not be modified after they are
 
234
    inserted, other than through the Inventory API.
 
235
 
 
236
    >>> inv = Inventory()
 
237
    >>> inv.add(InventoryEntry('123-123', 'hello.c', 'file', ROOT_ID))
 
238
    InventoryEntry('123-123', 'hello.c', kind='file', parent_id='TREE_ROOT')
 
239
    >>> inv['123-123'].name
 
240
    'hello.c'
 
241
 
 
242
    May be treated as an iterator or set to look up file ids:
 
243
    
 
244
    >>> bool(inv.path2id('hello.c'))
 
245
    True
 
246
    >>> '123-123' in inv
 
247
    True
 
248
 
 
249
    May also look up by name:
 
250
 
 
251
    >>> [x[0] for x in inv.iter_entries()]
 
252
    ['hello.c']
 
253
    >>> inv = Inventory('TREE_ROOT-12345678-12345678')
 
254
    >>> inv.add(InventoryEntry('123-123', 'hello.c', 'file', ROOT_ID))
 
255
    InventoryEntry('123-123', 'hello.c', kind='file', parent_id='TREE_ROOT-12345678-12345678')
 
256
    """
 
257
    def __init__(self, root_id=ROOT_ID):
 
258
        """Create or read an inventory.
 
259
 
 
260
        If a working directory is specified, the inventory is read
 
261
        from there.  If the file is specified, read from that. If not,
 
262
        the inventory is created empty.
 
263
 
 
264
        The inventory is created with a default root directory, with
 
265
        an id of None.
 
266
        """
 
267
        # We are letting Branch.initialize() create a unique inventory
 
268
        # root id. Rather than generating a random one here.
 
269
        #if root_id is None:
 
270
        #    root_id = bzrlib.branch.gen_file_id('TREE_ROOT')
 
271
        self.root = RootEntry(root_id)
 
272
        self._byid = {self.root.file_id: self.root}
 
273
 
 
274
 
 
275
    def __iter__(self):
 
276
        return iter(self._byid)
 
277
 
 
278
 
 
279
    def __len__(self):
 
280
        """Returns number of entries."""
 
281
        return len(self._byid)
 
282
 
 
283
 
 
284
    def iter_entries(self, from_dir=None):
 
285
        """Return (path, entry) pairs, in order by name."""
 
286
        if from_dir == None:
 
287
            assert self.root
 
288
            from_dir = self.root
 
289
        elif isinstance(from_dir, basestring):
 
290
            from_dir = self._byid[from_dir]
 
291
            
 
292
        kids = from_dir.children.items()
 
293
        kids.sort()
 
294
        for name, ie in kids:
 
295
            yield name, ie
 
296
            if ie.kind == 'directory':
 
297
                for cn, cie in self.iter_entries(from_dir=ie.file_id):
 
298
                    yield os.path.join(name, cn), cie
 
299
 
 
300
 
 
301
    def entries(self):
 
302
        """Return list of (path, ie) for all entries except the root.
 
303
 
 
304
        This may be faster than iter_entries.
 
305
        """
 
306
        accum = []
 
307
        def descend(dir_ie, dir_path):
 
308
            kids = dir_ie.children.items()
 
309
            kids.sort()
 
310
            for name, ie in kids:
 
311
                child_path = os.path.join(dir_path, name)
 
312
                accum.append((child_path, ie))
 
313
                if ie.kind == 'directory':
 
314
                    descend(ie, child_path)
 
315
 
 
316
        descend(self.root, '')
 
317
        return accum
 
318
 
 
319
 
 
320
    def directories(self):
 
321
        """Return (path, entry) pairs for all directories, including the root.
 
322
        """
 
323
        accum = []
 
324
        def descend(parent_ie, parent_path):
 
325
            accum.append((parent_path, parent_ie))
 
326
            
 
327
            kids = [(ie.name, ie) for ie in parent_ie.children.itervalues() if ie.kind == 'directory']
 
328
            kids.sort()
 
329
 
 
330
            for name, child_ie in kids:
 
331
                child_path = os.path.join(parent_path, name)
 
332
                descend(child_ie, child_path)
 
333
        descend(self.root, '')
 
334
        return accum
 
335
        
 
336
 
 
337
 
 
338
    def __contains__(self, file_id):
 
339
        """True if this entry contains a file with given id.
 
340
 
 
341
        >>> inv = Inventory()
 
342
        >>> inv.add(InventoryEntry('123', 'foo.c', 'file', ROOT_ID))
 
343
        InventoryEntry('123', 'foo.c', kind='file', parent_id='TREE_ROOT')
 
344
        >>> '123' in inv
 
345
        True
 
346
        >>> '456' in inv
 
347
        False
 
348
        """
 
349
        return file_id in self._byid
 
350
 
 
351
 
 
352
    def __getitem__(self, file_id):
 
353
        """Return the entry for given file_id.
 
354
 
 
355
        >>> inv = Inventory()
 
356
        >>> inv.add(InventoryEntry('123123', 'hello.c', 'file', ROOT_ID))
 
357
        InventoryEntry('123123', 'hello.c', kind='file', parent_id='TREE_ROOT')
 
358
        >>> inv['123123'].name
 
359
        'hello.c'
 
360
        """
 
361
        try:
 
362
            return self._byid[file_id]
 
363
        except KeyError:
 
364
            if file_id == None:
 
365
                raise BzrError("can't look up file_id None")
 
366
            else:
 
367
                raise BzrError("file_id {%s} not in inventory" % file_id)
 
368
 
 
369
 
 
370
    def get_file_kind(self, file_id):
 
371
        return self._byid[file_id].kind
 
372
 
 
373
    def get_child(self, parent_id, filename):
 
374
        return self[parent_id].children.get(filename)
 
375
 
 
376
 
 
377
    def add(self, entry):
 
378
        """Add entry to inventory.
 
379
 
 
380
        To add  a file to a branch ready to be committed, use Branch.add,
 
381
        which calls this.
 
382
 
 
383
        Returns the new entry object.
 
384
        """
 
385
        if entry.file_id in self._byid:
 
386
            raise BzrError("inventory already contains entry with id {%s}" % entry.file_id)
 
387
 
 
388
        if entry.parent_id == ROOT_ID or entry.parent_id is None:
 
389
            entry.parent_id = self.root.file_id
 
390
 
 
391
        try:
 
392
            parent = self._byid[entry.parent_id]
 
393
        except KeyError:
 
394
            raise BzrError("parent_id {%s} not in inventory" % entry.parent_id)
 
395
 
 
396
        if parent.children.has_key(entry.name):
 
397
            raise BzrError("%s is already versioned" %
 
398
                    appendpath(self.id2path(parent.file_id), entry.name))
 
399
 
 
400
        self._byid[entry.file_id] = entry
 
401
        parent.children[entry.name] = entry
 
402
        return entry
 
403
 
 
404
 
 
405
    def add_path(self, relpath, kind, file_id=None):
 
406
        """Add entry from a path.
 
407
 
 
408
        The immediate parent must already be versioned.
 
409
 
 
410
        Returns the new entry object."""
 
411
        from bzrlib.branch import gen_file_id
 
412
        
 
413
        parts = bzrlib.osutils.splitpath(relpath)
 
414
        if len(parts) == 0:
 
415
            raise BzrError("cannot re-add root of inventory")
 
416
 
 
417
        if file_id == None:
 
418
            file_id = gen_file_id(relpath)
 
419
 
 
420
        parent_path = parts[:-1]
 
421
        parent_id = self.path2id(parent_path)
 
422
        if parent_id == None:
 
423
            raise NotVersionedError(parent_path)
 
424
 
 
425
        ie = InventoryEntry(file_id, parts[-1],
 
426
                            kind=kind, parent_id=parent_id)
 
427
        return self.add(ie)
 
428
 
 
429
 
 
430
    def __delitem__(self, file_id):
 
431
        """Remove entry by id.
 
432
 
 
433
        >>> inv = Inventory()
 
434
        >>> inv.add(InventoryEntry('123', 'foo.c', 'file', ROOT_ID))
 
435
        InventoryEntry('123', 'foo.c', kind='file', parent_id='TREE_ROOT')
 
436
        >>> '123' in inv
 
437
        True
 
438
        >>> del inv['123']
 
439
        >>> '123' in inv
 
440
        False
 
441
        """
 
442
        ie = self[file_id]
 
443
 
 
444
        assert self[ie.parent_id].children[ie.name] == ie
 
445
        
 
446
        # TODO: Test deleting all children; maybe hoist to a separate
 
447
        # deltree method?
 
448
        if ie.kind == 'directory':
 
449
            for cie in ie.children.values():
 
450
                del self[cie.file_id]
 
451
            del ie.children
 
452
 
 
453
        del self._byid[file_id]
 
454
        del self[ie.parent_id].children[ie.name]
 
455
 
 
456
 
 
457
    def __eq__(self, other):
 
458
        """Compare two sets by comparing their contents.
 
459
 
 
460
        >>> i1 = Inventory()
 
461
        >>> i2 = Inventory()
 
462
        >>> i1 == i2
 
463
        True
 
464
        >>> i1.add(InventoryEntry('123', 'foo', 'file', ROOT_ID))
 
465
        InventoryEntry('123', 'foo', kind='file', parent_id='TREE_ROOT')
 
466
        >>> i1 == i2
 
467
        False
 
468
        >>> i2.add(InventoryEntry('123', 'foo', 'file', ROOT_ID))
 
469
        InventoryEntry('123', 'foo', kind='file', parent_id='TREE_ROOT')
 
470
        >>> i1 == i2
 
471
        True
 
472
        """
 
473
        if not isinstance(other, Inventory):
 
474
            return NotImplemented
 
475
 
 
476
        if len(self._byid) != len(other._byid):
 
477
            # shortcut: obviously not the same
 
478
            return False
 
479
 
 
480
        return self._byid == other._byid
 
481
 
 
482
 
 
483
    def __ne__(self, other):
 
484
        return not (self == other)
 
485
 
 
486
 
 
487
    def __hash__(self):
 
488
        raise ValueError('not hashable')
 
489
 
 
490
 
 
491
    def get_idpath(self, file_id):
 
492
        """Return a list of file_ids for the path to an entry.
 
493
 
 
494
        The list contains one element for each directory followed by
 
495
        the id of the file itself.  So the length of the returned list
 
496
        is equal to the depth of the file in the tree, counting the
 
497
        root directory as depth 1.
 
498
        """
 
499
        p = []
 
500
        while file_id != None:
 
501
            try:
 
502
                ie = self._byid[file_id]
 
503
            except KeyError:
 
504
                raise BzrError("file_id {%s} not found in inventory" % file_id)
 
505
            p.insert(0, ie.file_id)
 
506
            file_id = ie.parent_id
 
507
        return p
 
508
 
 
509
 
 
510
    def id2path(self, file_id):
 
511
        """Return as a list the path to file_id."""
 
512
 
 
513
        # get all names, skipping root
 
514
        p = [self._byid[fid].name for fid in self.get_idpath(file_id)[1:]]
 
515
        return os.sep.join(p)
 
516
            
 
517
 
 
518
 
 
519
    def path2id(self, name):
 
520
        """Walk down through directories to return entry of last component.
 
521
 
 
522
        names may be either a list of path components, or a single
 
523
        string, in which case it is automatically split.
 
524
 
 
525
        This returns the entry of the last component in the path,
 
526
        which may be either a file or a directory.
 
527
 
 
528
        Returns None iff the path is not found.
 
529
        """
 
530
        if isinstance(name, types.StringTypes):
 
531
            name = splitpath(name)
 
532
 
 
533
        mutter("lookup path %r" % name)
 
534
 
 
535
        parent = self.root
 
536
        for f in name:
 
537
            try:
 
538
                cie = parent.children[f]
 
539
                assert cie.name == f
 
540
                assert cie.parent_id == parent.file_id
 
541
                parent = cie
 
542
            except KeyError:
 
543
                # or raise an error?
 
544
                return None
 
545
 
 
546
        return parent.file_id
 
547
 
 
548
 
 
549
    def has_filename(self, names):
 
550
        return bool(self.path2id(names))
 
551
 
 
552
 
 
553
    def has_id(self, file_id):
 
554
        return self._byid.has_key(file_id)
 
555
 
 
556
 
 
557
    def rename(self, file_id, new_parent_id, new_name):
 
558
        """Move a file within the inventory.
 
559
 
 
560
        This can change either the name, or the parent, or both.
 
561
 
 
562
        This does not move the working file."""
 
563
        if not is_valid_name(new_name):
 
564
            raise BzrError("not an acceptable filename: %r" % new_name)
 
565
 
 
566
        new_parent = self._byid[new_parent_id]
 
567
        if new_name in new_parent.children:
 
568
            raise BzrError("%r already exists in %r" % (new_name, self.id2path(new_parent_id)))
 
569
 
 
570
        new_parent_idpath = self.get_idpath(new_parent_id)
 
571
        if file_id in new_parent_idpath:
 
572
            raise BzrError("cannot move directory %r into a subdirectory of itself, %r"
 
573
                    % (self.id2path(file_id), self.id2path(new_parent_id)))
 
574
 
 
575
        file_ie = self._byid[file_id]
 
576
        old_parent = self._byid[file_ie.parent_id]
 
577
 
 
578
        # TODO: Don't leave things messed up if this fails
 
579
 
 
580
        del old_parent.children[file_ie.name]
 
581
        new_parent.children[new_name] = file_ie
 
582
        
 
583
        file_ie.name = new_name
 
584
        file_ie.parent_id = new_parent_id
 
585
 
 
586
 
 
587
 
 
588
 
 
589
_NAME_RE = None
 
590
 
 
591
def is_valid_name(name):
 
592
    global _NAME_RE
 
593
    if _NAME_RE == None:
 
594
        _NAME_RE = re.compile(r'^[^/\\]+$')
 
595
        
 
596
    return bool(_NAME_RE.match(name))