/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/inventory.py

  • Committer: Robert Collins
  • Date: 2007-09-27 21:11:38 UTC
  • mfrom: (2871 +trunk)
  • mto: This revision was merged to the branch mainline in revision 2879.
  • Revision ID: robertc@robertcollins.net-20070927211138-ebsu1bo1qz9f1w8n
Merge bzr.dev.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# (C) 2005 Canonical Ltd
2
 
 
 
1
# Copyright (C) 2005, 2006, 2007 Canonical Ltd
 
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
5
5
# the Free Software Foundation; either version 2 of the License, or
6
6
# (at your option) any later version.
7
 
 
 
7
#
8
8
# This program is distributed in the hope that it will be useful,
9
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
11
# GNU General Public License for more details.
12
 
 
 
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
 
17
# FIXME: This refactoring of the workingtree code doesn't seem to keep 
 
18
# the WorkingTree's copy of the inventory in sync with the branch.  The
 
19
# branch modifies its working inventory when it does a commit to make
 
20
# missing files permanently removed.
 
21
 
 
22
# TODO: Maybe also keep the full path of the entry, and the children?
 
23
# But those depend on its position within a particular inventory, and
 
24
# it would be nice not to need to hold the backpointer here.
17
25
 
18
26
# This should really be an id randomly assigned when the tree is
19
27
# created, but it's not for now.
20
28
ROOT_ID = "TREE_ROOT"
21
29
 
 
30
import os
 
31
import re
 
32
import sys
22
33
 
23
 
import sys, os.path, types, re
 
34
from bzrlib.lazy_import import lazy_import
 
35
lazy_import(globals(), """
 
36
import collections
 
37
import tarfile
24
38
 
25
39
import bzrlib
26
 
from bzrlib.errors import BzrError, BzrCheckError
 
40
from bzrlib import (
 
41
    errors,
 
42
    generate_ids,
 
43
    osutils,
 
44
    symbol_versioning,
 
45
    workingtree,
 
46
    )
 
47
""")
27
48
 
28
 
from bzrlib.osutils import uuid, quotefn, splitpath, joinpath, appendpath
 
49
from bzrlib.errors import (
 
50
    BzrCheckError,
 
51
    BzrError,
 
52
    )
 
53
from bzrlib.symbol_versioning import deprecated_method, zero_ninetyone
29
54
from bzrlib.trace import mutter
30
 
from bzrlib.errors import NotVersionedError
31
 
        
 
55
 
32
56
 
33
57
class InventoryEntry(object):
34
58
    """Description of a versioned file.
36
60
    An InventoryEntry has the following fields, which are also
37
61
    present in the XML inventory-entry element:
38
62
 
39
 
    * *file_id*
40
 
    * *name*: (only the basename within the directory, must not
41
 
      contain slashes)
42
 
    * *kind*: "directory" or "file"
43
 
    * *directory_id*: (if absent/null means the branch root directory)
44
 
    * *text_sha1*: only for files
45
 
    * *text_size*: in bytes, only for files 
46
 
    * *text_id*: identifier for the text version, only for files
47
 
 
48
 
    InventoryEntries can also exist inside a WorkingTree
49
 
    inventory, in which case they are not yet bound to a
50
 
    particular revision of the file.  In that case the text_sha1,
51
 
    text_size and text_id are absent.
52
 
 
 
63
    file_id
 
64
 
 
65
    name
 
66
        (within the parent directory)
 
67
 
 
68
    parent_id
 
69
        file_id of the parent directory, or ROOT_ID
 
70
 
 
71
    revision
 
72
        the revision_id in which this variation of this file was 
 
73
        introduced.
 
74
 
 
75
    executable
 
76
        Indicates that this file should be executable on systems
 
77
        that support it.
 
78
 
 
79
    text_sha1
 
80
        sha-1 of the text of the file
 
81
        
 
82
    text_size
 
83
        size in bytes of the text of the file
 
84
        
 
85
    (reading a version 4 tree created a text_id field.)
53
86
 
54
87
    >>> i = Inventory()
55
88
    >>> i.path2id('')
56
89
    'TREE_ROOT'
57
 
    >>> i.add(InventoryEntry('123', 'src', 'directory', ROOT_ID))
58
 
    >>> i.add(InventoryEntry('2323', 'hello.c', 'file', parent_id='123'))
59
 
    >>> for j in i.iter_entries():
60
 
    ...   print j
 
90
    >>> i.add(InventoryDirectory('123', 'src', ROOT_ID))
 
91
    InventoryDirectory('123', 'src', parent_id='TREE_ROOT', revision=None)
 
92
    >>> i.add(InventoryFile('2323', 'hello.c', parent_id='123'))
 
93
    InventoryFile('2323', 'hello.c', parent_id='123', sha1=None, len=None)
 
94
    >>> shouldbe = {0: '', 1: 'src', 2: 'src/hello.c'}
 
95
    >>> for ix, j in enumerate(i.iter_entries()):
 
96
    ...   print (j[0] == shouldbe[ix], j[1])
61
97
    ... 
62
 
    ('src', InventoryEntry('123', 'src', kind='directory', parent_id='TREE_ROOT'))
63
 
    ('src/hello.c', InventoryEntry('2323', 'hello.c', kind='file', parent_id='123'))
64
 
    >>> i.add(InventoryEntry('2323', 'bye.c', 'file', '123'))
65
 
    Traceback (most recent call last):
66
 
    ...
67
 
    BzrError: inventory already contains entry with id {2323}
68
 
    >>> i.add(InventoryEntry('2324', 'bye.c', 'file', '123'))
69
 
    >>> i.add(InventoryEntry('2325', 'wibble', 'directory', '123'))
 
98
    (True, InventoryDirectory('TREE_ROOT', u'', parent_id=None, revision=None))
 
99
    (True, InventoryDirectory('123', 'src', parent_id='TREE_ROOT', revision=None))
 
100
    (True, InventoryFile('2323', 'hello.c', parent_id='123', sha1=None, len=None))
 
101
    >>> i.add(InventoryFile('2324', 'bye.c', '123'))
 
102
    InventoryFile('2324', 'bye.c', parent_id='123', sha1=None, len=None)
 
103
    >>> i.add(InventoryDirectory('2325', 'wibble', '123'))
 
104
    InventoryDirectory('2325', 'wibble', parent_id='123', revision=None)
70
105
    >>> i.path2id('src/wibble')
71
106
    '2325'
72
107
    >>> '2325' in i
73
108
    True
74
 
    >>> i.add(InventoryEntry('2326', 'wibble.c', 'file', '2325'))
 
109
    >>> i.add(InventoryFile('2326', 'wibble.c', '2325'))
 
110
    InventoryFile('2326', 'wibble.c', parent_id='2325', sha1=None, len=None)
75
111
    >>> i['2326']
76
 
    InventoryEntry('2326', 'wibble.c', kind='file', parent_id='2325')
77
 
    >>> for j in i.iter_entries():
78
 
    ...     print j[0]
79
 
    ...     assert i.path2id(j[0])
 
112
    InventoryFile('2326', 'wibble.c', parent_id='2325', sha1=None, len=None)
 
113
    >>> for path, entry in i.iter_entries():
 
114
    ...     print path
 
115
    ...     assert i.path2id(path)
80
116
    ... 
 
117
    <BLANKLINE>
81
118
    src
82
119
    src/bye.c
83
120
    src/hello.c
85
122
    src/wibble/wibble.c
86
123
    >>> i.id2path('2326')
87
124
    'src/wibble/wibble.c'
88
 
 
89
 
    TODO: Maybe also keep the full path of the entry, and the children?
90
 
           But those depend on its position within a particular inventory, and
91
 
           it would be nice not to need to hold the backpointer here.
92
125
    """
93
126
 
94
 
    # TODO: split InventoryEntry into subclasses for files,
95
 
    # directories, etc etc.
96
 
 
97
 
    __slots__ = ['text_sha1', 'text_size', 'file_id', 'name', 'kind',
98
 
                 'text_id', 'parent_id', 'children', ]
99
 
 
100
 
    def __init__(self, file_id, name, kind, parent_id, text_id=None):
 
127
    # Constants returned by describe_change()
 
128
    #
 
129
    # TODO: These should probably move to some kind of FileChangeDescription 
 
130
    # class; that's like what's inside a TreeDelta but we want to be able to 
 
131
    # generate them just for one file at a time.
 
132
    RENAMED = 'renamed'
 
133
    MODIFIED_AND_RENAMED = 'modified and renamed'
 
134
    
 
135
    __slots__ = []
 
136
 
 
137
    def detect_changes(self, old_entry):
 
138
        """Return a (text_modified, meta_modified) from this to old_entry.
 
139
        
 
140
        _read_tree_state must have been called on self and old_entry prior to 
 
141
        calling detect_changes.
 
142
        """
 
143
        return False, False
 
144
 
 
145
    def diff(self, text_diff, from_label, tree, to_label, to_entry, to_tree,
 
146
             output_to, reverse=False):
 
147
        """Perform a diff from this to to_entry.
 
148
 
 
149
        text_diff will be used for textual difference calculation.
 
150
        This is a template method, override _diff in child classes.
 
151
        """
 
152
        self._read_tree_state(tree.id2path(self.file_id), tree)
 
153
        if to_entry:
 
154
            # cannot diff from one kind to another - you must do a removal
 
155
            # and an addif they do not match.
 
156
            assert self.kind == to_entry.kind
 
157
            to_entry._read_tree_state(to_tree.id2path(to_entry.file_id),
 
158
                                      to_tree)
 
159
        self._diff(text_diff, from_label, tree, to_label, to_entry, to_tree,
 
160
                   output_to, reverse)
 
161
 
 
162
    def _diff(self, text_diff, from_label, tree, to_label, to_entry, to_tree,
 
163
             output_to, reverse=False):
 
164
        """Perform a diff between two entries of the same kind."""
 
165
    
 
166
    def parent_candidates(self, previous_inventories):
 
167
        """Find possible per-file graph parents.
 
168
 
 
169
        This is currently defined by:
 
170
         - Select the last changed revision in the parent inventory.
 
171
         - Do deal with a short lived bug in bzr 0.8's development two entries
 
172
           that have the same last changed but different 'x' bit settings are
 
173
           changed in-place.
 
174
        """
 
175
        # revision:ie mapping for each ie found in previous_inventories.
 
176
        candidates = {}
 
177
        # identify candidate head revision ids.
 
178
        for inv in previous_inventories:
 
179
            if self.file_id in inv:
 
180
                ie = inv[self.file_id]
 
181
                assert ie.file_id == self.file_id
 
182
                if ie.revision in candidates:
 
183
                    # same revision value in two different inventories:
 
184
                    # correct possible inconsistencies:
 
185
                    #     * there was a bug in revision updates with 'x' bit 
 
186
                    #       support.
 
187
                    try:
 
188
                        if candidates[ie.revision].executable != ie.executable:
 
189
                            candidates[ie.revision].executable = False
 
190
                            ie.executable = False
 
191
                    except AttributeError:
 
192
                        pass
 
193
                    # must now be the same.
 
194
                    assert candidates[ie.revision] == ie
 
195
                else:
 
196
                    # add this revision as a candidate.
 
197
                    candidates[ie.revision] = ie
 
198
        return candidates
 
199
 
 
200
    @deprecated_method(zero_ninetyone)
 
201
    def find_previous_heads(self, previous_inventories,
 
202
                            versioned_file_store,
 
203
                            transaction,
 
204
                            entry_vf=None):
 
205
        """Return the revisions and entries that directly precede this.
 
206
 
 
207
        Returned as a map from revision to inventory entry.
 
208
 
 
209
        This is a map containing the file revisions in all parents
 
210
        for which the file exists, and its revision is not a parent of
 
211
        any other. If the file is new, the set will be empty.
 
212
 
 
213
        :param versioned_file_store: A store where ancestry data on this
 
214
                                     file id can be queried.
 
215
        :param transaction: The transaction that queries to the versioned 
 
216
                            file store should be completed under.
 
217
        :param entry_vf: The entry versioned file, if its already available.
 
218
        """
 
219
        candidates = self.parent_candidates(previous_inventories)
 
220
 
 
221
        # revision:ie mapping with one revision for each head.
 
222
        heads = {}
 
223
        # common case optimisation
 
224
        if len(candidates) == 1:
 
225
            # if there is only one candidate revision found
 
226
            # then we can avoid opening the versioned file to access ancestry:
 
227
            # there cannot be any ancestors to eliminate when there is 
 
228
            # only one revision available.
 
229
            return candidates
 
230
        
 
231
        # --- what follows is now encapsulated in repository.get_graph.heads(), 
 
232
        #     but that is not accessible from here as we have no repository
 
233
        #     pointer. Note that the repository.get_graph.heads() call can return
 
234
        #     different results *at the moment* because of the kind-changing check
 
235
        #     we have in parent_candidates().
 
236
 
 
237
        # eliminate ancestors amongst the available candidates:
 
238
        # heads are those that are not an ancestor of any other candidate
 
239
        # - this provides convergence at a per-file level.
 
240
        def get_ancestors(weave, entry):
 
241
            return set(weave.get_ancestry(entry.revision, topo_sorted=False))
 
242
        # revision: ancestor list for each head
 
243
        head_ancestors = {}
 
244
        for ie in candidates.values():
 
245
            # may be an ancestor of a known head:
 
246
            already_present = 0 != len(
 
247
                [head for head in heads 
 
248
                 if ie.revision in head_ancestors[head]])
 
249
            if already_present:
 
250
                # an ancestor of an analyzed candidate.
 
251
                continue
 
252
            # not an ancestor of a known head:
 
253
            # load the versioned file for this file id if needed
 
254
            if entry_vf is None:
 
255
                entry_vf = versioned_file_store.get_weave_or_empty(
 
256
                    self.file_id, transaction)
 
257
            ancestors = get_ancestors(entry_vf, ie)
 
258
            # may knock something else out:
 
259
            check_heads = list(heads.keys())
 
260
            for head in check_heads:
 
261
                if head in ancestors:
 
262
                    # this previously discovered 'head' is not
 
263
                    # really a head - its an ancestor of the newly 
 
264
                    # found head,
 
265
                    heads.pop(head)
 
266
            head_ancestors[ie.revision] = ancestors
 
267
            heads[ie.revision] = ie
 
268
        return heads
 
269
 
 
270
    def get_tar_item(self, root, dp, now, tree):
 
271
        """Get a tarfile item and a file stream for its content."""
 
272
        item = tarfile.TarInfo(osutils.pathjoin(root, dp).encode('utf8'))
 
273
        # TODO: would be cool to actually set it to the timestamp of the
 
274
        # revision it was last changed
 
275
        item.mtime = now
 
276
        fileobj = self._put_in_tar(item, tree)
 
277
        return item, fileobj
 
278
 
 
279
    def has_text(self):
 
280
        """Return true if the object this entry represents has textual data.
 
281
 
 
282
        Note that textual data includes binary content.
 
283
 
 
284
        Also note that all entries get weave files created for them.
 
285
        This attribute is primarily used when upgrading from old trees that
 
286
        did not have the weave index for all inventory entries.
 
287
        """
 
288
        return False
 
289
 
 
290
    def __init__(self, file_id, name, parent_id, text_id=None):
101
291
        """Create an InventoryEntry
102
292
        
103
293
        The filename must be a single component, relative to the
104
294
        parent directory; it cannot be a whole path or relative name.
105
295
 
106
 
        >>> e = InventoryEntry('123', 'hello.c', 'file', ROOT_ID)
 
296
        >>> e = InventoryFile('123', 'hello.c', ROOT_ID)
107
297
        >>> e.name
108
298
        'hello.c'
109
299
        >>> e.file_id
110
300
        '123'
111
 
        >>> e = InventoryEntry('123', 'src/hello.c', 'file', ROOT_ID)
 
301
        >>> e = InventoryFile('123', 'src/hello.c', ROOT_ID)
112
302
        Traceback (most recent call last):
113
 
        BzrCheckError: InventoryEntry name 'src/hello.c' is invalid
 
303
        InvalidEntryName: Invalid entry name: src/hello.c
114
304
        """
 
305
        assert isinstance(name, basestring), name
115
306
        if '/' in name or '\\' in name:
116
 
            raise BzrCheckError('InventoryEntry name %r is invalid' % name)
117
 
        
 
307
            raise errors.InvalidEntryName(name=name)
 
308
        self.executable = False
 
309
        self.revision = None
118
310
        self.text_sha1 = None
119
311
        self.text_size = None
120
 
    
121
312
        self.file_id = file_id
 
313
        assert isinstance(file_id, (str, None.__class__)), \
 
314
            'bad type %r for %r' % (type(file_id), file_id)
122
315
        self.name = name
123
 
        self.kind = kind
124
316
        self.text_id = text_id
125
317
        self.parent_id = parent_id
126
 
        if kind == 'directory':
127
 
            self.children = {}
128
 
        elif kind == 'file':
129
 
            pass
130
 
        else:
131
 
            raise BzrError("unhandled entry kind %r" % kind)
132
 
 
133
 
 
 
318
        self.symlink_target = None
 
319
        self.reference_revision = None
 
320
 
 
321
    def kind_character(self):
 
322
        """Return a short kind indicator useful for appending to names."""
 
323
        raise BzrError('unknown kind %r' % self.kind)
 
324
 
 
325
    known_kinds = ('file', 'directory', 'symlink')
 
326
 
 
327
    def _put_in_tar(self, item, tree):
 
328
        """populate item for stashing in a tar, and return the content stream.
 
329
 
 
330
        If no content is available, return None.
 
331
        """
 
332
        raise BzrError("don't know how to export {%s} of kind %r" %
 
333
                       (self.file_id, self.kind))
 
334
 
 
335
    def put_on_disk(self, dest, dp, tree):
 
336
        """Create a representation of self on disk in the prefix dest.
 
337
        
 
338
        This is a template method - implement _put_on_disk in subclasses.
 
339
        """
 
340
        fullpath = osutils.pathjoin(dest, dp)
 
341
        self._put_on_disk(fullpath, tree)
 
342
        # mutter("  export {%s} kind %s to %s", self.file_id,
 
343
        #         self.kind, fullpath)
 
344
 
 
345
    def _put_on_disk(self, fullpath, tree):
 
346
        """Put this entry onto disk at fullpath, from tree tree."""
 
347
        raise BzrError("don't know how to export {%s} of kind %r" % (self.file_id, self.kind))
134
348
 
135
349
    def sorted_children(self):
136
 
        l = self.children.items()
137
 
        l.sort()
138
 
        return l
139
 
 
 
350
        return sorted(self.children.items())
 
351
 
 
352
    @staticmethod
 
353
    def versionable_kind(kind):
 
354
        return (kind in ('file', 'directory', 'symlink', 'tree-reference'))
 
355
 
 
356
    def check(self, checker, rev_id, inv, tree):
 
357
        """Check this inventory entry is intact.
 
358
 
 
359
        This is a template method, override _check for kind specific
 
360
        tests.
 
361
 
 
362
        :param checker: Check object providing context for the checks; 
 
363
             can be used to find out what parts of the repository have already
 
364
             been checked.
 
365
        :param rev_id: Revision id from which this InventoryEntry was loaded.
 
366
             Not necessarily the last-changed revision for this file.
 
367
        :param inv: Inventory from which the entry was loaded.
 
368
        :param tree: RevisionTree for this entry.
 
369
        """
 
370
        if self.parent_id is not None:
 
371
            if not inv.has_id(self.parent_id):
 
372
                raise BzrCheckError('missing parent {%s} in inventory for revision {%s}'
 
373
                        % (self.parent_id, rev_id))
 
374
        self._check(checker, rev_id, tree)
 
375
 
 
376
    def _check(self, checker, rev_id, tree):
 
377
        """Check this inventory entry for kind specific errors."""
 
378
        raise BzrCheckError('unknown entry kind %r in revision {%s}' % 
 
379
                            (self.kind, rev_id))
140
380
 
141
381
    def copy(self):
142
 
        other = InventoryEntry(self.file_id, self.name, self.kind,
143
 
                               self.parent_id, text_id=self.text_id)
144
 
        other.text_sha1 = self.text_sha1
145
 
        other.text_size = self.text_size
146
 
        # note that children are *not* copied; they're pulled across when
147
 
        # others are added
148
 
        return other
149
 
 
 
382
        """Clone this inventory entry."""
 
383
        raise NotImplementedError
 
384
 
 
385
    @staticmethod
 
386
    def describe_change(old_entry, new_entry):
 
387
        """Describe the change between old_entry and this.
 
388
        
 
389
        This smells of being an InterInventoryEntry situation, but as its
 
390
        the first one, we're making it a static method for now.
 
391
 
 
392
        An entry with a different parent, or different name is considered 
 
393
        to be renamed. Reparenting is an internal detail.
 
394
        Note that renaming the parent does not trigger a rename for the
 
395
        child entry itself.
 
396
        """
 
397
        # TODO: Perhaps return an object rather than just a string
 
398
        if old_entry is new_entry:
 
399
            # also the case of both being None
 
400
            return 'unchanged'
 
401
        elif old_entry is None:
 
402
            return 'added'
 
403
        elif new_entry is None:
 
404
            return 'removed'
 
405
        if old_entry.kind != new_entry.kind:
 
406
            return 'modified'
 
407
        text_modified, meta_modified = new_entry.detect_changes(old_entry)
 
408
        if text_modified or meta_modified:
 
409
            modified = True
 
410
        else:
 
411
            modified = False
 
412
        # TODO 20060511 (mbp, rbc) factor out 'detect_rename' here.
 
413
        if old_entry.parent_id != new_entry.parent_id:
 
414
            renamed = True
 
415
        elif old_entry.name != new_entry.name:
 
416
            renamed = True
 
417
        else:
 
418
            renamed = False
 
419
        if renamed and not modified:
 
420
            return InventoryEntry.RENAMED
 
421
        if modified and not renamed:
 
422
            return 'modified'
 
423
        if modified and renamed:
 
424
            return InventoryEntry.MODIFIED_AND_RENAMED
 
425
        return 'unchanged'
150
426
 
151
427
    def __repr__(self):
152
 
        return ("%s(%r, %r, kind=%r, parent_id=%r)"
 
428
        return ("%s(%r, %r, parent_id=%r, revision=%r)"
153
429
                % (self.__class__.__name__,
154
430
                   self.file_id,
155
431
                   self.name,
156
 
                   self.kind,
157
 
                   self.parent_id))
158
 
 
159
 
    
160
 
    def to_element(self):
161
 
        """Convert to XML element"""
162
 
        from bzrlib.xml import Element
163
 
        
164
 
        e = Element('entry')
165
 
 
166
 
        e.set('name', self.name)
167
 
        e.set('file_id', self.file_id)
168
 
        e.set('kind', self.kind)
169
 
 
170
 
        if self.text_size != None:
171
 
            e.set('text_size', '%d' % self.text_size)
172
 
            
173
 
        for f in ['text_id', 'text_sha1']:
174
 
            v = getattr(self, f)
175
 
            if v != None:
176
 
                e.set(f, v)
177
 
 
178
 
        # to be conservative, we don't externalize the root pointers
179
 
        # for now, leaving them as null in the xml form.  in a future
180
 
        # version it will be implied by nested elements.
181
 
        if self.parent_id != ROOT_ID:
182
 
            assert isinstance(self.parent_id, basestring)
183
 
            e.set('parent_id', self.parent_id)
184
 
 
185
 
        e.tail = '\n'
186
 
            
187
 
        return e
188
 
 
189
 
 
190
 
    def from_element(cls, elt):
191
 
        assert elt.tag == 'entry'
192
 
 
193
 
        ## original format inventories don't have a parent_id for
194
 
        ## nodes in the root directory, but it's cleaner to use one
195
 
        ## internally.
196
 
        parent_id = elt.get('parent_id')
197
 
        if parent_id == None:
198
 
            parent_id = ROOT_ID
199
 
 
200
 
        self = cls(elt.get('file_id'), elt.get('name'), elt.get('kind'), parent_id)
201
 
        self.text_id = elt.get('text_id')
202
 
        self.text_sha1 = elt.get('text_sha1')
203
 
        
204
 
        ## mutter("read inventoryentry: %r" % (elt.attrib))
205
 
 
206
 
        v = elt.get('text_size')
207
 
        self.text_size = v and int(v)
208
 
 
209
 
        return self
210
 
            
211
 
 
212
 
    from_element = classmethod(from_element)
 
432
                   self.parent_id,
 
433
                   self.revision))
213
434
 
214
435
    def __eq__(self, other):
215
436
        if not isinstance(other, InventoryEntry):
216
437
            return NotImplemented
217
438
 
218
 
        return (self.file_id == other.file_id) \
219
 
               and (self.name == other.name) \
220
 
               and (self.text_sha1 == other.text_sha1) \
221
 
               and (self.text_size == other.text_size) \
222
 
               and (self.text_id == other.text_id) \
223
 
               and (self.parent_id == other.parent_id) \
224
 
               and (self.kind == other.kind)
225
 
 
 
439
        return ((self.file_id == other.file_id)
 
440
                and (self.name == other.name)
 
441
                and (other.symlink_target == self.symlink_target)
 
442
                and (self.text_sha1 == other.text_sha1)
 
443
                and (self.text_size == other.text_size)
 
444
                and (self.text_id == other.text_id)
 
445
                and (self.parent_id == other.parent_id)
 
446
                and (self.kind == other.kind)
 
447
                and (self.revision == other.revision)
 
448
                and (self.executable == other.executable)
 
449
                and (self.reference_revision == other.reference_revision)
 
450
                )
226
451
 
227
452
    def __ne__(self, other):
228
453
        return not (self == other)
230
455
    def __hash__(self):
231
456
        raise ValueError('not hashable')
232
457
 
 
458
    def _unchanged(self, previous_ie):
 
459
        """Has this entry changed relative to previous_ie.
 
460
 
 
461
        This method should be overridden in child classes.
 
462
        """
 
463
        compatible = True
 
464
        # different inv parent
 
465
        if previous_ie.parent_id != self.parent_id:
 
466
            compatible = False
 
467
        # renamed
 
468
        elif previous_ie.name != self.name:
 
469
            compatible = False
 
470
        elif previous_ie.kind != self.kind:
 
471
            compatible = False
 
472
        return compatible
 
473
 
 
474
    def _read_tree_state(self, path, work_tree):
 
475
        """Populate fields in the inventory entry from the given tree.
 
476
        
 
477
        Note that this should be modified to be a noop on virtual trees
 
478
        as all entries created there are prepopulated.
 
479
        """
 
480
        # TODO: Rather than running this manually, we should check the 
 
481
        # working sha1 and other expensive properties when they're
 
482
        # first requested, or preload them if they're already known
 
483
        pass            # nothing to do by default
 
484
 
 
485
    def _forget_tree_state(self):
 
486
        pass
233
487
 
234
488
 
235
489
class RootEntry(InventoryEntry):
 
490
 
 
491
    __slots__ = ['text_sha1', 'text_size', 'file_id', 'name', 'kind',
 
492
                 'text_id', 'parent_id', 'children', 'executable',
 
493
                 'revision', 'symlink_target', 'reference_revision']
 
494
 
 
495
    def _check(self, checker, rev_id, tree):
 
496
        """See InventoryEntry._check"""
 
497
 
236
498
    def __init__(self, file_id):
237
499
        self.file_id = file_id
238
500
        self.children = {}
239
 
        self.kind = 'root_directory'
 
501
        self.kind = 'directory'
240
502
        self.parent_id = None
241
 
        self.name = ''
 
503
        self.name = u''
 
504
        self.revision = None
 
505
        symbol_versioning.warn('RootEntry is deprecated as of bzr 0.10.'
 
506
                               '  Please use InventoryDirectory instead.',
 
507
                               DeprecationWarning, stacklevel=2)
242
508
 
243
509
    def __eq__(self, other):
244
510
        if not isinstance(other, RootEntry):
248
514
               and (self.children == other.children)
249
515
 
250
516
 
 
517
class InventoryDirectory(InventoryEntry):
 
518
    """A directory in an inventory."""
 
519
 
 
520
    __slots__ = ['text_sha1', 'text_size', 'file_id', 'name', 'kind',
 
521
                 'text_id', 'parent_id', 'children', 'executable',
 
522
                 'revision', 'symlink_target', 'reference_revision']
 
523
 
 
524
    def _check(self, checker, rev_id, tree):
 
525
        """See InventoryEntry._check"""
 
526
        if self.text_sha1 is not None or self.text_size is not None or self.text_id is not None:
 
527
            raise BzrCheckError('directory {%s} has text in revision {%s}'
 
528
                                % (self.file_id, rev_id))
 
529
 
 
530
    def copy(self):
 
531
        other = InventoryDirectory(self.file_id, self.name, self.parent_id)
 
532
        other.revision = self.revision
 
533
        # note that children are *not* copied; they're pulled across when
 
534
        # others are added
 
535
        return other
 
536
 
 
537
    def __init__(self, file_id, name, parent_id):
 
538
        super(InventoryDirectory, self).__init__(file_id, name, parent_id)
 
539
        self.children = {}
 
540
        self.kind = 'directory'
 
541
 
 
542
    def kind_character(self):
 
543
        """See InventoryEntry.kind_character."""
 
544
        return '/'
 
545
 
 
546
    def _put_in_tar(self, item, tree):
 
547
        """See InventoryEntry._put_in_tar."""
 
548
        item.type = tarfile.DIRTYPE
 
549
        fileobj = None
 
550
        item.name += '/'
 
551
        item.size = 0
 
552
        item.mode = 0755
 
553
        return fileobj
 
554
 
 
555
    def _put_on_disk(self, fullpath, tree):
 
556
        """See InventoryEntry._put_on_disk."""
 
557
        os.mkdir(fullpath)
 
558
 
 
559
 
 
560
class InventoryFile(InventoryEntry):
 
561
    """A file in an inventory."""
 
562
 
 
563
    __slots__ = ['text_sha1', 'text_size', 'file_id', 'name', 'kind',
 
564
                 'text_id', 'parent_id', 'children', 'executable',
 
565
                 'revision', 'symlink_target', 'reference_revision']
 
566
 
 
567
    def _check(self, checker, tree_revision_id, tree):
 
568
        """See InventoryEntry._check"""
 
569
        t = (self.file_id, self.revision)
 
570
        if t in checker.checked_texts:
 
571
            prev_sha = checker.checked_texts[t]
 
572
            if prev_sha != self.text_sha1:
 
573
                raise BzrCheckError('mismatched sha1 on {%s} in {%s}' %
 
574
                                    (self.file_id, tree_revision_id))
 
575
            else:
 
576
                checker.repeated_text_cnt += 1
 
577
                return
 
578
 
 
579
        if self.file_id not in checker.checked_weaves:
 
580
            mutter('check weave {%s}', self.file_id)
 
581
            w = tree._get_weave(self.file_id)
 
582
            # Not passing a progress bar, because it creates a new
 
583
            # progress, which overwrites the current progress,
 
584
            # and doesn't look nice
 
585
            w.check()
 
586
            checker.checked_weaves[self.file_id] = True
 
587
        else:
 
588
            w = tree._get_weave(self.file_id)
 
589
 
 
590
        mutter('check version {%s} of {%s}', tree_revision_id, self.file_id)
 
591
        checker.checked_text_cnt += 1
 
592
        # We can't check the length, because Weave doesn't store that
 
593
        # information, and the whole point of looking at the weave's
 
594
        # sha1sum is that we don't have to extract the text.
 
595
        if self.text_sha1 != w.get_sha1(self.revision):
 
596
            raise BzrCheckError('text {%s} version {%s} wrong sha1' 
 
597
                                % (self.file_id, self.revision))
 
598
        checker.checked_texts[t] = self.text_sha1
 
599
 
 
600
    def copy(self):
 
601
        other = InventoryFile(self.file_id, self.name, self.parent_id)
 
602
        other.executable = self.executable
 
603
        other.text_id = self.text_id
 
604
        other.text_sha1 = self.text_sha1
 
605
        other.text_size = self.text_size
 
606
        other.revision = self.revision
 
607
        return other
 
608
 
 
609
    def detect_changes(self, old_entry):
 
610
        """See InventoryEntry.detect_changes."""
 
611
        assert self.text_sha1 is not None
 
612
        assert old_entry.text_sha1 is not None
 
613
        text_modified = (self.text_sha1 != old_entry.text_sha1)
 
614
        meta_modified = (self.executable != old_entry.executable)
 
615
        return text_modified, meta_modified
 
616
 
 
617
    def _diff(self, text_diff, from_label, tree, to_label, to_entry, to_tree,
 
618
             output_to, reverse=False):
 
619
        """See InventoryEntry._diff."""
 
620
        try:
 
621
            from_text = tree.get_file(self.file_id).readlines()
 
622
            if to_entry:
 
623
                to_text = to_tree.get_file(to_entry.file_id).readlines()
 
624
            else:
 
625
                to_text = []
 
626
            if not reverse:
 
627
                text_diff(from_label, from_text,
 
628
                          to_label, to_text, output_to)
 
629
            else:
 
630
                text_diff(to_label, to_text,
 
631
                          from_label, from_text, output_to)
 
632
        except errors.BinaryFile:
 
633
            if reverse:
 
634
                label_pair = (to_label, from_label)
 
635
            else:
 
636
                label_pair = (from_label, to_label)
 
637
            print >> output_to, \
 
638
                  ("Binary files %s and %s differ" % label_pair).encode('utf8')
 
639
 
 
640
    def has_text(self):
 
641
        """See InventoryEntry.has_text."""
 
642
        return True
 
643
 
 
644
    def __init__(self, file_id, name, parent_id):
 
645
        super(InventoryFile, self).__init__(file_id, name, parent_id)
 
646
        self.kind = 'file'
 
647
 
 
648
    def kind_character(self):
 
649
        """See InventoryEntry.kind_character."""
 
650
        return ''
 
651
 
 
652
    def _put_in_tar(self, item, tree):
 
653
        """See InventoryEntry._put_in_tar."""
 
654
        item.type = tarfile.REGTYPE
 
655
        fileobj = tree.get_file(self.file_id)
 
656
        item.size = self.text_size
 
657
        if tree.is_executable(self.file_id):
 
658
            item.mode = 0755
 
659
        else:
 
660
            item.mode = 0644
 
661
        return fileobj
 
662
 
 
663
    def _put_on_disk(self, fullpath, tree):
 
664
        """See InventoryEntry._put_on_disk."""
 
665
        osutils.pumpfile(tree.get_file(self.file_id), file(fullpath, 'wb'))
 
666
        if tree.is_executable(self.file_id):
 
667
            os.chmod(fullpath, 0755)
 
668
 
 
669
    def _read_tree_state(self, path, work_tree):
 
670
        """See InventoryEntry._read_tree_state."""
 
671
        self.text_sha1 = work_tree.get_file_sha1(self.file_id, path=path)
 
672
        # FIXME: 20050930 probe for the text size when getting sha1
 
673
        # in _read_tree_state
 
674
        self.executable = work_tree.is_executable(self.file_id, path=path)
 
675
 
 
676
    def __repr__(self):
 
677
        return ("%s(%r, %r, parent_id=%r, sha1=%r, len=%s)"
 
678
                % (self.__class__.__name__,
 
679
                   self.file_id,
 
680
                   self.name,
 
681
                   self.parent_id,
 
682
                   self.text_sha1,
 
683
                   self.text_size))
 
684
 
 
685
    def _forget_tree_state(self):
 
686
        self.text_sha1 = None
 
687
 
 
688
    def _unchanged(self, previous_ie):
 
689
        """See InventoryEntry._unchanged."""
 
690
        compatible = super(InventoryFile, self)._unchanged(previous_ie)
 
691
        if self.text_sha1 != previous_ie.text_sha1:
 
692
            compatible = False
 
693
        else:
 
694
            # FIXME: 20050930 probe for the text size when getting sha1
 
695
            # in _read_tree_state
 
696
            self.text_size = previous_ie.text_size
 
697
        if self.executable != previous_ie.executable:
 
698
            compatible = False
 
699
        return compatible
 
700
 
 
701
 
 
702
class InventoryLink(InventoryEntry):
 
703
    """A file in an inventory."""
 
704
 
 
705
    __slots__ = ['text_sha1', 'text_size', 'file_id', 'name', 'kind',
 
706
                 'text_id', 'parent_id', 'children', 'executable',
 
707
                 'revision', 'symlink_target', 'reference_revision']
 
708
 
 
709
    def _check(self, checker, rev_id, tree):
 
710
        """See InventoryEntry._check"""
 
711
        if self.text_sha1 is not None or self.text_size is not None or self.text_id is not None:
 
712
            raise BzrCheckError('symlink {%s} has text in revision {%s}'
 
713
                    % (self.file_id, rev_id))
 
714
        if self.symlink_target is None:
 
715
            raise BzrCheckError('symlink {%s} has no target in revision {%s}'
 
716
                    % (self.file_id, rev_id))
 
717
 
 
718
    def copy(self):
 
719
        other = InventoryLink(self.file_id, self.name, self.parent_id)
 
720
        other.symlink_target = self.symlink_target
 
721
        other.revision = self.revision
 
722
        return other
 
723
 
 
724
    def detect_changes(self, old_entry):
 
725
        """See InventoryEntry.detect_changes."""
 
726
        # FIXME: which _modified field should we use ? RBC 20051003
 
727
        text_modified = (self.symlink_target != old_entry.symlink_target)
 
728
        if text_modified:
 
729
            mutter("    symlink target changed")
 
730
        meta_modified = False
 
731
        return text_modified, meta_modified
 
732
 
 
733
    def _diff(self, text_diff, from_label, tree, to_label, to_entry, to_tree,
 
734
             output_to, reverse=False):
 
735
        """See InventoryEntry._diff."""
 
736
        from_text = self.symlink_target
 
737
        if to_entry is not None:
 
738
            to_text = to_entry.symlink_target
 
739
            if reverse:
 
740
                temp = from_text
 
741
                from_text = to_text
 
742
                to_text = temp
 
743
            print >>output_to, '=== target changed %r => %r' % (from_text, to_text)
 
744
        else:
 
745
            if not reverse:
 
746
                print >>output_to, '=== target was %r' % self.symlink_target
 
747
            else:
 
748
                print >>output_to, '=== target is %r' % self.symlink_target
 
749
 
 
750
    def __init__(self, file_id, name, parent_id):
 
751
        super(InventoryLink, self).__init__(file_id, name, parent_id)
 
752
        self.kind = 'symlink'
 
753
 
 
754
    def kind_character(self):
 
755
        """See InventoryEntry.kind_character."""
 
756
        return ''
 
757
 
 
758
    def _put_in_tar(self, item, tree):
 
759
        """See InventoryEntry._put_in_tar."""
 
760
        item.type = tarfile.SYMTYPE
 
761
        fileobj = None
 
762
        item.size = 0
 
763
        item.mode = 0755
 
764
        item.linkname = self.symlink_target
 
765
        return fileobj
 
766
 
 
767
    def _put_on_disk(self, fullpath, tree):
 
768
        """See InventoryEntry._put_on_disk."""
 
769
        try:
 
770
            os.symlink(self.symlink_target, fullpath)
 
771
        except OSError,e:
 
772
            raise BzrError("Failed to create symlink %r -> %r, error: %s" % (fullpath, self.symlink_target, e))
 
773
 
 
774
    def _read_tree_state(self, path, work_tree):
 
775
        """See InventoryEntry._read_tree_state."""
 
776
        self.symlink_target = work_tree.get_symlink_target(self.file_id)
 
777
 
 
778
    def _forget_tree_state(self):
 
779
        self.symlink_target = None
 
780
 
 
781
    def _unchanged(self, previous_ie):
 
782
        """See InventoryEntry._unchanged."""
 
783
        compatible = super(InventoryLink, self)._unchanged(previous_ie)
 
784
        if self.symlink_target != previous_ie.symlink_target:
 
785
            compatible = False
 
786
        return compatible
 
787
 
 
788
 
 
789
class TreeReference(InventoryEntry):
 
790
    
 
791
    kind = 'tree-reference'
 
792
    
 
793
    def __init__(self, file_id, name, parent_id, revision=None,
 
794
                 reference_revision=None):
 
795
        InventoryEntry.__init__(self, file_id, name, parent_id)
 
796
        self.revision = revision
 
797
        self.reference_revision = reference_revision
 
798
 
 
799
    def copy(self):
 
800
        return TreeReference(self.file_id, self.name, self.parent_id,
 
801
                             self.revision, self.reference_revision)
 
802
 
 
803
    def _read_tree_state(self, path, work_tree):
 
804
        """Populate fields in the inventory entry from the given tree.
 
805
        """
 
806
        self.reference_revision = work_tree.get_reference_revision(
 
807
            self.file_id, path)
 
808
 
 
809
    def _forget_tree_state(self):
 
810
        self.reference_revision = None 
 
811
 
 
812
    def _unchanged(self, previous_ie):
 
813
        """See InventoryEntry._unchanged."""
 
814
        compatible = super(TreeReference, self)._unchanged(previous_ie)
 
815
        if self.reference_revision != previous_ie.reference_revision:
 
816
            compatible = False
 
817
        return compatible
 
818
 
251
819
 
252
820
class Inventory(object):
253
821
    """Inventory of versioned files in a tree.
267
835
    inserted, other than through the Inventory API.
268
836
 
269
837
    >>> inv = Inventory()
270
 
    >>> inv.add(InventoryEntry('123-123', 'hello.c', 'file', ROOT_ID))
 
838
    >>> inv.add(InventoryFile('123-123', 'hello.c', ROOT_ID))
 
839
    InventoryFile('123-123', 'hello.c', parent_id='TREE_ROOT', sha1=None, len=None)
271
840
    >>> inv['123-123'].name
272
841
    'hello.c'
273
842
 
281
850
    May also look up by name:
282
851
 
283
852
    >>> [x[0] for x in inv.iter_entries()]
284
 
    ['hello.c']
 
853
    ['', u'hello.c']
285
854
    >>> inv = Inventory('TREE_ROOT-12345678-12345678')
286
 
    >>> inv.add(InventoryEntry('123-123', 'hello.c', 'file', ROOT_ID))
 
855
    >>> inv.add(InventoryFile('123-123', 'hello.c', ROOT_ID))
 
856
    Traceback (most recent call last):
 
857
    BzrError: parent_id {TREE_ROOT} not in inventory
 
858
    >>> inv.add(InventoryFile('123-123', 'hello.c', 'TREE_ROOT-12345678-12345678'))
 
859
    InventoryFile('123-123', 'hello.c', parent_id='TREE_ROOT-12345678-12345678', sha1=None, len=None)
287
860
    """
288
 
    def __init__(self, root_id=ROOT_ID):
 
861
    def __init__(self, root_id=ROOT_ID, revision_id=None):
289
862
        """Create or read an inventory.
290
863
 
291
864
        If a working directory is specified, the inventory is read
295
868
        The inventory is created with a default root directory, with
296
869
        an id of None.
297
870
        """
298
 
        # We are letting Branch(init=True) create a unique inventory
299
 
        # root id. Rather than generating a random one here.
300
 
        #if root_id is None:
301
 
        #    root_id = bzrlib.branch.gen_file_id('TREE_ROOT')
302
 
        self.root = RootEntry(root_id)
 
871
        if root_id is not None:
 
872
            assert root_id.__class__ == str
 
873
            self._set_root(InventoryDirectory(root_id, u'', None))
 
874
        else:
 
875
            self.root = None
 
876
            self._byid = {}
 
877
        self.revision_id = revision_id
 
878
 
 
879
    def _set_root(self, ie):
 
880
        self.root = ie
303
881
        self._byid = {self.root.file_id: self.root}
304
882
 
 
883
    def copy(self):
 
884
        # TODO: jam 20051218 Should copy also copy the revision_id?
 
885
        entries = self.iter_entries()
 
886
        other = Inventory(entries.next()[1].file_id)
 
887
        # copy recursively so we know directories will be added before
 
888
        # their children.  There are more efficient ways than this...
 
889
        for path, entry in entries():
 
890
            other.add(entry.copy())
 
891
        return other
305
892
 
306
893
    def __iter__(self):
307
894
        return iter(self._byid)
308
895
 
309
 
 
310
896
    def __len__(self):
311
897
        """Returns number of entries."""
312
898
        return len(self._byid)
313
899
 
314
 
 
315
900
    def iter_entries(self, from_dir=None):
316
901
        """Return (path, entry) pairs, in order by name."""
317
 
        if from_dir == None:
318
 
            assert self.root
319
 
            from_dir = self.root
320
 
        elif isinstance(from_dir, basestring):
321
 
            from_dir = self._byid[from_dir]
322
 
            
323
 
        kids = from_dir.children.items()
324
 
        kids.sort()
325
 
        for name, ie in kids:
326
 
            yield name, ie
327
 
            if ie.kind == 'directory':
328
 
                for cn, cie in self.iter_entries(from_dir=ie.file_id):
329
 
                    yield os.path.join(name, cn), cie
330
 
 
 
902
        if from_dir is None:
 
903
            if self.root is None:
 
904
                return
 
905
            from_dir = self.root
 
906
            yield '', self.root
 
907
        elif isinstance(from_dir, basestring):
 
908
            from_dir = self._byid[from_dir]
 
909
            
 
910
        # unrolling the recursive called changed the time from
 
911
        # 440ms/663ms (inline/total) to 116ms/116ms
 
912
        children = from_dir.children.items()
 
913
        children.sort()
 
914
        children = collections.deque(children)
 
915
        stack = [(u'', children)]
 
916
        while stack:
 
917
            from_dir_relpath, children = stack[-1]
 
918
 
 
919
            while children:
 
920
                name, ie = children.popleft()
 
921
 
 
922
                # we know that from_dir_relpath never ends in a slash
 
923
                # and 'f' doesn't begin with one, we can do a string op, rather
 
924
                # than the checks of pathjoin(), though this means that all paths
 
925
                # start with a slash
 
926
                path = from_dir_relpath + '/' + name
 
927
 
 
928
                yield path[1:], ie
 
929
 
 
930
                if ie.kind != 'directory':
 
931
                    continue
 
932
 
 
933
                # But do this child first
 
934
                new_children = ie.children.items()
 
935
                new_children.sort()
 
936
                new_children = collections.deque(new_children)
 
937
                stack.append((path, new_children))
 
938
                # Break out of inner loop, so that we start outer loop with child
 
939
                break
 
940
            else:
 
941
                # if we finished all children, pop it off the stack
 
942
                stack.pop()
 
943
 
 
944
    def iter_entries_by_dir(self, from_dir=None, specific_file_ids=None,
 
945
        yield_parents=False):
 
946
        """Iterate over the entries in a directory first order.
 
947
 
 
948
        This returns all entries for a directory before returning
 
949
        the entries for children of a directory. This is not
 
950
        lexicographically sorted order, and is a hybrid between
 
951
        depth-first and breadth-first.
 
952
 
 
953
        :param yield_parents: If True, yield the parents from the root leading
 
954
            down to specific_file_ids that have been requested. This has no
 
955
            impact if specific_file_ids is None.
 
956
        :return: This yields (path, entry) pairs
 
957
        """
 
958
        if specific_file_ids:
 
959
            safe = osutils.safe_file_id
 
960
            specific_file_ids = set(safe(fid) for fid in specific_file_ids)
 
961
        # TODO? Perhaps this should return the from_dir so that the root is
 
962
        # yielded? or maybe an option?
 
963
        if from_dir is None:
 
964
            if self.root is None:
 
965
                return
 
966
            # Optimize a common case
 
967
            if (not yield_parents and specific_file_ids is not None and
 
968
                len(specific_file_ids) == 1):
 
969
                file_id = list(specific_file_ids)[0]
 
970
                if file_id in self:
 
971
                    yield self.id2path(file_id), self[file_id]
 
972
                return 
 
973
            from_dir = self.root
 
974
            if (specific_file_ids is None or yield_parents or
 
975
                self.root.file_id in specific_file_ids):
 
976
                yield u'', self.root
 
977
        elif isinstance(from_dir, basestring):
 
978
            from_dir = self._byid[from_dir]
 
979
 
 
980
        if specific_file_ids is not None:
 
981
            # TODO: jam 20070302 This could really be done as a loop rather
 
982
            #       than a bunch of recursive calls.
 
983
            parents = set()
 
984
            byid = self._byid
 
985
            def add_ancestors(file_id):
 
986
                if file_id not in byid:
 
987
                    return
 
988
                parent_id = byid[file_id].parent_id
 
989
                if parent_id is None:
 
990
                    return
 
991
                if parent_id not in parents:
 
992
                    parents.add(parent_id)
 
993
                    add_ancestors(parent_id)
 
994
            for file_id in specific_file_ids:
 
995
                add_ancestors(file_id)
 
996
        else:
 
997
            parents = None
 
998
            
 
999
        stack = [(u'', from_dir)]
 
1000
        while stack:
 
1001
            cur_relpath, cur_dir = stack.pop()
 
1002
 
 
1003
            child_dirs = []
 
1004
            for child_name, child_ie in sorted(cur_dir.children.iteritems()):
 
1005
 
 
1006
                child_relpath = cur_relpath + child_name
 
1007
 
 
1008
                if (specific_file_ids is None or 
 
1009
                    child_ie.file_id in specific_file_ids or
 
1010
                    (yield_parents and child_ie.file_id in parents)):
 
1011
                    yield child_relpath, child_ie
 
1012
 
 
1013
                if child_ie.kind == 'directory':
 
1014
                    if parents is None or child_ie.file_id in parents:
 
1015
                        child_dirs.append((child_relpath+'/', child_ie))
 
1016
            stack.extend(reversed(child_dirs))
 
1017
 
 
1018
    def make_entry(self, kind, name, parent_id, file_id=None):
 
1019
        """Simple thunk to bzrlib.inventory.make_entry."""
 
1020
        return make_entry(kind, name, parent_id, file_id)
331
1021
 
332
1022
    def entries(self):
333
1023
        """Return list of (path, ie) for all entries except the root.
339
1029
            kids = dir_ie.children.items()
340
1030
            kids.sort()
341
1031
            for name, ie in kids:
342
 
                child_path = os.path.join(dir_path, name)
 
1032
                child_path = osutils.pathjoin(dir_path, name)
343
1033
                accum.append((child_path, ie))
344
1034
                if ie.kind == 'directory':
345
1035
                    descend(ie, child_path)
346
1036
 
347
 
        descend(self.root, '')
 
1037
        descend(self.root, u'')
348
1038
        return accum
349
1039
 
350
 
 
351
1040
    def directories(self):
352
1041
        """Return (path, entry) pairs for all directories, including the root.
353
1042
        """
359
1048
            kids.sort()
360
1049
 
361
1050
            for name, child_ie in kids:
362
 
                child_path = os.path.join(parent_path, name)
 
1051
                child_path = osutils.pathjoin(parent_path, name)
363
1052
                descend(child_ie, child_path)
364
 
        descend(self.root, '')
 
1053
        descend(self.root, u'')
365
1054
        return accum
366
1055
        
367
 
 
368
 
 
369
1056
    def __contains__(self, file_id):
370
1057
        """True if this entry contains a file with given id.
371
1058
 
372
1059
        >>> inv = Inventory()
373
 
        >>> inv.add(InventoryEntry('123', 'foo.c', 'file', ROOT_ID))
 
1060
        >>> inv.add(InventoryFile('123', 'foo.c', ROOT_ID))
 
1061
        InventoryFile('123', 'foo.c', parent_id='TREE_ROOT', sha1=None, len=None)
374
1062
        >>> '123' in inv
375
1063
        True
376
1064
        >>> '456' in inv
377
1065
        False
378
1066
        """
379
 
        return file_id in self._byid
380
 
 
 
1067
        file_id = osutils.safe_file_id(file_id)
 
1068
        return (file_id in self._byid)
381
1069
 
382
1070
    def __getitem__(self, file_id):
383
1071
        """Return the entry for given file_id.
384
1072
 
385
1073
        >>> inv = Inventory()
386
 
        >>> inv.add(InventoryEntry('123123', 'hello.c', 'file', ROOT_ID))
 
1074
        >>> inv.add(InventoryFile('123123', 'hello.c', ROOT_ID))
 
1075
        InventoryFile('123123', 'hello.c', parent_id='TREE_ROOT', sha1=None, len=None)
387
1076
        >>> inv['123123'].name
388
1077
        'hello.c'
389
1078
        """
 
1079
        file_id = osutils.safe_file_id(file_id)
390
1080
        try:
391
1081
            return self._byid[file_id]
392
1082
        except KeyError:
393
 
            if file_id == None:
394
 
                raise BzrError("can't look up file_id None")
395
 
            else:
396
 
                raise BzrError("file_id {%s} not in inventory" % file_id)
397
 
 
 
1083
            # really we're passing an inventory, not a tree...
 
1084
            raise errors.NoSuchId(self, file_id)
398
1085
 
399
1086
    def get_file_kind(self, file_id):
 
1087
        file_id = osutils.safe_file_id(file_id)
400
1088
        return self._byid[file_id].kind
401
1089
 
402
1090
    def get_child(self, parent_id, filename):
 
1091
        parent_id = osutils.safe_file_id(parent_id)
403
1092
        return self[parent_id].children.get(filename)
404
1093
 
 
1094
    def _add_child(self, entry):
 
1095
        """Add an entry to the inventory, without adding it to its parent"""
 
1096
        if entry.file_id in self._byid:
 
1097
            raise BzrError("inventory already contains entry with id {%s}" %
 
1098
                           entry.file_id)
 
1099
        self._byid[entry.file_id] = entry
 
1100
        for child in getattr(entry, 'children', {}).itervalues():
 
1101
            self._add_child(child)
 
1102
        return entry
405
1103
 
406
1104
    def add(self, entry):
407
1105
        """Add entry to inventory.
408
1106
 
409
1107
        To add  a file to a branch ready to be committed, use Branch.add,
410
 
        which calls this."""
 
1108
        which calls this.
 
1109
 
 
1110
        Returns the new entry object.
 
1111
        """
411
1112
        if entry.file_id in self._byid:
412
 
            raise BzrError("inventory already contains entry with id {%s}" % entry.file_id)
413
 
 
414
 
        if entry.parent_id == ROOT_ID or entry.parent_id is None:
415
 
            entry.parent_id = self.root.file_id
416
 
 
417
 
        try:
418
 
            parent = self._byid[entry.parent_id]
419
 
        except KeyError:
420
 
            raise BzrError("parent_id {%s} not in inventory" % entry.parent_id)
421
 
 
422
 
        if parent.children.has_key(entry.name):
423
 
            raise BzrError("%s is already versioned" %
424
 
                    appendpath(self.id2path(parent.file_id), entry.name))
425
 
 
426
 
        self._byid[entry.file_id] = entry
427
 
        parent.children[entry.name] = entry
428
 
 
429
 
 
430
 
    def add_path(self, relpath, kind, file_id=None):
 
1113
            raise errors.DuplicateFileId(entry.file_id,
 
1114
                                         self._byid[entry.file_id])
 
1115
 
 
1116
        if entry.parent_id is None:
 
1117
            assert self.root is None and len(self._byid) == 0
 
1118
            self.root = entry
 
1119
        else:
 
1120
            try:
 
1121
                parent = self._byid[entry.parent_id]
 
1122
            except KeyError:
 
1123
                raise BzrError("parent_id {%s} not in inventory" %
 
1124
                               entry.parent_id)
 
1125
 
 
1126
            if entry.name in parent.children:
 
1127
                raise BzrError("%s is already versioned" %
 
1128
                        osutils.pathjoin(self.id2path(parent.file_id),
 
1129
                        entry.name).encode('utf-8'))
 
1130
            parent.children[entry.name] = entry
 
1131
        return self._add_child(entry)
 
1132
 
 
1133
    def add_path(self, relpath, kind, file_id=None, parent_id=None):
431
1134
        """Add entry from a path.
432
1135
 
433
 
        The immediate parent must already be versioned"""
434
 
        from bzrlib.branch import gen_file_id
 
1136
        The immediate parent must already be versioned.
 
1137
 
 
1138
        Returns the new entry object."""
435
1139
        
436
 
        parts = bzrlib.osutils.splitpath(relpath)
 
1140
        parts = osutils.splitpath(relpath)
 
1141
 
437
1142
        if len(parts) == 0:
438
 
            raise BzrError("cannot re-add root of inventory")
439
 
 
440
 
        if file_id == None:
441
 
            file_id = gen_file_id(relpath)
442
 
 
443
 
        parent_path = parts[:-1]
444
 
        parent_id = self.path2id(parent_path)
445
 
        if parent_id == None:
446
 
            raise NotVersionedError(parent_path)
447
 
 
448
 
        ie = InventoryEntry(file_id, parts[-1],
449
 
                            kind=kind, parent_id=parent_id)
 
1143
            if file_id is None:
 
1144
                file_id = generate_ids.gen_root_id()
 
1145
            else:
 
1146
                file_id = osutils.safe_file_id(file_id)
 
1147
            self.root = InventoryDirectory(file_id, '', None)
 
1148
            self._byid = {self.root.file_id: self.root}
 
1149
            return self.root
 
1150
        else:
 
1151
            parent_path = parts[:-1]
 
1152
            parent_id = self.path2id(parent_path)
 
1153
            if parent_id is None:
 
1154
                raise errors.NotVersionedError(path=parent_path)
 
1155
        ie = make_entry(kind, parts[-1], parent_id, file_id)
450
1156
        return self.add(ie)
451
1157
 
452
 
 
453
1158
    def __delitem__(self, file_id):
454
1159
        """Remove entry by id.
455
1160
 
456
1161
        >>> inv = Inventory()
457
 
        >>> inv.add(InventoryEntry('123', 'foo.c', 'file', ROOT_ID))
 
1162
        >>> inv.add(InventoryFile('123', 'foo.c', ROOT_ID))
 
1163
        InventoryFile('123', 'foo.c', parent_id='TREE_ROOT', sha1=None, len=None)
458
1164
        >>> '123' in inv
459
1165
        True
460
1166
        >>> del inv['123']
461
1167
        >>> '123' in inv
462
1168
        False
463
1169
        """
 
1170
        file_id = osutils.safe_file_id(file_id)
464
1171
        ie = self[file_id]
465
1172
 
466
 
        assert self[ie.parent_id].children[ie.name] == ie
 
1173
        assert ie.parent_id is None or \
 
1174
            self[ie.parent_id].children[ie.name] == ie
467
1175
        
468
 
        # TODO: Test deleting all children; maybe hoist to a separate
469
 
        # deltree method?
470
 
        if ie.kind == 'directory':
471
 
            for cie in ie.children.values():
472
 
                del self[cie.file_id]
473
 
            del ie.children
474
 
 
475
1176
        del self._byid[file_id]
476
 
        del self[ie.parent_id].children[ie.name]
477
 
 
478
 
 
479
 
    def to_element(self):
480
 
        """Convert to XML Element"""
481
 
        from bzrlib.xml import Element
482
 
        
483
 
        e = Element('inventory')
484
 
        e.text = '\n'
485
 
        if self.root.file_id not in (None, ROOT_ID):
486
 
            e.set('file_id', self.root.file_id)
487
 
        for path, ie in self.iter_entries():
488
 
            e.append(ie.to_element())
489
 
        return e
490
 
    
491
 
 
492
 
    def from_element(cls, elt):
493
 
        """Construct from XML Element
494
 
        
495
 
        >>> inv = Inventory()
496
 
        >>> inv.add(InventoryEntry('foo.c-123981239', 'foo.c', 'file', ROOT_ID))
497
 
        >>> elt = inv.to_element()
498
 
        >>> inv2 = Inventory.from_element(elt)
499
 
        >>> inv2 == inv
500
 
        True
501
 
        """
502
 
        # XXXX: doctest doesn't run this properly under python2.3
503
 
        assert elt.tag == 'inventory'
504
 
        root_id = elt.get('file_id') or ROOT_ID
505
 
        o = cls(root_id)
506
 
        for e in elt:
507
 
            ie = InventoryEntry.from_element(e)
508
 
            if ie.parent_id == ROOT_ID:
509
 
                ie.parent_id = root_id
510
 
            o.add(ie)
511
 
        return o
512
 
        
513
 
    from_element = classmethod(from_element)
514
 
 
 
1177
        if ie.parent_id is not None:
 
1178
            del self[ie.parent_id].children[ie.name]
515
1179
 
516
1180
    def __eq__(self, other):
517
1181
        """Compare two sets by comparing their contents.
520
1184
        >>> i2 = Inventory()
521
1185
        >>> i1 == i2
522
1186
        True
523
 
        >>> i1.add(InventoryEntry('123', 'foo', 'file', ROOT_ID))
 
1187
        >>> i1.add(InventoryFile('123', 'foo', ROOT_ID))
 
1188
        InventoryFile('123', 'foo', parent_id='TREE_ROOT', sha1=None, len=None)
524
1189
        >>> i1 == i2
525
1190
        False
526
 
        >>> i2.add(InventoryEntry('123', 'foo', 'file', ROOT_ID))
 
1191
        >>> i2.add(InventoryFile('123', 'foo', ROOT_ID))
 
1192
        InventoryFile('123', 'foo', parent_id='TREE_ROOT', sha1=None, len=None)
527
1193
        >>> i1 == i2
528
1194
        True
529
1195
        """
530
1196
        if not isinstance(other, Inventory):
531
1197
            return NotImplemented
532
1198
 
533
 
        if len(self._byid) != len(other._byid):
534
 
            # shortcut: obviously not the same
535
 
            return False
536
 
 
537
1199
        return self._byid == other._byid
538
1200
 
539
 
 
540
1201
    def __ne__(self, other):
541
 
        return not (self == other)
542
 
 
 
1202
        return not self.__eq__(other)
543
1203
 
544
1204
    def __hash__(self):
545
1205
        raise ValueError('not hashable')
546
1206
 
547
 
 
 
1207
    def _iter_file_id_parents(self, file_id):
 
1208
        """Yield the parents of file_id up to the root."""
 
1209
        file_id = osutils.safe_file_id(file_id)
 
1210
        while file_id is not None:
 
1211
            try:
 
1212
                ie = self._byid[file_id]
 
1213
            except KeyError:
 
1214
                raise errors.NoSuchId(tree=None, file_id=file_id)
 
1215
            yield ie
 
1216
            file_id = ie.parent_id
548
1217
 
549
1218
    def get_idpath(self, file_id):
550
1219
        """Return a list of file_ids for the path to an entry.
554
1223
        is equal to the depth of the file in the tree, counting the
555
1224
        root directory as depth 1.
556
1225
        """
 
1226
        file_id = osutils.safe_file_id(file_id)
557
1227
        p = []
558
 
        while file_id != None:
559
 
            try:
560
 
                ie = self._byid[file_id]
561
 
            except KeyError:
562
 
                raise BzrError("file_id {%s} not found in inventory" % file_id)
563
 
            p.insert(0, ie.file_id)
564
 
            file_id = ie.parent_id
 
1228
        for parent in self._iter_file_id_parents(file_id):
 
1229
            p.insert(0, parent.file_id)
565
1230
        return p
566
1231
 
567
 
 
568
1232
    def id2path(self, file_id):
569
 
        """Return as a list the path to file_id."""
570
 
 
 
1233
        """Return as a string the path to file_id.
 
1234
        
 
1235
        >>> i = Inventory()
 
1236
        >>> e = i.add(InventoryDirectory('src-id', 'src', ROOT_ID))
 
1237
        >>> e = i.add(InventoryFile('foo-id', 'foo.c', parent_id='src-id'))
 
1238
        >>> print i.id2path('foo-id')
 
1239
        src/foo.c
 
1240
        """
 
1241
        file_id = osutils.safe_file_id(file_id)
571
1242
        # get all names, skipping root
572
 
        p = [self._byid[fid].name for fid in self.get_idpath(file_id)[1:]]
573
 
        return os.sep.join(p)
 
1243
        return '/'.join(reversed(
 
1244
            [parent.name for parent in 
 
1245
             self._iter_file_id_parents(file_id)][:-1]))
574
1246
            
575
 
 
576
 
 
577
1247
    def path2id(self, name):
578
1248
        """Walk down through directories to return entry of last component.
579
1249
 
583
1253
        This returns the entry of the last component in the path,
584
1254
        which may be either a file or a directory.
585
1255
 
586
 
        Returns None iff the path is not found.
 
1256
        Returns None IFF the path is not found.
587
1257
        """
588
 
        if isinstance(name, types.StringTypes):
589
 
            name = splitpath(name)
 
1258
        if isinstance(name, basestring):
 
1259
            name = osutils.splitpath(name)
590
1260
 
591
 
        mutter("lookup path %r" % name)
 
1261
        # mutter("lookup path %r" % name)
592
1262
 
593
1263
        parent = self.root
 
1264
        if parent is None:
 
1265
            return None
594
1266
        for f in name:
595
1267
            try:
596
 
                cie = parent.children[f]
 
1268
                children = getattr(parent, 'children', None)
 
1269
                if children is None:
 
1270
                    return None
 
1271
                cie = children[f]
597
1272
                assert cie.name == f
598
1273
                assert cie.parent_id == parent.file_id
599
1274
                parent = cie
603
1278
 
604
1279
        return parent.file_id
605
1280
 
606
 
 
607
1281
    def has_filename(self, names):
608
1282
        return bool(self.path2id(names))
609
1283
 
610
 
 
611
1284
    def has_id(self, file_id):
612
 
        return self._byid.has_key(file_id)
 
1285
        file_id = osutils.safe_file_id(file_id)
 
1286
        return (file_id in self._byid)
613
1287
 
 
1288
    def remove_recursive_id(self, file_id):
 
1289
        """Remove file_id, and children, from the inventory.
 
1290
        
 
1291
        :param file_id: A file_id to remove.
 
1292
        """
 
1293
        file_id = osutils.safe_file_id(file_id)
 
1294
        to_find_delete = [self._byid[file_id]]
 
1295
        to_delete = []
 
1296
        while to_find_delete:
 
1297
            ie = to_find_delete.pop()
 
1298
            to_delete.append(ie.file_id)
 
1299
            if ie.kind == 'directory':
 
1300
                to_find_delete.extend(ie.children.values())
 
1301
        for file_id in reversed(to_delete):
 
1302
            ie = self[file_id]
 
1303
            del self._byid[file_id]
 
1304
        if ie.parent_id is not None:
 
1305
            del self[ie.parent_id].children[ie.name]
 
1306
        else:
 
1307
            self.root = None
614
1308
 
615
1309
    def rename(self, file_id, new_parent_id, new_name):
616
1310
        """Move a file within the inventory.
617
1311
 
618
1312
        This can change either the name, or the parent, or both.
619
1313
 
620
 
        This does not move the working file."""
 
1314
        This does not move the working file.
 
1315
        """
 
1316
        file_id = osutils.safe_file_id(file_id)
 
1317
        new_name = ensure_normalized_name(new_name)
621
1318
        if not is_valid_name(new_name):
622
1319
            raise BzrError("not an acceptable filename: %r" % new_name)
623
1320
 
641
1338
        file_ie.name = new_name
642
1339
        file_ie.parent_id = new_parent_id
643
1340
 
644
 
 
645
 
 
646
 
 
647
 
_NAME_RE = re.compile(r'^[^/\\]+$')
 
1341
    def is_root(self, file_id):
 
1342
        file_id = osutils.safe_file_id(file_id)
 
1343
        return self.root is not None and file_id == self.root.file_id
 
1344
 
 
1345
 
 
1346
entry_factory = {
 
1347
    'directory': InventoryDirectory,
 
1348
    'file': InventoryFile,
 
1349
    'symlink': InventoryLink,
 
1350
    'tree-reference': TreeReference
 
1351
}
 
1352
 
 
1353
def make_entry(kind, name, parent_id, file_id=None):
 
1354
    """Create an inventory entry.
 
1355
 
 
1356
    :param kind: the type of inventory entry to create.
 
1357
    :param name: the basename of the entry.
 
1358
    :param parent_id: the parent_id of the entry.
 
1359
    :param file_id: the file_id to use. if None, one will be created.
 
1360
    """
 
1361
    if file_id is None:
 
1362
        file_id = generate_ids.gen_file_id(name)
 
1363
    else:
 
1364
        file_id = osutils.safe_file_id(file_id)
 
1365
    name = ensure_normalized_name(name)
 
1366
    try:
 
1367
        factory = entry_factory[kind]
 
1368
    except KeyError:
 
1369
        raise BzrError("unknown kind %r" % kind)
 
1370
    return factory(file_id, name, parent_id)
 
1371
 
 
1372
 
 
1373
def ensure_normalized_name(name):
 
1374
    """Normalize name.
 
1375
 
 
1376
    :raises InvalidNormalization: When name is not normalized, and cannot be
 
1377
        accessed on this platform by the normalized path.
 
1378
    :return: The NFC/NFKC normalised version of name.
 
1379
    """
 
1380
    #------- This has been copied to bzrlib.dirstate.DirState.add, please
 
1381
    # keep them synchronised.
 
1382
    # we dont import normalized_filename directly because we want to be
 
1383
    # able to change the implementation at runtime for tests.
 
1384
    norm_name, can_access = osutils.normalized_filename(name)
 
1385
    if norm_name != name:
 
1386
        if can_access:
 
1387
            return norm_name
 
1388
        else:
 
1389
            # TODO: jam 20060701 This would probably be more useful
 
1390
            #       if the error was raised with the full path
 
1391
            raise errors.InvalidNormalization(name)
 
1392
    return name
 
1393
 
 
1394
 
 
1395
_NAME_RE = None
648
1396
 
649
1397
def is_valid_name(name):
 
1398
    global _NAME_RE
 
1399
    if _NAME_RE is None:
 
1400
        _NAME_RE = re.compile(r'^[^/\\]+$')
 
1401
        
650
1402
    return bool(_NAME_RE.match(name))