/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/mutabletree.py

  • Committer: Jelmer Vernooij
  • Date: 2011-12-18 15:28:38 UTC
  • mto: This revision was merged to the branch mainline in revision 6386.
  • Revision ID: jelmer@samba.org-20111218152838-5wxpfnugk2jd625k
UseĀ absolute_import.

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2006-2011 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
from __future__ import absolute_import
 
18
 
 
19
"""MutableTree object.
 
20
 
 
21
See MutableTree for more details.
 
22
"""
 
23
 
 
24
 
 
25
from bzrlib.lazy_import import lazy_import
 
26
lazy_import(globals(), """
 
27
import operator
 
28
import os
 
29
import re
 
30
 
 
31
from bzrlib import (
 
32
    add,
 
33
    controldir,
 
34
    errors,
 
35
    hooks,
 
36
    inventory as _mod_inventory,
 
37
    osutils,
 
38
    revisiontree,
 
39
    trace,
 
40
    transport as _mod_transport,
 
41
    tree,
 
42
    )
 
43
""")
 
44
 
 
45
from bzrlib.decorators import needs_read_lock, needs_write_lock
 
46
 
 
47
 
 
48
def needs_tree_write_lock(unbound):
 
49
    """Decorate unbound to take out and release a tree_write lock."""
 
50
    def tree_write_locked(self, *args, **kwargs):
 
51
        self.lock_tree_write()
 
52
        try:
 
53
            return unbound(self, *args, **kwargs)
 
54
        finally:
 
55
            self.unlock()
 
56
    tree_write_locked.__doc__ = unbound.__doc__
 
57
    tree_write_locked.__name__ = unbound.__name__
 
58
    return tree_write_locked
 
59
 
 
60
 
 
61
class MutableTree(tree.Tree):
 
62
    """A MutableTree is a specialisation of Tree which is able to be mutated.
 
63
 
 
64
    Generally speaking these mutations are only possible within a lock_write
 
65
    context, and will revert if the lock is broken abnormally - but this cannot
 
66
    be guaranteed - depending on the exact implementation of the mutable state.
 
67
 
 
68
    The most common form of Mutable Tree is WorkingTree, see bzrlib.workingtree.
 
69
    For tests we also have MemoryTree which is a MutableTree whose contents are
 
70
    entirely in memory.
 
71
 
 
72
    For now, we are not treating MutableTree as an interface to provide
 
73
    conformance tests for - rather we are testing MemoryTree specifically, and
 
74
    interface testing implementations of WorkingTree.
 
75
 
 
76
    A mutable tree always has an associated Branch and ControlDir object - the
 
77
    branch and bzrdir attributes.
 
78
    """
 
79
    def __init__(self, *args, **kw):
 
80
        super(MutableTree, self).__init__(*args, **kw)
 
81
        # Is this tree on a case-insensitive or case-preserving file-system?
 
82
        # Sub-classes may initialize to False if they detect they are being
 
83
        # used on media which doesn't differentiate the case of names.
 
84
        self.case_sensitive = True
 
85
 
 
86
    def is_control_filename(self, filename):
 
87
        """True if filename is the name of a control file in this tree.
 
88
 
 
89
        :param filename: A filename within the tree. This is a relative path
 
90
            from the root of this tree.
 
91
 
 
92
        This is true IF and ONLY IF the filename is part of the meta data
 
93
        that bzr controls in this tree. I.E. a random .bzr directory placed
 
94
        on disk will not be a control file for this tree.
 
95
        """
 
96
        raise NotImplementedError(self.is_control_filename)
 
97
 
 
98
    @needs_tree_write_lock
 
99
    def add(self, files, ids=None, kinds=None):
 
100
        """Add paths to the set of versioned paths.
 
101
 
 
102
        Note that the command line normally calls smart_add instead,
 
103
        which can automatically recurse.
 
104
 
 
105
        This adds the files to the inventory, so that they will be
 
106
        recorded by the next commit.
 
107
 
 
108
        :param files: List of paths to add, relative to the base of the tree.
 
109
        :param ids: If set, use these instead of automatically generated ids.
 
110
            Must be the same length as the list of files, but may
 
111
            contain None for ids that are to be autogenerated.
 
112
        :param kinds: Optional parameter to specify the kinds to be used for
 
113
            each file.
 
114
 
 
115
        TODO: Perhaps callback with the ids and paths as they're added.
 
116
        """
 
117
        if isinstance(files, basestring):
 
118
            # XXX: Passing a single string is inconsistent and should be
 
119
            # deprecated.
 
120
            if not (ids is None or isinstance(ids, basestring)):
 
121
                raise AssertionError()
 
122
            if not (kinds is None or isinstance(kinds, basestring)):
 
123
                raise AssertionError()
 
124
            files = [files]
 
125
            if ids is not None:
 
126
                ids = [ids]
 
127
            if kinds is not None:
 
128
                kinds = [kinds]
 
129
 
 
130
        files = [path.strip('/') for path in files]
 
131
 
 
132
        if ids is None:
 
133
            ids = [None] * len(files)
 
134
        else:
 
135
            if not (len(ids) == len(files)):
 
136
                raise AssertionError()
 
137
        if kinds is None:
 
138
            kinds = [None] * len(files)
 
139
        elif not len(kinds) == len(files):
 
140
            raise AssertionError()
 
141
        for f in files:
 
142
            # generic constraint checks:
 
143
            if self.is_control_filename(f):
 
144
                raise errors.ForbiddenControlFileError(filename=f)
 
145
            fp = osutils.splitpath(f)
 
146
        # fill out file kinds for all files [not needed when we stop
 
147
        # caring about the instantaneous file kind within a uncommmitted tree
 
148
        #
 
149
        self._gather_kinds(files, kinds)
 
150
        self._add(files, ids, kinds)
 
151
 
 
152
    def add_reference(self, sub_tree):
 
153
        """Add a TreeReference to the tree, pointing at sub_tree"""
 
154
        raise errors.UnsupportedOperation(self.add_reference, self)
 
155
 
 
156
    def _add_reference(self, sub_tree):
 
157
        """Standard add_reference implementation, for use by subclasses"""
 
158
        try:
 
159
            sub_tree_path = self.relpath(sub_tree.basedir)
 
160
        except errors.PathNotChild:
 
161
            raise errors.BadReferenceTarget(self, sub_tree,
 
162
                                            'Target not inside tree.')
 
163
        sub_tree_id = sub_tree.get_root_id()
 
164
        if sub_tree_id == self.get_root_id():
 
165
            raise errors.BadReferenceTarget(self, sub_tree,
 
166
                                     'Trees have the same root id.')
 
167
        if self.has_id(sub_tree_id):
 
168
            raise errors.BadReferenceTarget(self, sub_tree,
 
169
                                            'Root id already present in tree')
 
170
        self._add([sub_tree_path], [sub_tree_id], ['tree-reference'])
 
171
 
 
172
    def _add(self, files, ids, kinds):
 
173
        """Helper function for add - updates the inventory.
 
174
 
 
175
        :param files: sequence of pathnames, relative to the tree root
 
176
        :param ids: sequence of suggested ids for the files (may be None)
 
177
        :param kinds: sequence of  inventory kinds of the files (i.e. may
 
178
            contain "tree-reference")
 
179
        """
 
180
        raise NotImplementedError(self._add)
 
181
 
 
182
    def apply_inventory_delta(self, changes):
 
183
        """Apply changes to the inventory as an atomic operation.
 
184
 
 
185
        :param changes: An inventory delta to apply to the working tree's
 
186
            inventory.
 
187
        :return None:
 
188
        :seealso Inventory.apply_delta: For details on the changes parameter.
 
189
        """
 
190
        raise NotImplementedError(self.apply_inventory_delta)
 
191
 
 
192
    @needs_write_lock
 
193
    def commit(self, message=None, revprops=None, *args,
 
194
               **kwargs):
 
195
        # avoid circular imports
 
196
        from bzrlib import commit
 
197
        possible_master_transports=[]
 
198
        revprops = commit.Commit.update_revprops(
 
199
                revprops,
 
200
                self.branch,
 
201
                kwargs.pop('authors', None),
 
202
                kwargs.pop('author', None),
 
203
                kwargs.get('local', False),
 
204
                possible_master_transports)
 
205
        # args for wt.commit start at message from the Commit.commit method,
 
206
        args = (message, ) + args
 
207
        for hook in MutableTree.hooks['start_commit']:
 
208
            hook(self)
 
209
        committed_id = commit.Commit().commit(working_tree=self,
 
210
            revprops=revprops,
 
211
            possible_master_transports=possible_master_transports,
 
212
            *args, **kwargs)
 
213
        post_hook_params = PostCommitHookParams(self)
 
214
        for hook in MutableTree.hooks['post_commit']:
 
215
            hook(post_hook_params)
 
216
        return committed_id
 
217
 
 
218
    def _gather_kinds(self, files, kinds):
 
219
        """Helper function for add - sets the entries of kinds."""
 
220
        raise NotImplementedError(self._gather_kinds)
 
221
 
 
222
    @needs_read_lock
 
223
    def has_changes(self, _from_tree=None):
 
224
        """Quickly check that the tree contains at least one commitable change.
 
225
 
 
226
        :param _from_tree: tree to compare against to find changes (default to
 
227
            the basis tree and is intended to be used by tests).
 
228
 
 
229
        :return: True if a change is found. False otherwise
 
230
        """
 
231
        # Check pending merges
 
232
        if len(self.get_parent_ids()) > 1:
 
233
            return True
 
234
        if _from_tree is None:
 
235
            _from_tree = self.basis_tree()
 
236
        changes = self.iter_changes(_from_tree)
 
237
        try:
 
238
            change = changes.next()
 
239
            # Exclude root (talk about black magic... --vila 20090629)
 
240
            if change[4] == (None, None):
 
241
                change = changes.next()
 
242
            return True
 
243
        except StopIteration:
 
244
            # No changes
 
245
            return False
 
246
 
 
247
    @needs_read_lock
 
248
    def check_changed_or_out_of_date(self, strict, opt_name,
 
249
                                     more_error, more_warning):
 
250
        """Check the tree for uncommitted changes and branch synchronization.
 
251
 
 
252
        If strict is None and not set in the config files, a warning is issued.
 
253
        If strict is True, an error is raised.
 
254
        If strict is False, no checks are done and no warning is issued.
 
255
 
 
256
        :param strict: True, False or None, searched in branch config if None.
 
257
 
 
258
        :param opt_name: strict option name to search in config file.
 
259
 
 
260
        :param more_error: Details about how to avoid the check.
 
261
 
 
262
        :param more_warning: Details about what is happening.
 
263
        """
 
264
        if strict is None:
 
265
            strict = self.branch.get_config_stack().get(opt_name)
 
266
        if strict is not False:
 
267
            err_class = None
 
268
            if (self.has_changes()):
 
269
                err_class = errors.UncommittedChanges
 
270
            elif self.last_revision() != self.branch.last_revision():
 
271
                # The tree has lost sync with its branch, there is little
 
272
                # chance that the user is aware of it but he can still force
 
273
                # the action with --no-strict
 
274
                err_class = errors.OutOfDateTree
 
275
            if err_class is not None:
 
276
                if strict is None:
 
277
                    err = err_class(self, more=more_warning)
 
278
                    # We don't want to interrupt the user if he expressed no
 
279
                    # preference about strict.
 
280
                    trace.warning('%s', err._format())
 
281
                else:
 
282
                    err = err_class(self, more=more_error)
 
283
                    raise err
 
284
 
 
285
    @needs_read_lock
 
286
    def last_revision(self):
 
287
        """Return the revision id of the last commit performed in this tree.
 
288
 
 
289
        In early tree formats the result of last_revision is the same as the
 
290
        branch last_revision, but that is no longer the case for modern tree
 
291
        formats.
 
292
 
 
293
        last_revision returns the left most parent id, or None if there are no
 
294
        parents.
 
295
 
 
296
        last_revision was deprecated as of 0.11. Please use get_parent_ids
 
297
        instead.
 
298
        """
 
299
        raise NotImplementedError(self.last_revision)
 
300
 
 
301
    def lock_tree_write(self):
 
302
        """Lock the working tree for write, and the branch for read.
 
303
 
 
304
        This is useful for operations which only need to mutate the working
 
305
        tree. Taking out branch write locks is a relatively expensive process
 
306
        and may fail if the branch is on read only media. So branch write locks
 
307
        should only be taken out when we are modifying branch data - such as in
 
308
        operations like commit, pull, uncommit and update.
 
309
        """
 
310
        raise NotImplementedError(self.lock_tree_write)
 
311
 
 
312
    def lock_write(self):
 
313
        """Lock the tree and its branch. This allows mutating calls to be made.
 
314
 
 
315
        Some mutating methods will take out implicit write locks, but in
 
316
        general you should always obtain a write lock before calling mutating
 
317
        methods on a tree.
 
318
        """
 
319
        raise NotImplementedError(self.lock_write)
 
320
 
 
321
    @needs_write_lock
 
322
    def mkdir(self, path, file_id=None):
 
323
        """Create a directory in the tree. if file_id is None, one is assigned.
 
324
 
 
325
        :param path: A unicode file path.
 
326
        :param file_id: An optional file-id.
 
327
        :return: the file id of the new directory.
 
328
        """
 
329
        raise NotImplementedError(self.mkdir)
 
330
 
 
331
    def _observed_sha1(self, file_id, path, (sha1, stat_value)):
 
332
        """Tell the tree we have observed a paths sha1.
 
333
 
 
334
        The intent of this function is to allow trees that have a hashcache to
 
335
        update the hashcache during commit. If the observed file is too new
 
336
        (based on the stat_value) to be safely hash-cached the tree will ignore
 
337
        it.
 
338
 
 
339
        The default implementation does nothing.
 
340
 
 
341
        :param file_id: The file id
 
342
        :param path: The file path
 
343
        :param sha1: The sha 1 that was observed.
 
344
        :param stat_value: A stat result for the file the sha1 was read from.
 
345
        :return: None
 
346
        """
 
347
 
 
348
    @needs_write_lock
 
349
    def put_file_bytes_non_atomic(self, file_id, bytes):
 
350
        """Update the content of a file in the tree.
 
351
 
 
352
        Note that the file is written in-place rather than being
 
353
        written to a temporary location and renamed. As a consequence,
 
354
        readers can potentially see the file half-written.
 
355
 
 
356
        :param file_id: file-id of the file
 
357
        :param bytes: the new file contents
 
358
        """
 
359
        raise NotImplementedError(self.put_file_bytes_non_atomic)
 
360
 
 
361
    def set_parent_ids(self, revision_ids, allow_leftmost_as_ghost=False):
 
362
        """Set the parents ids of the working tree.
 
363
 
 
364
        :param revision_ids: A list of revision_ids.
 
365
        """
 
366
        raise NotImplementedError(self.set_parent_ids)
 
367
 
 
368
    def set_parent_trees(self, parents_list, allow_leftmost_as_ghost=False):
 
369
        """Set the parents of the working tree.
 
370
 
 
371
        :param parents_list: A list of (revision_id, tree) tuples.
 
372
            If tree is None, then that element is treated as an unreachable
 
373
            parent tree - i.e. a ghost.
 
374
        """
 
375
        raise NotImplementedError(self.set_parent_trees)
 
376
 
 
377
    def smart_add(self, file_list, recurse=True, action=None, save=True):
 
378
        """Version file_list, optionally recursing into directories.
 
379
 
 
380
        This is designed more towards DWIM for humans than API clarity.
 
381
        For the specific behaviour see the help for cmd_add().
 
382
 
 
383
        :param file_list: List of zero or more paths.  *NB: these are 
 
384
            interpreted relative to the process cwd, not relative to the 
 
385
            tree.*  (Add and most other tree methods use tree-relative
 
386
            paths.)
 
387
        :param action: A reporter to be called with the inventory, parent_ie,
 
388
            path and kind of the path being added. It may return a file_id if
 
389
            a specific one should be used.
 
390
        :param save: Save the inventory after completing the adds. If False
 
391
            this provides dry-run functionality by doing the add and not saving
 
392
            the inventory.
 
393
        :return: A tuple - files_added, ignored_files. files_added is the count
 
394
            of added files, and ignored_files is a dict mapping files that were
 
395
            ignored to the rule that caused them to be ignored.
 
396
        """
 
397
        raise NotImplementedError(self.smart_add)
 
398
 
 
399
 
 
400
class MutableInventoryTree(MutableTree, tree.InventoryTree):
 
401
 
 
402
    @needs_tree_write_lock
 
403
    def apply_inventory_delta(self, changes):
 
404
        """Apply changes to the inventory as an atomic operation.
 
405
 
 
406
        :param changes: An inventory delta to apply to the working tree's
 
407
            inventory.
 
408
        :return None:
 
409
        :seealso Inventory.apply_delta: For details on the changes parameter.
 
410
        """
 
411
        self.flush()
 
412
        inv = self.inventory
 
413
        inv.apply_delta(changes)
 
414
        self._write_inventory(inv)
 
415
 
 
416
    def _fix_case_of_inventory_path(self, path):
 
417
        """If our tree isn't case sensitive, return the canonical path"""
 
418
        if not self.case_sensitive:
 
419
            path = self.get_canonical_inventory_path(path)
 
420
        return path
 
421
 
 
422
    @needs_tree_write_lock
 
423
    def smart_add(self, file_list, recurse=True, action=None, save=True):
 
424
        """Version file_list, optionally recursing into directories.
 
425
 
 
426
        This is designed more towards DWIM for humans than API clarity.
 
427
        For the specific behaviour see the help for cmd_add().
 
428
 
 
429
        :param file_list: List of zero or more paths.  *NB: these are 
 
430
            interpreted relative to the process cwd, not relative to the 
 
431
            tree.*  (Add and most other tree methods use tree-relative
 
432
            paths.)
 
433
        :param action: A reporter to be called with the inventory, parent_ie,
 
434
            path and kind of the path being added. It may return a file_id if
 
435
            a specific one should be used.
 
436
        :param save: Save the inventory after completing the adds. If False
 
437
            this provides dry-run functionality by doing the add and not saving
 
438
            the inventory.
 
439
        :return: A tuple - files_added, ignored_files. files_added is the count
 
440
            of added files, and ignored_files is a dict mapping files that were
 
441
            ignored to the rule that caused them to be ignored.
 
442
        """
 
443
        # Not all mutable trees can have conflicts
 
444
        if getattr(self, 'conflicts', None) is not None:
 
445
            # Collect all related files without checking whether they exist or
 
446
            # are versioned. It's cheaper to do that once for all conflicts
 
447
            # than trying to find the relevant conflict for each added file.
 
448
            conflicts_related = set()
 
449
            for c in self.conflicts():
 
450
                conflicts_related.update(c.associated_filenames())
 
451
        else:
 
452
            conflicts_related = None
 
453
        adder = _SmartAddHelper(self, action, conflicts_related)
 
454
        adder.add(file_list, recurse=recurse)
 
455
        if save:
 
456
            invdelta = adder.get_inventory_delta()
 
457
            self.apply_inventory_delta(invdelta)
 
458
        return adder.added, adder.ignored
 
459
 
 
460
    def update_basis_by_delta(self, new_revid, delta):
 
461
        """Update the parents of this tree after a commit.
 
462
 
 
463
        This gives the tree one parent, with revision id new_revid. The
 
464
        inventory delta is applied to the current basis tree to generate the
 
465
        inventory for the parent new_revid, and all other parent trees are
 
466
        discarded.
 
467
 
 
468
        All the changes in the delta should be changes synchronising the basis
 
469
        tree with some or all of the working tree, with a change to a directory
 
470
        requiring that its contents have been recursively included. That is,
 
471
        this is not a general purpose tree modification routine, but a helper
 
472
        for commit which is not required to handle situations that do not arise
 
473
        outside of commit.
 
474
 
 
475
        See the inventory developers documentation for the theory behind
 
476
        inventory deltas.
 
477
 
 
478
        :param new_revid: The new revision id for the trees parent.
 
479
        :param delta: An inventory delta (see apply_inventory_delta) describing
 
480
            the changes from the current left most parent revision to new_revid.
 
481
        """
 
482
        # if the tree is updated by a pull to the branch, as happens in
 
483
        # WorkingTree2, when there was no separation between branch and tree,
 
484
        # then just clear merges, efficiency is not a concern for now as this
 
485
        # is legacy environments only, and they are slow regardless.
 
486
        if self.last_revision() == new_revid:
 
487
            self.set_parent_ids([new_revid])
 
488
            return
 
489
        # generic implementation based on Inventory manipulation. See
 
490
        # WorkingTree classes for optimised versions for specific format trees.
 
491
        basis = self.basis_tree()
 
492
        basis.lock_read()
 
493
        # TODO: Consider re-evaluating the need for this with CHKInventory
 
494
        # we don't strictly need to mutate an inventory for this
 
495
        # it only makes sense when apply_delta is cheaper than get_inventory()
 
496
        inventory = _mod_inventory.mutable_inventory_from_tree(basis)
 
497
        basis.unlock()
 
498
        inventory.apply_delta(delta)
 
499
        rev_tree = revisiontree.InventoryRevisionTree(self.branch.repository,
 
500
                                             inventory, new_revid)
 
501
        self.set_parent_trees([(new_revid, rev_tree)])
 
502
 
 
503
 
 
504
class MutableTreeHooks(hooks.Hooks):
 
505
    """A dictionary mapping a hook name to a list of callables for mutabletree
 
506
    hooks.
 
507
    """
 
508
 
 
509
    def __init__(self):
 
510
        """Create the default hooks.
 
511
 
 
512
        """
 
513
        hooks.Hooks.__init__(self, "bzrlib.mutabletree", "MutableTree.hooks")
 
514
        self.add_hook('start_commit',
 
515
            "Called before a commit is performed on a tree. The start commit "
 
516
            "hook is able to change the tree before the commit takes place. "
 
517
            "start_commit is called with the bzrlib.mutabletree.MutableTree "
 
518
            "that the commit is being performed on.", (1, 4))
 
519
        self.add_hook('post_commit',
 
520
            "Called after a commit is performed on a tree. The hook is "
 
521
            "called with a bzrlib.mutabletree.PostCommitHookParams object. "
 
522
            "The mutable tree the commit was performed on is available via "
 
523
            "the mutable_tree attribute of that object.", (2, 0))
 
524
 
 
525
 
 
526
# install the default hooks into the MutableTree class.
 
527
MutableTree.hooks = MutableTreeHooks()
 
528
 
 
529
 
 
530
class PostCommitHookParams(object):
 
531
    """Parameters for the post_commit hook.
 
532
 
 
533
    To access the parameters, use the following attributes:
 
534
 
 
535
    * mutable_tree - the MutableTree object
 
536
    """
 
537
 
 
538
    def __init__(self, mutable_tree):
 
539
        """Create the parameters for the post_commit hook."""
 
540
        self.mutable_tree = mutable_tree
 
541
 
 
542
 
 
543
class _SmartAddHelper(object):
 
544
    """Helper for MutableTree.smart_add."""
 
545
 
 
546
    def get_inventory_delta(self):
 
547
        return self._invdelta.values()
 
548
 
 
549
    def _get_ie(self, inv_path):
 
550
        """Retrieve the most up to date inventory entry for a path.
 
551
 
 
552
        :param inv_path: Normalized inventory path
 
553
        :return: Inventory entry (with possibly invalid .children for
 
554
            directories)
 
555
        """
 
556
        entry = self._invdelta.get(inv_path)
 
557
        if entry is not None:
 
558
            return entry[3]
 
559
        # Find a 'best fit' match if the filesystem is case-insensitive
 
560
        inv_path = self.tree._fix_case_of_inventory_path(inv_path)
 
561
        file_id = self.tree.path2id(inv_path)
 
562
        if file_id is not None:
 
563
            return self.tree.iter_entries_by_dir([file_id]).next()[1]
 
564
        return None
 
565
 
 
566
    def _convert_to_directory(self, this_ie, inv_path):
 
567
        """Convert an entry to a directory.
 
568
 
 
569
        :param this_ie: Inventory entry
 
570
        :param inv_path: Normalized path for the inventory entry
 
571
        :return: The new inventory entry
 
572
        """
 
573
        # Same as in _add_one below, if the inventory doesn't
 
574
        # think this is a directory, update the inventory
 
575
        this_ie = _mod_inventory.InventoryDirectory(
 
576
            this_ie.file_id, this_ie.name, this_ie.parent_id)
 
577
        self._invdelta[inv_path] = (inv_path, inv_path, this_ie.file_id,
 
578
            this_ie)
 
579
        return this_ie
 
580
 
 
581
    def _add_one_and_parent(self, parent_ie, path, kind, inv_path):
 
582
        """Add a new entry to the inventory and automatically add unversioned parents.
 
583
 
 
584
        :param parent_ie: Parent inventory entry if known, or None.  If
 
585
            None, the parent is looked up by name and used if present, otherwise it
 
586
            is recursively added.
 
587
        :param path: 
 
588
        :param kind: Kind of new entry (file, directory, etc)
 
589
        :param inv_path:
 
590
        :return: Inventory entry for path and a list of paths which have been added.
 
591
        """
 
592
        # Nothing to do if path is already versioned.
 
593
        # This is safe from infinite recursion because the tree root is
 
594
        # always versioned.
 
595
        inv_dirname = osutils.dirname(inv_path)
 
596
        dirname, basename = osutils.split(path)
 
597
        if parent_ie is None:
 
598
            # slower but does not need parent_ie
 
599
            this_ie = self._get_ie(inv_path)
 
600
            if this_ie is not None:
 
601
                return this_ie
 
602
            # its really not there : add the parent
 
603
            # note that the dirname use leads to some extra str copying etc but as
 
604
            # there are a limited number of dirs we can be nested under, it should
 
605
            # generally find it very fast and not recurse after that.
 
606
            parent_ie = self._add_one_and_parent(None,
 
607
                dirname, 'directory', 
 
608
                inv_dirname)
 
609
        # if the parent exists, but isn't a directory, we have to do the
 
610
        # kind change now -- really the inventory shouldn't pretend to know
 
611
        # the kind of wt files, but it does.
 
612
        if parent_ie.kind != 'directory':
 
613
            # nb: this relies on someone else checking that the path we're using
 
614
            # doesn't contain symlinks.
 
615
            parent_ie = self._convert_to_directory(parent_ie, inv_dirname)
 
616
        file_id = self.action(self.tree.inventory, parent_ie, path, kind)
 
617
        entry = _mod_inventory.make_entry(kind, basename, parent_ie.file_id,
 
618
            file_id=file_id)
 
619
        self._invdelta[inv_path] = (None, inv_path, entry.file_id, entry)
 
620
        self.added.append(inv_path)
 
621
        return entry
 
622
 
 
623
    def _gather_dirs_to_add(self, user_dirs):
 
624
        # only walk the minimal parents needed: we have user_dirs to override
 
625
        # ignores.
 
626
        prev_dir = None
 
627
 
 
628
        is_inside = osutils.is_inside_or_parent_of_any
 
629
        for path, (inv_path, this_ie) in sorted(
 
630
                user_dirs.iteritems(), key=operator.itemgetter(0)):
 
631
            if (prev_dir is None or not is_inside([prev_dir], path)):
 
632
                yield (path, inv_path, this_ie, None)
 
633
            prev_dir = path
 
634
        
 
635
    def __init__(self, tree, action, conflicts_related=None):
 
636
        self.tree = tree
 
637
        if action is None:
 
638
            self.action = add.AddAction()
 
639
        else:
 
640
            self.action = action
 
641
        self._invdelta = {}
 
642
        self.added = []
 
643
        self.ignored = {}
 
644
        if conflicts_related is None:
 
645
            self.conflicts_related = frozenset()
 
646
        else:
 
647
            self.conflicts_related = conflicts_related
 
648
 
 
649
    def add(self, file_list, recurse=True):
 
650
        from bzrlib.inventory import InventoryEntry
 
651
        if not file_list:
 
652
            # no paths supplied: add the entire tree.
 
653
            # FIXME: this assumes we are running in a working tree subdir :-/
 
654
            # -- vila 20100208
 
655
            file_list = [u'.']
 
656
 
 
657
        # expand any symlinks in the directory part, while leaving the
 
658
        # filename alone
 
659
        # only expanding if symlinks are supported avoids windows path bugs
 
660
        if osutils.has_symlinks():
 
661
            file_list = map(osutils.normalizepath, file_list)
 
662
 
 
663
        user_dirs = {}
 
664
        # validate user file paths and convert all paths to tree
 
665
        # relative : it's cheaper to make a tree relative path an abspath
 
666
        # than to convert an abspath to tree relative, and it's cheaper to
 
667
        # perform the canonicalization in bulk.
 
668
        for filepath in osutils.canonical_relpaths(self.tree.basedir, file_list):
 
669
            # validate user parameters. Our recursive code avoids adding new
 
670
            # files that need such validation
 
671
            if self.tree.is_control_filename(filepath):
 
672
                raise errors.ForbiddenControlFileError(filename=filepath)
 
673
 
 
674
            abspath = self.tree.abspath(filepath)
 
675
            kind = osutils.file_kind(abspath)
 
676
            # ensure the named path is added, so that ignore rules in the later
 
677
            # directory walk dont skip it.
 
678
            # we dont have a parent ie known yet.: use the relatively slower
 
679
            # inventory probing method
 
680
            inv_path, _ = osutils.normalized_filename(filepath)
 
681
            this_ie = self._get_ie(inv_path)
 
682
            if this_ie is None:
 
683
                this_ie = self._add_one_and_parent(None, filepath, kind, inv_path)
 
684
            if kind == 'directory':
 
685
                # schedule the dir for scanning
 
686
                user_dirs[filepath] = (inv_path, this_ie)
 
687
 
 
688
        if not recurse:
 
689
            # no need to walk any directories at all.
 
690
            return
 
691
 
 
692
        things_to_add = list(self._gather_dirs_to_add(user_dirs))
 
693
 
 
694
        illegalpath_re = re.compile(r'[\r\n]')
 
695
        for directory, inv_path, this_ie, parent_ie in things_to_add:
 
696
            # directory is tree-relative
 
697
            abspath = self.tree.abspath(directory)
 
698
 
 
699
            # get the contents of this directory.
 
700
 
 
701
            # find the kind of the path being added, and save stat_value
 
702
            # for reuse
 
703
            stat_value = None
 
704
            if this_ie is None:
 
705
                stat_value = osutils.file_stat(abspath)
 
706
                kind = osutils.file_kind_from_stat_mode(stat_value.st_mode)
 
707
            else:
 
708
                kind = this_ie.kind
 
709
            
 
710
            # allow AddAction to skip this file
 
711
            if self.action.skip_file(self.tree,  abspath,  kind,  stat_value):
 
712
                continue
 
713
            if not InventoryEntry.versionable_kind(kind):
 
714
                trace.warning("skipping %s (can't add file of kind '%s')",
 
715
                              abspath, kind)
 
716
                continue
 
717
            if illegalpath_re.search(directory):
 
718
                trace.warning("skipping %r (contains \\n or \\r)" % abspath)
 
719
                continue
 
720
            if directory in self.conflicts_related:
 
721
                # If the file looks like one generated for a conflict, don't
 
722
                # add it.
 
723
                trace.warning(
 
724
                    'skipping %s (generated to help resolve conflicts)',
 
725
                    abspath)
 
726
                continue
 
727
 
 
728
            if kind == 'directory' and directory != '':
 
729
                try:
 
730
                    transport = _mod_transport.get_transport_from_path(abspath)
 
731
                    controldir.ControlDirFormat.find_format(transport)
 
732
                    sub_tree = True
 
733
                except errors.NotBranchError:
 
734
                    sub_tree = False
 
735
                except errors.UnsupportedFormatError:
 
736
                    sub_tree = True
 
737
            else:
 
738
                sub_tree = False
 
739
 
 
740
            if this_ie is not None:
 
741
                pass
 
742
            elif sub_tree:
 
743
                # XXX: This is wrong; people *might* reasonably be trying to
 
744
                # add subtrees as subtrees.  This should probably only be done
 
745
                # in formats which can represent subtrees, and even then
 
746
                # perhaps only when the user asked to add subtrees.  At the
 
747
                # moment you can add them specially through 'join --reference',
 
748
                # which is perhaps reasonable: adding a new reference is a
 
749
                # special operation and can have a special behaviour.  mbp
 
750
                # 20070306
 
751
                trace.warning("skipping nested tree %r", abspath)
 
752
            else:
 
753
                this_ie = self._add_one_and_parent(parent_ie, directory, kind,
 
754
                    inv_path)
 
755
 
 
756
            if kind == 'directory' and not sub_tree:
 
757
                if this_ie.kind != 'directory':
 
758
                    this_ie = self._convert_to_directory(this_ie, inv_path)
 
759
 
 
760
                for subf in sorted(os.listdir(abspath)):
 
761
                    inv_f, _ = osutils.normalized_filename(subf)
 
762
                    # here we could use TreeDirectory rather than
 
763
                    # string concatenation.
 
764
                    subp = osutils.pathjoin(directory, subf)
 
765
                    # TODO: is_control_filename is very slow. Make it faster.
 
766
                    # TreeDirectory.is_control_filename could also make this
 
767
                    # faster - its impossible for a non root dir to have a
 
768
                    # control file.
 
769
                    if self.tree.is_control_filename(subp):
 
770
                        trace.mutter("skip control directory %r", subp)
 
771
                        continue
 
772
                    sub_invp = osutils.pathjoin(inv_path, inv_f)
 
773
                    entry = self._invdelta.get(sub_invp)
 
774
                    if entry is not None:
 
775
                        sub_ie = entry[3]
 
776
                    else:
 
777
                        sub_ie = this_ie.children.get(inv_f)
 
778
                    if sub_ie is not None:
 
779
                        # recurse into this already versioned subdir.
 
780
                        things_to_add.append((subp, sub_invp, sub_ie, this_ie))
 
781
                    else:
 
782
                        # user selection overrides ignores
 
783
                        # ignore while selecting files - if we globbed in the
 
784
                        # outer loop we would ignore user files.
 
785
                        ignore_glob = self.tree.is_ignored(subp)
 
786
                        if ignore_glob is not None:
 
787
                            self.ignored.setdefault(ignore_glob, []).append(subp)
 
788
                        else:
 
789
                            things_to_add.append((subp, sub_invp, None, this_ie))