/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to breezy/mutabletree.py

  • Committer: Jelmer Vernooij
  • Date: 2017-06-10 12:50:32 UTC
  • mfrom: (6679 work)
  • mto: This revision was merged to the branch mainline in revision 6690.
  • Revision ID: jelmer@jelmer.uk-20170610125032-xb5rd5fjskjallos
Merge trunk.

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2006-2011 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
"""MutableTree object.
 
18
 
 
19
See MutableTree for more details.
 
20
"""
 
21
 
 
22
from __future__ import absolute_import
 
23
 
 
24
from .lazy_import import lazy_import
 
25
lazy_import(globals(), """
 
26
import operator
 
27
import os
 
28
import re
 
29
 
 
30
from breezy import (
 
31
    add,
 
32
    controldir,
 
33
    errors,
 
34
    hooks,
 
35
    osutils,
 
36
    revisiontree,
 
37
    trace,
 
38
    transport as _mod_transport,
 
39
    tree,
 
40
    )
 
41
 
 
42
from breezy.bzr import (
 
43
    inventory as _mod_inventory,
 
44
    )
 
45
""")
 
46
 
 
47
from .decorators import needs_read_lock, needs_write_lock
 
48
from .sixish import (
 
49
    viewvalues,
 
50
    )
 
51
 
 
52
 
 
53
def needs_tree_write_lock(unbound):
 
54
    """Decorate unbound to take out and release a tree_write lock."""
 
55
    def tree_write_locked(self, *args, **kwargs):
 
56
        self.lock_tree_write()
 
57
        try:
 
58
            return unbound(self, *args, **kwargs)
 
59
        finally:
 
60
            self.unlock()
 
61
    tree_write_locked.__doc__ = unbound.__doc__
 
62
    tree_write_locked.__name__ = unbound.__name__
 
63
    return tree_write_locked
 
64
 
 
65
 
 
66
class MutableTree(tree.Tree):
 
67
    """A MutableTree is a specialisation of Tree which is able to be mutated.
 
68
 
 
69
    Generally speaking these mutations are only possible within a lock_write
 
70
    context, and will revert if the lock is broken abnormally - but this cannot
 
71
    be guaranteed - depending on the exact implementation of the mutable state.
 
72
 
 
73
    The most common form of Mutable Tree is WorkingTree, see breezy.workingtree.
 
74
    For tests we also have MemoryTree which is a MutableTree whose contents are
 
75
    entirely in memory.
 
76
 
 
77
    For now, we are not treating MutableTree as an interface to provide
 
78
    conformance tests for - rather we are testing MemoryTree specifically, and
 
79
    interface testing implementations of WorkingTree.
 
80
 
 
81
    A mutable tree always has an associated Branch and ControlDir object - the
 
82
    branch and bzrdir attributes.
 
83
    """
 
84
    def __init__(self, *args, **kw):
 
85
        super(MutableTree, self).__init__(*args, **kw)
 
86
        # Is this tree on a case-insensitive or case-preserving file-system?
 
87
        # Sub-classes may initialize to False if they detect they are being
 
88
        # used on media which doesn't differentiate the case of names.
 
89
        self.case_sensitive = True
 
90
 
 
91
    def is_control_filename(self, filename):
 
92
        """True if filename is the name of a control file in this tree.
 
93
 
 
94
        :param filename: A filename within the tree. This is a relative path
 
95
            from the root of this tree.
 
96
 
 
97
        This is true IF and ONLY IF the filename is part of the meta data
 
98
        that bzr controls in this tree. I.E. a random .bzr directory placed
 
99
        on disk will not be a control file for this tree.
 
100
        """
 
101
        raise NotImplementedError(self.is_control_filename)
 
102
 
 
103
    @needs_tree_write_lock
 
104
    def add(self, files, ids=None, kinds=None):
 
105
        """Add paths to the set of versioned paths.
 
106
 
 
107
        Note that the command line normally calls smart_add instead,
 
108
        which can automatically recurse.
 
109
 
 
110
        This adds the files to the inventory, so that they will be
 
111
        recorded by the next commit.
 
112
 
 
113
        :param files: List of paths to add, relative to the base of the tree.
 
114
        :param ids: If set, use these instead of automatically generated ids.
 
115
            Must be the same length as the list of files, but may
 
116
            contain None for ids that are to be autogenerated.
 
117
        :param kinds: Optional parameter to specify the kinds to be used for
 
118
            each file.
 
119
 
 
120
        TODO: Perhaps callback with the ids and paths as they're added.
 
121
        """
 
122
        if isinstance(files, basestring):
 
123
            # XXX: Passing a single string is inconsistent and should be
 
124
            # deprecated.
 
125
            if not (ids is None or isinstance(ids, basestring)):
 
126
                raise AssertionError()
 
127
            if not (kinds is None or isinstance(kinds, basestring)):
 
128
                raise AssertionError()
 
129
            files = [files]
 
130
            if ids is not None:
 
131
                ids = [ids]
 
132
            if kinds is not None:
 
133
                kinds = [kinds]
 
134
 
 
135
        files = [path.strip('/') for path in files]
 
136
 
 
137
        if ids is None:
 
138
            ids = [None] * len(files)
 
139
        else:
 
140
            if not (len(ids) == len(files)):
 
141
                raise AssertionError()
 
142
        if kinds is None:
 
143
            kinds = [None] * len(files)
 
144
        elif not len(kinds) == len(files):
 
145
            raise AssertionError()
 
146
        for f in files:
 
147
            # generic constraint checks:
 
148
            if self.is_control_filename(f):
 
149
                raise errors.ForbiddenControlFileError(filename=f)
 
150
            fp = osutils.splitpath(f)
 
151
        # fill out file kinds for all files [not needed when we stop
 
152
        # caring about the instantaneous file kind within a uncommmitted tree
 
153
        #
 
154
        self._gather_kinds(files, kinds)
 
155
        self._add(files, ids, kinds)
 
156
 
 
157
    def add_reference(self, sub_tree):
 
158
        """Add a TreeReference to the tree, pointing at sub_tree"""
 
159
        raise errors.UnsupportedOperation(self.add_reference, self)
 
160
 
 
161
    def _add_reference(self, sub_tree):
 
162
        """Standard add_reference implementation, for use by subclasses"""
 
163
        try:
 
164
            sub_tree_path = self.relpath(sub_tree.basedir)
 
165
        except errors.PathNotChild:
 
166
            raise errors.BadReferenceTarget(self, sub_tree,
 
167
                                            'Target not inside tree.')
 
168
        sub_tree_id = sub_tree.get_root_id()
 
169
        if sub_tree_id == self.get_root_id():
 
170
            raise errors.BadReferenceTarget(self, sub_tree,
 
171
                                     'Trees have the same root id.')
 
172
        if self.has_id(sub_tree_id):
 
173
            raise errors.BadReferenceTarget(self, sub_tree,
 
174
                                            'Root id already present in tree')
 
175
        self._add([sub_tree_path], [sub_tree_id], ['tree-reference'])
 
176
 
 
177
    def _add(self, files, ids, kinds):
 
178
        """Helper function for add - updates the inventory.
 
179
 
 
180
        :param files: sequence of pathnames, relative to the tree root
 
181
        :param ids: sequence of suggested ids for the files (may be None)
 
182
        :param kinds: sequence of  inventory kinds of the files (i.e. may
 
183
            contain "tree-reference")
 
184
        """
 
185
        raise NotImplementedError(self._add)
 
186
 
 
187
    def apply_inventory_delta(self, changes):
 
188
        """Apply changes to the inventory as an atomic operation.
 
189
 
 
190
        :param changes: An inventory delta to apply to the working tree's
 
191
            inventory.
 
192
        :return None:
 
193
        :seealso Inventory.apply_delta: For details on the changes parameter.
 
194
        """
 
195
        raise NotImplementedError(self.apply_inventory_delta)
 
196
 
 
197
    @needs_write_lock
 
198
    def commit(self, message=None, revprops=None, *args, **kwargs):
 
199
        # avoid circular imports
 
200
        from breezy import commit
 
201
        possible_master_transports=[]
 
202
        revprops = commit.Commit.update_revprops(
 
203
                revprops,
 
204
                self.branch,
 
205
                kwargs.pop('authors', None),
 
206
                kwargs.get('local', False),
 
207
                possible_master_transports)
 
208
        # args for wt.commit start at message from the Commit.commit method,
 
209
        args = (message, ) + args
 
210
        for hook in MutableTree.hooks['start_commit']:
 
211
            hook(self)
 
212
        committed_id = commit.Commit().commit(working_tree=self,
 
213
            revprops=revprops,
 
214
            possible_master_transports=possible_master_transports,
 
215
            *args, **kwargs)
 
216
        post_hook_params = PostCommitHookParams(self)
 
217
        for hook in MutableTree.hooks['post_commit']:
 
218
            hook(post_hook_params)
 
219
        return committed_id
 
220
 
 
221
    def _gather_kinds(self, files, kinds):
 
222
        """Helper function for add - sets the entries of kinds."""
 
223
        raise NotImplementedError(self._gather_kinds)
 
224
 
 
225
    @needs_read_lock
 
226
    def has_changes(self, _from_tree=None):
 
227
        """Quickly check that the tree contains at least one commitable change.
 
228
 
 
229
        :param _from_tree: tree to compare against to find changes (default to
 
230
            the basis tree and is intended to be used by tests).
 
231
 
 
232
        :return: True if a change is found. False otherwise
 
233
        """
 
234
        # Check pending merges
 
235
        if len(self.get_parent_ids()) > 1:
 
236
            return True
 
237
        if _from_tree is None:
 
238
            _from_tree = self.basis_tree()
 
239
        changes = self.iter_changes(_from_tree)
 
240
        try:
 
241
            change = next(changes)
 
242
            # Exclude root (talk about black magic... --vila 20090629)
 
243
            if change[4] == (None, None):
 
244
                change = next(changes)
 
245
            return True
 
246
        except StopIteration:
 
247
            # No changes
 
248
            return False
 
249
 
 
250
    @needs_read_lock
 
251
    def check_changed_or_out_of_date(self, strict, opt_name,
 
252
                                     more_error, more_warning):
 
253
        """Check the tree for uncommitted changes and branch synchronization.
 
254
 
 
255
        If strict is None and not set in the config files, a warning is issued.
 
256
        If strict is True, an error is raised.
 
257
        If strict is False, no checks are done and no warning is issued.
 
258
 
 
259
        :param strict: True, False or None, searched in branch config if None.
 
260
 
 
261
        :param opt_name: strict option name to search in config file.
 
262
 
 
263
        :param more_error: Details about how to avoid the check.
 
264
 
 
265
        :param more_warning: Details about what is happening.
 
266
        """
 
267
        if strict is None:
 
268
            strict = self.branch.get_config_stack().get(opt_name)
 
269
        if strict is not False:
 
270
            err_class = None
 
271
            if (self.has_changes()):
 
272
                err_class = errors.UncommittedChanges
 
273
            elif self.last_revision() != self.branch.last_revision():
 
274
                # The tree has lost sync with its branch, there is little
 
275
                # chance that the user is aware of it but he can still force
 
276
                # the action with --no-strict
 
277
                err_class = errors.OutOfDateTree
 
278
            if err_class is not None:
 
279
                if strict is None:
 
280
                    err = err_class(self, more=more_warning)
 
281
                    # We don't want to interrupt the user if he expressed no
 
282
                    # preference about strict.
 
283
                    trace.warning('%s', err._format())
 
284
                else:
 
285
                    err = err_class(self, more=more_error)
 
286
                    raise err
 
287
 
 
288
    @needs_read_lock
 
289
    def last_revision(self):
 
290
        """Return the revision id of the last commit performed in this tree.
 
291
 
 
292
        In early tree formats the result of last_revision is the same as the
 
293
        branch last_revision, but that is no longer the case for modern tree
 
294
        formats.
 
295
 
 
296
        last_revision returns the left most parent id, or None if there are no
 
297
        parents.
 
298
 
 
299
        last_revision was deprecated as of 0.11. Please use get_parent_ids
 
300
        instead.
 
301
        """
 
302
        raise NotImplementedError(self.last_revision)
 
303
 
 
304
    def lock_tree_write(self):
 
305
        """Lock the working tree for write, and the branch for read.
 
306
 
 
307
        This is useful for operations which only need to mutate the working
 
308
        tree. Taking out branch write locks is a relatively expensive process
 
309
        and may fail if the branch is on read only media. So branch write locks
 
310
        should only be taken out when we are modifying branch data - such as in
 
311
        operations like commit, pull, uncommit and update.
 
312
        """
 
313
        raise NotImplementedError(self.lock_tree_write)
 
314
 
 
315
    def lock_write(self):
 
316
        """Lock the tree and its branch. This allows mutating calls to be made.
 
317
 
 
318
        Some mutating methods will take out implicit write locks, but in
 
319
        general you should always obtain a write lock before calling mutating
 
320
        methods on a tree.
 
321
        """
 
322
        raise NotImplementedError(self.lock_write)
 
323
 
 
324
    @needs_write_lock
 
325
    def mkdir(self, path, file_id=None):
 
326
        """Create a directory in the tree. if file_id is None, one is assigned.
 
327
 
 
328
        :param path: A unicode file path.
 
329
        :param file_id: An optional file-id.
 
330
        :return: the file id of the new directory.
 
331
        """
 
332
        raise NotImplementedError(self.mkdir)
 
333
 
 
334
    def _observed_sha1(self, file_id, path, sha_and_stat):
 
335
        """Tell the tree we have observed a paths sha1.
 
336
 
 
337
        The intent of this function is to allow trees that have a hashcache to
 
338
        update the hashcache during commit. If the observed file is too new
 
339
        (based on the stat_value) to be safely hash-cached the tree will ignore
 
340
        it.
 
341
 
 
342
        The default implementation does nothing.
 
343
 
 
344
        :param file_id: The file id
 
345
        :param path: The file path
 
346
        :param sha_and_stat: The sha 1 and stat result observed.
 
347
        :return: None
 
348
        """
 
349
 
 
350
    @needs_write_lock
 
351
    def put_file_bytes_non_atomic(self, file_id, bytes):
 
352
        """Update the content of a file in the tree.
 
353
 
 
354
        Note that the file is written in-place rather than being
 
355
        written to a temporary location and renamed. As a consequence,
 
356
        readers can potentially see the file half-written.
 
357
 
 
358
        :param file_id: file-id of the file
 
359
        :param bytes: the new file contents
 
360
        """
 
361
        raise NotImplementedError(self.put_file_bytes_non_atomic)
 
362
 
 
363
    def set_parent_ids(self, revision_ids, allow_leftmost_as_ghost=False):
 
364
        """Set the parents ids of the working tree.
 
365
 
 
366
        :param revision_ids: A list of revision_ids.
 
367
        """
 
368
        raise NotImplementedError(self.set_parent_ids)
 
369
 
 
370
    def set_parent_trees(self, parents_list, allow_leftmost_as_ghost=False):
 
371
        """Set the parents of the working tree.
 
372
 
 
373
        :param parents_list: A list of (revision_id, tree) tuples.
 
374
            If tree is None, then that element is treated as an unreachable
 
375
            parent tree - i.e. a ghost.
 
376
        """
 
377
        raise NotImplementedError(self.set_parent_trees)
 
378
 
 
379
    def smart_add(self, file_list, recurse=True, action=None, save=True):
 
380
        """Version file_list, optionally recursing into directories.
 
381
 
 
382
        This is designed more towards DWIM for humans than API clarity.
 
383
        For the specific behaviour see the help for cmd_add().
 
384
 
 
385
        :param file_list: List of zero or more paths.  *NB: these are 
 
386
            interpreted relative to the process cwd, not relative to the 
 
387
            tree.*  (Add and most other tree methods use tree-relative
 
388
            paths.)
 
389
        :param action: A reporter to be called with the inventory, parent_ie,
 
390
            path and kind of the path being added. It may return a file_id if
 
391
            a specific one should be used.
 
392
        :param save: Save the inventory after completing the adds. If False
 
393
            this provides dry-run functionality by doing the add and not saving
 
394
            the inventory.
 
395
        :return: A tuple - files_added, ignored_files. files_added is the count
 
396
            of added files, and ignored_files is a dict mapping files that were
 
397
            ignored to the rule that caused them to be ignored.
 
398
        """
 
399
        raise NotImplementedError(self.smart_add)
 
400
 
 
401
 
 
402
class MutableInventoryTree(MutableTree, tree.InventoryTree):
 
403
 
 
404
    @needs_tree_write_lock
 
405
    def apply_inventory_delta(self, changes):
 
406
        """Apply changes to the inventory as an atomic operation.
 
407
 
 
408
        :param changes: An inventory delta to apply to the working tree's
 
409
            inventory.
 
410
        :return None:
 
411
        :seealso Inventory.apply_delta: For details on the changes parameter.
 
412
        """
 
413
        self.flush()
 
414
        inv = self.root_inventory
 
415
        inv.apply_delta(changes)
 
416
        self._write_inventory(inv)
 
417
 
 
418
    def _fix_case_of_inventory_path(self, path):
 
419
        """If our tree isn't case sensitive, return the canonical path"""
 
420
        if not self.case_sensitive:
 
421
            path = self.get_canonical_inventory_path(path)
 
422
        return path
 
423
 
 
424
    @needs_tree_write_lock
 
425
    def smart_add(self, file_list, recurse=True, action=None, save=True):
 
426
        """Version file_list, optionally recursing into directories.
 
427
 
 
428
        This is designed more towards DWIM for humans than API clarity.
 
429
        For the specific behaviour see the help for cmd_add().
 
430
 
 
431
        :param file_list: List of zero or more paths.  *NB: these are 
 
432
            interpreted relative to the process cwd, not relative to the 
 
433
            tree.*  (Add and most other tree methods use tree-relative
 
434
            paths.)
 
435
        :param action: A reporter to be called with the inventory, parent_ie,
 
436
            path and kind of the path being added. It may return a file_id if
 
437
            a specific one should be used.
 
438
        :param save: Save the inventory after completing the adds. If False
 
439
            this provides dry-run functionality by doing the add and not saving
 
440
            the inventory.
 
441
        :return: A tuple - files_added, ignored_files. files_added is the count
 
442
            of added files, and ignored_files is a dict mapping files that were
 
443
            ignored to the rule that caused them to be ignored.
 
444
        """
 
445
        # Not all mutable trees can have conflicts
 
446
        if getattr(self, 'conflicts', None) is not None:
 
447
            # Collect all related files without checking whether they exist or
 
448
            # are versioned. It's cheaper to do that once for all conflicts
 
449
            # than trying to find the relevant conflict for each added file.
 
450
            conflicts_related = set()
 
451
            for c in self.conflicts():
 
452
                conflicts_related.update(c.associated_filenames())
 
453
        else:
 
454
            conflicts_related = None
 
455
        adder = _SmartAddHelper(self, action, conflicts_related)
 
456
        adder.add(file_list, recurse=recurse)
 
457
        if save:
 
458
            invdelta = adder.get_inventory_delta()
 
459
            self.apply_inventory_delta(invdelta)
 
460
        return adder.added, adder.ignored
 
461
 
 
462
    def update_basis_by_delta(self, new_revid, delta):
 
463
        """Update the parents of this tree after a commit.
 
464
 
 
465
        This gives the tree one parent, with revision id new_revid. The
 
466
        inventory delta is applied to the current basis tree to generate the
 
467
        inventory for the parent new_revid, and all other parent trees are
 
468
        discarded.
 
469
 
 
470
        All the changes in the delta should be changes synchronising the basis
 
471
        tree with some or all of the working tree, with a change to a directory
 
472
        requiring that its contents have been recursively included. That is,
 
473
        this is not a general purpose tree modification routine, but a helper
 
474
        for commit which is not required to handle situations that do not arise
 
475
        outside of commit.
 
476
 
 
477
        See the inventory developers documentation for the theory behind
 
478
        inventory deltas.
 
479
 
 
480
        :param new_revid: The new revision id for the trees parent.
 
481
        :param delta: An inventory delta (see apply_inventory_delta) describing
 
482
            the changes from the current left most parent revision to new_revid.
 
483
        """
 
484
        # if the tree is updated by a pull to the branch, as happens in
 
485
        # WorkingTree2, when there was no separation between branch and tree,
 
486
        # then just clear merges, efficiency is not a concern for now as this
 
487
        # is legacy environments only, and they are slow regardless.
 
488
        if self.last_revision() == new_revid:
 
489
            self.set_parent_ids([new_revid])
 
490
            return
 
491
        # generic implementation based on Inventory manipulation. See
 
492
        # WorkingTree classes for optimised versions for specific format trees.
 
493
        basis = self.basis_tree()
 
494
        basis.lock_read()
 
495
        # TODO: Consider re-evaluating the need for this with CHKInventory
 
496
        # we don't strictly need to mutate an inventory for this
 
497
        # it only makes sense when apply_delta is cheaper than get_inventory()
 
498
        inventory = _mod_inventory.mutable_inventory_from_tree(basis)
 
499
        basis.unlock()
 
500
        inventory.apply_delta(delta)
 
501
        rev_tree = revisiontree.InventoryRevisionTree(self.branch.repository,
 
502
                                             inventory, new_revid)
 
503
        self.set_parent_trees([(new_revid, rev_tree)])
 
504
 
 
505
 
 
506
class MutableTreeHooks(hooks.Hooks):
 
507
    """A dictionary mapping a hook name to a list of callables for mutabletree
 
508
    hooks.
 
509
    """
 
510
 
 
511
    def __init__(self):
 
512
        """Create the default hooks.
 
513
 
 
514
        """
 
515
        hooks.Hooks.__init__(self, "breezy.mutabletree", "MutableTree.hooks")
 
516
        self.add_hook('start_commit',
 
517
            "Called before a commit is performed on a tree. The start commit "
 
518
            "hook is able to change the tree before the commit takes place. "
 
519
            "start_commit is called with the breezy.mutabletree.MutableTree "
 
520
            "that the commit is being performed on.", (1, 4))
 
521
        self.add_hook('post_commit',
 
522
            "Called after a commit is performed on a tree. The hook is "
 
523
            "called with a breezy.mutabletree.PostCommitHookParams object. "
 
524
            "The mutable tree the commit was performed on is available via "
 
525
            "the mutable_tree attribute of that object.", (2, 0))
 
526
        self.add_hook('pre_transform',
 
527
            "Called before a tree transform on this tree. The hook is called "
 
528
            "with the tree that is being transformed and the transform.",
 
529
            (2, 5))
 
530
        self.add_hook('post_build_tree',
 
531
            "Called after a completely new tree is built. The hook is "
 
532
            "called with the tree as its only argument.", (2, 5))
 
533
        self.add_hook('post_transform',
 
534
            "Called after a tree transform has been performed on a tree. "
 
535
            "The hook is called with the tree that is being transformed and "
 
536
            "the transform.",
 
537
            (2, 5))
 
538
 
 
539
# install the default hooks into the MutableTree class.
 
540
MutableTree.hooks = MutableTreeHooks()
 
541
 
 
542
 
 
543
class PostCommitHookParams(object):
 
544
    """Parameters for the post_commit hook.
 
545
 
 
546
    To access the parameters, use the following attributes:
 
547
 
 
548
    * mutable_tree - the MutableTree object
 
549
    """
 
550
 
 
551
    def __init__(self, mutable_tree):
 
552
        """Create the parameters for the post_commit hook."""
 
553
        self.mutable_tree = mutable_tree
 
554
 
 
555
 
 
556
class _SmartAddHelper(object):
 
557
    """Helper for MutableTree.smart_add."""
 
558
 
 
559
    def get_inventory_delta(self):
 
560
        # GZ 2016-06-05: Returning view would probably be fine but currently
 
561
        # Inventory.apply_delta is documented as requiring a list of changes.
 
562
        return list(viewvalues(self._invdelta))
 
563
 
 
564
    def _get_ie(self, inv_path):
 
565
        """Retrieve the most up to date inventory entry for a path.
 
566
 
 
567
        :param inv_path: Normalized inventory path
 
568
        :return: Inventory entry (with possibly invalid .children for
 
569
            directories)
 
570
        """
 
571
        entry = self._invdelta.get(inv_path)
 
572
        if entry is not None:
 
573
            return entry[3]
 
574
        # Find a 'best fit' match if the filesystem is case-insensitive
 
575
        inv_path = self.tree._fix_case_of_inventory_path(inv_path)
 
576
        file_id = self.tree.path2id(inv_path)
 
577
        if file_id is not None:
 
578
            return self.tree.iter_entries_by_dir([file_id]).next()[1]
 
579
        return None
 
580
 
 
581
    def _convert_to_directory(self, this_ie, inv_path):
 
582
        """Convert an entry to a directory.
 
583
 
 
584
        :param this_ie: Inventory entry
 
585
        :param inv_path: Normalized path for the inventory entry
 
586
        :return: The new inventory entry
 
587
        """
 
588
        # Same as in _add_one below, if the inventory doesn't
 
589
        # think this is a directory, update the inventory
 
590
        this_ie = _mod_inventory.InventoryDirectory(
 
591
            this_ie.file_id, this_ie.name, this_ie.parent_id)
 
592
        self._invdelta[inv_path] = (inv_path, inv_path, this_ie.file_id,
 
593
            this_ie)
 
594
        return this_ie
 
595
 
 
596
    def _add_one_and_parent(self, parent_ie, path, kind, inv_path):
 
597
        """Add a new entry to the inventory and automatically add unversioned parents.
 
598
 
 
599
        :param parent_ie: Parent inventory entry if known, or None.  If
 
600
            None, the parent is looked up by name and used if present, otherwise it
 
601
            is recursively added.
 
602
        :param path: 
 
603
        :param kind: Kind of new entry (file, directory, etc)
 
604
        :param inv_path:
 
605
        :return: Inventory entry for path and a list of paths which have been added.
 
606
        """
 
607
        # Nothing to do if path is already versioned.
 
608
        # This is safe from infinite recursion because the tree root is
 
609
        # always versioned.
 
610
        inv_dirname = osutils.dirname(inv_path)
 
611
        dirname, basename = osutils.split(path)
 
612
        if parent_ie is None:
 
613
            # slower but does not need parent_ie
 
614
            this_ie = self._get_ie(inv_path)
 
615
            if this_ie is not None:
 
616
                return this_ie
 
617
            # its really not there : add the parent
 
618
            # note that the dirname use leads to some extra str copying etc but as
 
619
            # there are a limited number of dirs we can be nested under, it should
 
620
            # generally find it very fast and not recurse after that.
 
621
            parent_ie = self._add_one_and_parent(None,
 
622
                dirname, 'directory', 
 
623
                inv_dirname)
 
624
        # if the parent exists, but isn't a directory, we have to do the
 
625
        # kind change now -- really the inventory shouldn't pretend to know
 
626
        # the kind of wt files, but it does.
 
627
        if parent_ie.kind != 'directory':
 
628
            # nb: this relies on someone else checking that the path we're using
 
629
            # doesn't contain symlinks.
 
630
            parent_ie = self._convert_to_directory(parent_ie, inv_dirname)
 
631
        file_id = self.action(self.tree, parent_ie, path, kind)
 
632
        entry = _mod_inventory.make_entry(kind, basename, parent_ie.file_id,
 
633
            file_id=file_id)
 
634
        self._invdelta[inv_path] = (None, inv_path, entry.file_id, entry)
 
635
        self.added.append(inv_path)
 
636
        return entry
 
637
 
 
638
    def _gather_dirs_to_add(self, user_dirs):
 
639
        # only walk the minimal parents needed: we have user_dirs to override
 
640
        # ignores.
 
641
        prev_dir = None
 
642
 
 
643
        is_inside = osutils.is_inside_or_parent_of_any
 
644
        for path in sorted(user_dirs):
 
645
            if (prev_dir is None or not is_inside([prev_dir], path)):
 
646
                inv_path, this_ie = user_dirs[path]
 
647
                yield (path, inv_path, this_ie, None)
 
648
            prev_dir = path
 
649
 
 
650
    def __init__(self, tree, action, conflicts_related=None):
 
651
        self.tree = tree
 
652
        if action is None:
 
653
            self.action = add.AddAction()
 
654
        else:
 
655
            self.action = action
 
656
        self._invdelta = {}
 
657
        self.added = []
 
658
        self.ignored = {}
 
659
        if conflicts_related is None:
 
660
            self.conflicts_related = frozenset()
 
661
        else:
 
662
            self.conflicts_related = conflicts_related
 
663
 
 
664
    def add(self, file_list, recurse=True):
 
665
        from breezy.bzr.inventory import InventoryEntry
 
666
        if not file_list:
 
667
            # no paths supplied: add the entire tree.
 
668
            # FIXME: this assumes we are running in a working tree subdir :-/
 
669
            # -- vila 20100208
 
670
            file_list = [u'.']
 
671
 
 
672
        # expand any symlinks in the directory part, while leaving the
 
673
        # filename alone
 
674
        # only expanding if symlinks are supported avoids windows path bugs
 
675
        if osutils.has_symlinks():
 
676
            file_list = list(map(osutils.normalizepath, file_list))
 
677
 
 
678
        user_dirs = {}
 
679
        # validate user file paths and convert all paths to tree
 
680
        # relative : it's cheaper to make a tree relative path an abspath
 
681
        # than to convert an abspath to tree relative, and it's cheaper to
 
682
        # perform the canonicalization in bulk.
 
683
        for filepath in osutils.canonical_relpaths(self.tree.basedir, file_list):
 
684
            # validate user parameters. Our recursive code avoids adding new
 
685
            # files that need such validation
 
686
            if self.tree.is_control_filename(filepath):
 
687
                raise errors.ForbiddenControlFileError(filename=filepath)
 
688
 
 
689
            abspath = self.tree.abspath(filepath)
 
690
            kind = osutils.file_kind(abspath)
 
691
            # ensure the named path is added, so that ignore rules in the later
 
692
            # directory walk dont skip it.
 
693
            # we dont have a parent ie known yet.: use the relatively slower
 
694
            # inventory probing method
 
695
            inv_path, _ = osutils.normalized_filename(filepath)
 
696
            this_ie = self._get_ie(inv_path)
 
697
            if this_ie is None:
 
698
                this_ie = self._add_one_and_parent(None, filepath, kind, inv_path)
 
699
            if kind == 'directory':
 
700
                # schedule the dir for scanning
 
701
                user_dirs[filepath] = (inv_path, this_ie)
 
702
 
 
703
        if not recurse:
 
704
            # no need to walk any directories at all.
 
705
            return
 
706
 
 
707
        things_to_add = list(self._gather_dirs_to_add(user_dirs))
 
708
 
 
709
        illegalpath_re = re.compile(r'[\r\n]')
 
710
        for directory, inv_path, this_ie, parent_ie in things_to_add:
 
711
            # directory is tree-relative
 
712
            abspath = self.tree.abspath(directory)
 
713
 
 
714
            # get the contents of this directory.
 
715
 
 
716
            # find the kind of the path being added, and save stat_value
 
717
            # for reuse
 
718
            stat_value = None
 
719
            if this_ie is None:
 
720
                stat_value = osutils.file_stat(abspath)
 
721
                kind = osutils.file_kind_from_stat_mode(stat_value.st_mode)
 
722
            else:
 
723
                kind = this_ie.kind
 
724
            
 
725
            # allow AddAction to skip this file
 
726
            if self.action.skip_file(self.tree,  abspath,  kind,  stat_value):
 
727
                continue
 
728
            if not InventoryEntry.versionable_kind(kind):
 
729
                trace.warning("skipping %s (can't add file of kind '%s')",
 
730
                              abspath, kind)
 
731
                continue
 
732
            if illegalpath_re.search(directory):
 
733
                trace.warning("skipping %r (contains \\n or \\r)" % abspath)
 
734
                continue
 
735
            if directory in self.conflicts_related:
 
736
                # If the file looks like one generated for a conflict, don't
 
737
                # add it.
 
738
                trace.warning(
 
739
                    'skipping %s (generated to help resolve conflicts)',
 
740
                    abspath)
 
741
                continue
 
742
 
 
743
            if kind == 'directory' and directory != '':
 
744
                try:
 
745
                    transport = _mod_transport.get_transport_from_path(abspath)
 
746
                    controldir.ControlDirFormat.find_format(transport)
 
747
                    sub_tree = True
 
748
                except errors.NotBranchError:
 
749
                    sub_tree = False
 
750
                except errors.UnsupportedFormatError:
 
751
                    sub_tree = True
 
752
            else:
 
753
                sub_tree = False
 
754
 
 
755
            if this_ie is not None:
 
756
                pass
 
757
            elif sub_tree:
 
758
                # XXX: This is wrong; people *might* reasonably be trying to
 
759
                # add subtrees as subtrees.  This should probably only be done
 
760
                # in formats which can represent subtrees, and even then
 
761
                # perhaps only when the user asked to add subtrees.  At the
 
762
                # moment you can add them specially through 'join --reference',
 
763
                # which is perhaps reasonable: adding a new reference is a
 
764
                # special operation and can have a special behaviour.  mbp
 
765
                # 20070306
 
766
                trace.warning("skipping nested tree %r", abspath)
 
767
            else:
 
768
                this_ie = self._add_one_and_parent(parent_ie, directory, kind,
 
769
                    inv_path)
 
770
 
 
771
            if kind == 'directory' and not sub_tree:
 
772
                if this_ie.kind != 'directory':
 
773
                    this_ie = self._convert_to_directory(this_ie, inv_path)
 
774
 
 
775
                for subf in sorted(os.listdir(abspath)):
 
776
                    inv_f, _ = osutils.normalized_filename(subf)
 
777
                    # here we could use TreeDirectory rather than
 
778
                    # string concatenation.
 
779
                    subp = osutils.pathjoin(directory, subf)
 
780
                    # TODO: is_control_filename is very slow. Make it faster.
 
781
                    # TreeDirectory.is_control_filename could also make this
 
782
                    # faster - its impossible for a non root dir to have a
 
783
                    # control file.
 
784
                    if self.tree.is_control_filename(subp):
 
785
                        trace.mutter("skip control directory %r", subp)
 
786
                        continue
 
787
                    sub_invp = osutils.pathjoin(inv_path, inv_f)
 
788
                    entry = self._invdelta.get(sub_invp)
 
789
                    if entry is not None:
 
790
                        sub_ie = entry[3]
 
791
                    else:
 
792
                        sub_ie = this_ie.children.get(inv_f)
 
793
                    if sub_ie is not None:
 
794
                        # recurse into this already versioned subdir.
 
795
                        things_to_add.append((subp, sub_invp, sub_ie, this_ie))
 
796
                    else:
 
797
                        # user selection overrides ignores
 
798
                        # ignore while selecting files - if we globbed in the
 
799
                        # outer loop we would ignore user files.
 
800
                        ignore_glob = self.tree.is_ignored(subp)
 
801
                        if ignore_glob is not None:
 
802
                            self.ignored.setdefault(ignore_glob, []).append(subp)
 
803
                        else:
 
804
                            things_to_add.append((subp, sub_invp, None, this_ie))