/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to breezy/mutabletree.py

  • Committer: Martin
  • Date: 2017-06-11 01:12:29 UTC
  • mto: This revision was merged to the branch mainline in revision 6685.
  • Revision ID: gzlist@googlemail.com-20170611011229-somdjbalby8m7vlw
Make _chunks_to_lines pass for Python 3

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2006-2010 Canonical Ltd
 
1
# Copyright (C) 2006-2011 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
19
19
See MutableTree for more details.
20
20
"""
21
21
 
 
22
from __future__ import absolute_import
22
23
 
23
 
from bzrlib.lazy_import import lazy_import
24
 
lazy_import(globals(), """
 
24
import operator
25
25
import os
26
 
import re
27
 
 
28
 
from bzrlib import (
29
 
    add,
30
 
    bzrdir,
 
26
from . import (
31
27
    errors,
32
28
    hooks,
33
29
    osutils,
34
 
    revisiontree,
35
 
    symbol_versioning,
36
30
    trace,
37
31
    tree,
38
32
    )
39
 
""")
40
33
 
41
 
from bzrlib.decorators import needs_read_lock, needs_write_lock
 
34
from .decorators import needs_read_lock, needs_write_lock
 
35
from .sixish import (
 
36
    viewvalues,
 
37
    )
42
38
 
43
39
 
44
40
def needs_tree_write_lock(unbound):
61
57
    context, and will revert if the lock is broken abnormally - but this cannot
62
58
    be guaranteed - depending on the exact implementation of the mutable state.
63
59
 
64
 
    The most common form of Mutable Tree is WorkingTree, see bzrlib.workingtree.
 
60
    The most common form of Mutable Tree is WorkingTree, see breezy.workingtree.
65
61
    For tests we also have MemoryTree which is a MutableTree whose contents are
66
62
    entirely in memory.
67
63
 
69
65
    conformance tests for - rather we are testing MemoryTree specifically, and
70
66
    interface testing implementations of WorkingTree.
71
67
 
72
 
    A mutable tree always has an associated Branch and BzrDir object - the
 
68
    A mutable tree always has an associated Branch and ControlDir object - the
73
69
    branch and bzrdir attributes.
74
70
    """
75
71
    def __init__(self, *args, **kw):
79
75
        # used on media which doesn't differentiate the case of names.
80
76
        self.case_sensitive = True
81
77
 
 
78
    def is_control_filename(self, filename):
 
79
        """True if filename is the name of a control file in this tree.
 
80
 
 
81
        :param filename: A filename within the tree. This is a relative path
 
82
            from the root of this tree.
 
83
 
 
84
        This is true IF and ONLY IF the filename is part of the meta data
 
85
        that bzr controls in this tree. I.E. a random .bzr directory placed
 
86
        on disk will not be a control file for this tree.
 
87
        """
 
88
        raise NotImplementedError(self.is_control_filename)
 
89
 
82
90
    @needs_tree_write_lock
83
91
    def add(self, files, ids=None, kinds=None):
84
92
        """Add paths to the set of versioned paths.
148
156
        if sub_tree_id == self.get_root_id():
149
157
            raise errors.BadReferenceTarget(self, sub_tree,
150
158
                                     'Trees have the same root id.')
151
 
        if sub_tree_id in self.inventory:
 
159
        if self.has_id(sub_tree_id):
152
160
            raise errors.BadReferenceTarget(self, sub_tree,
153
161
                                            'Root id already present in tree')
154
162
        self._add([sub_tree_path], [sub_tree_id], ['tree-reference'])
163
171
        """
164
172
        raise NotImplementedError(self._add)
165
173
 
166
 
    @needs_tree_write_lock
167
174
    def apply_inventory_delta(self, changes):
168
175
        """Apply changes to the inventory as an atomic operation.
169
176
 
172
179
        :return None:
173
180
        :seealso Inventory.apply_delta: For details on the changes parameter.
174
181
        """
175
 
        self.flush()
176
 
        inv = self.inventory
177
 
        inv.apply_delta(changes)
178
 
        self._write_inventory(inv)
 
182
        raise NotImplementedError(self.apply_inventory_delta)
179
183
 
180
184
    @needs_write_lock
181
 
    def commit(self, message=None, revprops=None, *args,
182
 
               **kwargs):
 
185
    def commit(self, message=None, revprops=None, *args, **kwargs):
183
186
        # avoid circular imports
184
 
        from bzrlib import commit
 
187
        from breezy import commit
185
188
        possible_master_transports=[]
186
189
        revprops = commit.Commit.update_revprops(
187
190
                revprops,
188
191
                self.branch,
189
192
                kwargs.pop('authors', None),
190
 
                kwargs.pop('author', None),
191
193
                kwargs.get('local', False),
192
194
                possible_master_transports)
193
195
        # args for wt.commit start at message from the Commit.commit method,
223
225
            _from_tree = self.basis_tree()
224
226
        changes = self.iter_changes(_from_tree)
225
227
        try:
226
 
            change = changes.next()
 
228
            change = next(changes)
227
229
            # Exclude root (talk about black magic... --vila 20090629)
228
230
            if change[4] == (None, None):
229
 
                change = changes.next()
 
231
                change = next(changes)
230
232
            return True
231
233
        except StopIteration:
232
234
            # No changes
250
252
        :param more_warning: Details about what is happening.
251
253
        """
252
254
        if strict is None:
253
 
            strict = self.branch.get_config().get_user_option_as_bool(opt_name)
 
255
            strict = self.branch.get_config_stack().get(opt_name)
254
256
        if strict is not False:
255
257
            err_class = None
256
258
            if (self.has_changes()):
316
318
        """
317
319
        raise NotImplementedError(self.mkdir)
318
320
 
319
 
    def _observed_sha1(self, file_id, path, (sha1, stat_value)):
 
321
    def _observed_sha1(self, file_id, path, sha_and_stat):
320
322
        """Tell the tree we have observed a paths sha1.
321
323
 
322
324
        The intent of this function is to allow trees that have a hashcache to
328
330
 
329
331
        :param file_id: The file id
330
332
        :param path: The file path
331
 
        :param sha1: The sha 1 that was observed.
332
 
        :param stat_value: A stat result for the file the sha1 was read from.
 
333
        :param sha_and_stat: The sha 1 and stat result observed.
333
334
        :return: None
334
335
        """
335
336
 
336
 
    def _fix_case_of_inventory_path(self, path):
337
 
        """If our tree isn't case sensitive, return the canonical path"""
338
 
        if not self.case_sensitive:
339
 
            path = self.get_canonical_inventory_path(path)
340
 
        return path
341
 
 
342
337
    @needs_write_lock
343
338
    def put_file_bytes_non_atomic(self, file_id, bytes):
344
339
        """Update the content of a file in the tree.
368
363
        """
369
364
        raise NotImplementedError(self.set_parent_trees)
370
365
 
371
 
    @needs_tree_write_lock
372
366
    def smart_add(self, file_list, recurse=True, action=None, save=True):
373
367
        """Version file_list, optionally recursing into directories.
374
368
 
375
369
        This is designed more towards DWIM for humans than API clarity.
376
370
        For the specific behaviour see the help for cmd_add().
377
371
 
 
372
        :param file_list: List of zero or more paths.  *NB: these are 
 
373
            interpreted relative to the process cwd, not relative to the 
 
374
            tree.*  (Add and most other tree methods use tree-relative
 
375
            paths.)
378
376
        :param action: A reporter to be called with the inventory, parent_ie,
379
377
            path and kind of the path being added. It may return a file_id if
380
378
            a specific one should be used.
385
383
            of added files, and ignored_files is a dict mapping files that were
386
384
            ignored to the rule that caused them to be ignored.
387
385
        """
388
 
        # not in an inner loop; and we want to remove direct use of this,
389
 
        # so here as a reminder for now. RBC 20070703
390
 
        from bzrlib.inventory import InventoryEntry
391
 
        if action is None:
392
 
            action = add.AddAction()
393
 
 
394
 
        if not file_list:
395
 
            # no paths supplied: add the entire tree.
396
 
            # FIXME: this assumes we are running in a working tree subdir :-/
397
 
            # -- vila 20100208
398
 
            file_list = [u'.']
399
 
        # mutter("smart add of %r")
400
 
        inv = self.inventory
401
 
        added = []
402
 
        ignored = {}
403
 
        dirs_to_add = []
404
 
        user_dirs = set()
405
 
        conflicts_related = set()
406
 
        # Not all mutable trees can have conflicts
407
 
        if getattr(self, 'conflicts', None) is not None:
408
 
            # Collect all related files without checking whether they exist or
409
 
            # are versioned. It's cheaper to do that once for all conflicts
410
 
            # than trying to find the relevant conflict for each added file.
411
 
            for c in self.conflicts():
412
 
                conflicts_related.update(c.associated_filenames())
413
 
 
414
 
        # validate user file paths and convert all paths to tree
415
 
        # relative : it's cheaper to make a tree relative path an abspath
416
 
        # than to convert an abspath to tree relative, and it's cheaper to
417
 
        # perform the canonicalization in bulk.
418
 
        for filepath in osutils.canonical_relpaths(self.basedir, file_list):
419
 
            rf = _FastPath(filepath)
420
 
            # validate user parameters. Our recursive code avoids adding new
421
 
            # files that need such validation
422
 
            if self.is_control_filename(rf.raw_path):
423
 
                raise errors.ForbiddenControlFileError(filename=rf.raw_path)
424
 
 
425
 
            abspath = self.abspath(rf.raw_path)
426
 
            kind = osutils.file_kind(abspath)
427
 
            if kind == 'directory':
428
 
                # schedule the dir for scanning
429
 
                user_dirs.add(rf)
430
 
            else:
431
 
                if not InventoryEntry.versionable_kind(kind):
432
 
                    raise errors.BadFileKindError(filename=abspath, kind=kind)
433
 
            # ensure the named path is added, so that ignore rules in the later
434
 
            # directory walk dont skip it.
435
 
            # we dont have a parent ie known yet.: use the relatively slower
436
 
            # inventory probing method
437
 
            versioned = inv.has_filename(rf.raw_path)
438
 
            if versioned:
439
 
                continue
440
 
            added.extend(_add_one_and_parent(self, inv, None, rf, kind, action))
441
 
 
442
 
        if not recurse:
443
 
            # no need to walk any directories at all.
444
 
            if len(added) > 0 and save:
445
 
                self._write_inventory(inv)
446
 
            return added, ignored
447
 
 
448
 
        # only walk the minimal parents needed: we have user_dirs to override
449
 
        # ignores.
450
 
        prev_dir = None
451
 
 
452
 
        is_inside = osutils.is_inside_or_parent_of_any
453
 
        for path in sorted(user_dirs):
454
 
            if (prev_dir is None or not is_inside([prev_dir], path.raw_path)):
455
 
                dirs_to_add.append((path, None))
456
 
            prev_dir = path.raw_path
457
 
 
458
 
        illegalpath_re = re.compile(r'[\r\n]')
459
 
        # dirs_to_add is initialised to a list of directories, but as we scan
460
 
        # directories we append files to it.
461
 
        # XXX: We should determine kind of files when we scan them rather than
462
 
        # adding to this list. RBC 20070703
463
 
        for directory, parent_ie in dirs_to_add:
464
 
            # directory is tree-relative
465
 
            abspath = self.abspath(directory.raw_path)
466
 
 
467
 
            # get the contents of this directory.
468
 
 
469
 
            # find the kind of the path being added.
470
 
            kind = osutils.file_kind(abspath)
471
 
 
472
 
            if not InventoryEntry.versionable_kind(kind):
473
 
                trace.warning("skipping %s (can't add file of kind '%s')",
474
 
                              abspath, kind)
475
 
                continue
476
 
            if illegalpath_re.search(directory.raw_path):
477
 
                trace.warning("skipping %r (contains \\n or \\r)" % abspath)
478
 
                continue
479
 
            if directory.raw_path in conflicts_related:
480
 
                # If the file looks like one generated for a conflict, don't
481
 
                # add it.
482
 
                trace.warning(
483
 
                    'skipping %s (generated to help resolve conflicts)',
484
 
                    abspath)
485
 
                continue
486
 
 
487
 
            if parent_ie is not None:
488
 
                versioned = directory.base_path in parent_ie.children
489
 
            else:
490
 
                # without the parent ie, use the relatively slower inventory
491
 
                # probing method
492
 
                versioned = inv.has_filename(
493
 
                        self._fix_case_of_inventory_path(directory.raw_path))
494
 
 
495
 
            if kind == 'directory':
496
 
                try:
497
 
                    sub_branch = bzrdir.BzrDir.open(abspath)
498
 
                    sub_tree = True
499
 
                except errors.NotBranchError:
500
 
                    sub_tree = False
501
 
                except errors.UnsupportedFormatError:
502
 
                    sub_tree = True
503
 
            else:
504
 
                sub_tree = False
505
 
 
506
 
            if directory.raw_path == '':
507
 
                # mutter("tree root doesn't need to be added")
508
 
                sub_tree = False
509
 
            elif versioned:
510
 
                pass
511
 
                # mutter("%r is already versioned", abspath)
512
 
            elif sub_tree:
513
 
                # XXX: This is wrong; people *might* reasonably be trying to
514
 
                # add subtrees as subtrees.  This should probably only be done
515
 
                # in formats which can represent subtrees, and even then
516
 
                # perhaps only when the user asked to add subtrees.  At the
517
 
                # moment you can add them specially through 'join --reference',
518
 
                # which is perhaps reasonable: adding a new reference is a
519
 
                # special operation and can have a special behaviour.  mbp
520
 
                # 20070306
521
 
                trace.mutter("%r is a nested bzr tree", abspath)
522
 
            else:
523
 
                _add_one(self, inv, parent_ie, directory, kind, action)
524
 
                added.append(directory.raw_path)
525
 
 
526
 
            if kind == 'directory' and not sub_tree:
527
 
                if parent_ie is not None:
528
 
                    # must be present:
529
 
                    this_ie = parent_ie.children[directory.base_path]
530
 
                else:
531
 
                    # without the parent ie, use the relatively slower inventory
532
 
                    # probing method
533
 
                    this_id = inv.path2id(
534
 
                        self._fix_case_of_inventory_path(directory.raw_path))
535
 
                    if this_id is None:
536
 
                        this_ie = None
537
 
                    else:
538
 
                        this_ie = inv[this_id]
539
 
 
540
 
                for subf in sorted(os.listdir(abspath)):
541
 
                    # here we could use TreeDirectory rather than
542
 
                    # string concatenation.
543
 
                    subp = osutils.pathjoin(directory.raw_path, subf)
544
 
                    # TODO: is_control_filename is very slow. Make it faster.
545
 
                    # TreeDirectory.is_control_filename could also make this
546
 
                    # faster - its impossible for a non root dir to have a
547
 
                    # control file.
548
 
                    if self.is_control_filename(subp):
549
 
                        trace.mutter("skip control directory %r", subp)
550
 
                    elif subf in this_ie.children:
551
 
                        # recurse into this already versioned subdir.
552
 
                        dirs_to_add.append((_FastPath(subp, subf), this_ie))
553
 
                    else:
554
 
                        # user selection overrides ignoes
555
 
                        # ignore while selecting files - if we globbed in the
556
 
                        # outer loop we would ignore user files.
557
 
                        ignore_glob = self.is_ignored(subp)
558
 
                        if ignore_glob is not None:
559
 
                            # mutter("skip ignored sub-file %r", subp)
560
 
                            ignored.setdefault(ignore_glob, []).append(subp)
561
 
                        else:
562
 
                            #mutter("queue to add sub-file %r", subp)
563
 
                            dirs_to_add.append((_FastPath(subp, subf), this_ie))
564
 
 
565
 
        if len(added) > 0:
566
 
            if save:
567
 
                self._write_inventory(inv)
568
 
            else:
569
 
                self.read_working_inventory()
570
 
        return added, ignored
571
 
 
572
 
    def update_basis_by_delta(self, new_revid, delta):
573
 
        """Update the parents of this tree after a commit.
574
 
 
575
 
        This gives the tree one parent, with revision id new_revid. The
576
 
        inventory delta is applied to the current basis tree to generate the
577
 
        inventory for the parent new_revid, and all other parent trees are
578
 
        discarded.
579
 
 
580
 
        All the changes in the delta should be changes synchronising the basis
581
 
        tree with some or all of the working tree, with a change to a directory
582
 
        requiring that its contents have been recursively included. That is,
583
 
        this is not a general purpose tree modification routine, but a helper
584
 
        for commit which is not required to handle situations that do not arise
585
 
        outside of commit.
586
 
 
587
 
        See the inventory developers documentation for the theory behind
588
 
        inventory deltas.
589
 
 
590
 
        :param new_revid: The new revision id for the trees parent.
591
 
        :param delta: An inventory delta (see apply_inventory_delta) describing
592
 
            the changes from the current left most parent revision to new_revid.
593
 
        """
594
 
        # if the tree is updated by a pull to the branch, as happens in
595
 
        # WorkingTree2, when there was no separation between branch and tree,
596
 
        # then just clear merges, efficiency is not a concern for now as this
597
 
        # is legacy environments only, and they are slow regardless.
598
 
        if self.last_revision() == new_revid:
599
 
            self.set_parent_ids([new_revid])
600
 
            return
601
 
        # generic implementation based on Inventory manipulation. See
602
 
        # WorkingTree classes for optimised versions for specific format trees.
603
 
        basis = self.basis_tree()
604
 
        basis.lock_read()
605
 
        # TODO: Consider re-evaluating the need for this with CHKInventory
606
 
        # we don't strictly need to mutate an inventory for this
607
 
        # it only makes sense when apply_delta is cheaper than get_inventory()
608
 
        inventory = basis.inventory._get_mutable_inventory()
609
 
        basis.unlock()
610
 
        inventory.apply_delta(delta)
611
 
        rev_tree = revisiontree.RevisionTree(self.branch.repository,
612
 
                                             inventory, new_revid)
613
 
        self.set_parent_trees([(new_revid, rev_tree)])
 
386
        raise NotImplementedError(self.smart_add)
614
387
 
615
388
 
616
389
class MutableTreeHooks(hooks.Hooks):
622
395
        """Create the default hooks.
623
396
 
624
397
        """
625
 
        hooks.Hooks.__init__(self)
626
 
        self.create_hook(hooks.HookPoint('start_commit',
 
398
        hooks.Hooks.__init__(self, "breezy.mutabletree", "MutableTree.hooks")
 
399
        self.add_hook('start_commit',
627
400
            "Called before a commit is performed on a tree. The start commit "
628
401
            "hook is able to change the tree before the commit takes place. "
629
 
            "start_commit is called with the bzrlib.mutabletree.MutableTree "
630
 
            "that the commit is being performed on.", (1, 4), None))
631
 
        self.create_hook(hooks.HookPoint('post_commit',
 
402
            "start_commit is called with the breezy.mutabletree.MutableTree "
 
403
            "that the commit is being performed on.", (1, 4))
 
404
        self.add_hook('post_commit',
632
405
            "Called after a commit is performed on a tree. The hook is "
633
 
            "called with a bzrlib.mutabletree.PostCommitHookParams object. "
 
406
            "called with a breezy.mutabletree.PostCommitHookParams object. "
634
407
            "The mutable tree the commit was performed on is available via "
635
 
            "the mutable_tree attribute of that object.", (2, 0), None))
636
 
 
 
408
            "the mutable_tree attribute of that object.", (2, 0))
 
409
        self.add_hook('pre_transform',
 
410
            "Called before a tree transform on this tree. The hook is called "
 
411
            "with the tree that is being transformed and the transform.",
 
412
            (2, 5))
 
413
        self.add_hook('post_build_tree',
 
414
            "Called after a completely new tree is built. The hook is "
 
415
            "called with the tree as its only argument.", (2, 5))
 
416
        self.add_hook('post_transform',
 
417
            "Called after a tree transform has been performed on a tree. "
 
418
            "The hook is called with the tree that is being transformed and "
 
419
            "the transform.",
 
420
            (2, 5))
637
421
 
638
422
# install the default hooks into the MutableTree class.
639
423
MutableTree.hooks = MutableTreeHooks()
650
434
    def __init__(self, mutable_tree):
651
435
        """Create the parameters for the post_commit hook."""
652
436
        self.mutable_tree = mutable_tree
653
 
 
654
 
 
655
 
class _FastPath(object):
656
 
    """A path object with fast accessors for things like basename."""
657
 
 
658
 
    __slots__ = ['raw_path', 'base_path']
659
 
 
660
 
    def __init__(self, path, base_path=None):
661
 
        """Construct a FastPath from path."""
662
 
        if base_path is None:
663
 
            self.base_path = osutils.basename(path)
664
 
        else:
665
 
            self.base_path = base_path
666
 
        self.raw_path = path
667
 
 
668
 
    def __cmp__(self, other):
669
 
        return cmp(self.raw_path, other.raw_path)
670
 
 
671
 
    def __hash__(self):
672
 
        return hash(self.raw_path)
673
 
 
674
 
 
675
 
def _add_one_and_parent(tree, inv, parent_ie, path, kind, action):
676
 
    """Add a new entry to the inventory and automatically add unversioned parents.
677
 
 
678
 
    :param inv: Inventory which will receive the new entry.
679
 
    :param parent_ie: Parent inventory entry if known, or None.  If
680
 
        None, the parent is looked up by name and used if present, otherwise it
681
 
        is recursively added.
682
 
    :param kind: Kind of new entry (file, directory, etc)
683
 
    :param action: callback(inv, parent_ie, path, kind); return ignored.
684
 
    :return: A list of paths which have been added.
685
 
    """
686
 
    # Nothing to do if path is already versioned.
687
 
    # This is safe from infinite recursion because the tree root is
688
 
    # always versioned.
689
 
    if parent_ie is not None:
690
 
        # we have a parent ie already
691
 
        added = []
692
 
    else:
693
 
        # slower but does not need parent_ie
694
 
        if inv.has_filename(tree._fix_case_of_inventory_path(path.raw_path)):
695
 
            return []
696
 
        # its really not there : add the parent
697
 
        # note that the dirname use leads to some extra str copying etc but as
698
 
        # there are a limited number of dirs we can be nested under, it should
699
 
        # generally find it very fast and not recurse after that.
700
 
        added = _add_one_and_parent(tree, inv, None,
701
 
            _FastPath(osutils.dirname(path.raw_path)), 'directory', action)
702
 
        parent_id = inv.path2id(osutils.dirname(path.raw_path))
703
 
        parent_ie = inv[parent_id]
704
 
    _add_one(tree, inv, parent_ie, path, kind, action)
705
 
    return added + [path.raw_path]
706
 
 
707
 
 
708
 
def _add_one(tree, inv, parent_ie, path, kind, file_id_callback):
709
 
    """Add a new entry to the inventory.
710
 
 
711
 
    :param inv: Inventory which will receive the new entry.
712
 
    :param parent_ie: Parent inventory entry.
713
 
    :param kind: Kind of new entry (file, directory, etc)
714
 
    :param file_id_callback: callback(inv, parent_ie, path, kind); return a
715
 
        file_id or None to generate a new file id
716
 
    :returns: None
717
 
    """
718
 
    file_id = file_id_callback(inv, parent_ie, path, kind)
719
 
    entry = inv.make_entry(kind, path.base_path, parent_ie.file_id,
720
 
        file_id=file_id)
721
 
    inv.add(entry)