/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/merge.py

Bring in both branch-builder threads.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005-2010 Canonical Ltd
 
1
# Copyright (C) 2005, 2006, 2008 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
 
 
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
 
 
18
import errno
 
19
from itertools import chain
 
20
import os
17
21
import warnings
18
22
 
19
23
from bzrlib import (
20
 
    branch as _mod_branch,
21
 
    conflicts as _mod_conflicts,
22
24
    debug,
23
 
    decorators,
24
25
    errors,
25
26
    graph as _mod_graph,
26
 
    hooks,
27
 
    merge3,
28
27
    osutils,
29
28
    patiencediff,
 
29
    registry,
30
30
    revision as _mod_revision,
31
 
    textfile,
32
 
    trace,
33
 
    transform,
34
31
    tree as _mod_tree,
35
32
    tsort,
36
 
    ui,
37
 
    versionedfile
38
 
    )
39
 
from bzrlib.cleanup import OperationWithCleanups
40
 
from bzrlib.symbol_versioning import (
41
 
    deprecated_in,
42
 
    deprecated_method,
43
 
    )
 
33
    )
 
34
from bzrlib.branch import Branch
 
35
from bzrlib.conflicts import ConflictList, Conflict
 
36
from bzrlib.errors import (BzrCommandError,
 
37
                           BzrError,
 
38
                           NoCommonAncestor,
 
39
                           NoCommits,
 
40
                           NoSuchRevision,
 
41
                           NoSuchFile,
 
42
                           NotBranchError,
 
43
                           NotVersionedError,
 
44
                           UnrelatedBranches,
 
45
                           UnsupportedOperation,
 
46
                           WorkingTreeNotRevision,
 
47
                           BinaryFile,
 
48
                           )
 
49
from bzrlib.graph import Graph
 
50
from bzrlib.merge3 import Merge3
 
51
from bzrlib.osutils import rename, pathjoin
 
52
from progress import DummyProgress, ProgressPhase
 
53
from bzrlib.revision import (NULL_REVISION, ensure_null)
 
54
from bzrlib.textfile import check_text_lines
 
55
from bzrlib.trace import mutter, warning, note, is_quiet
 
56
from bzrlib.transform import (TransformPreview, TreeTransform,
 
57
                              resolve_conflicts, cook_conflicts,
 
58
                              conflict_pass, FinalPaths, create_by_entry,
 
59
                              unique_add, ROOT_PARENT)
 
60
from bzrlib.versionedfile import PlanWeaveMerge
 
61
from bzrlib import ui
 
62
 
44
63
# TODO: Report back as changes are merged in
45
64
 
46
65
 
47
66
def transform_tree(from_tree, to_tree, interesting_ids=None):
48
 
    from_tree.lock_tree_write()
49
 
    operation = OperationWithCleanups(merge_inner)
50
 
    operation.add_cleanup(from_tree.unlock)
51
 
    operation.run_simple(from_tree.branch, to_tree, from_tree,
52
 
        ignore_zero=True, interesting_ids=interesting_ids, this_tree=from_tree)
53
 
 
54
 
 
55
 
class MergeHooks(hooks.Hooks):
56
 
 
57
 
    def __init__(self):
58
 
        hooks.Hooks.__init__(self)
59
 
        self.create_hook(hooks.HookPoint('merge_file_content',
60
 
            "Called with a bzrlib.merge.Merger object to create a per file "
61
 
            "merge object when starting a merge. "
62
 
            "Should return either None or a subclass of "
63
 
            "``bzrlib.merge.AbstractPerFileMerger``. "
64
 
            "Such objects will then be called per file "
65
 
            "that needs to be merged (including when one "
66
 
            "side has deleted the file and the other has changed it). "
67
 
            "See the AbstractPerFileMerger API docs for details on how it is "
68
 
            "used by merge.",
69
 
            (2, 1), None))
70
 
 
71
 
 
72
 
class AbstractPerFileMerger(object):
73
 
    """PerFileMerger objects are used by plugins extending merge for bzrlib.
74
 
 
75
 
    See ``bzrlib.plugins.news_merge.news_merge`` for an example concrete class.
76
 
    
77
 
    :ivar merger: The Merge3Merger performing the merge.
78
 
    """
79
 
 
80
 
    def __init__(self, merger):
81
 
        """Create a PerFileMerger for use with merger."""
82
 
        self.merger = merger
83
 
 
84
 
    def merge_contents(self, merge_params):
85
 
        """Attempt to merge the contents of a single file.
86
 
        
87
 
        :param merge_params: A bzrlib.merge.MergeHookParams
88
 
        :return : A tuple of (status, chunks), where status is one of
89
 
            'not_applicable', 'success', 'conflicted', or 'delete'.  If status
90
 
            is 'success' or 'conflicted', then chunks should be an iterable of
91
 
            strings for the new file contents.
92
 
        """
93
 
        return ('not applicable', None)
94
 
 
95
 
 
96
 
class PerFileMerger(AbstractPerFileMerger):
97
 
    """Merge individual files when self.file_matches returns True.
98
 
 
99
 
    This class is intended to be subclassed.  The file_matches and
100
 
    merge_matching methods should be overridden with concrete implementations.
101
 
    """
102
 
 
103
 
    def file_matches(self, params):
104
 
        """Return True if merge_matching should be called on this file.
105
 
 
106
 
        Only called with merges of plain files with no clear winner.
107
 
 
108
 
        Subclasses must override this.
109
 
        """
110
 
        raise NotImplementedError(self.file_matches)
111
 
 
112
 
    def get_filename(self, params, tree):
113
 
        """Lookup the filename (i.e. basename, not path), given a Tree (e.g.
114
 
        self.merger.this_tree) and a MergeHookParams.
115
 
        """
116
 
        return osutils.basename(tree.id2path(params.file_id))
117
 
 
118
 
    def get_filepath(self, params, tree):
119
 
        """Calculate the path to the file in a tree.
120
 
 
121
 
        :param params: A MergeHookParams describing the file to merge
122
 
        :param tree: a Tree, e.g. self.merger.this_tree.
123
 
        """
124
 
        return tree.id2path(params.file_id)
125
 
 
126
 
    def merge_contents(self, params):
127
 
        """Merge the contents of a single file."""
128
 
        # Check whether this custom merge logic should be used.
129
 
        if (
130
 
            # OTHER is a straight winner, rely on default merge.
131
 
            params.winner == 'other' or
132
 
            # THIS and OTHER aren't both files.
133
 
            not params.is_file_merge() or
134
 
            # The filename doesn't match *.xml
135
 
            not self.file_matches(params)):
136
 
            return 'not_applicable', None
137
 
        return self.merge_matching(params)
138
 
 
139
 
    def merge_matching(self, params):
140
 
        """Merge the contents of a single file that has matched the criteria
141
 
        in PerFileMerger.merge_contents (is a conflict, is a file,
142
 
        self.file_matches is True).
143
 
 
144
 
        Subclasses must override this.
145
 
        """
146
 
        raise NotImplementedError(self.merge_matching)
147
 
 
148
 
 
149
 
class ConfigurableFileMerger(PerFileMerger):
150
 
    """Merge individual files when configured via a .conf file.
151
 
 
152
 
    This is a base class for concrete custom file merging logic. Concrete
153
 
    classes should implement ``merge_text``.
154
 
 
155
 
    See ``bzrlib.plugins.news_merge.news_merge`` for an example concrete class.
156
 
    
157
 
    :ivar affected_files: The configured file paths to merge.
158
 
 
159
 
    :cvar name_prefix: The prefix to use when looking up configuration
160
 
        details. <name_prefix>_merge_files describes the files targeted by the
161
 
        hook for example.
162
 
        
163
 
    :cvar default_files: The default file paths to merge when no configuration
164
 
        is present.
165
 
    """
166
 
 
167
 
    name_prefix = None
168
 
    default_files = None
169
 
 
170
 
    def __init__(self, merger):
171
 
        super(ConfigurableFileMerger, self).__init__(merger)
172
 
        self.affected_files = None
173
 
        self.default_files = self.__class__.default_files or []
174
 
        self.name_prefix = self.__class__.name_prefix
175
 
        if self.name_prefix is None:
176
 
            raise ValueError("name_prefix must be set.")
177
 
 
178
 
    def file_matches(self, params):
179
 
        """Check whether the file should call the merge hook.
180
 
 
181
 
        <name_prefix>_merge_files configuration variable is a list of files
182
 
        that should use the hook.
183
 
        """
184
 
        affected_files = self.affected_files
185
 
        if affected_files is None:
186
 
            config = self.merger.this_branch.get_config()
187
 
            # Until bzr provides a better policy for caching the config, we
188
 
            # just add the part we're interested in to the params to avoid
189
 
            # reading the config files repeatedly (bazaar.conf, location.conf,
190
 
            # branch.conf).
191
 
            config_key = self.name_prefix + '_merge_files'
192
 
            affected_files = config.get_user_option_as_list(config_key)
193
 
            if affected_files is None:
194
 
                # If nothing was specified in the config, use the default.
195
 
                affected_files = self.default_files
196
 
            self.affected_files = affected_files
197
 
        if affected_files:
198
 
            filepath = self.get_filepath(params, self.merger.this_tree)
199
 
            if filepath in affected_files:
200
 
                return True
201
 
        return False
202
 
 
203
 
    def merge_matching(self, params):
204
 
        return self.merge_text(params)
205
 
 
206
 
    def merge_text(self, params):
207
 
        """Merge the byte contents of a single file.
208
 
 
209
 
        This is called after checking that the merge should be performed in
210
 
        merge_contents, and it should behave as per
211
 
        ``bzrlib.merge.AbstractPerFileMerger.merge_contents``.
212
 
        """
213
 
        raise NotImplementedError(self.merge_text)
214
 
 
215
 
 
216
 
class MergeHookParams(object):
217
 
    """Object holding parameters passed to merge_file_content hooks.
218
 
 
219
 
    There are some fields hooks can access:
220
 
 
221
 
    :ivar file_id: the file ID of the file being merged
222
 
    :ivar trans_id: the transform ID for the merge of this file
223
 
    :ivar this_kind: kind of file_id in 'this' tree
224
 
    :ivar other_kind: kind of file_id in 'other' tree
225
 
    :ivar winner: one of 'this', 'other', 'conflict'
226
 
    """
227
 
 
228
 
    def __init__(self, merger, file_id, trans_id, this_kind, other_kind,
229
 
            winner):
230
 
        self._merger = merger
231
 
        self.file_id = file_id
232
 
        self.trans_id = trans_id
233
 
        self.this_kind = this_kind
234
 
        self.other_kind = other_kind
235
 
        self.winner = winner
236
 
 
237
 
    def is_file_merge(self):
238
 
        """True if this_kind and other_kind are both 'file'."""
239
 
        return self.this_kind == 'file' and self.other_kind == 'file'
240
 
 
241
 
    @decorators.cachedproperty
242
 
    def base_lines(self):
243
 
        """The lines of the 'base' version of the file."""
244
 
        return self._merger.get_lines(self._merger.base_tree, self.file_id)
245
 
 
246
 
    @decorators.cachedproperty
247
 
    def this_lines(self):
248
 
        """The lines of the 'this' version of the file."""
249
 
        return self._merger.get_lines(self._merger.this_tree, self.file_id)
250
 
 
251
 
    @decorators.cachedproperty
252
 
    def other_lines(self):
253
 
        """The lines of the 'other' version of the file."""
254
 
        return self._merger.get_lines(self._merger.other_tree, self.file_id)
 
67
    merge_inner(from_tree.branch, to_tree, from_tree, ignore_zero=True,
 
68
                interesting_ids=interesting_ids, this_tree=from_tree)
255
69
 
256
70
 
257
71
class Merger(object):
258
 
 
259
 
    hooks = MergeHooks()
260
 
 
261
72
    def __init__(self, this_branch, other_tree=None, base_tree=None,
262
 
                 this_tree=None, pb=None, change_reporter=None,
 
73
                 this_tree=None, pb=DummyProgress(), change_reporter=None,
263
74
                 recurse='down', revision_graph=None):
264
75
        object.__init__(self)
265
76
        self.this_branch = this_branch
278
89
        self.interesting_files = None
279
90
        self.show_base = False
280
91
        self.reprocess = False
281
 
        if pb is not None:
282
 
            warnings.warn("pb parameter to Merger() is deprecated and ignored")
 
92
        self._pb = pb
283
93
        self.pp = None
284
94
        self.recurse = recurse
285
95
        self.change_reporter = change_reporter
287
97
        self._revision_graph = revision_graph
288
98
        self._base_is_ancestor = None
289
99
        self._base_is_other_ancestor = None
290
 
        self._is_criss_cross = None
 
100
        self._is_criss_cross = False
291
101
        self._lca_trees = None
292
102
 
293
 
    def cache_trees_with_revision_ids(self, trees):
294
 
        """Cache any tree in trees if it has a revision_id."""
295
 
        for maybe_tree in trees:
296
 
            if maybe_tree is None:
297
 
                continue
298
 
            try:
299
 
                rev_id = maybe_tree.get_revision_id()
300
 
            except AttributeError:
301
 
                continue
302
 
            self._cached_trees[rev_id] = maybe_tree
303
 
 
304
103
    @property
305
104
    def revision_graph(self):
306
105
        if self._revision_graph is None:
333
132
                                      _set_base_is_other_ancestor)
334
133
 
335
134
    @staticmethod
336
 
    def from_uncommitted(tree, other_tree, pb=None, base_tree=None):
 
135
    def from_uncommitted(tree, other_tree, pb):
337
136
        """Return a Merger for uncommitted changes in other_tree.
338
137
 
339
138
        :param tree: The tree to merge into
340
139
        :param other_tree: The tree to get uncommitted changes from
341
140
        :param pb: A progress indicator
342
 
        :param base_tree: The basis to use for the merge.  If unspecified,
343
 
            other_tree.basis_tree() will be used.
344
141
        """
345
 
        if base_tree is None:
346
 
            base_tree = other_tree.basis_tree()
347
 
        merger = Merger(tree.branch, other_tree, base_tree, tree, pb)
 
142
        merger = Merger(tree.branch, other_tree, other_tree.basis_tree(), tree,
 
143
                        pb)
348
144
        merger.base_rev_id = merger.base_tree.get_revision_id()
349
145
        merger.other_rev_id = None
350
146
        merger.other_basis = merger.base_rev_id
368
164
                base_revision_id, tree.branch.last_revision())):
369
165
                base_revision_id = None
370
166
            else:
371
 
                trace.warning('Performing cherrypick')
 
167
                warning('Performing cherrypick')
372
168
        merger = klass.from_revision_ids(pb, tree, other_revision_id,
373
169
                                         base_revision_id, revision_graph=
374
170
                                         revision_graph)
376
172
 
377
173
    @staticmethod
378
174
    def from_revision_ids(pb, tree, other, base=None, other_branch=None,
379
 
                          base_branch=None, revision_graph=None,
380
 
                          tree_branch=None):
 
175
                          base_branch=None, revision_graph=None):
381
176
        """Return a Merger for revision-ids.
382
177
 
383
 
        :param pb: A progress indicator
384
178
        :param tree: The tree to merge changes into
385
179
        :param other: The revision-id to use as OTHER
386
180
        :param base: The revision-id to use as BASE.  If not specified, will
391
185
            not supplied, other_branch or tree.branch will be used.
392
186
        :param revision_graph: If you have a revision_graph precomputed, pass
393
187
            it in, otherwise it will be created for you.
394
 
        :param tree_branch: The branch associated with tree.  If not supplied,
395
 
            tree.branch will be used.
 
188
        :param pb: A progress indicator
396
189
        """
397
 
        if tree_branch is None:
398
 
            tree_branch = tree.branch
399
 
        merger = Merger(tree_branch, this_tree=tree, pb=pb,
 
190
        merger = Merger(tree.branch, this_tree=tree, pb=pb,
400
191
                        revision_graph=revision_graph)
401
192
        if other_branch is None:
402
193
            other_branch = tree.branch
426
217
        if revno is None:
427
218
            tree = workingtree.WorkingTree.open_containing(location)[0]
428
219
            return tree.branch, tree
429
 
        branch = _mod_branch.Branch.open_containing(
430
 
            location, possible_transports)[0]
 
220
        branch = Branch.open_containing(location, possible_transports)[0]
431
221
        if revno == -1:
432
222
            revision_id = branch.last_revision()
433
223
        else:
434
224
            revision_id = branch.get_rev_id(revno)
435
 
        revision_id = _mod_revision.ensure_null(revision_id)
 
225
        revision_id = ensure_null(revision_id)
436
226
        return branch, self.revision_tree(revision_id, branch)
437
227
 
438
 
    @deprecated_method(deprecated_in((2, 1, 0)))
439
228
    def ensure_revision_trees(self):
440
229
        if self.this_revision_tree is None:
441
230
            self.this_basis_tree = self.revision_tree(self.this_basis)
444
233
 
445
234
        if self.other_rev_id is None:
446
235
            other_basis_tree = self.revision_tree(self.other_basis)
447
 
            if other_basis_tree.has_changes(self.other_tree):
448
 
                raise errors.WorkingTreeNotRevision(self.this_tree)
 
236
            changes = other_basis_tree.changes_from(self.other_tree)
 
237
            if changes.has_changed():
 
238
                raise WorkingTreeNotRevision(self.this_tree)
449
239
            other_rev_id = self.other_basis
450
240
            self.other_tree = other_basis_tree
451
241
 
452
 
    @deprecated_method(deprecated_in((2, 1, 0)))
453
242
    def file_revisions(self, file_id):
454
243
        self.ensure_revision_trees()
455
244
        def get_id(tree, file_id):
458
247
        if self.this_rev_id is None:
459
248
            if self.this_basis_tree.get_file_sha1(file_id) != \
460
249
                self.this_tree.get_file_sha1(file_id):
461
 
                raise errors.WorkingTreeNotRevision(self.this_tree)
 
250
                raise WorkingTreeNotRevision(self.this_tree)
462
251
 
463
252
        trees = (self.this_basis_tree, self.other_tree)
464
253
        return [get_id(tree, file_id) for tree in trees]
465
254
 
466
 
    @deprecated_method(deprecated_in((2, 1, 0)))
467
255
    def check_basis(self, check_clean, require_commits=True):
468
256
        if self.this_basis is None and require_commits is True:
469
 
            raise errors.BzrCommandError(
470
 
                "This branch has no commits."
471
 
                " (perhaps you would prefer 'bzr pull')")
 
257
            raise BzrCommandError("This branch has no commits."
 
258
                                  " (perhaps you would prefer 'bzr pull')")
472
259
        if check_clean:
473
260
            self.compare_basis()
474
261
            if self.this_basis != self.this_rev_id:
475
262
                raise errors.UncommittedChanges(self.this_tree)
476
263
 
477
 
    @deprecated_method(deprecated_in((2, 1, 0)))
478
264
    def compare_basis(self):
479
265
        try:
480
266
            basis_tree = self.revision_tree(self.this_tree.last_revision())
481
267
        except errors.NoSuchRevision:
482
268
            basis_tree = self.this_tree.basis_tree()
483
 
        if not self.this_tree.has_changes(basis_tree):
 
269
        changes = self.this_tree.changes_from(basis_tree)
 
270
        if not changes.has_changed():
484
271
            self.this_rev_id = self.this_basis
485
272
 
486
273
    def set_interesting_files(self, file_list):
487
274
        self.interesting_files = file_list
488
275
 
489
276
    def set_pending(self):
490
 
        if (not self.base_is_ancestor or not self.base_is_other_ancestor
491
 
            or self.other_rev_id is None):
 
277
        if not self.base_is_ancestor or not self.base_is_other_ancestor or self.other_rev_id is None:
492
278
            return
493
279
        self._add_parent()
494
280
 
495
281
    def _add_parent(self):
496
282
        new_parents = self.this_tree.get_parent_ids() + [self.other_rev_id]
497
283
        new_parent_trees = []
498
 
        operation = OperationWithCleanups(self.this_tree.set_parent_trees)
499
284
        for revision_id in new_parents:
500
285
            try:
501
286
                tree = self.revision_tree(revision_id)
503
288
                tree = None
504
289
            else:
505
290
                tree.lock_read()
506
 
                operation.add_cleanup(tree.unlock)
507
291
            new_parent_trees.append((revision_id, tree))
508
 
        operation.run_simple(new_parent_trees, allow_leftmost_as_ghost=True)
 
292
        try:
 
293
            self.this_tree.set_parent_trees(new_parent_trees,
 
294
                                            allow_leftmost_as_ghost=True)
 
295
        finally:
 
296
            for _revision_id, tree in new_parent_trees:
 
297
                if tree is not None:
 
298
                    tree.unlock()
509
299
 
510
300
    def set_other(self, other_revision, possible_transports=None):
511
301
        """Set the revision and tree to merge from.
520
310
            self.other_rev_id = _mod_revision.ensure_null(
521
311
                self.other_branch.last_revision())
522
312
            if _mod_revision.is_null(self.other_rev_id):
523
 
                raise errors.NoCommits(self.other_branch)
 
313
                raise NoCommits(self.other_branch)
524
314
            self.other_basis = self.other_rev_id
525
315
        elif other_revision[1] is not None:
526
316
            self.other_rev_id = self.other_branch.get_rev_id(other_revision[1])
529
319
            self.other_rev_id = None
530
320
            self.other_basis = self.other_branch.last_revision()
531
321
            if self.other_basis is None:
532
 
                raise errors.NoCommits(self.other_branch)
 
322
                raise NoCommits(self.other_branch)
533
323
        if self.other_rev_id is not None:
534
324
            self._cached_trees[self.other_rev_id] = self.other_tree
535
325
        self._maybe_fetch(self.other_branch,self.this_branch, self.other_basis)
562
352
            target.fetch(source, revision_id)
563
353
 
564
354
    def find_base(self):
565
 
        revisions = [_mod_revision.ensure_null(self.this_basis),
566
 
                     _mod_revision.ensure_null(self.other_basis)]
567
 
        if _mod_revision.NULL_REVISION in revisions:
568
 
            self.base_rev_id = _mod_revision.NULL_REVISION
569
 
            self.base_tree = self.revision_tree(self.base_rev_id)
570
 
            self._is_criss_cross = False
 
355
        revisions = [ensure_null(self.this_basis),
 
356
                     ensure_null(self.other_basis)]
 
357
        if NULL_REVISION in revisions:
 
358
            self.base_rev_id = NULL_REVISION
571
359
        else:
572
360
            lcas = self.revision_graph.find_lca(revisions[0], revisions[1])
573
 
            self._is_criss_cross = False
574
361
            if len(lcas) == 0:
575
 
                self.base_rev_id = _mod_revision.NULL_REVISION
 
362
                self.base_rev_id = NULL_REVISION
576
363
            elif len(lcas) == 1:
577
364
                self.base_rev_id = list(lcas)[0]
578
365
            else: # len(lcas) > 1
579
 
                if len(lcas) > 2:
580
 
                    # find_unique_lca can only handle 2 nodes, so we have to
581
 
                    # start back at the beginning. It is a shame to traverse
582
 
                    # the graph again, but better than re-implementing
583
 
                    # find_unique_lca.
584
 
                    self.base_rev_id = self.revision_graph.find_unique_lca(
585
 
                                            revisions[0], revisions[1])
586
 
                else:
587
 
                    self.base_rev_id = self.revision_graph.find_unique_lca(
588
 
                                            *lcas)
 
366
                self.base_rev_id = self.revision_graph.find_unique_lca(
 
367
                                        *lcas)
589
368
                self._is_criss_cross = True
590
 
            if self.base_rev_id == _mod_revision.NULL_REVISION:
591
 
                raise errors.UnrelatedBranches()
 
369
            if self.base_rev_id == NULL_REVISION:
 
370
                raise UnrelatedBranches()
592
371
            if self._is_criss_cross:
593
 
                trace.warning('Warning: criss-cross merge encountered.  See bzr'
594
 
                              ' help criss-cross.')
595
 
                trace.mutter('Criss-cross lcas: %r' % lcas)
 
372
                warning('Warning: criss-cross merge encountered.  See bzr'
 
373
                        ' help criss-cross.')
596
374
                interesting_revision_ids = [self.base_rev_id]
597
375
                interesting_revision_ids.extend(lcas)
598
376
                interesting_trees = dict((t.get_revision_id(), t)
608
386
                self.base_tree = self.revision_tree(self.base_rev_id)
609
387
        self.base_is_ancestor = True
610
388
        self.base_is_other_ancestor = True
611
 
        trace.mutter('Base revid: %r' % self.base_rev_id)
612
389
 
613
390
    def set_base(self, base_revision):
614
391
        """Set the base revision to use for the merge.
615
392
 
616
393
        :param base_revision: A 2-list containing a path and revision number.
617
394
        """
618
 
        trace.mutter("doing merge() with no base_revision specified")
 
395
        mutter("doing merge() with no base_revision specified")
619
396
        if base_revision == [None, None]:
620
397
            self.find_base()
621
398
        else:
634
411
                  'other_tree': self.other_tree,
635
412
                  'interesting_ids': self.interesting_ids,
636
413
                  'interesting_files': self.interesting_files,
637
 
                  'this_branch': self.this_branch,
 
414
                  'pp': self.pp,
638
415
                  'do_merge': False}
639
416
        if self.merge_type.requires_base:
640
417
            kwargs['base_tree'] = self.base_tree
641
418
        if self.merge_type.supports_reprocess:
642
419
            kwargs['reprocess'] = self.reprocess
643
420
        elif self.reprocess:
644
 
            raise errors.BzrError(
645
 
                "Conflict reduction is not supported for merge"
646
 
                " type %s." % self.merge_type)
 
421
            raise BzrError("Conflict reduction is not supported for merge"
 
422
                                  " type %s." % self.merge_type)
647
423
        if self.merge_type.supports_show_base:
648
424
            kwargs['show_base'] = self.show_base
649
425
        elif self.show_base:
650
 
            raise errors.BzrError("Showing base is not supported for this"
651
 
                                  " merge type. %s" % self.merge_type)
 
426
            raise BzrError("Showing base is not supported for this"
 
427
                           " merge type. %s" % self.merge_type)
652
428
        if (not getattr(self.merge_type, 'supports_reverse_cherrypick', True)
653
429
            and not self.base_is_other_ancestor):
654
430
            raise errors.CannotReverseCherrypick()
658
434
        if self._is_criss_cross and getattr(self.merge_type,
659
435
                                            'supports_lca_trees', False):
660
436
            kwargs['lca_trees'] = self._lca_trees
661
 
        return self.merge_type(pb=None,
 
437
        return self.merge_type(pb=self._pb,
662
438
                               change_reporter=self.change_reporter,
663
439
                               **kwargs)
664
440
 
665
 
    def _do_merge_to(self):
666
 
        merge = self.make_merger()
667
 
        if self.other_branch is not None:
668
 
            self.other_branch.update_references(self.this_branch)
669
 
        merge.do_merge()
670
 
        if self.recurse == 'down':
671
 
            for relpath, file_id in self.this_tree.iter_references():
672
 
                sub_tree = self.this_tree.get_nested_tree(file_id, relpath)
673
 
                other_revision = self.other_tree.get_reference_revision(
674
 
                    file_id, relpath)
675
 
                if  other_revision == sub_tree.last_revision():
676
 
                    continue
677
 
                sub_merge = Merger(sub_tree.branch, this_tree=sub_tree)
678
 
                sub_merge.merge_type = self.merge_type
679
 
                other_branch = self.other_branch.reference_parent(file_id, relpath)
680
 
                sub_merge.set_other_revision(other_revision, other_branch)
681
 
                base_revision = self.base_tree.get_reference_revision(file_id)
682
 
                sub_merge.base_tree = \
683
 
                    sub_tree.branch.repository.revision_tree(base_revision)
684
 
                sub_merge.base_rev_id = base_revision
685
 
                sub_merge.do_merge()
686
 
        return merge
687
 
 
688
441
    def do_merge(self):
689
 
        operation = OperationWithCleanups(self._do_merge_to)
690
442
        self.this_tree.lock_tree_write()
691
 
        operation.add_cleanup(self.this_tree.unlock)
692
443
        if self.base_tree is not None:
693
444
            self.base_tree.lock_read()
694
 
            operation.add_cleanup(self.base_tree.unlock)
695
445
        if self.other_tree is not None:
696
446
            self.other_tree.lock_read()
697
 
            operation.add_cleanup(self.other_tree.unlock)
698
 
        merge = operation.run_simple()
 
447
        try:
 
448
            merge = self.make_merger()
 
449
            merge.do_merge()
 
450
            if self.recurse == 'down':
 
451
                for relpath, file_id in self.this_tree.iter_references():
 
452
                    sub_tree = self.this_tree.get_nested_tree(file_id, relpath)
 
453
                    other_revision = self.other_tree.get_reference_revision(
 
454
                        file_id, relpath)
 
455
                    if  other_revision == sub_tree.last_revision():
 
456
                        continue
 
457
                    sub_merge = Merger(sub_tree.branch, this_tree=sub_tree)
 
458
                    sub_merge.merge_type = self.merge_type
 
459
                    other_branch = self.other_branch.reference_parent(file_id, relpath)
 
460
                    sub_merge.set_other_revision(other_revision, other_branch)
 
461
                    base_revision = self.base_tree.get_reference_revision(file_id)
 
462
                    sub_merge.base_tree = \
 
463
                        sub_tree.branch.repository.revision_tree(base_revision)
 
464
                    sub_merge.base_rev_id = base_revision
 
465
                    sub_merge.do_merge()
 
466
 
 
467
        finally:
 
468
            if self.other_tree is not None:
 
469
                self.other_tree.unlock()
 
470
            if self.base_tree is not None:
 
471
                self.base_tree.unlock()
 
472
            self.this_tree.unlock()
699
473
        if len(merge.cooked_conflicts) == 0:
700
 
            if not self.ignore_zero and not trace.is_quiet():
701
 
                trace.note("All changes applied successfully.")
 
474
            if not self.ignore_zero and not is_quiet():
 
475
                note("All changes applied successfully.")
702
476
        else:
703
 
            trace.note("%d conflicts encountered."
704
 
                       % len(merge.cooked_conflicts))
 
477
            note("%d conflicts encountered." % len(merge.cooked_conflicts))
705
478
 
706
479
        return len(merge.cooked_conflicts)
707
480
 
708
481
 
709
 
class _InventoryNoneEntry(object):
710
 
    """This represents an inventory entry which *isn't there*.
711
 
 
712
 
    It simplifies the merging logic if we always have an InventoryEntry, even
713
 
    if it isn't actually present
714
 
    """
715
 
    executable = None
716
 
    kind = None
717
 
    name = None
718
 
    parent_id = None
719
 
    revision = None
720
 
    symlink_target = None
721
 
    text_sha1 = None
722
 
 
723
 
_none_entry = _InventoryNoneEntry()
724
 
 
725
 
 
726
482
class Merge3Merger(object):
727
483
    """Three-way merger that uses the merge3 text merger"""
728
484
    requires_base = True
734
490
    winner_idx = {"this": 2, "other": 1, "conflict": 1}
735
491
    supports_lca_trees = True
736
492
 
737
 
    def __init__(self, working_tree, this_tree, base_tree, other_tree,
 
493
    def __init__(self, working_tree, this_tree, base_tree, other_tree, 
738
494
                 interesting_ids=None, reprocess=False, show_base=False,
739
 
                 pb=None, pp=None, change_reporter=None,
 
495
                 pb=DummyProgress(), pp=None, change_reporter=None,
740
496
                 interesting_files=None, do_merge=True,
741
 
                 cherrypick=False, lca_trees=None, this_branch=None):
 
497
                 cherrypick=False, lca_trees=None):
742
498
        """Initialize the merger object and perform the merge.
743
499
 
744
500
        :param working_tree: The working tree to apply the merge to
745
501
        :param this_tree: The local tree in the merge operation
746
502
        :param base_tree: The common tree in the merge operation
747
 
        :param other_tree: The other tree to merge changes from
748
 
        :param this_branch: The branch associated with this_tree.  Defaults to
749
 
            this_tree.branch if not supplied.
 
503
        :param other_tree: The other other tree to merge changes from
750
504
        :param interesting_ids: The file_ids of files that should be
751
505
            participate in the merge.  May not be combined with
752
506
            interesting_files.
753
507
        :param: reprocess If True, perform conflict-reduction processing.
754
508
        :param show_base: If True, show the base revision in text conflicts.
755
509
            (incompatible with reprocess)
756
 
        :param pb: ignored
 
510
        :param pb: A Progress bar
757
511
        :param pp: A ProgressPhase object
758
512
        :param change_reporter: An object that should report changes made
759
513
        :param interesting_files: The tree-relative paths of files that should
770
524
        if interesting_files is not None and interesting_ids is not None:
771
525
            raise ValueError(
772
526
                'specify either interesting_ids or interesting_files')
773
 
        if this_branch is None:
774
 
            this_branch = this_tree.branch
775
527
        self.interesting_ids = interesting_ids
776
528
        self.interesting_files = interesting_files
777
529
        self.this_tree = working_tree
778
530
        self.base_tree = base_tree
779
531
        self.other_tree = other_tree
780
 
        self.this_branch = this_branch
781
532
        self._raw_conflicts = []
782
533
        self.cooked_conflicts = []
783
534
        self.reprocess = reprocess
784
535
        self.show_base = show_base
785
536
        self._lca_trees = lca_trees
786
 
        # Uncommenting this will change the default algorithm to always use
787
 
        # _entries_lca. This can be useful for running the test suite and
788
 
        # making sure we haven't missed any corner cases.
789
 
        # if lca_trees is None:
790
 
        #     self._lca_trees = [self.base_tree]
 
537
        self.pb = pb
 
538
        self.pp = pp
791
539
        self.change_reporter = change_reporter
792
540
        self.cherrypick = cherrypick
 
541
        if self.pp is None:
 
542
            self.pp = ProgressPhase("Merge phase", 3, self.pb)
793
543
        if do_merge:
794
544
            self.do_merge()
795
 
        if pp is not None:
796
 
            warnings.warn("pp argument to Merge3Merger is deprecated")
797
 
        if pb is not None:
798
 
            warnings.warn("pb argument to Merge3Merger is deprecated")
799
545
 
800
546
    def do_merge(self):
801
 
        operation = OperationWithCleanups(self._do_merge)
802
547
        self.this_tree.lock_tree_write()
803
 
        operation.add_cleanup(self.this_tree.unlock)
804
548
        self.base_tree.lock_read()
805
 
        operation.add_cleanup(self.base_tree.unlock)
806
549
        self.other_tree.lock_read()
807
 
        operation.add_cleanup(self.other_tree.unlock)
808
 
        operation.run()
809
 
 
810
 
    def _do_merge(self, operation):
811
 
        self.tt = transform.TreeTransform(self.this_tree, None)
812
 
        operation.add_cleanup(self.tt.finalize)
813
 
        self._compute_transform()
814
 
        results = self.tt.apply(no_conflicts=True)
815
 
        self.write_modified(results)
 
550
        self.tt = TreeTransform(self.this_tree, self.pb)
816
551
        try:
817
 
            self.this_tree.add_conflicts(self.cooked_conflicts)
818
 
        except errors.UnsupportedOperation:
819
 
            pass
 
552
            self.pp.next_phase()
 
553
            self._compute_transform()
 
554
            self.pp.next_phase()
 
555
            results = self.tt.apply(no_conflicts=True)
 
556
            self.write_modified(results)
 
557
            try:
 
558
                self.this_tree.add_conflicts(self.cooked_conflicts)
 
559
            except UnsupportedOperation:
 
560
                pass
 
561
        finally:
 
562
            self.tt.finalize()
 
563
            self.other_tree.unlock()
 
564
            self.base_tree.unlock()
 
565
            self.this_tree.unlock()
 
566
            self.pb.clear()
820
567
 
821
568
    def make_preview_transform(self):
822
 
        operation = OperationWithCleanups(self._make_preview_transform)
823
569
        self.base_tree.lock_read()
824
 
        operation.add_cleanup(self.base_tree.unlock)
825
570
        self.other_tree.lock_read()
826
 
        operation.add_cleanup(self.other_tree.unlock)
827
 
        return operation.run_simple()
828
 
 
829
 
    def _make_preview_transform(self):
830
 
        self.tt = transform.TransformPreview(self.this_tree)
831
 
        self._compute_transform()
 
571
        self.tt = TransformPreview(self.this_tree)
 
572
        try:
 
573
            self.pp.next_phase()
 
574
            self._compute_transform()
 
575
            self.pp.next_phase()
 
576
        finally:
 
577
            self.other_tree.unlock()
 
578
            self.base_tree.unlock()
 
579
            self.pb.clear()
832
580
        return self.tt
833
581
 
834
582
    def _compute_transform(self):
835
 
        if self._lca_trees is None:
836
 
            entries = self._entries3()
837
 
            resolver = self._three_way
838
 
        else:
839
 
            entries = self._entries_lca()
840
 
            resolver = self._lca_multi_way
 
583
        entries = self._entries3()
841
584
        child_pb = ui.ui_factory.nested_progress_bar()
842
585
        try:
843
 
            factories = Merger.hooks['merge_file_content']
844
 
            hooks = [factory(self) for factory in factories] + [self]
845
 
            self.active_hooks = [hook for hook in hooks if hook is not None]
846
586
            for num, (file_id, changed, parents3, names3,
847
587
                      executable3) in enumerate(entries):
848
588
                child_pb.update('Preparing file merge', num, len(entries))
849
 
                self._merge_names(file_id, parents3, names3, resolver=resolver)
 
589
                self._merge_names(file_id, parents3, names3)
850
590
                if changed:
851
 
                    file_status = self._do_merge_contents(file_id)
 
591
                    file_status = self.merge_contents(file_id)
852
592
                else:
853
593
                    file_status = 'unmodified'
854
594
                self._merge_executable(file_id,
855
 
                    executable3, file_status, resolver=resolver)
 
595
                    executable3, file_status)
856
596
        finally:
857
597
            child_pb.finished()
858
598
        self.fix_root()
 
599
        self.pp.next_phase()
859
600
        child_pb = ui.ui_factory.nested_progress_bar()
860
601
        try:
861
 
            fs_conflicts = transform.resolve_conflicts(self.tt, child_pb,
862
 
                lambda t, c: transform.conflict_pass(t, c, self.other_tree))
 
602
            fs_conflicts = resolve_conflicts(self.tt, child_pb,
 
603
                lambda t, c: conflict_pass(t, c, self.other_tree))
863
604
        finally:
864
605
            child_pb.finished()
865
606
        if self.change_reporter is not None:
868
609
                self.tt.iter_changes(), self.change_reporter)
869
610
        self.cook_conflicts(fs_conflicts)
870
611
        for conflict in self.cooked_conflicts:
871
 
            trace.warning(conflict)
 
612
            warning(conflict)
872
613
 
873
614
    def _entries3(self):
874
615
        """Gather data about files modified between three trees.
883
624
        iterator = self.other_tree.iter_changes(self.base_tree,
884
625
                include_unchanged=True, specific_files=self.interesting_files,
885
626
                extra_trees=[self.this_tree])
886
 
        this_entries = dict((e.file_id, e) for p, e in
887
 
                            self.this_tree.iter_entries_by_dir(
888
 
                            self.interesting_ids))
889
627
        for (file_id, paths, changed, versioned, parents, names, kind,
890
628
             executable) in iterator:
891
629
            if (self.interesting_ids is not None and
892
630
                file_id not in self.interesting_ids):
893
631
                continue
894
 
            entry = this_entries.get(file_id)
895
 
            if entry is not None:
 
632
            if file_id in self.this_tree.inventory:
 
633
                entry = self.this_tree.inventory[file_id]
896
634
                this_name = entry.name
897
635
                this_parent = entry.parent_id
898
636
                this_executable = entry.executable
922
660
            names       ((base, [name, in, lcas]), name_in_other, name_in_this)
923
661
            executable  ((base, [exec, in, lcas]), exec_in_other, exec_in_this)
924
662
        """
925
 
        if self.interesting_files is not None:
926
 
            lookup_trees = [self.this_tree, self.base_tree]
927
 
            lookup_trees.extend(self._lca_trees)
928
 
            # I think we should include the lca trees as well
929
 
            interesting_ids = self.other_tree.paths2ids(self.interesting_files,
930
 
                                                        lookup_trees)
931
 
        else:
932
 
            interesting_ids = self.interesting_ids
933
663
        result = []
 
664
        # XXX: Do we want a better sort order than this?
934
665
        walker = _mod_tree.MultiWalker(self.other_tree, self._lca_trees)
935
666
 
936
667
        base_inventory = self.base_tree.inventory
938
669
        for path, file_id, other_ie, lca_values in walker.iter_all():
939
670
            # Is this modified at all from any of the other trees?
940
671
            if other_ie is None:
941
 
                other_ie = _none_entry
942
 
            if interesting_ids is not None and file_id not in interesting_ids:
943
 
                continue
944
 
 
945
 
            # If other_revision is found in any of the lcas, that means this
946
 
            # node is uninteresting. This is because when merging, if there are
947
 
            # multiple heads(), we have to create a new node. So if we didn't,
948
 
            # we know that the ancestry is linear, and that OTHER did not
949
 
            # modify anything
950
 
            # See doc/developers/lca_merge_resolution.txt for details
951
 
            other_revision = other_ie.revision
952
 
            if other_revision is not None:
953
 
                # We can't use this shortcut when other_revision is None,
954
 
                # because it may be None because things are WorkingTrees, and
955
 
                # not because it is *actually* None.
956
 
                is_unmodified = False
957
 
                for lca_path, ie in lca_values:
958
 
                    if ie is not None and ie.revision == other_revision:
959
 
                        is_unmodified = True
960
 
                        break
961
 
                if is_unmodified:
962
 
                    continue
963
 
 
964
 
            lca_entries = []
965
 
            for lca_path, lca_ie in lca_values:
966
 
                if lca_ie is None:
967
 
                    lca_entries.append(_none_entry)
968
 
                else:
969
 
                    lca_entries.append(lca_ie)
 
672
                last_rev = other_kind = other_parent_id = other_name = None
 
673
                other_executable = None
 
674
            else:
 
675
                last_rev = other_ie.revision
 
676
                other_kind = other_ie.kind
 
677
                other_parent_id = other_ie.parent_id
 
678
                other_name = other_ie.name
 
679
                other_executable = other_ie.executable
 
680
 
 
681
            # I believe we can actually change this to see if last_rev is
 
682
            # identical to *any* of the lca values.
 
683
            for lca_path, ie in lca_values:
 
684
                if ((ie is None and other_ie is not None)
 
685
                    or ie.revision != last_rev):
 
686
                    break
 
687
            else: # Identical in all trees
 
688
                continue
 
689
            kind_changed = False
 
690
            parent_id_changed = False
 
691
            name_changed = False
 
692
            for lca_path, ie in lca_values:
 
693
                if ie is None and other_ie is not None:
 
694
                    kind_changed = parent_id_changed = name_changed = True
 
695
                    break
 
696
                if ie.kind != other_kind:
 
697
                    kind_changed = True
 
698
                if ie.parent_id != other_parent_id:
 
699
                    parent_id_changed = True
 
700
                if ie.name != other_name:
 
701
                    name_changed = True
 
702
 
 
703
            if (not kind_changed and not parent_id_changed
 
704
                and not name_changed and other_kind == 'directory'):
 
705
                # Even though last-modified has changed, the actual attributes
 
706
                # of this entry hasn't changed, so skip it.
 
707
                continue
970
708
 
971
709
            if file_id in base_inventory:
972
 
                base_ie = base_inventory[file_id]
 
710
                base_ie = self.base_tree.inventory[file_id]
 
711
                base_parent_id = base_ie.parent_id
 
712
                base_name = base_ie.name
 
713
                base_executable = base_ie.executable
973
714
            else:
974
 
                base_ie = _none_entry
975
 
 
 
715
                base_parent_id = base_name = base_executable = None
976
716
            if file_id in this_inventory:
977
717
                this_ie = this_inventory[file_id]
 
718
                this_parent_id = this_ie.parent_id
 
719
                this_name = this_ie.name
 
720
                this_executable = this_ie.executable
978
721
            else:
979
 
                this_ie = _none_entry
 
722
                this_parent_id = this_name = this_executable = None
980
723
 
981
 
            lca_kinds = []
982
724
            lca_parent_ids = []
983
725
            lca_names = []
984
726
            lca_executable = []
985
 
            for lca_ie in lca_entries:
986
 
                lca_kinds.append(lca_ie.kind)
987
 
                lca_parent_ids.append(lca_ie.parent_id)
988
 
                lca_names.append(lca_ie.name)
989
 
                lca_executable.append(lca_ie.executable)
990
 
 
991
 
            kind_winner = self._lca_multi_way(
992
 
                (base_ie.kind, lca_kinds),
993
 
                other_ie.kind, this_ie.kind)
994
 
            parent_id_winner = self._lca_multi_way(
995
 
                (base_ie.parent_id, lca_parent_ids),
996
 
                other_ie.parent_id, this_ie.parent_id)
997
 
            name_winner = self._lca_multi_way(
998
 
                (base_ie.name, lca_names),
999
 
                other_ie.name, this_ie.name)
1000
 
 
1001
 
            content_changed = True
1002
 
            if kind_winner == 'this':
1003
 
                # No kind change in OTHER, see if there are *any* changes
1004
 
                if other_ie.kind == 'directory':
1005
 
                    if parent_id_winner == 'this' and name_winner == 'this':
1006
 
                        # No change for this directory in OTHER, skip
1007
 
                        continue
1008
 
                    content_changed = False
1009
 
                elif other_ie.kind is None or other_ie.kind == 'file':
1010
 
                    def get_sha1(ie, tree):
1011
 
                        if ie.kind != 'file':
1012
 
                            return None
1013
 
                        return tree.get_file_sha1(file_id)
1014
 
                    base_sha1 = get_sha1(base_ie, self.base_tree)
1015
 
                    lca_sha1s = [get_sha1(ie, tree) for ie, tree
1016
 
                                 in zip(lca_entries, self._lca_trees)]
1017
 
                    this_sha1 = get_sha1(this_ie, self.this_tree)
1018
 
                    other_sha1 = get_sha1(other_ie, self.other_tree)
1019
 
                    sha1_winner = self._lca_multi_way(
1020
 
                        (base_sha1, lca_sha1s), other_sha1, this_sha1,
1021
 
                        allow_overriding_lca=False)
1022
 
                    exec_winner = self._lca_multi_way(
1023
 
                        (base_ie.executable, lca_executable),
1024
 
                        other_ie.executable, this_ie.executable)
1025
 
                    if (parent_id_winner == 'this' and name_winner == 'this'
1026
 
                        and sha1_winner == 'this' and exec_winner == 'this'):
1027
 
                        # No kind, parent, name, exec, or content change for
1028
 
                        # OTHER, so this node is not considered interesting
1029
 
                        continue
1030
 
                    if sha1_winner == 'this':
1031
 
                        content_changed = False
1032
 
                elif other_ie.kind == 'symlink':
1033
 
                    def get_target(ie, tree):
1034
 
                        if ie.kind != 'symlink':
1035
 
                            return None
1036
 
                        return tree.get_symlink_target(file_id)
1037
 
                    base_target = get_target(base_ie, self.base_tree)
1038
 
                    lca_targets = [get_target(ie, tree) for ie, tree
1039
 
                                   in zip(lca_entries, self._lca_trees)]
1040
 
                    this_target = get_target(this_ie, self.this_tree)
1041
 
                    other_target = get_target(other_ie, self.other_tree)
1042
 
                    target_winner = self._lca_multi_way(
1043
 
                        (base_target, lca_targets),
1044
 
                        other_target, this_target)
1045
 
                    if (parent_id_winner == 'this' and name_winner == 'this'
1046
 
                        and target_winner == 'this'):
1047
 
                        # No kind, parent, name, or symlink target change
1048
 
                        # not interesting
1049
 
                        continue
1050
 
                    if target_winner == 'this':
1051
 
                        content_changed = False
1052
 
                elif other_ie.kind == 'tree-reference':
1053
 
                    # The 'changed' information seems to be handled at a higher
1054
 
                    # level. At least, _entries3 returns False for content
1055
 
                    # changed, even when at a new revision_id.
1056
 
                    content_changed = False
1057
 
                    if (parent_id_winner == 'this' and name_winner == 'this'):
1058
 
                        # Nothing interesting
1059
 
                        continue
 
727
            for path, ie in lca_values:
 
728
                if ie is None:
 
729
                    lca_parent_ids.append(None)
 
730
                    lca_names.append(None)
 
731
                    lca_executable.append(None)
1060
732
                else:
1061
 
                    raise AssertionError('unhandled kind: %s' % other_ie.kind)
 
733
                    lca_parent_ids.append(ie.parent_id)
 
734
                    lca_names.append(ie.name)
 
735
                    lca_executable.append(ie.executable)
1062
736
 
1063
737
            # If we have gotten this far, that means something has changed
1064
 
            result.append((file_id, content_changed,
1065
 
                           ((base_ie.parent_id, lca_parent_ids),
1066
 
                            other_ie.parent_id, this_ie.parent_id),
1067
 
                           ((base_ie.name, lca_names),
1068
 
                            other_ie.name, this_ie.name),
1069
 
                           ((base_ie.executable, lca_executable),
1070
 
                            other_ie.executable, this_ie.executable)
 
738
            result.append((file_id, True,
 
739
                           ((base_parent_id, lca_parent_ids),
 
740
                            other_parent_id, this_parent_id),
 
741
                           ((base_name, lca_names),
 
742
                            other_name, this_name),
 
743
                           ((base_executable, lca_executable),
 
744
                            other_executable, this_executable)
1071
745
                          ))
1072
746
        return result
1073
747
 
1075
749
    def fix_root(self):
1076
750
        try:
1077
751
            self.tt.final_kind(self.tt.root)
1078
 
        except errors.NoSuchFile:
 
752
        except NoSuchFile:
1079
753
            self.tt.cancel_deletion(self.tt.root)
1080
754
        if self.tt.final_file_id(self.tt.root) is None:
1081
 
            self.tt.version_file(self.tt.tree_file_id(self.tt.root),
 
755
            self.tt.version_file(self.tt.tree_file_id(self.tt.root), 
1082
756
                                 self.tt.root)
 
757
        if self.other_tree.inventory.root is None:
 
758
            return
1083
759
        other_root_file_id = self.other_tree.get_root_id()
1084
 
        if other_root_file_id is None:
1085
 
            return
1086
760
        other_root = self.tt.trans_id_file_id(other_root_file_id)
1087
761
        if other_root == self.tt.root:
1088
762
            return
1089
 
        if self.other_tree.inventory.root.file_id in self.this_tree.inventory:
1090
 
            # the other tree's root is a non-root in the current tree (as when
1091
 
            # a previously unrelated branch is merged into another)
1092
 
            return
1093
763
        try:
1094
764
            self.tt.final_kind(other_root)
1095
 
            other_root_is_present = True
1096
 
        except errors.NoSuchFile:
1097
 
            # other_root doesn't have a physical representation. We still need
1098
 
            # to move any references to the actual root of the tree.
1099
 
            other_root_is_present = False
1100
 
        # 'other_tree.inventory.root' is not present in this tree. We are
1101
 
        # calling adjust_path for children which *want* to be present with a
1102
 
        # correct place to go.
1103
 
        for thing, child in self.other_tree.inventory.root.children.iteritems():
 
765
        except NoSuchFile:
 
766
            return
 
767
        self.reparent_children(self.other_tree.inventory.root, self.tt.root)
 
768
        self.tt.cancel_creation(other_root)
 
769
        self.tt.cancel_versioning(other_root)
 
770
 
 
771
    def reparent_children(self, ie, target):
 
772
        for thing, child in ie.children.iteritems():
1104
773
            trans_id = self.tt.trans_id_file_id(child.file_id)
1105
 
            if not other_root_is_present:
1106
 
                # FIXME: Make final_kind returns None instead of raising
1107
 
                # NoSuchFile to avoid the ugly construct below -- vila 20100402
1108
 
                try:
1109
 
                    self.tt.final_kind(trans_id)
1110
 
                    # The item exist in the final tree and has a defined place
1111
 
                    # to go already.
1112
 
                    continue
1113
 
                except errors.NoSuchFile, e:
1114
 
                    pass
1115
 
            # Move the item into the root
1116
 
            self.tt.adjust_path(self.tt.final_name(trans_id),
1117
 
                                self.tt.root, trans_id)
1118
 
        if other_root_is_present:
1119
 
            self.tt.cancel_creation(other_root)
1120
 
            self.tt.cancel_versioning(other_root)
 
774
            self.tt.adjust_path(self.tt.final_name(trans_id), target, trans_id)
1121
775
 
1122
776
    def write_modified(self, results):
1123
777
        modified_hashes = {}
1144
798
        if entry is None:
1145
799
            return None
1146
800
        return entry.name
1147
 
 
 
801
    
1148
802
    @staticmethod
1149
803
    def contents_sha1(tree, file_id):
1150
804
        """Determine the sha1 of the file contents (used as a key method)."""
1155
809
    @staticmethod
1156
810
    def executable(tree, file_id):
1157
811
        """Determine the executability of a file-id (used as a key method)."""
1158
 
        if not tree.has_id(file_id):
 
812
        if file_id not in tree:
1159
813
            return None
1160
814
        if tree.kind(file_id) != "file":
1161
815
            return False
1164
818
    @staticmethod
1165
819
    def kind(tree, file_id):
1166
820
        """Determine the kind of a file-id (used as a key method)."""
1167
 
        if not tree.has_id(file_id):
 
821
        if file_id not in tree:
1168
822
            return None
1169
823
        return tree.kind(file_id)
1170
824
 
1171
825
    @staticmethod
1172
826
    def _three_way(base, other, this):
 
827
        #if base == other, either they all agree, or only THIS has changed.
1173
828
        if base == other:
1174
 
            # if 'base == other', either they all agree, or only 'this' has
1175
 
            # changed.
1176
829
            return 'this'
1177
830
        elif this not in (base, other):
1178
 
            # 'this' is neither 'base' nor 'other', so both sides changed
1179
831
            return 'conflict'
 
832
        # "Ambiguous clean merge" -- both sides have made the same change.
1180
833
        elif this == other:
1181
 
            # "Ambiguous clean merge" -- both sides have made the same change.
1182
834
            return "this"
 
835
        # this == base: only other has changed.
1183
836
        else:
1184
 
            # this == base: only other has changed.
1185
837
            return "other"
1186
838
 
1187
839
    @staticmethod
1188
 
    def _lca_multi_way(bases, other, this, allow_overriding_lca=True):
1189
 
        """Consider LCAs when determining whether a change has occurred.
1190
 
 
1191
 
        If LCAS are all identical, this is the same as a _three_way comparison.
1192
 
 
1193
 
        :param bases: value in (BASE, [LCAS])
1194
 
        :param other: value in OTHER
1195
 
        :param this: value in THIS
1196
 
        :param allow_overriding_lca: If there is more than one unique lca
1197
 
            value, allow OTHER to override THIS if it has a new value, and
1198
 
            THIS only has an lca value, or vice versa. This is appropriate for
1199
 
            truly scalar values, not as much for non-scalars.
1200
 
        :return: 'this', 'other', or 'conflict' depending on whether an entry
1201
 
            changed or not.
1202
 
        """
1203
 
        # See doc/developers/lca_tree_merging.txt for details about this
1204
 
        # algorithm.
1205
 
        if other == this:
1206
 
            # Either Ambiguously clean, or nothing was actually changed. We
1207
 
            # don't really care
1208
 
            return 'this'
1209
 
        base_val, lca_vals = bases
1210
 
        # Remove 'base_val' from the lca_vals, because it is not interesting
1211
 
        filtered_lca_vals = [lca_val for lca_val in lca_vals
1212
 
                                      if lca_val != base_val]
1213
 
        if len(filtered_lca_vals) == 0:
1214
 
            return Merge3Merger._three_way(base_val, other, this)
1215
 
 
1216
 
        unique_lca_vals = set(filtered_lca_vals)
1217
 
        if len(unique_lca_vals) == 1:
1218
 
            return Merge3Merger._three_way(unique_lca_vals.pop(), other, this)
1219
 
 
1220
 
        if allow_overriding_lca:
1221
 
            if other in unique_lca_vals:
1222
 
                if this in unique_lca_vals:
1223
 
                    # Each side picked a different lca, conflict
1224
 
                    return 'conflict'
1225
 
                else:
1226
 
                    # This has a value which supersedes both lca values, and
1227
 
                    # other only has an lca value
1228
 
                    return 'this'
1229
 
            elif this in unique_lca_vals:
1230
 
                # OTHER has a value which supersedes both lca values, and this
1231
 
                # only has an lca value
1232
 
                return 'other'
1233
 
 
1234
 
        # At this point, the lcas disagree, and the tip disagree
1235
 
        return 'conflict'
1236
 
 
1237
 
    @staticmethod
1238
 
    @deprecated_method(deprecated_in((2, 2, 0)))
1239
840
    def scalar_three_way(this_tree, base_tree, other_tree, file_id, key):
1240
841
        """Do a three-way test on a scalar.
1241
842
        Return "this", "other" or "conflict", depending whether a value wins.
1256
857
 
1257
858
    def merge_names(self, file_id):
1258
859
        def get_entry(tree):
1259
 
            if tree.has_id(file_id):
 
860
            if file_id in tree.inventory:
1260
861
                return tree.inventory[file_id]
1261
862
            else:
1262
863
                return None
1273
874
            else:
1274
875
                names.append(entry.name)
1275
876
                parents.append(entry.parent_id)
1276
 
        return self._merge_names(file_id, parents, names,
1277
 
                                 resolver=self._three_way)
 
877
        return self._merge_names(file_id, parents, names)
1278
878
 
1279
 
    def _merge_names(self, file_id, parents, names, resolver):
 
879
    def _merge_names(self, file_id, parents, names):
1280
880
        """Perform a merge on file_id names and parents"""
1281
881
        base_name, other_name, this_name = names
1282
882
        base_parent, other_parent, this_parent = parents
1283
883
 
1284
 
        name_winner = resolver(*names)
 
884
        name_winner = self._three_way(*names)
1285
885
 
1286
 
        parent_id_winner = resolver(*parents)
 
886
        parent_id_winner = self._three_way(*parents)
1287
887
        if this_name is None:
1288
888
            if name_winner == "this":
1289
889
                name_winner = "other"
1291
891
                parent_id_winner = "other"
1292
892
        if name_winner == "this" and parent_id_winner == "this":
1293
893
            return
1294
 
        if name_winner == 'conflict' or parent_id_winner == 'conflict':
1295
 
            # Creating helpers (.OTHER or .THIS) here cause problems down the
1296
 
            # road if a ContentConflict needs to be created so we should not do
1297
 
            # that
1298
 
            trans_id = self.tt.trans_id_file_id(file_id)
1299
 
            self._raw_conflicts.append(('path conflict', trans_id, file_id,
1300
 
                                        this_parent, this_name,
1301
 
                                        other_parent, other_name))
 
894
        if name_winner == "conflict":
 
895
            trans_id = self.tt.trans_id_file_id(file_id)
 
896
            self._raw_conflicts.append(('name conflict', trans_id, 
 
897
                                        this_name, other_name))
 
898
        if parent_id_winner == "conflict":
 
899
            trans_id = self.tt.trans_id_file_id(file_id)
 
900
            self._raw_conflicts.append(('parent conflict', trans_id, 
 
901
                                        this_parent, other_parent))
1302
902
        if other_name is None:
1303
 
            # it doesn't matter whether the result was 'other' or
 
903
            # it doesn't matter whether the result was 'other' or 
1304
904
            # 'conflict'-- if there's no 'other', we leave it alone.
1305
905
            return
 
906
        # if we get here, name_winner and parent_winner are set to safe values.
 
907
        trans_id = self.tt.trans_id_file_id(file_id)
1306
908
        parent_id = parents[self.winner_idx[parent_id_winner]]
1307
909
        if parent_id is not None:
1308
 
            # if we get here, name_winner and parent_winner are set to safe
1309
 
            # values.
 
910
            parent_trans_id = self.tt.trans_id_file_id(parent_id)
1310
911
            self.tt.adjust_path(names[self.winner_idx[name_winner]],
1311
 
                                self.tt.trans_id_file_id(parent_id),
1312
 
                                self.tt.trans_id_file_id(file_id))
 
912
                                parent_trans_id, trans_id)
1313
913
 
1314
 
    def _do_merge_contents(self, file_id):
1315
 
        """Performs a merge on file_id contents."""
 
914
    def merge_contents(self, file_id):
 
915
        """Performa a merge on file_id contents."""
1316
916
        def contents_pair(tree):
1317
917
            if file_id not in tree:
1318
918
                return (None, None)
1325
925
                contents = None
1326
926
            return kind, contents
1327
927
 
 
928
        def contents_conflict():
 
929
            trans_id = self.tt.trans_id_file_id(file_id)
 
930
            name = self.tt.final_name(trans_id)
 
931
            parent_id = self.tt.final_parent(trans_id)
 
932
            if file_id in self.this_tree.inventory:
 
933
                self.tt.unversion_file(trans_id)
 
934
                if file_id in self.this_tree:
 
935
                    self.tt.delete_contents(trans_id)
 
936
            file_group = self._dump_conflicts(name, parent_id, file_id, 
 
937
                                              set_version=True)
 
938
            self._raw_conflicts.append(('contents conflict', file_group))
 
939
 
1328
940
        # See SPOT run.  run, SPOT, run.
1329
941
        # So we're not QUITE repeating ourselves; we do tricky things with
1330
942
        # file kind...
1331
943
        base_pair = contents_pair(self.base_tree)
1332
944
        other_pair = contents_pair(self.other_tree)
1333
 
        if self._lca_trees:
1334
 
            this_pair = contents_pair(self.this_tree)
1335
 
            lca_pairs = [contents_pair(tree) for tree in self._lca_trees]
1336
 
            winner = self._lca_multi_way((base_pair, lca_pairs), other_pair,
1337
 
                                         this_pair, allow_overriding_lca=False)
1338
 
        else:
1339
 
            if base_pair == other_pair:
1340
 
                winner = 'this'
1341
 
            else:
1342
 
                # We delayed evaluating this_pair as long as we can to avoid
1343
 
                # unnecessary sha1 calculation
1344
 
                this_pair = contents_pair(self.this_tree)
1345
 
                winner = self._three_way(base_pair, other_pair, this_pair)
1346
 
        if winner == 'this':
1347
 
            # No interesting changes introduced by OTHER
1348
 
            return "unmodified"
1349
 
        # We have a hypothetical conflict, but if we have files, then we
1350
 
        # can try to merge the content
1351
 
        trans_id = self.tt.trans_id_file_id(file_id)
1352
 
        params = MergeHookParams(self, file_id, trans_id, this_pair[0],
1353
 
            other_pair[0], winner)
1354
 
        hooks = self.active_hooks
1355
 
        hook_status = 'not_applicable'
1356
 
        for hook in hooks:
1357
 
            hook_status, lines = hook.merge_contents(params)
1358
 
            if hook_status != 'not_applicable':
1359
 
                # Don't try any more hooks, this one applies.
1360
 
                break
1361
 
        result = "modified"
1362
 
        if hook_status == 'not_applicable':
1363
 
            # This is a contents conflict, because none of the available
1364
 
            # functions could merge it.
1365
 
            result = None
1366
 
            name = self.tt.final_name(trans_id)
1367
 
            parent_id = self.tt.final_parent(trans_id)
1368
 
            if self.this_tree.has_id(file_id):
1369
 
                self.tt.unversion_file(trans_id)
1370
 
            file_group = self._dump_conflicts(name, parent_id, file_id,
1371
 
                                              set_version=True)
1372
 
            self._raw_conflicts.append(('contents conflict', file_group))
1373
 
        elif hook_status == 'success':
1374
 
            self.tt.create_file(lines, trans_id)
1375
 
        elif hook_status == 'conflicted':
1376
 
            # XXX: perhaps the hook should be able to provide
1377
 
            # the BASE/THIS/OTHER files?
1378
 
            self.tt.create_file(lines, trans_id)
1379
 
            self._raw_conflicts.append(('text conflict', trans_id))
1380
 
            name = self.tt.final_name(trans_id)
1381
 
            parent_id = self.tt.final_parent(trans_id)
1382
 
            self._dump_conflicts(name, parent_id, file_id)
1383
 
        elif hook_status == 'delete':
1384
 
            self.tt.unversion_file(trans_id)
1385
 
            result = "deleted"
1386
 
        elif hook_status == 'done':
1387
 
            # The hook function did whatever it needs to do directly, no
1388
 
            # further action needed here.
1389
 
            pass
1390
 
        else:
1391
 
            raise AssertionError('unknown hook_status: %r' % (hook_status,))
1392
 
        if not self.this_tree.has_id(file_id) and result == "modified":
1393
 
            self.tt.version_file(file_id, trans_id)
1394
 
        # The merge has been performed, so the old contents should not be
1395
 
        # retained.
1396
 
        try:
1397
 
            self.tt.delete_contents(trans_id)
1398
 
        except errors.NoSuchFile:
1399
 
            pass
1400
 
        return result
1401
 
 
1402
 
    def _default_other_winner_merge(self, merge_hook_params):
1403
 
        """Replace this contents with other."""
1404
 
        file_id = merge_hook_params.file_id
1405
 
        trans_id = merge_hook_params.trans_id
1406
 
        file_in_this = self.this_tree.has_id(file_id)
1407
 
        if self.other_tree.has_id(file_id):
1408
 
            # OTHER changed the file
1409
 
            wt = self.this_tree
1410
 
            if wt.supports_content_filtering():
1411
 
                # We get the path from the working tree if it exists.
1412
 
                # That fails though when OTHER is adding a file, so
1413
 
                # we fall back to the other tree to find the path if
1414
 
                # it doesn't exist locally.
1415
 
                try:
1416
 
                    filter_tree_path = wt.id2path(file_id)
1417
 
                except errors.NoSuchId:
1418
 
                    filter_tree_path = self.other_tree.id2path(file_id)
1419
 
            else:
1420
 
                # Skip the id2path lookup for older formats
1421
 
                filter_tree_path = None
1422
 
            transform.create_from_tree(self.tt, trans_id,
1423
 
                             self.other_tree, file_id,
1424
 
                             filter_tree_path=filter_tree_path)
1425
 
            return 'done', None
1426
 
        elif file_in_this:
1427
 
            # OTHER deleted the file
1428
 
            return 'delete', None
1429
 
        else:
1430
 
            raise AssertionError(
1431
 
                'winner is OTHER, but file_id %r not in THIS or OTHER tree'
1432
 
                % (file_id,))
1433
 
 
1434
 
    def merge_contents(self, merge_hook_params):
1435
 
        """Fallback merge logic after user installed hooks."""
1436
 
        # This function is used in merge hooks as the fallback instance.
1437
 
        # Perhaps making this function and the functions it calls be a 
1438
 
        # a separate class would be better.
1439
 
        if merge_hook_params.winner == 'other':
1440
 
            # OTHER is a straight winner, so replace this contents with other
1441
 
            return self._default_other_winner_merge(merge_hook_params)
1442
 
        elif merge_hook_params.is_file_merge():
1443
 
            # THIS and OTHER are both files, so text merge.  Either
1444
 
            # BASE is a file, or both converted to files, so at least we
1445
 
            # have agreement that output should be a file.
1446
 
            try:
1447
 
                self.text_merge(merge_hook_params.file_id,
1448
 
                    merge_hook_params.trans_id)
1449
 
            except errors.BinaryFile:
1450
 
                return 'not_applicable', None
1451
 
            return 'done', None
1452
 
        else:
1453
 
            return 'not_applicable', None
 
945
        if base_pair == other_pair:
 
946
            # OTHER introduced no changes
 
947
            return "unmodified"
 
948
        this_pair = contents_pair(self.this_tree)
 
949
        if this_pair == other_pair:
 
950
            # THIS and OTHER introduced the same changes
 
951
            return "unmodified"
 
952
        else:
 
953
            trans_id = self.tt.trans_id_file_id(file_id)
 
954
            if this_pair == base_pair:
 
955
                # only OTHER introduced changes
 
956
                if file_id in self.this_tree:
 
957
                    # Remove any existing contents
 
958
                    self.tt.delete_contents(trans_id)
 
959
                if file_id in self.other_tree:
 
960
                    # OTHER changed the file
 
961
                    create_by_entry(self.tt, 
 
962
                                    self.other_tree.inventory[file_id], 
 
963
                                    self.other_tree, trans_id)
 
964
                    if file_id not in self.this_tree.inventory:
 
965
                        self.tt.version_file(file_id, trans_id)
 
966
                    return "modified"
 
967
                elif file_id in self.this_tree.inventory:
 
968
                    # OTHER deleted the file
 
969
                    self.tt.unversion_file(trans_id)
 
970
                    return "deleted"
 
971
            #BOTH THIS and OTHER introduced changes; scalar conflict
 
972
            elif this_pair[0] == "file" and other_pair[0] == "file":
 
973
                # THIS and OTHER are both files, so text merge.  Either
 
974
                # BASE is a file, or both converted to files, so at least we
 
975
                # have agreement that output should be a file.
 
976
                try:
 
977
                    self.text_merge(file_id, trans_id)
 
978
                except BinaryFile:
 
979
                    return contents_conflict()
 
980
                if file_id not in self.this_tree.inventory:
 
981
                    self.tt.version_file(file_id, trans_id)
 
982
                try:
 
983
                    self.tt.tree_kind(trans_id)
 
984
                    self.tt.delete_contents(trans_id)
 
985
                except NoSuchFile:
 
986
                    pass
 
987
                return "modified"
 
988
            else:
 
989
                # Scalar conflict, can't text merge.  Dump conflicts
 
990
                return contents_conflict()
1454
991
 
1455
992
    def get_lines(self, tree, file_id):
1456
993
        """Return the lines in a file, or an empty list."""
1457
 
        if tree.has_id(file_id):
 
994
        if file_id in tree:
1458
995
            return tree.get_file(file_id).readlines()
1459
996
        else:
1460
997
            return []
1463
1000
        """Perform a three-way text merge on a file_id"""
1464
1001
        # it's possible that we got here with base as a different type.
1465
1002
        # if so, we just want two-way text conflicts.
1466
 
        if self.base_tree.has_id(file_id) and \
 
1003
        if file_id in self.base_tree and \
1467
1004
            self.base_tree.kind(file_id) == "file":
1468
1005
            base_lines = self.get_lines(self.base_tree, file_id)
1469
1006
        else:
1470
1007
            base_lines = []
1471
1008
        other_lines = self.get_lines(self.other_tree, file_id)
1472
1009
        this_lines = self.get_lines(self.this_tree, file_id)
1473
 
        m3 = merge3.Merge3(base_lines, this_lines, other_lines,
1474
 
                           is_cherrypick=self.cherrypick)
 
1010
        m3 = Merge3(base_lines, this_lines, other_lines,
 
1011
                    is_cherrypick=self.cherrypick)
1475
1012
        start_marker = "!START OF MERGE CONFLICT!" + "I HOPE THIS IS UNIQUE"
1476
1013
        if self.show_base is True:
1477
1014
            base_marker = '|' * 7
1480
1017
 
1481
1018
        def iter_merge3(retval):
1482
1019
            retval["text_conflicts"] = False
1483
 
            for line in m3.merge_lines(name_a = "TREE",
1484
 
                                       name_b = "MERGE-SOURCE",
 
1020
            for line in m3.merge_lines(name_a = "TREE", 
 
1021
                                       name_b = "MERGE-SOURCE", 
1485
1022
                                       name_base = "BASE-REVISION",
1486
 
                                       start_marker=start_marker,
 
1023
                                       start_marker=start_marker, 
1487
1024
                                       base_marker=base_marker,
1488
1025
                                       reprocess=self.reprocess):
1489
1026
                if line.startswith(start_marker):
1498
1035
            self._raw_conflicts.append(('text conflict', trans_id))
1499
1036
            name = self.tt.final_name(trans_id)
1500
1037
            parent_id = self.tt.final_parent(trans_id)
1501
 
            file_group = self._dump_conflicts(name, parent_id, file_id,
 
1038
            file_group = self._dump_conflicts(name, parent_id, file_id, 
1502
1039
                                              this_lines, base_lines,
1503
1040
                                              other_lines)
1504
1041
            file_group.append(trans_id)
1505
1042
 
1506
 
    def _dump_conflicts(self, name, parent_id, file_id, this_lines=None,
 
1043
    def _dump_conflicts(self, name, parent_id, file_id, this_lines=None, 
1507
1044
                        base_lines=None, other_lines=None, set_version=False,
1508
1045
                        no_base=False):
1509
1046
        """Emit conflict files.
1511
1048
        determined automatically.  If set_version is true, the .OTHER, .THIS
1512
1049
        or .BASE (in that order) will be created as versioned files.
1513
1050
        """
1514
 
        data = [('OTHER', self.other_tree, other_lines),
 
1051
        data = [('OTHER', self.other_tree, other_lines), 
1515
1052
                ('THIS', self.this_tree, this_lines)]
1516
1053
        if not no_base:
1517
1054
            data.append(('BASE', self.base_tree, base_lines))
1518
 
 
1519
 
        # We need to use the actual path in the working tree of the file here,
1520
 
        # ignoring the conflict suffixes
1521
 
        wt = self.this_tree
1522
 
        if wt.supports_content_filtering():
1523
 
            try:
1524
 
                filter_tree_path = wt.id2path(file_id)
1525
 
            except errors.NoSuchId:
1526
 
                # file has been deleted
1527
 
                filter_tree_path = None
1528
 
        else:
1529
 
            # Skip the id2path lookup for older formats
1530
 
            filter_tree_path = None
1531
 
 
1532
1055
        versioned = False
1533
1056
        file_group = []
1534
1057
        for suffix, tree, lines in data:
1535
 
            if tree.has_id(file_id):
 
1058
            if file_id in tree:
1536
1059
                trans_id = self._conflict_file(name, parent_id, tree, file_id,
1537
 
                                               suffix, lines, filter_tree_path)
 
1060
                                               suffix, lines)
1538
1061
                file_group.append(trans_id)
1539
1062
                if set_version and not versioned:
1540
1063
                    self.tt.version_file(file_id, trans_id)
1541
1064
                    versioned = True
1542
1065
        return file_group
1543
 
 
1544
 
    def _conflict_file(self, name, parent_id, tree, file_id, suffix,
1545
 
                       lines=None, filter_tree_path=None):
 
1066
           
 
1067
    def _conflict_file(self, name, parent_id, tree, file_id, suffix, 
 
1068
                       lines=None):
1546
1069
        """Emit a single conflict file."""
1547
1070
        name = name + '.' + suffix
1548
1071
        trans_id = self.tt.create_path(name, parent_id)
1549
 
        transform.create_from_tree(self.tt, trans_id, tree, file_id, lines,
1550
 
            filter_tree_path)
 
1072
        entry = tree.inventory[file_id]
 
1073
        create_by_entry(self.tt, entry, tree, trans_id, lines)
1551
1074
        return trans_id
1552
1075
 
1553
1076
    def merge_executable(self, file_id, file_status):
1554
1077
        """Perform a merge on the execute bit."""
1555
1078
        executable = [self.executable(t, file_id) for t in (self.base_tree,
1556
1079
                      self.other_tree, self.this_tree)]
1557
 
        self._merge_executable(file_id, executable, file_status,
1558
 
                               resolver=self._three_way)
 
1080
        self._merge_executable(file_id, executable, file_status)
1559
1081
 
1560
 
    def _merge_executable(self, file_id, executable, file_status,
1561
 
                          resolver):
 
1082
    def _merge_executable(self, file_id, executable, file_status):
1562
1083
        """Perform a merge on the execute bit."""
1563
1084
        base_executable, other_executable, this_executable = executable
1564
1085
        if file_status == "deleted":
1565
1086
            return
1566
 
        winner = resolver(*executable)
 
1087
        winner = self._three_way(*executable)
1567
1088
        if winner == "conflict":
1568
1089
        # There must be a None in here, if we have a conflict, but we
1569
1090
        # need executability since file status was not deleted.
1577
1098
        try:
1578
1099
            if self.tt.final_kind(trans_id) != "file":
1579
1100
                return
1580
 
        except errors.NoSuchFile:
 
1101
        except NoSuchFile:
1581
1102
            return
1582
1103
        if winner == "this":
1583
1104
            executability = this_executable
1584
1105
        else:
1585
 
            if self.other_tree.has_id(file_id):
 
1106
            if file_id in self.other_tree:
1586
1107
                executability = other_executable
1587
 
            elif self.this_tree.has_id(file_id):
 
1108
            elif file_id in self.this_tree:
1588
1109
                executability = this_executable
1589
 
            elif self.base_tree_has_id(file_id):
 
1110
            elif file_id in self.base_tree:
1590
1111
                executability = base_executable
1591
1112
        if executability is not None:
1592
1113
            trans_id = self.tt.trans_id_file_id(file_id)
1594
1115
 
1595
1116
    def cook_conflicts(self, fs_conflicts):
1596
1117
        """Convert all conflicts into a form that doesn't depend on trans_id"""
1597
 
        self.cooked_conflicts.extend(transform.cook_conflicts(
1598
 
                fs_conflicts, self.tt))
1599
 
        fp = transform.FinalPaths(self.tt)
 
1118
        from conflicts import Conflict
 
1119
        name_conflicts = {}
 
1120
        self.cooked_conflicts.extend(cook_conflicts(fs_conflicts, self.tt))
 
1121
        fp = FinalPaths(self.tt)
1600
1122
        for conflict in self._raw_conflicts:
1601
1123
            conflict_type = conflict[0]
1602
 
            if conflict_type == 'path conflict':
1603
 
                (trans_id, file_id,
1604
 
                this_parent, this_name,
1605
 
                other_parent, other_name) = conflict[1:]
1606
 
                if this_parent is None or this_name is None:
1607
 
                    this_path = '<deleted>'
1608
 
                else:
1609
 
                    parent_path =  fp.get_path(
1610
 
                        self.tt.trans_id_file_id(this_parent))
1611
 
                    this_path = osutils.pathjoin(parent_path, this_name)
1612
 
                if other_parent is None or other_name is None:
1613
 
                    other_path = '<deleted>'
1614
 
                else:
1615
 
                    parent_path =  fp.get_path(
1616
 
                        self.tt.trans_id_file_id(other_parent))
1617
 
                    other_path = osutils.pathjoin(parent_path, other_name)
1618
 
                c = _mod_conflicts.Conflict.factory(
1619
 
                    'path conflict', path=this_path,
1620
 
                    conflict_path=other_path,
1621
 
                    file_id=file_id)
1622
 
            elif conflict_type == 'contents conflict':
 
1124
            if conflict_type in ('name conflict', 'parent conflict'):
 
1125
                trans_id = conflict[1]
 
1126
                conflict_args = conflict[2:]
 
1127
                if trans_id not in name_conflicts:
 
1128
                    name_conflicts[trans_id] = {}
 
1129
                unique_add(name_conflicts[trans_id], conflict_type, 
 
1130
                           conflict_args)
 
1131
            if conflict_type == 'contents conflict':
1623
1132
                for trans_id in conflict[1]:
1624
1133
                    file_id = self.tt.final_file_id(trans_id)
1625
1134
                    if file_id is not None:
1629
1138
                    if path.endswith(suffix):
1630
1139
                        path = path[:-len(suffix)]
1631
1140
                        break
1632
 
                c = _mod_conflicts.Conflict.factory(conflict_type,
1633
 
                                                    path=path, file_id=file_id)
1634
 
            elif conflict_type == 'text conflict':
 
1141
                c = Conflict.factory(conflict_type, path=path, file_id=file_id)
 
1142
                self.cooked_conflicts.append(c)
 
1143
            if conflict_type == 'text conflict':
1635
1144
                trans_id = conflict[1]
1636
1145
                path = fp.get_path(trans_id)
1637
1146
                file_id = self.tt.final_file_id(trans_id)
1638
 
                c = _mod_conflicts.Conflict.factory(conflict_type,
1639
 
                                                    path=path, file_id=file_id)
 
1147
                c = Conflict.factory(conflict_type, path=path, file_id=file_id)
 
1148
                self.cooked_conflicts.append(c)
 
1149
 
 
1150
        for trans_id, conflicts in name_conflicts.iteritems():
 
1151
            try:
 
1152
                this_parent, other_parent = conflicts['parent conflict']
 
1153
                if this_parent == other_parent:
 
1154
                    raise AssertionError()
 
1155
            except KeyError:
 
1156
                this_parent = other_parent = \
 
1157
                    self.tt.final_file_id(self.tt.final_parent(trans_id))
 
1158
            try:
 
1159
                this_name, other_name = conflicts['name conflict']
 
1160
                if this_name == other_name:
 
1161
                    raise AssertionError()
 
1162
            except KeyError:
 
1163
                this_name = other_name = self.tt.final_name(trans_id)
 
1164
            other_path = fp.get_path(trans_id)
 
1165
            if this_parent is not None and this_name is not None:
 
1166
                this_parent_path = \
 
1167
                    fp.get_path(self.tt.trans_id_file_id(this_parent))
 
1168
                this_path = pathjoin(this_parent_path, this_name)
1640
1169
            else:
1641
 
                raise AssertionError('bad conflict type: %r' % (conflict,))
 
1170
                this_path = "<deleted>"
 
1171
            file_id = self.tt.final_file_id(trans_id)
 
1172
            c = Conflict.factory('path conflict', path=this_path,
 
1173
                                 conflict_path=other_path, file_id=file_id)
1642
1174
            self.cooked_conflicts.append(c)
1643
 
        self.cooked_conflicts.sort(key=_mod_conflicts.Conflict.sort_key)
 
1175
        self.cooked_conflicts.sort(key=Conflict.sort_key)
1644
1176
 
1645
1177
 
1646
1178
class WeaveMerger(Merge3Merger):
1650
1182
    supports_reverse_cherrypick = False
1651
1183
    history_based = True
1652
1184
 
1653
 
    def _generate_merge_plan(self, file_id, base):
1654
 
        return self.this_tree.plan_file_merge(file_id, self.other_tree,
 
1185
    def _merged_lines(self, file_id):
 
1186
        """Generate the merged lines.
 
1187
        There is no distinction between lines that are meant to contain <<<<<<<
 
1188
        and conflicts.
 
1189
        """
 
1190
        if self.cherrypick:
 
1191
            base = self.base_tree
 
1192
        else:
 
1193
            base = None
 
1194
        plan = self.this_tree.plan_file_merge(file_id, self.other_tree,
1655
1195
                                              base=base)
1656
 
 
1657
 
    def _merged_lines(self, file_id):
1658
 
        """Generate the merged lines.
1659
 
        There is no distinction between lines that are meant to contain <<<<<<<
1660
 
        and conflicts.
1661
 
        """
1662
 
        if self.cherrypick:
1663
 
            base = self.base_tree
1664
 
        else:
1665
 
            base = None
1666
 
        plan = self._generate_merge_plan(file_id, base)
1667
1196
        if 'merge' in debug.debug_flags:
1668
1197
            plan = list(plan)
1669
1198
            trans_id = self.tt.trans_id_file_id(file_id)
1670
1199
            name = self.tt.final_name(trans_id) + '.plan'
1671
 
            contents = ('%11s|%s' % l for l in plan)
 
1200
            contents = ('%10s|%s' % l for l in plan)
1672
1201
            self.tt.new_file(name, self.tt.final_parent(trans_id), contents)
1673
 
        textmerge = versionedfile.PlanWeaveMerge(plan, '<<<<<<< TREE\n',
1674
 
                                                 '>>>>>>> MERGE-SOURCE\n')
1675
 
        lines, conflicts = textmerge.merge_lines(self.reprocess)
1676
 
        if conflicts:
1677
 
            base_lines = textmerge.base_from_plan()
1678
 
        else:
1679
 
            base_lines = None
1680
 
        return lines, base_lines
 
1202
        textmerge = PlanWeaveMerge(plan, '<<<<<<< TREE\n',
 
1203
            '>>>>>>> MERGE-SOURCE\n')
 
1204
        return textmerge.merge_lines(self.reprocess)
1681
1205
 
1682
1206
    def text_merge(self, file_id, trans_id):
1683
1207
        """Perform a (weave) text merge for a given file and file-id.
1684
1208
        If conflicts are encountered, .THIS and .OTHER files will be emitted,
1685
1209
        and a conflict will be noted.
1686
1210
        """
1687
 
        lines, base_lines = self._merged_lines(file_id)
 
1211
        lines, conflicts = self._merged_lines(file_id)
1688
1212
        lines = list(lines)
1689
 
        # Note we're checking whether the OUTPUT is binary in this case,
 
1213
        # Note we're checking whether the OUTPUT is binary in this case, 
1690
1214
        # because we don't want to get into weave merge guts.
1691
 
        textfile.check_text_lines(lines)
 
1215
        check_text_lines(lines)
1692
1216
        self.tt.create_file(lines, trans_id)
1693
 
        if base_lines is not None:
1694
 
            # Conflict
 
1217
        if conflicts:
1695
1218
            self._raw_conflicts.append(('text conflict', trans_id))
1696
1219
            name = self.tt.final_name(trans_id)
1697
1220
            parent_id = self.tt.final_parent(trans_id)
1698
 
            file_group = self._dump_conflicts(name, parent_id, file_id,
1699
 
                                              no_base=False,
1700
 
                                              base_lines=base_lines)
 
1221
            file_group = self._dump_conflicts(name, parent_id, file_id, 
 
1222
                                              no_base=True)
1701
1223
            file_group.append(trans_id)
1702
1224
 
1703
1225
 
1704
1226
class LCAMerger(WeaveMerger):
1705
1227
 
1706
 
    def _generate_merge_plan(self, file_id, base):
1707
 
        return self.this_tree.plan_file_lca_merge(file_id, self.other_tree,
 
1228
    def _merged_lines(self, file_id):
 
1229
        """Generate the merged lines.
 
1230
        There is no distinction between lines that are meant to contain <<<<<<<
 
1231
        and conflicts.
 
1232
        """
 
1233
        if self.cherrypick:
 
1234
            base = self.base_tree
 
1235
        else:
 
1236
            base = None
 
1237
        plan = self.this_tree.plan_file_lca_merge(file_id, self.other_tree,
1708
1238
                                                  base=base)
 
1239
        if 'merge' in debug.debug_flags:
 
1240
            plan = list(plan)
 
1241
            trans_id = self.tt.trans_id_file_id(file_id)
 
1242
            name = self.tt.final_name(trans_id) + '.plan'
 
1243
            contents = ('%10s|%s' % l for l in plan)
 
1244
            self.tt.new_file(name, self.tt.final_parent(trans_id), contents)
 
1245
        textmerge = PlanWeaveMerge(plan, '<<<<<<< TREE\n',
 
1246
            '>>>>>>> MERGE-SOURCE\n')
 
1247
        return textmerge.merge_lines(self.reprocess)
 
1248
 
1709
1249
 
1710
1250
class Diff3Merger(Merge3Merger):
1711
1251
    """Three-way merger using external diff3 for text merging"""
1712
1252
 
1713
1253
    def dump_file(self, temp_dir, name, tree, file_id):
1714
 
        out_path = osutils.pathjoin(temp_dir, name)
 
1254
        out_path = pathjoin(temp_dir, name)
1715
1255
        out_file = open(out_path, "wb")
1716
1256
        try:
1717
1257
            in_file = tree.get_file(file_id)
1729
1269
        import bzrlib.patch
1730
1270
        temp_dir = osutils.mkdtemp(prefix="bzr-")
1731
1271
        try:
1732
 
            new_file = osutils.pathjoin(temp_dir, "new")
 
1272
            new_file = pathjoin(temp_dir, "new")
1733
1273
            this = self.dump_file(temp_dir, "this", self.this_tree, file_id)
1734
1274
            base = self.dump_file(temp_dir, "base", self.base_tree, file_id)
1735
1275
            other = self.dump_file(temp_dir, "other", self.other_tree, file_id)
1736
1276
            status = bzrlib.patch.diff3(new_file, this, base, other)
1737
1277
            if status not in (0, 1):
1738
 
                raise errors.BzrError("Unhandled diff3 exit code")
 
1278
                raise BzrError("Unhandled diff3 exit code")
1739
1279
            f = open(new_file, 'rb')
1740
1280
            try:
1741
1281
                self.tt.create_file(f, trans_id)
1759
1299
                other_rev_id=None,
1760
1300
                interesting_files=None,
1761
1301
                this_tree=None,
1762
 
                pb=None,
 
1302
                pb=DummyProgress(),
1763
1303
                change_reporter=None):
1764
 
    """Primary interface for merging.
 
1304
    """Primary interface for merging. 
1765
1305
 
1766
 
        typical use is probably
 
1306
        typical use is probably 
1767
1307
        'merge_inner(branch, branch.get_revision_tree(other_revision),
1768
1308
                     branch.get_revision_tree(base_revision))'
1769
1309
        """
1770
1310
    if this_tree is None:
1771
 
        raise errors.BzrError("bzrlib.merge.merge_inner requires a this_tree "
1772
 
                              "parameter as of bzrlib version 0.8.")
 
1311
        raise BzrError("bzrlib.merge.merge_inner requires a this_tree "
 
1312
            "parameter as of bzrlib version 0.8.")
1773
1313
    merger = Merger(this_branch, other_tree, base_tree, this_tree=this_tree,
1774
1314
                    pb=pb, change_reporter=change_reporter)
1775
1315
    merger.backup_files = backup_files
1788
1328
    get_revision_id = getattr(base_tree, 'get_revision_id', None)
1789
1329
    if get_revision_id is None:
1790
1330
        get_revision_id = base_tree.last_revision
1791
 
    merger.cache_trees_with_revision_ids([other_tree, base_tree, this_tree])
1792
1331
    merger.set_base_revision(get_revision_id(), this_branch)
1793
1332
    return merger.do_merge()
1794
1333
 
1862
1401
 
1863
1402
    def get_lines(self, revisions):
1864
1403
        """Get lines for revisions from the backing VersionedFiles.
1865
 
 
 
1404
        
1866
1405
        :raises RevisionNotPresent: on absent texts.
1867
1406
        """
1868
1407
        keys = [(self._key_prefix + (rev,)) for rev in revisions]
1870
1409
        for record in self.vf.get_record_stream(keys, 'unordered', True):
1871
1410
            if record.storage_kind == 'absent':
1872
1411
                raise errors.RevisionNotPresent(record.key, self.vf)
1873
 
            result[record.key[-1]] = osutils.chunks_to_lines(
1874
 
                record.get_bytes_as('chunked'))
 
1412
            result[record.key[-1]] = osutils.split_lines(
 
1413
                record.get_bytes_as('fulltext'))
1875
1414
        return result
1876
1415
 
1877
1416
    def plan_merge(self):
1993
1532
        super(_PlanMerge, self).__init__(a_rev, b_rev, vf, key_prefix)
1994
1533
        self.a_key = self._key_prefix + (self.a_rev,)
1995
1534
        self.b_key = self._key_prefix + (self.b_rev,)
1996
 
        self.graph = _mod_graph.Graph(self.vf)
 
1535
        self.graph = Graph(self.vf)
1997
1536
        heads = self.graph.heads((self.a_key, self.b_key))
1998
1537
        if len(heads) == 1:
1999
1538
            # one side dominates, so we can just return its values, yay for
2004
1543
                other = b_rev
2005
1544
            else:
2006
1545
                other = a_rev
2007
 
            trace.mutter('found dominating revision for %s\n%s > %s', self.vf,
2008
 
                         self._head_key[-1], other)
 
1546
            mutter('found dominating revision for %s\n%s > %s', self.vf,
 
1547
                   self._head_key[-1], other)
2009
1548
            self._weave = None
2010
1549
        else:
2011
1550
            self._head_key = None
2025
1564
        while True:
2026
1565
            next_lcas = self.graph.find_lca(*cur_ancestors)
2027
1566
            # Map a plain NULL_REVISION to a simple no-ancestors
2028
 
            if next_lcas == set([_mod_revision.NULL_REVISION]):
 
1567
            if next_lcas == set([NULL_REVISION]):
2029
1568
                next_lcas = ()
2030
1569
            # Order the lca's based on when they were merged into the tip
2031
1570
            # While the actual merge portion of weave merge uses a set() of
2043
1582
            elif len(next_lcas) > 2:
2044
1583
                # More than 2 lca's, fall back to grabbing all nodes between
2045
1584
                # this and the unique lca.
2046
 
                trace.mutter('More than 2 LCAs, falling back to all nodes for:'
2047
 
                             ' %s, %s\n=> %s',
2048
 
                             self.a_key, self.b_key, cur_ancestors)
 
1585
                mutter('More than 2 LCAs, falling back to all nodes for:'
 
1586
                       ' %s, %s\n=> %s', self.a_key, self.b_key, cur_ancestors)
2049
1587
                cur_lcas = next_lcas
2050
1588
                while len(cur_lcas) > 1:
2051
1589
                    cur_lcas = self.graph.find_lca(*cur_lcas)
2054
1592
                    unique_lca = None
2055
1593
                else:
2056
1594
                    unique_lca = list(cur_lcas)[0]
2057
 
                    if unique_lca == _mod_revision.NULL_REVISION:
 
1595
                    if unique_lca == NULL_REVISION:
2058
1596
                        # find_lca will return a plain 'NULL_REVISION' rather
2059
1597
                        # than a key tuple when there is no common ancestor, we
2060
1598
                        # prefer to just use None, because it doesn't confuse
2068
1606
 
2069
1607
    def _find_unique_parents(self, tip_keys, base_key):
2070
1608
        """Find ancestors of tip that aren't ancestors of base.
2071
 
 
 
1609
        
2072
1610
        :param tip_keys: Nodes that are interesting
2073
1611
        :param base_key: Cull all ancestors of this node
2074
1612
        :return: The parent map for all revisions between tip_keys and
2083
1621
            # We remove NULL_REVISION because it isn't a proper tuple key, and
2084
1622
            # thus confuses things like _get_interesting_texts, and our logic
2085
1623
            # to add the texts into the memory weave.
2086
 
            if _mod_revision.NULL_REVISION in parent_map:
2087
 
                parent_map.pop(_mod_revision.NULL_REVISION)
 
1624
            if NULL_REVISION in parent_map:
 
1625
                parent_map.pop(NULL_REVISION)
2088
1626
        else:
2089
1627
            interesting = set()
2090
1628
            for tip in tip_keys:
2134
1672
    @staticmethod
2135
1673
    def _prune_tails(parent_map, child_map, tails_to_remove):
2136
1674
        """Remove tails from the parent map.
2137
 
 
 
1675
        
2138
1676
        This will remove the supplied revisions until no more children have 0
2139
1677
        parents.
2140
1678
 
2242
1780
        lcas = graph.find_lca(key_prefix + (a_rev,), key_prefix + (b_rev,))
2243
1781
        self.lcas = set()
2244
1782
        for lca in lcas:
2245
 
            if lca == _mod_revision.NULL_REVISION:
 
1783
            if lca == NULL_REVISION:
2246
1784
                self.lcas.add(lca)
2247
1785
            else:
2248
1786
                self.lcas.add(lca[-1])