/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/merge.py

  • Committer: Aaron Bentley
  • Date: 2007-12-09 20:58:03 UTC
  • mto: This revision was merged to the branch mainline in revision 3133.
  • Revision ID: aaron.bentley@utoronto.ca-20071209205803-9puidarg2y33bpzj
Get cherrypick-on-weave working

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005-2010 Canonical Ltd
 
1
# Copyright (C) 2005, 2006 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
 
 
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
 
 
18
import difflib
 
19
import os
 
20
import errno
17
21
import warnings
18
22
 
19
23
from bzrlib import (
20
 
    branch as _mod_branch,
21
 
    conflicts as _mod_conflicts,
22
24
    debug,
23
 
    decorators,
24
25
    errors,
25
 
    graph as _mod_graph,
26
 
    hooks,
27
 
    merge3,
28
26
    osutils,
29
27
    patiencediff,
 
28
    registry,
30
29
    revision as _mod_revision,
31
 
    textfile,
32
 
    trace,
33
 
    transform,
34
 
    tree as _mod_tree,
35
 
    tsort,
36
 
    ui,
37
 
    versionedfile
38
 
    )
39
 
from bzrlib.cleanup import OperationWithCleanups
40
 
from bzrlib.symbol_versioning import (
41
 
    deprecated_in,
42
 
    deprecated_method,
43
 
    )
 
30
    )
 
31
from bzrlib.branch import Branch
 
32
from bzrlib.conflicts import ConflictList, Conflict
 
33
from bzrlib.errors import (BzrCommandError,
 
34
                           BzrError,
 
35
                           NoCommonAncestor,
 
36
                           NoCommits,
 
37
                           NoSuchRevision,
 
38
                           NoSuchFile,
 
39
                           NotBranchError,
 
40
                           NotVersionedError,
 
41
                           UnrelatedBranches,
 
42
                           UnsupportedOperation,
 
43
                           WorkingTreeNotRevision,
 
44
                           BinaryFile,
 
45
                           )
 
46
from bzrlib.merge3 import Merge3
 
47
from bzrlib.osutils import rename, pathjoin
 
48
from progress import DummyProgress, ProgressPhase
 
49
from bzrlib.revision import (NULL_REVISION, ensure_null)
 
50
from bzrlib.textfile import check_text_lines
 
51
from bzrlib.trace import mutter, warning, note
 
52
from bzrlib.transform import (TreeTransform, resolve_conflicts, cook_conflicts,
 
53
                              conflict_pass, FinalPaths, create_by_entry,
 
54
                              unique_add, ROOT_PARENT)
 
55
from bzrlib.versionedfile import PlanWeaveMerge
 
56
from bzrlib import ui
 
57
 
44
58
# TODO: Report back as changes are merged in
45
59
 
46
60
 
47
61
def transform_tree(from_tree, to_tree, interesting_ids=None):
48
 
    from_tree.lock_tree_write()
49
 
    operation = OperationWithCleanups(merge_inner)
50
 
    operation.add_cleanup(from_tree.unlock)
51
 
    operation.run_simple(from_tree.branch, to_tree, from_tree,
52
 
        ignore_zero=True, interesting_ids=interesting_ids, this_tree=from_tree)
53
 
 
54
 
 
55
 
class MergeHooks(hooks.Hooks):
56
 
 
57
 
    def __init__(self):
58
 
        hooks.Hooks.__init__(self)
59
 
        self.create_hook(hooks.HookPoint('merge_file_content',
60
 
            "Called with a bzrlib.merge.Merger object to create a per file "
61
 
            "merge object when starting a merge. "
62
 
            "Should return either None or a subclass of "
63
 
            "``bzrlib.merge.AbstractPerFileMerger``. "
64
 
            "Such objects will then be called per file "
65
 
            "that needs to be merged (including when one "
66
 
            "side has deleted the file and the other has changed it). "
67
 
            "See the AbstractPerFileMerger API docs for details on how it is "
68
 
            "used by merge.",
69
 
            (2, 1), None))
70
 
 
71
 
 
72
 
class AbstractPerFileMerger(object):
73
 
    """PerFileMerger objects are used by plugins extending merge for bzrlib.
74
 
 
75
 
    See ``bzrlib.plugins.news_merge.news_merge`` for an example concrete class.
76
 
    
77
 
    :ivar merger: The Merge3Merger performing the merge.
78
 
    """
79
 
 
80
 
    def __init__(self, merger):
81
 
        """Create a PerFileMerger for use with merger."""
82
 
        self.merger = merger
83
 
 
84
 
    def merge_contents(self, merge_params):
85
 
        """Attempt to merge the contents of a single file.
86
 
        
87
 
        :param merge_params: A bzrlib.merge.MergeHookParams
88
 
        :return : A tuple of (status, chunks), where status is one of
89
 
            'not_applicable', 'success', 'conflicted', or 'delete'.  If status
90
 
            is 'success' or 'conflicted', then chunks should be an iterable of
91
 
            strings for the new file contents.
92
 
        """
93
 
        return ('not applicable', None)
94
 
 
95
 
 
96
 
class PerFileMerger(AbstractPerFileMerger):
97
 
    """Merge individual files when self.file_matches returns True.
98
 
 
99
 
    This class is intended to be subclassed.  The file_matches and
100
 
    merge_matching methods should be overridden with concrete implementations.
101
 
    """
102
 
 
103
 
    def file_matches(self, params):
104
 
        """Return True if merge_matching should be called on this file.
105
 
 
106
 
        Only called with merges of plain files with no clear winner.
107
 
 
108
 
        Subclasses must override this.
109
 
        """
110
 
        raise NotImplementedError(self.file_matches)
111
 
 
112
 
    def get_filename(self, params, tree):
113
 
        """Lookup the filename (i.e. basename, not path), given a Tree (e.g.
114
 
        self.merger.this_tree) and a MergeHookParams.
115
 
        """
116
 
        return osutils.basename(tree.id2path(params.file_id))
117
 
 
118
 
    def get_filepath(self, params, tree):
119
 
        """Calculate the path to the file in a tree.
120
 
 
121
 
        :param params: A MergeHookParams describing the file to merge
122
 
        :param tree: a Tree, e.g. self.merger.this_tree.
123
 
        """
124
 
        return tree.id2path(params.file_id)
125
 
 
126
 
    def merge_contents(self, params):
127
 
        """Merge the contents of a single file."""
128
 
        # Check whether this custom merge logic should be used.
129
 
        if (
130
 
            # OTHER is a straight winner, rely on default merge.
131
 
            params.winner == 'other' or
132
 
            # THIS and OTHER aren't both files.
133
 
            not params.is_file_merge() or
134
 
            # The filename doesn't match *.xml
135
 
            not self.file_matches(params)):
136
 
            return 'not_applicable', None
137
 
        return self.merge_matching(params)
138
 
 
139
 
    def merge_matching(self, params):
140
 
        """Merge the contents of a single file that has matched the criteria
141
 
        in PerFileMerger.merge_contents (is a conflict, is a file,
142
 
        self.file_matches is True).
143
 
 
144
 
        Subclasses must override this.
145
 
        """
146
 
        raise NotImplementedError(self.merge_matching)
147
 
 
148
 
 
149
 
class ConfigurableFileMerger(PerFileMerger):
150
 
    """Merge individual files when configured via a .conf file.
151
 
 
152
 
    This is a base class for concrete custom file merging logic. Concrete
153
 
    classes should implement ``merge_text``.
154
 
 
155
 
    See ``bzrlib.plugins.news_merge.news_merge`` for an example concrete class.
156
 
    
157
 
    :ivar affected_files: The configured file paths to merge.
158
 
 
159
 
    :cvar name_prefix: The prefix to use when looking up configuration
160
 
        details. <name_prefix>_merge_files describes the files targeted by the
161
 
        hook for example.
162
 
        
163
 
    :cvar default_files: The default file paths to merge when no configuration
164
 
        is present.
165
 
    """
166
 
 
167
 
    name_prefix = None
168
 
    default_files = None
169
 
 
170
 
    def __init__(self, merger):
171
 
        super(ConfigurableFileMerger, self).__init__(merger)
172
 
        self.affected_files = None
173
 
        self.default_files = self.__class__.default_files or []
174
 
        self.name_prefix = self.__class__.name_prefix
175
 
        if self.name_prefix is None:
176
 
            raise ValueError("name_prefix must be set.")
177
 
 
178
 
    def file_matches(self, params):
179
 
        """Check whether the file should call the merge hook.
180
 
 
181
 
        <name_prefix>_merge_files configuration variable is a list of files
182
 
        that should use the hook.
183
 
        """
184
 
        affected_files = self.affected_files
185
 
        if affected_files is None:
186
 
            config = self.merger.this_branch.get_config()
187
 
            # Until bzr provides a better policy for caching the config, we
188
 
            # just add the part we're interested in to the params to avoid
189
 
            # reading the config files repeatedly (bazaar.conf, location.conf,
190
 
            # branch.conf).
191
 
            config_key = self.name_prefix + '_merge_files'
192
 
            affected_files = config.get_user_option_as_list(config_key)
193
 
            if affected_files is None:
194
 
                # If nothing was specified in the config, use the default.
195
 
                affected_files = self.default_files
196
 
            self.affected_files = affected_files
197
 
        if affected_files:
198
 
            filepath = self.get_filepath(params, self.merger.this_tree)
199
 
            if filepath in affected_files:
200
 
                return True
201
 
        return False
202
 
 
203
 
    def merge_matching(self, params):
204
 
        return self.merge_text(params)
205
 
 
206
 
    def merge_text(self, params):
207
 
        """Merge the byte contents of a single file.
208
 
 
209
 
        This is called after checking that the merge should be performed in
210
 
        merge_contents, and it should behave as per
211
 
        ``bzrlib.merge.AbstractPerFileMerger.merge_contents``.
212
 
        """
213
 
        raise NotImplementedError(self.merge_text)
214
 
 
215
 
 
216
 
class MergeHookParams(object):
217
 
    """Object holding parameters passed to merge_file_content hooks.
218
 
 
219
 
    There are some fields hooks can access:
220
 
 
221
 
    :ivar file_id: the file ID of the file being merged
222
 
    :ivar trans_id: the transform ID for the merge of this file
223
 
    :ivar this_kind: kind of file_id in 'this' tree
224
 
    :ivar other_kind: kind of file_id in 'other' tree
225
 
    :ivar winner: one of 'this', 'other', 'conflict'
226
 
    """
227
 
 
228
 
    def __init__(self, merger, file_id, trans_id, this_kind, other_kind,
229
 
            winner):
230
 
        self._merger = merger
231
 
        self.file_id = file_id
232
 
        self.trans_id = trans_id
233
 
        self.this_kind = this_kind
234
 
        self.other_kind = other_kind
235
 
        self.winner = winner
236
 
 
237
 
    def is_file_merge(self):
238
 
        """True if this_kind and other_kind are both 'file'."""
239
 
        return self.this_kind == 'file' and self.other_kind == 'file'
240
 
 
241
 
    @decorators.cachedproperty
242
 
    def base_lines(self):
243
 
        """The lines of the 'base' version of the file."""
244
 
        return self._merger.get_lines(self._merger.base_tree, self.file_id)
245
 
 
246
 
    @decorators.cachedproperty
247
 
    def this_lines(self):
248
 
        """The lines of the 'this' version of the file."""
249
 
        return self._merger.get_lines(self._merger.this_tree, self.file_id)
250
 
 
251
 
    @decorators.cachedproperty
252
 
    def other_lines(self):
253
 
        """The lines of the 'other' version of the file."""
254
 
        return self._merger.get_lines(self._merger.other_tree, self.file_id)
 
62
    merge_inner(from_tree.branch, to_tree, from_tree, ignore_zero=True,
 
63
                interesting_ids=interesting_ids, this_tree=from_tree)
255
64
 
256
65
 
257
66
class Merger(object):
258
 
 
259
 
    hooks = MergeHooks()
260
 
 
261
67
    def __init__(self, this_branch, other_tree=None, base_tree=None,
262
 
                 this_tree=None, pb=None, change_reporter=None,
263
 
                 recurse='down', revision_graph=None):
 
68
                 this_tree=None, pb=DummyProgress(), change_reporter=None,
 
69
                 recurse='down'):
264
70
        object.__init__(self)
 
71
        assert this_tree is not None, "this_tree is required"
265
72
        self.this_branch = this_branch
266
73
        self.this_basis = _mod_revision.ensure_null(
267
74
            this_branch.last_revision())
278
85
        self.interesting_files = None
279
86
        self.show_base = False
280
87
        self.reprocess = False
281
 
        if pb is not None:
282
 
            warnings.warn("pb parameter to Merger() is deprecated and ignored")
 
88
        self._pb = pb
283
89
        self.pp = None
284
90
        self.recurse = recurse
285
91
        self.change_reporter = change_reporter
286
92
        self._cached_trees = {}
287
 
        self._revision_graph = revision_graph
288
 
        self._base_is_ancestor = None
289
 
        self._base_is_other_ancestor = None
290
 
        self._is_criss_cross = None
291
 
        self._lca_trees = None
292
 
 
293
 
    def cache_trees_with_revision_ids(self, trees):
294
 
        """Cache any tree in trees if it has a revision_id."""
295
 
        for maybe_tree in trees:
296
 
            if maybe_tree is None:
297
 
                continue
298
 
            try:
299
 
                rev_id = maybe_tree.get_revision_id()
300
 
            except AttributeError:
301
 
                continue
302
 
            self._cached_trees[rev_id] = maybe_tree
303
 
 
304
 
    @property
305
 
    def revision_graph(self):
306
 
        if self._revision_graph is None:
307
 
            self._revision_graph = self.this_branch.repository.get_graph()
308
 
        return self._revision_graph
309
 
 
310
 
    def _set_base_is_ancestor(self, value):
311
 
        self._base_is_ancestor = value
312
 
 
313
 
    def _get_base_is_ancestor(self):
314
 
        if self._base_is_ancestor is None:
315
 
            self._base_is_ancestor = self.revision_graph.is_ancestor(
316
 
                self.base_rev_id, self.this_basis)
317
 
        return self._base_is_ancestor
318
 
 
319
 
    base_is_ancestor = property(_get_base_is_ancestor, _set_base_is_ancestor)
320
 
 
321
 
    def _set_base_is_other_ancestor(self, value):
322
 
        self._base_is_other_ancestor = value
323
 
 
324
 
    def _get_base_is_other_ancestor(self):
325
 
        if self._base_is_other_ancestor is None:
326
 
            if self.other_basis is None:
327
 
                return True
328
 
            self._base_is_other_ancestor = self.revision_graph.is_ancestor(
329
 
                self.base_rev_id, self.other_basis)
330
 
        return self._base_is_other_ancestor
331
 
 
332
 
    base_is_other_ancestor = property(_get_base_is_other_ancestor,
333
 
                                      _set_base_is_other_ancestor)
334
93
 
335
94
    @staticmethod
336
 
    def from_uncommitted(tree, other_tree, pb=None, base_tree=None):
 
95
    def from_uncommitted(tree, other_tree, pb):
337
96
        """Return a Merger for uncommitted changes in other_tree.
338
97
 
339
98
        :param tree: The tree to merge into
340
99
        :param other_tree: The tree to get uncommitted changes from
341
100
        :param pb: A progress indicator
342
 
        :param base_tree: The basis to use for the merge.  If unspecified,
343
 
            other_tree.basis_tree() will be used.
344
101
        """
345
 
        if base_tree is None:
346
 
            base_tree = other_tree.basis_tree()
347
 
        merger = Merger(tree.branch, other_tree, base_tree, tree, pb)
 
102
        merger = Merger(tree.branch, other_tree, other_tree.basis_tree(), tree,
 
103
                        pb)
348
104
        merger.base_rev_id = merger.base_tree.get_revision_id()
349
105
        merger.other_rev_id = None
350
 
        merger.other_basis = merger.base_rev_id
351
106
        return merger
352
107
 
353
108
    @classmethod
361
116
        mergeable.install_revisions(tree.branch.repository)
362
117
        base_revision_id, other_revision_id, verified =\
363
118
            mergeable.get_merge_request(tree.branch.repository)
364
 
        revision_graph = tree.branch.repository.get_graph()
365
 
        if base_revision_id is not None:
366
 
            if (base_revision_id != _mod_revision.NULL_REVISION and
367
 
                revision_graph.is_ancestor(
368
 
                base_revision_id, tree.branch.last_revision())):
369
 
                base_revision_id = None
370
 
            else:
371
 
                trace.warning('Performing cherrypick')
 
119
        if (base_revision_id != _mod_revision.NULL_REVISION and
 
120
            tree.branch.repository.get_graph().is_ancestor(
 
121
            base_revision_id, tree.branch.last_revision())):
 
122
            base_revision_id = None
372
123
        merger = klass.from_revision_ids(pb, tree, other_revision_id,
373
 
                                         base_revision_id, revision_graph=
374
 
                                         revision_graph)
 
124
                                         base_revision_id)
375
125
        return merger, verified
376
126
 
377
127
    @staticmethod
378
 
    def from_revision_ids(pb, tree, other, base=None, other_branch=None,
379
 
                          base_branch=None, revision_graph=None,
380
 
                          tree_branch=None):
 
128
    def from_revision_ids(pb, this, other, base=None, other_branch=None,
 
129
                          base_branch=None):
381
130
        """Return a Merger for revision-ids.
382
131
 
383
 
        :param pb: A progress indicator
384
132
        :param tree: The tree to merge changes into
385
133
        :param other: The revision-id to use as OTHER
386
134
        :param base: The revision-id to use as BASE.  If not specified, will
387
135
            be auto-selected.
388
136
        :param other_branch: A branch containing the other revision-id.  If
389
 
            not supplied, tree.branch is used.
 
137
            not supplied, this.branch is used.
390
138
        :param base_branch: A branch containing the base revision-id.  If
391
 
            not supplied, other_branch or tree.branch will be used.
392
 
        :param revision_graph: If you have a revision_graph precomputed, pass
393
 
            it in, otherwise it will be created for you.
394
 
        :param tree_branch: The branch associated with tree.  If not supplied,
395
 
            tree.branch will be used.
 
139
            not supplied, other_branch or this.branch will be used.
 
140
        :param pb: A progress indicator
396
141
        """
397
 
        if tree_branch is None:
398
 
            tree_branch = tree.branch
399
 
        merger = Merger(tree_branch, this_tree=tree, pb=pb,
400
 
                        revision_graph=revision_graph)
 
142
        merger = Merger(this.branch, this_tree=this, pb=pb)
401
143
        if other_branch is None:
402
 
            other_branch = tree.branch
 
144
            other_branch = this.branch
403
145
        merger.set_other_revision(other, other_branch)
404
146
        if base is None:
405
147
            merger.find_base()
426
168
        if revno is None:
427
169
            tree = workingtree.WorkingTree.open_containing(location)[0]
428
170
            return tree.branch, tree
429
 
        branch = _mod_branch.Branch.open_containing(
430
 
            location, possible_transports)[0]
 
171
        branch = Branch.open_containing(location, possible_transports)[0]
431
172
        if revno == -1:
432
173
            revision_id = branch.last_revision()
433
174
        else:
434
175
            revision_id = branch.get_rev_id(revno)
435
 
        revision_id = _mod_revision.ensure_null(revision_id)
 
176
        revision_id = ensure_null(revision_id)
436
177
        return branch, self.revision_tree(revision_id, branch)
437
178
 
438
 
    @deprecated_method(deprecated_in((2, 1, 0)))
439
179
    def ensure_revision_trees(self):
440
180
        if self.this_revision_tree is None:
441
181
            self.this_basis_tree = self.revision_tree(self.this_basis)
444
184
 
445
185
        if self.other_rev_id is None:
446
186
            other_basis_tree = self.revision_tree(self.other_basis)
447
 
            if other_basis_tree.has_changes(self.other_tree):
448
 
                raise errors.WorkingTreeNotRevision(self.this_tree)
 
187
            changes = other_basis_tree.changes_from(self.other_tree)
 
188
            if changes.has_changed():
 
189
                raise WorkingTreeNotRevision(self.this_tree)
449
190
            other_rev_id = self.other_basis
450
191
            self.other_tree = other_basis_tree
451
192
 
452
 
    @deprecated_method(deprecated_in((2, 1, 0)))
453
193
    def file_revisions(self, file_id):
454
194
        self.ensure_revision_trees()
455
195
        def get_id(tree, file_id):
456
196
            revision_id = tree.inventory[file_id].revision
 
197
            assert revision_id is not None
457
198
            return revision_id
458
199
        if self.this_rev_id is None:
459
200
            if self.this_basis_tree.get_file_sha1(file_id) != \
460
201
                self.this_tree.get_file_sha1(file_id):
461
 
                raise errors.WorkingTreeNotRevision(self.this_tree)
 
202
                raise WorkingTreeNotRevision(self.this_tree)
462
203
 
463
204
        trees = (self.this_basis_tree, self.other_tree)
464
205
        return [get_id(tree, file_id) for tree in trees]
465
206
 
466
 
    @deprecated_method(deprecated_in((2, 1, 0)))
467
207
    def check_basis(self, check_clean, require_commits=True):
468
208
        if self.this_basis is None and require_commits is True:
469
 
            raise errors.BzrCommandError(
470
 
                "This branch has no commits."
471
 
                " (perhaps you would prefer 'bzr pull')")
 
209
            raise BzrCommandError("This branch has no commits."
 
210
                                  " (perhaps you would prefer 'bzr pull')")
472
211
        if check_clean:
473
212
            self.compare_basis()
474
213
            if self.this_basis != self.this_rev_id:
475
214
                raise errors.UncommittedChanges(self.this_tree)
476
215
 
477
 
    @deprecated_method(deprecated_in((2, 1, 0)))
478
216
    def compare_basis(self):
479
217
        try:
480
218
            basis_tree = self.revision_tree(self.this_tree.last_revision())
481
 
        except errors.NoSuchRevision:
 
219
        except errors.RevisionNotPresent:
482
220
            basis_tree = self.this_tree.basis_tree()
483
 
        if not self.this_tree.has_changes(basis_tree):
 
221
        changes = self.this_tree.changes_from(basis_tree)
 
222
        if not changes.has_changed():
484
223
            self.this_rev_id = self.this_basis
485
224
 
486
225
    def set_interesting_files(self, file_list):
487
226
        self.interesting_files = file_list
488
227
 
489
228
    def set_pending(self):
490
 
        if (not self.base_is_ancestor or not self.base_is_other_ancestor
491
 
            or self.other_rev_id is None):
 
229
        if not self.base_is_ancestor or not self.base_is_other_ancestor or self.other_rev_id is None:
492
230
            return
493
231
        self._add_parent()
494
232
 
495
233
    def _add_parent(self):
496
234
        new_parents = self.this_tree.get_parent_ids() + [self.other_rev_id]
497
235
        new_parent_trees = []
498
 
        operation = OperationWithCleanups(self.this_tree.set_parent_trees)
499
236
        for revision_id in new_parents:
500
237
            try:
501
238
                tree = self.revision_tree(revision_id)
502
 
            except errors.NoSuchRevision:
 
239
            except errors.RevisionNotPresent:
503
240
                tree = None
504
241
            else:
505
242
                tree.lock_read()
506
 
                operation.add_cleanup(tree.unlock)
507
243
            new_parent_trees.append((revision_id, tree))
508
 
        operation.run_simple(new_parent_trees, allow_leftmost_as_ghost=True)
 
244
        try:
 
245
            self.this_tree.set_parent_trees(new_parent_trees,
 
246
                                            allow_leftmost_as_ghost=True)
 
247
        finally:
 
248
            for _revision_id, tree in new_parent_trees:
 
249
                if tree is not None:
 
250
                    tree.unlock()
509
251
 
510
252
    def set_other(self, other_revision, possible_transports=None):
511
253
        """Set the revision and tree to merge from.
520
262
            self.other_rev_id = _mod_revision.ensure_null(
521
263
                self.other_branch.last_revision())
522
264
            if _mod_revision.is_null(self.other_rev_id):
523
 
                raise errors.NoCommits(self.other_branch)
 
265
                raise NoCommits(self.other_branch)
524
266
            self.other_basis = self.other_rev_id
525
267
        elif other_revision[1] is not None:
526
268
            self.other_rev_id = self.other_branch.get_rev_id(other_revision[1])
529
271
            self.other_rev_id = None
530
272
            self.other_basis = self.other_branch.last_revision()
531
273
            if self.other_basis is None:
532
 
                raise errors.NoCommits(self.other_branch)
 
274
                raise NoCommits(self.other_branch)
533
275
        if self.other_rev_id is not None:
534
276
            self._cached_trees[self.other_rev_id] = self.other_tree
535
277
        self._maybe_fetch(self.other_branch,self.this_branch, self.other_basis)
556
298
        self.base_branch = branch
557
299
        self._maybe_fetch(branch, self.this_branch, revision_id)
558
300
        self.base_tree = self.revision_tree(revision_id)
 
301
        graph = self.this_branch.repository.get_graph()
 
302
        self.base_is_ancestor = graph.is_ancestor(self.base_rev_id,
 
303
                                                  self.this_basis)
 
304
        self.base_is_other_ancestor = graph.is_ancestor(self.base_rev_id,
 
305
                                                        self.other_basis)
559
306
 
560
307
    def _maybe_fetch(self, source, target, revision_id):
561
308
        if not source.repository.has_same_location(target.repository):
562
309
            target.fetch(source, revision_id)
563
310
 
564
311
    def find_base(self):
565
 
        revisions = [_mod_revision.ensure_null(self.this_basis),
566
 
                     _mod_revision.ensure_null(self.other_basis)]
567
 
        if _mod_revision.NULL_REVISION in revisions:
568
 
            self.base_rev_id = _mod_revision.NULL_REVISION
569
 
            self.base_tree = self.revision_tree(self.base_rev_id)
570
 
            self._is_criss_cross = False
 
312
        this_repo = self.this_branch.repository
 
313
        graph = this_repo.get_graph()
 
314
        revisions = [ensure_null(self.this_basis),
 
315
                     ensure_null(self.other_basis)]
 
316
        if NULL_REVISION in revisions:
 
317
            self.base_rev_id = NULL_REVISION
571
318
        else:
572
 
            lcas = self.revision_graph.find_lca(revisions[0], revisions[1])
573
 
            self._is_criss_cross = False
574
 
            if len(lcas) == 0:
575
 
                self.base_rev_id = _mod_revision.NULL_REVISION
576
 
            elif len(lcas) == 1:
577
 
                self.base_rev_id = list(lcas)[0]
578
 
            else: # len(lcas) > 1
579
 
                if len(lcas) > 2:
580
 
                    # find_unique_lca can only handle 2 nodes, so we have to
581
 
                    # start back at the beginning. It is a shame to traverse
582
 
                    # the graph again, but better than re-implementing
583
 
                    # find_unique_lca.
584
 
                    self.base_rev_id = self.revision_graph.find_unique_lca(
585
 
                                            revisions[0], revisions[1])
586
 
                else:
587
 
                    self.base_rev_id = self.revision_graph.find_unique_lca(
588
 
                                            *lcas)
589
 
                self._is_criss_cross = True
590
 
            if self.base_rev_id == _mod_revision.NULL_REVISION:
591
 
                raise errors.UnrelatedBranches()
592
 
            if self._is_criss_cross:
593
 
                trace.warning('Warning: criss-cross merge encountered.  See bzr'
594
 
                              ' help criss-cross.')
595
 
                trace.mutter('Criss-cross lcas: %r' % lcas)
596
 
                interesting_revision_ids = [self.base_rev_id]
597
 
                interesting_revision_ids.extend(lcas)
598
 
                interesting_trees = dict((t.get_revision_id(), t)
599
 
                    for t in self.this_branch.repository.revision_trees(
600
 
                        interesting_revision_ids))
601
 
                self._cached_trees.update(interesting_trees)
602
 
                self.base_tree = interesting_trees.pop(self.base_rev_id)
603
 
                sorted_lca_keys = self.revision_graph.find_merge_order(
604
 
                    revisions[0], lcas)
605
 
                self._lca_trees = [interesting_trees[key]
606
 
                                   for key in sorted_lca_keys]
607
 
            else:
608
 
                self.base_tree = self.revision_tree(self.base_rev_id)
 
319
            self.base_rev_id, steps = graph.find_unique_lca(revisions[0],
 
320
                revisions[1], count_steps=True)
 
321
            if self.base_rev_id == NULL_REVISION:
 
322
                raise UnrelatedBranches()
 
323
            if steps > 1:
 
324
                warning('Warning: criss-cross merge encountered.  See bzr'
 
325
                        ' help criss-cross.')
 
326
        self.base_tree = self.revision_tree(self.base_rev_id)
609
327
        self.base_is_ancestor = True
610
328
        self.base_is_other_ancestor = True
611
 
        trace.mutter('Base revid: %r' % self.base_rev_id)
612
329
 
613
330
    def set_base(self, base_revision):
614
331
        """Set the base revision to use for the merge.
615
332
 
616
333
        :param base_revision: A 2-list containing a path and revision number.
617
334
        """
618
 
        trace.mutter("doing merge() with no base_revision specified")
 
335
        mutter("doing merge() with no base_revision specified")
619
336
        if base_revision == [None, None]:
620
337
            self.find_base()
621
338
        else:
628
345
                self.base_rev_id = _mod_revision.ensure_null(
629
346
                    base_branch.get_rev_id(base_revision[1]))
630
347
            self._maybe_fetch(base_branch, self.this_branch, self.base_rev_id)
 
348
            graph = self.this_branch.repository.get_graph()
 
349
            self.base_is_ancestor = graph.is_ancestor(self.base_rev_id,
 
350
                                                      self.this_basis)
 
351
            self.base_is_other_ancestor = graph.is_ancestor(self.base_rev_id,
 
352
                                                            self.other_basis)
631
353
 
632
 
    def make_merger(self):
 
354
    def do_merge(self):
633
355
        kwargs = {'working_tree':self.this_tree, 'this_tree': self.this_tree,
634
356
                  'other_tree': self.other_tree,
635
357
                  'interesting_ids': self.interesting_ids,
636
358
                  'interesting_files': self.interesting_files,
637
 
                  'this_branch': self.this_branch,
638
 
                  'do_merge': False}
 
359
                  'pp': self.pp}
639
360
        if self.merge_type.requires_base:
640
361
            kwargs['base_tree'] = self.base_tree
641
362
        if self.merge_type.supports_reprocess:
642
363
            kwargs['reprocess'] = self.reprocess
643
364
        elif self.reprocess:
644
 
            raise errors.BzrError(
645
 
                "Conflict reduction is not supported for merge"
646
 
                " type %s." % self.merge_type)
 
365
            raise BzrError("Conflict reduction is not supported for merge"
 
366
                                  " type %s." % self.merge_type)
647
367
        if self.merge_type.supports_show_base:
648
368
            kwargs['show_base'] = self.show_base
649
369
        elif self.show_base:
650
 
            raise errors.BzrError("Showing base is not supported for this"
 
370
            raise BzrError("Showing base is not supported for this"
651
371
                                  " merge type. %s" % self.merge_type)
652
 
        if (not getattr(self.merge_type, 'supports_reverse_cherrypick', True)
653
 
            and not self.base_is_other_ancestor):
654
 
            raise errors.CannotReverseCherrypick()
655
 
        if self.merge_type.supports_cherrypick:
656
 
            kwargs['cherrypick'] = (not self.base_is_ancestor or
657
 
                                    not self.base_is_other_ancestor)
658
 
        if self._is_criss_cross and getattr(self.merge_type,
659
 
                                            'supports_lca_trees', False):
660
 
            kwargs['lca_trees'] = self._lca_trees
661
 
        return self.merge_type(pb=None,
662
 
                               change_reporter=self.change_reporter,
663
 
                               **kwargs)
664
 
 
665
 
    def _do_merge_to(self):
666
 
        merge = self.make_merger()
667
 
        if self.other_branch is not None:
668
 
            self.other_branch.update_references(self.this_branch)
669
 
        merge.do_merge()
670
 
        if self.recurse == 'down':
671
 
            for relpath, file_id in self.this_tree.iter_references():
672
 
                sub_tree = self.this_tree.get_nested_tree(file_id, relpath)
673
 
                other_revision = self.other_tree.get_reference_revision(
674
 
                    file_id, relpath)
675
 
                if  other_revision == sub_tree.last_revision():
676
 
                    continue
677
 
                sub_merge = Merger(sub_tree.branch, this_tree=sub_tree)
678
 
                sub_merge.merge_type = self.merge_type
679
 
                other_branch = self.other_branch.reference_parent(file_id, relpath)
680
 
                sub_merge.set_other_revision(other_revision, other_branch)
681
 
                base_revision = self.base_tree.get_reference_revision(file_id)
682
 
                sub_merge.base_tree = \
683
 
                    sub_tree.branch.repository.revision_tree(base_revision)
684
 
                sub_merge.base_rev_id = base_revision
685
 
                sub_merge.do_merge()
686
 
        return merge
687
 
 
688
 
    def do_merge(self):
689
 
        operation = OperationWithCleanups(self._do_merge_to)
690
372
        self.this_tree.lock_tree_write()
691
 
        operation.add_cleanup(self.this_tree.unlock)
692
373
        if self.base_tree is not None:
693
374
            self.base_tree.lock_read()
694
 
            operation.add_cleanup(self.base_tree.unlock)
695
375
        if self.other_tree is not None:
696
376
            self.other_tree.lock_read()
697
 
            operation.add_cleanup(self.other_tree.unlock)
698
 
        merge = operation.run_simple()
 
377
        try:
 
378
            merge = self.merge_type(pb=self._pb,
 
379
                                    change_reporter=self.change_reporter,
 
380
                                    **kwargs)
 
381
            if self.recurse == 'down':
 
382
                for path, file_id in self.this_tree.iter_references():
 
383
                    sub_tree = self.this_tree.get_nested_tree(file_id, path)
 
384
                    other_revision = self.other_tree.get_reference_revision(
 
385
                        file_id, path)
 
386
                    if  other_revision == sub_tree.last_revision():
 
387
                        continue
 
388
                    sub_merge = Merger(sub_tree.branch, this_tree=sub_tree)
 
389
                    sub_merge.merge_type = self.merge_type
 
390
                    relpath = self.this_tree.relpath(path)
 
391
                    other_branch = self.other_branch.reference_parent(file_id, relpath)
 
392
                    sub_merge.set_other_revision(other_revision, other_branch)
 
393
                    base_revision = self.base_tree.get_reference_revision(file_id)
 
394
                    sub_merge.base_tree = \
 
395
                        sub_tree.branch.repository.revision_tree(base_revision)
 
396
                    sub_merge.do_merge()
 
397
 
 
398
        finally:
 
399
            if self.other_tree is not None:
 
400
                self.other_tree.unlock()
 
401
            if self.base_tree is not None:
 
402
                self.base_tree.unlock()
 
403
            self.this_tree.unlock()
699
404
        if len(merge.cooked_conflicts) == 0:
700
 
            if not self.ignore_zero and not trace.is_quiet():
701
 
                trace.note("All changes applied successfully.")
 
405
            if not self.ignore_zero:
 
406
                note("All changes applied successfully.")
702
407
        else:
703
 
            trace.note("%d conflicts encountered."
704
 
                       % len(merge.cooked_conflicts))
 
408
            note("%d conflicts encountered." % len(merge.cooked_conflicts))
705
409
 
706
410
        return len(merge.cooked_conflicts)
707
411
 
708
412
 
709
 
class _InventoryNoneEntry(object):
710
 
    """This represents an inventory entry which *isn't there*.
711
 
 
712
 
    It simplifies the merging logic if we always have an InventoryEntry, even
713
 
    if it isn't actually present
714
 
    """
715
 
    executable = None
716
 
    kind = None
717
 
    name = None
718
 
    parent_id = None
719
 
    revision = None
720
 
    symlink_target = None
721
 
    text_sha1 = None
722
 
 
723
 
_none_entry = _InventoryNoneEntry()
724
 
 
725
 
 
726
413
class Merge3Merger(object):
727
414
    """Three-way merger that uses the merge3 text merger"""
728
415
    requires_base = True
729
416
    supports_reprocess = True
730
417
    supports_show_base = True
731
418
    history_based = False
732
 
    supports_cherrypick = True
733
 
    supports_reverse_cherrypick = True
734
419
    winner_idx = {"this": 2, "other": 1, "conflict": 1}
735
 
    supports_lca_trees = True
736
420
 
737
 
    def __init__(self, working_tree, this_tree, base_tree, other_tree,
 
421
    def __init__(self, working_tree, this_tree, base_tree, other_tree, 
738
422
                 interesting_ids=None, reprocess=False, show_base=False,
739
 
                 pb=None, pp=None, change_reporter=None,
740
 
                 interesting_files=None, do_merge=True,
741
 
                 cherrypick=False, lca_trees=None, this_branch=None):
 
423
                 pb=DummyProgress(), pp=None, change_reporter=None,
 
424
                 interesting_files=None):
742
425
        """Initialize the merger object and perform the merge.
743
426
 
744
427
        :param working_tree: The working tree to apply the merge to
745
428
        :param this_tree: The local tree in the merge operation
746
429
        :param base_tree: The common tree in the merge operation
747
 
        :param other_tree: The other tree to merge changes from
748
 
        :param this_branch: The branch associated with this_tree.  Defaults to
749
 
            this_tree.branch if not supplied.
 
430
        :param other_tree: The other other tree to merge changes from
750
431
        :param interesting_ids: The file_ids of files that should be
751
432
            participate in the merge.  May not be combined with
752
433
            interesting_files.
753
434
        :param: reprocess If True, perform conflict-reduction processing.
754
435
        :param show_base: If True, show the base revision in text conflicts.
755
436
            (incompatible with reprocess)
756
 
        :param pb: ignored
 
437
        :param pb: A Progress bar
757
438
        :param pp: A ProgressPhase object
758
439
        :param change_reporter: An object that should report changes made
759
440
        :param interesting_files: The tree-relative paths of files that should
762
443
            be combined with interesting_ids.  If neither interesting_files nor
763
444
            interesting_ids is specified, all files may participate in the
764
445
            merge.
765
 
        :param lca_trees: Can be set to a dictionary of {revision_id:rev_tree}
766
 
            if the ancestry was found to include a criss-cross merge.
767
 
            Otherwise should be None.
768
446
        """
769
447
        object.__init__(self)
770
 
        if interesting_files is not None and interesting_ids is not None:
771
 
            raise ValueError(
772
 
                'specify either interesting_ids or interesting_files')
773
 
        if this_branch is None:
774
 
            this_branch = this_tree.branch
 
448
        if interesting_files is not None:
 
449
            assert interesting_ids is None
775
450
        self.interesting_ids = interesting_ids
776
451
        self.interesting_files = interesting_files
777
452
        self.this_tree = working_tree
 
453
        self.this_tree.lock_tree_write()
778
454
        self.base_tree = base_tree
 
455
        self.base_tree.lock_read()
779
456
        self.other_tree = other_tree
780
 
        self.this_branch = this_branch
 
457
        self.other_tree.lock_read()
781
458
        self._raw_conflicts = []
782
459
        self.cooked_conflicts = []
783
460
        self.reprocess = reprocess
784
461
        self.show_base = show_base
785
 
        self._lca_trees = lca_trees
786
 
        # Uncommenting this will change the default algorithm to always use
787
 
        # _entries_lca. This can be useful for running the test suite and
788
 
        # making sure we haven't missed any corner cases.
789
 
        # if lca_trees is None:
790
 
        #     self._lca_trees = [self.base_tree]
 
462
        self.pb = pb
 
463
        self.pp = pp
791
464
        self.change_reporter = change_reporter
792
 
        self.cherrypick = cherrypick
793
 
        if do_merge:
794
 
            self.do_merge()
795
 
        if pp is not None:
796
 
            warnings.warn("pp argument to Merge3Merger is deprecated")
797
 
        if pb is not None:
798
 
            warnings.warn("pb argument to Merge3Merger is deprecated")
799
 
 
800
 
    def do_merge(self):
801
 
        operation = OperationWithCleanups(self._do_merge)
802
 
        self.this_tree.lock_tree_write()
803
 
        operation.add_cleanup(self.this_tree.unlock)
804
 
        self.base_tree.lock_read()
805
 
        operation.add_cleanup(self.base_tree.unlock)
806
 
        self.other_tree.lock_read()
807
 
        operation.add_cleanup(self.other_tree.unlock)
808
 
        operation.run()
809
 
 
810
 
    def _do_merge(self, operation):
811
 
        self.tt = transform.TreeTransform(self.this_tree, None)
812
 
        operation.add_cleanup(self.tt.finalize)
813
 
        self._compute_transform()
814
 
        results = self.tt.apply(no_conflicts=True)
815
 
        self.write_modified(results)
 
465
        if self.pp is None:
 
466
            self.pp = ProgressPhase("Merge phase", 3, self.pb)
 
467
 
 
468
        self.tt = TreeTransform(working_tree, self.pb)
816
469
        try:
817
 
            self.this_tree.add_conflicts(self.cooked_conflicts)
818
 
        except errors.UnsupportedOperation:
819
 
            pass
820
 
 
821
 
    def make_preview_transform(self):
822
 
        operation = OperationWithCleanups(self._make_preview_transform)
823
 
        self.base_tree.lock_read()
824
 
        operation.add_cleanup(self.base_tree.unlock)
825
 
        self.other_tree.lock_read()
826
 
        operation.add_cleanup(self.other_tree.unlock)
827
 
        return operation.run_simple()
828
 
 
829
 
    def _make_preview_transform(self):
830
 
        self.tt = transform.TransformPreview(self.this_tree)
831
 
        self._compute_transform()
832
 
        return self.tt
833
 
 
834
 
    def _compute_transform(self):
835
 
        if self._lca_trees is None:
 
470
            self.pp.next_phase()
836
471
            entries = self._entries3()
837
 
            resolver = self._three_way
838
 
        else:
839
 
            entries = self._entries_lca()
840
 
            resolver = self._lca_multi_way
841
 
        child_pb = ui.ui_factory.nested_progress_bar()
842
 
        try:
843
 
            factories = Merger.hooks['merge_file_content']
844
 
            hooks = [factory(self) for factory in factories] + [self]
845
 
            self.active_hooks = [hook for hook in hooks if hook is not None]
846
 
            for num, (file_id, changed, parents3, names3,
847
 
                      executable3) in enumerate(entries):
848
 
                child_pb.update('Preparing file merge', num, len(entries))
849
 
                self._merge_names(file_id, parents3, names3, resolver=resolver)
850
 
                if changed:
851
 
                    file_status = self._do_merge_contents(file_id)
852
 
                else:
853
 
                    file_status = 'unmodified'
854
 
                self._merge_executable(file_id,
855
 
                    executable3, file_status, resolver=resolver)
856
 
        finally:
857
 
            child_pb.finished()
858
 
        self.fix_root()
859
 
        child_pb = ui.ui_factory.nested_progress_bar()
860
 
        try:
861
 
            fs_conflicts = transform.resolve_conflicts(self.tt, child_pb,
862
 
                lambda t, c: transform.conflict_pass(t, c, self.other_tree))
863
 
        finally:
864
 
            child_pb.finished()
865
 
        if self.change_reporter is not None:
866
 
            from bzrlib import delta
867
 
            delta.report_changes(
868
 
                self.tt.iter_changes(), self.change_reporter)
869
 
        self.cook_conflicts(fs_conflicts)
870
 
        for conflict in self.cooked_conflicts:
871
 
            trace.warning(conflict)
 
472
            child_pb = ui.ui_factory.nested_progress_bar()
 
473
            try:
 
474
                for num, (file_id, changed, parents3, names3,
 
475
                          executable3) in enumerate(entries):
 
476
                    child_pb.update('Preparing file merge', num, len(entries))
 
477
                    self._merge_names(file_id, parents3, names3)
 
478
                    if changed:
 
479
                        file_status = self.merge_contents(file_id)
 
480
                    else:
 
481
                        file_status = 'unmodified'
 
482
                    self._merge_executable(file_id,
 
483
                        executable3, file_status)
 
484
            finally:
 
485
                child_pb.finished()
 
486
            self.fix_root()
 
487
            self.pp.next_phase()
 
488
            child_pb = ui.ui_factory.nested_progress_bar()
 
489
            try:
 
490
                fs_conflicts = resolve_conflicts(self.tt, child_pb,
 
491
                    lambda t, c: conflict_pass(t, c, self.other_tree))
 
492
            finally:
 
493
                child_pb.finished()
 
494
            if change_reporter is not None:
 
495
                from bzrlib import delta
 
496
                delta.report_changes(self.tt._iter_changes(), change_reporter)
 
497
            self.cook_conflicts(fs_conflicts)
 
498
            for conflict in self.cooked_conflicts:
 
499
                warning(conflict)
 
500
            self.pp.next_phase()
 
501
            results = self.tt.apply(no_conflicts=True)
 
502
            self.write_modified(results)
 
503
            try:
 
504
                working_tree.add_conflicts(self.cooked_conflicts)
 
505
            except UnsupportedOperation:
 
506
                pass
 
507
        finally:
 
508
            self.tt.finalize()
 
509
            self.other_tree.unlock()
 
510
            self.base_tree.unlock()
 
511
            self.this_tree.unlock()
 
512
            self.pb.clear()
872
513
 
873
514
    def _entries3(self):
874
515
        """Gather data about files modified between three trees.
880
521
        executable3 is a tuple of execute-bit values for base, other and this.
881
522
        """
882
523
        result = []
883
 
        iterator = self.other_tree.iter_changes(self.base_tree,
 
524
        iterator = self.other_tree._iter_changes(self.base_tree,
884
525
                include_unchanged=True, specific_files=self.interesting_files,
885
526
                extra_trees=[self.this_tree])
886
 
        this_entries = dict((e.file_id, e) for p, e in
887
 
                            self.this_tree.iter_entries_by_dir(
888
 
                            self.interesting_ids))
889
527
        for (file_id, paths, changed, versioned, parents, names, kind,
890
528
             executable) in iterator:
891
529
            if (self.interesting_ids is not None and
892
530
                file_id not in self.interesting_ids):
893
531
                continue
894
 
            entry = this_entries.get(file_id)
895
 
            if entry is not None:
 
532
            if file_id in self.this_tree.inventory:
 
533
                entry = self.this_tree.inventory[file_id]
896
534
                this_name = entry.name
897
535
                this_parent = entry.parent_id
898
536
                this_executable = entry.executable
906
544
            result.append((file_id, changed, parents3, names3, executable3))
907
545
        return result
908
546
 
909
 
    def _entries_lca(self):
910
 
        """Gather data about files modified between multiple trees.
911
 
 
912
 
        This compares OTHER versus all LCA trees, and for interesting entries,
913
 
        it then compares with THIS and BASE.
914
 
 
915
 
        For the multi-valued entries, the format will be (BASE, [lca1, lca2])
916
 
        :return: [(file_id, changed, parents, names, executable)]
917
 
            file_id     Simple file_id of the entry
918
 
            changed     Boolean, True if the kind or contents changed
919
 
                        else False
920
 
            parents     ((base, [parent_id, in, lcas]), parent_id_other,
921
 
                         parent_id_this)
922
 
            names       ((base, [name, in, lcas]), name_in_other, name_in_this)
923
 
            executable  ((base, [exec, in, lcas]), exec_in_other, exec_in_this)
924
 
        """
925
 
        if self.interesting_files is not None:
926
 
            lookup_trees = [self.this_tree, self.base_tree]
927
 
            lookup_trees.extend(self._lca_trees)
928
 
            # I think we should include the lca trees as well
929
 
            interesting_ids = self.other_tree.paths2ids(self.interesting_files,
930
 
                                                        lookup_trees)
931
 
        else:
932
 
            interesting_ids = self.interesting_ids
933
 
        result = []
934
 
        walker = _mod_tree.MultiWalker(self.other_tree, self._lca_trees)
935
 
 
936
 
        base_inventory = self.base_tree.inventory
937
 
        this_inventory = self.this_tree.inventory
938
 
        for path, file_id, other_ie, lca_values in walker.iter_all():
939
 
            # Is this modified at all from any of the other trees?
940
 
            if other_ie is None:
941
 
                other_ie = _none_entry
942
 
            if interesting_ids is not None and file_id not in interesting_ids:
943
 
                continue
944
 
 
945
 
            # If other_revision is found in any of the lcas, that means this
946
 
            # node is uninteresting. This is because when merging, if there are
947
 
            # multiple heads(), we have to create a new node. So if we didn't,
948
 
            # we know that the ancestry is linear, and that OTHER did not
949
 
            # modify anything
950
 
            # See doc/developers/lca_merge_resolution.txt for details
951
 
            other_revision = other_ie.revision
952
 
            if other_revision is not None:
953
 
                # We can't use this shortcut when other_revision is None,
954
 
                # because it may be None because things are WorkingTrees, and
955
 
                # not because it is *actually* None.
956
 
                is_unmodified = False
957
 
                for lca_path, ie in lca_values:
958
 
                    if ie is not None and ie.revision == other_revision:
959
 
                        is_unmodified = True
960
 
                        break
961
 
                if is_unmodified:
962
 
                    continue
963
 
 
964
 
            lca_entries = []
965
 
            for lca_path, lca_ie in lca_values:
966
 
                if lca_ie is None:
967
 
                    lca_entries.append(_none_entry)
968
 
                else:
969
 
                    lca_entries.append(lca_ie)
970
 
 
971
 
            if file_id in base_inventory:
972
 
                base_ie = base_inventory[file_id]
973
 
            else:
974
 
                base_ie = _none_entry
975
 
 
976
 
            if file_id in this_inventory:
977
 
                this_ie = this_inventory[file_id]
978
 
            else:
979
 
                this_ie = _none_entry
980
 
 
981
 
            lca_kinds = []
982
 
            lca_parent_ids = []
983
 
            lca_names = []
984
 
            lca_executable = []
985
 
            for lca_ie in lca_entries:
986
 
                lca_kinds.append(lca_ie.kind)
987
 
                lca_parent_ids.append(lca_ie.parent_id)
988
 
                lca_names.append(lca_ie.name)
989
 
                lca_executable.append(lca_ie.executable)
990
 
 
991
 
            kind_winner = self._lca_multi_way(
992
 
                (base_ie.kind, lca_kinds),
993
 
                other_ie.kind, this_ie.kind)
994
 
            parent_id_winner = self._lca_multi_way(
995
 
                (base_ie.parent_id, lca_parent_ids),
996
 
                other_ie.parent_id, this_ie.parent_id)
997
 
            name_winner = self._lca_multi_way(
998
 
                (base_ie.name, lca_names),
999
 
                other_ie.name, this_ie.name)
1000
 
 
1001
 
            content_changed = True
1002
 
            if kind_winner == 'this':
1003
 
                # No kind change in OTHER, see if there are *any* changes
1004
 
                if other_ie.kind == 'directory':
1005
 
                    if parent_id_winner == 'this' and name_winner == 'this':
1006
 
                        # No change for this directory in OTHER, skip
1007
 
                        continue
1008
 
                    content_changed = False
1009
 
                elif other_ie.kind is None or other_ie.kind == 'file':
1010
 
                    def get_sha1(ie, tree):
1011
 
                        if ie.kind != 'file':
1012
 
                            return None
1013
 
                        return tree.get_file_sha1(file_id)
1014
 
                    base_sha1 = get_sha1(base_ie, self.base_tree)
1015
 
                    lca_sha1s = [get_sha1(ie, tree) for ie, tree
1016
 
                                 in zip(lca_entries, self._lca_trees)]
1017
 
                    this_sha1 = get_sha1(this_ie, self.this_tree)
1018
 
                    other_sha1 = get_sha1(other_ie, self.other_tree)
1019
 
                    sha1_winner = self._lca_multi_way(
1020
 
                        (base_sha1, lca_sha1s), other_sha1, this_sha1,
1021
 
                        allow_overriding_lca=False)
1022
 
                    exec_winner = self._lca_multi_way(
1023
 
                        (base_ie.executable, lca_executable),
1024
 
                        other_ie.executable, this_ie.executable)
1025
 
                    if (parent_id_winner == 'this' and name_winner == 'this'
1026
 
                        and sha1_winner == 'this' and exec_winner == 'this'):
1027
 
                        # No kind, parent, name, exec, or content change for
1028
 
                        # OTHER, so this node is not considered interesting
1029
 
                        continue
1030
 
                    if sha1_winner == 'this':
1031
 
                        content_changed = False
1032
 
                elif other_ie.kind == 'symlink':
1033
 
                    def get_target(ie, tree):
1034
 
                        if ie.kind != 'symlink':
1035
 
                            return None
1036
 
                        return tree.get_symlink_target(file_id)
1037
 
                    base_target = get_target(base_ie, self.base_tree)
1038
 
                    lca_targets = [get_target(ie, tree) for ie, tree
1039
 
                                   in zip(lca_entries, self._lca_trees)]
1040
 
                    this_target = get_target(this_ie, self.this_tree)
1041
 
                    other_target = get_target(other_ie, self.other_tree)
1042
 
                    target_winner = self._lca_multi_way(
1043
 
                        (base_target, lca_targets),
1044
 
                        other_target, this_target)
1045
 
                    if (parent_id_winner == 'this' and name_winner == 'this'
1046
 
                        and target_winner == 'this'):
1047
 
                        # No kind, parent, name, or symlink target change
1048
 
                        # not interesting
1049
 
                        continue
1050
 
                    if target_winner == 'this':
1051
 
                        content_changed = False
1052
 
                elif other_ie.kind == 'tree-reference':
1053
 
                    # The 'changed' information seems to be handled at a higher
1054
 
                    # level. At least, _entries3 returns False for content
1055
 
                    # changed, even when at a new revision_id.
1056
 
                    content_changed = False
1057
 
                    if (parent_id_winner == 'this' and name_winner == 'this'):
1058
 
                        # Nothing interesting
1059
 
                        continue
1060
 
                else:
1061
 
                    raise AssertionError('unhandled kind: %s' % other_ie.kind)
1062
 
 
1063
 
            # If we have gotten this far, that means something has changed
1064
 
            result.append((file_id, content_changed,
1065
 
                           ((base_ie.parent_id, lca_parent_ids),
1066
 
                            other_ie.parent_id, this_ie.parent_id),
1067
 
                           ((base_ie.name, lca_names),
1068
 
                            other_ie.name, this_ie.name),
1069
 
                           ((base_ie.executable, lca_executable),
1070
 
                            other_ie.executable, this_ie.executable)
1071
 
                          ))
1072
 
        return result
1073
 
 
1074
 
 
1075
547
    def fix_root(self):
1076
548
        try:
1077
549
            self.tt.final_kind(self.tt.root)
1078
 
        except errors.NoSuchFile:
 
550
        except NoSuchFile:
1079
551
            self.tt.cancel_deletion(self.tt.root)
1080
552
        if self.tt.final_file_id(self.tt.root) is None:
1081
 
            self.tt.version_file(self.tt.tree_file_id(self.tt.root),
 
553
            self.tt.version_file(self.tt.tree_file_id(self.tt.root), 
1082
554
                                 self.tt.root)
 
555
        if self.other_tree.inventory.root is None:
 
556
            return
1083
557
        other_root_file_id = self.other_tree.get_root_id()
1084
 
        if other_root_file_id is None:
1085
 
            return
1086
558
        other_root = self.tt.trans_id_file_id(other_root_file_id)
1087
559
        if other_root == self.tt.root:
1088
560
            return
1089
 
        if self.other_tree.inventory.root.file_id in self.this_tree.inventory:
1090
 
            # the other tree's root is a non-root in the current tree (as when
1091
 
            # a previously unrelated branch is merged into another)
1092
 
            return
1093
561
        try:
1094
562
            self.tt.final_kind(other_root)
1095
 
            other_root_is_present = True
1096
 
        except errors.NoSuchFile:
1097
 
            # other_root doesn't have a physical representation. We still need
1098
 
            # to move any references to the actual root of the tree.
1099
 
            other_root_is_present = False
1100
 
        # 'other_tree.inventory.root' is not present in this tree. We are
1101
 
        # calling adjust_path for children which *want* to be present with a
1102
 
        # correct place to go.
1103
 
        for thing, child in self.other_tree.inventory.root.children.iteritems():
 
563
        except NoSuchFile:
 
564
            return
 
565
        self.reparent_children(self.other_tree.inventory.root, self.tt.root)
 
566
        self.tt.cancel_creation(other_root)
 
567
        self.tt.cancel_versioning(other_root)
 
568
 
 
569
    def reparent_children(self, ie, target):
 
570
        for thing, child in ie.children.iteritems():
1104
571
            trans_id = self.tt.trans_id_file_id(child.file_id)
1105
 
            if not other_root_is_present:
1106
 
                # FIXME: Make final_kind returns None instead of raising
1107
 
                # NoSuchFile to avoid the ugly construct below -- vila 20100402
1108
 
                try:
1109
 
                    self.tt.final_kind(trans_id)
1110
 
                    # The item exist in the final tree and has a defined place
1111
 
                    # to go already.
1112
 
                    continue
1113
 
                except errors.NoSuchFile, e:
1114
 
                    pass
1115
 
            # Move the item into the root
1116
 
            self.tt.adjust_path(self.tt.final_name(trans_id),
1117
 
                                self.tt.root, trans_id)
1118
 
        if other_root_is_present:
1119
 
            self.tt.cancel_creation(other_root)
1120
 
            self.tt.cancel_versioning(other_root)
 
572
            self.tt.adjust_path(self.tt.final_name(trans_id), target, trans_id)
1121
573
 
1122
574
    def write_modified(self, results):
1123
575
        modified_hashes = {}
1144
596
        if entry is None:
1145
597
            return None
1146
598
        return entry.name
1147
 
 
 
599
    
1148
600
    @staticmethod
1149
601
    def contents_sha1(tree, file_id):
1150
602
        """Determine the sha1 of the file contents (used as a key method)."""
1155
607
    @staticmethod
1156
608
    def executable(tree, file_id):
1157
609
        """Determine the executability of a file-id (used as a key method)."""
1158
 
        if not tree.has_id(file_id):
 
610
        if file_id not in tree:
1159
611
            return None
1160
612
        if tree.kind(file_id) != "file":
1161
613
            return False
1164
616
    @staticmethod
1165
617
    def kind(tree, file_id):
1166
618
        """Determine the kind of a file-id (used as a key method)."""
1167
 
        if not tree.has_id(file_id):
 
619
        if file_id not in tree:
1168
620
            return None
1169
621
        return tree.kind(file_id)
1170
622
 
1171
623
    @staticmethod
1172
624
    def _three_way(base, other, this):
 
625
        #if base == other, either they all agree, or only THIS has changed.
1173
626
        if base == other:
1174
 
            # if 'base == other', either they all agree, or only 'this' has
1175
 
            # changed.
1176
627
            return 'this'
1177
628
        elif this not in (base, other):
1178
 
            # 'this' is neither 'base' nor 'other', so both sides changed
1179
629
            return 'conflict'
 
630
        # "Ambiguous clean merge" -- both sides have made the same change.
1180
631
        elif this == other:
1181
 
            # "Ambiguous clean merge" -- both sides have made the same change.
1182
632
            return "this"
 
633
        # this == base: only other has changed.
1183
634
        else:
1184
 
            # this == base: only other has changed.
1185
635
            return "other"
1186
636
 
1187
637
    @staticmethod
1188
 
    def _lca_multi_way(bases, other, this, allow_overriding_lca=True):
1189
 
        """Consider LCAs when determining whether a change has occurred.
1190
 
 
1191
 
        If LCAS are all identical, this is the same as a _three_way comparison.
1192
 
 
1193
 
        :param bases: value in (BASE, [LCAS])
1194
 
        :param other: value in OTHER
1195
 
        :param this: value in THIS
1196
 
        :param allow_overriding_lca: If there is more than one unique lca
1197
 
            value, allow OTHER to override THIS if it has a new value, and
1198
 
            THIS only has an lca value, or vice versa. This is appropriate for
1199
 
            truly scalar values, not as much for non-scalars.
1200
 
        :return: 'this', 'other', or 'conflict' depending on whether an entry
1201
 
            changed or not.
1202
 
        """
1203
 
        # See doc/developers/lca_tree_merging.txt for details about this
1204
 
        # algorithm.
1205
 
        if other == this:
1206
 
            # Either Ambiguously clean, or nothing was actually changed. We
1207
 
            # don't really care
1208
 
            return 'this'
1209
 
        base_val, lca_vals = bases
1210
 
        # Remove 'base_val' from the lca_vals, because it is not interesting
1211
 
        filtered_lca_vals = [lca_val for lca_val in lca_vals
1212
 
                                      if lca_val != base_val]
1213
 
        if len(filtered_lca_vals) == 0:
1214
 
            return Merge3Merger._three_way(base_val, other, this)
1215
 
 
1216
 
        unique_lca_vals = set(filtered_lca_vals)
1217
 
        if len(unique_lca_vals) == 1:
1218
 
            return Merge3Merger._three_way(unique_lca_vals.pop(), other, this)
1219
 
 
1220
 
        if allow_overriding_lca:
1221
 
            if other in unique_lca_vals:
1222
 
                if this in unique_lca_vals:
1223
 
                    # Each side picked a different lca, conflict
1224
 
                    return 'conflict'
1225
 
                else:
1226
 
                    # This has a value which supersedes both lca values, and
1227
 
                    # other only has an lca value
1228
 
                    return 'this'
1229
 
            elif this in unique_lca_vals:
1230
 
                # OTHER has a value which supersedes both lca values, and this
1231
 
                # only has an lca value
1232
 
                return 'other'
1233
 
 
1234
 
        # At this point, the lcas disagree, and the tip disagree
1235
 
        return 'conflict'
1236
 
 
1237
 
    @staticmethod
1238
 
    @deprecated_method(deprecated_in((2, 2, 0)))
1239
638
    def scalar_three_way(this_tree, base_tree, other_tree, file_id, key):
1240
639
        """Do a three-way test on a scalar.
1241
640
        Return "this", "other" or "conflict", depending whether a value wins.
1246
645
        if key_base == key_other:
1247
646
            return "this"
1248
647
        key_this = key(this_tree, file_id)
 
648
        if key_this not in (key_base, key_other):
 
649
            return "conflict"
1249
650
        # "Ambiguous clean merge"
1250
 
        if key_this == key_other:
 
651
        elif key_this == key_other:
1251
652
            return "this"
1252
 
        elif key_this == key_base:
 
653
        else:
 
654
            assert key_this == key_base
1253
655
            return "other"
1254
 
        else:
1255
 
            return "conflict"
1256
656
 
1257
657
    def merge_names(self, file_id):
1258
658
        def get_entry(tree):
1259
 
            if tree.has_id(file_id):
 
659
            if file_id in tree.inventory:
1260
660
                return tree.inventory[file_id]
1261
661
            else:
1262
662
                return None
1273
673
            else:
1274
674
                names.append(entry.name)
1275
675
                parents.append(entry.parent_id)
1276
 
        return self._merge_names(file_id, parents, names,
1277
 
                                 resolver=self._three_way)
 
676
        return self._merge_names(file_id, parents, names)
1278
677
 
1279
 
    def _merge_names(self, file_id, parents, names, resolver):
 
678
    def _merge_names(self, file_id, parents, names):
1280
679
        """Perform a merge on file_id names and parents"""
1281
680
        base_name, other_name, this_name = names
1282
681
        base_parent, other_parent, this_parent = parents
1283
682
 
1284
 
        name_winner = resolver(*names)
 
683
        name_winner = self._three_way(*names)
1285
684
 
1286
 
        parent_id_winner = resolver(*parents)
 
685
        parent_id_winner = self._three_way(*parents)
1287
686
        if this_name is None:
1288
687
            if name_winner == "this":
1289
688
                name_winner = "other"
1291
690
                parent_id_winner = "other"
1292
691
        if name_winner == "this" and parent_id_winner == "this":
1293
692
            return
1294
 
        if name_winner == 'conflict' or parent_id_winner == 'conflict':
1295
 
            # Creating helpers (.OTHER or .THIS) here cause problems down the
1296
 
            # road if a ContentConflict needs to be created so we should not do
1297
 
            # that
1298
 
            trans_id = self.tt.trans_id_file_id(file_id)
1299
 
            self._raw_conflicts.append(('path conflict', trans_id, file_id,
1300
 
                                        this_parent, this_name,
1301
 
                                        other_parent, other_name))
 
693
        if name_winner == "conflict":
 
694
            trans_id = self.tt.trans_id_file_id(file_id)
 
695
            self._raw_conflicts.append(('name conflict', trans_id, 
 
696
                                        this_name, other_name))
 
697
        if parent_id_winner == "conflict":
 
698
            trans_id = self.tt.trans_id_file_id(file_id)
 
699
            self._raw_conflicts.append(('parent conflict', trans_id, 
 
700
                                        this_parent, other_parent))
1302
701
        if other_name is None:
1303
 
            # it doesn't matter whether the result was 'other' or
 
702
            # it doesn't matter whether the result was 'other' or 
1304
703
            # 'conflict'-- if there's no 'other', we leave it alone.
1305
704
            return
 
705
        # if we get here, name_winner and parent_winner are set to safe values.
 
706
        trans_id = self.tt.trans_id_file_id(file_id)
1306
707
        parent_id = parents[self.winner_idx[parent_id_winner]]
1307
708
        if parent_id is not None:
1308
 
            # if we get here, name_winner and parent_winner are set to safe
1309
 
            # values.
 
709
            parent_trans_id = self.tt.trans_id_file_id(parent_id)
1310
710
            self.tt.adjust_path(names[self.winner_idx[name_winner]],
1311
 
                                self.tt.trans_id_file_id(parent_id),
1312
 
                                self.tt.trans_id_file_id(file_id))
 
711
                                parent_trans_id, trans_id)
1313
712
 
1314
 
    def _do_merge_contents(self, file_id):
1315
 
        """Performs a merge on file_id contents."""
 
713
    def merge_contents(self, file_id):
 
714
        """Performa a merge on file_id contents."""
1316
715
        def contents_pair(tree):
1317
716
            if file_id not in tree:
1318
717
                return (None, None)
1325
724
                contents = None
1326
725
            return kind, contents
1327
726
 
 
727
        def contents_conflict():
 
728
            trans_id = self.tt.trans_id_file_id(file_id)
 
729
            name = self.tt.final_name(trans_id)
 
730
            parent_id = self.tt.final_parent(trans_id)
 
731
            if file_id in self.this_tree.inventory:
 
732
                self.tt.unversion_file(trans_id)
 
733
                if file_id in self.this_tree:
 
734
                    self.tt.delete_contents(trans_id)
 
735
            file_group = self._dump_conflicts(name, parent_id, file_id, 
 
736
                                              set_version=True)
 
737
            self._raw_conflicts.append(('contents conflict', file_group))
 
738
 
1328
739
        # See SPOT run.  run, SPOT, run.
1329
740
        # So we're not QUITE repeating ourselves; we do tricky things with
1330
741
        # file kind...
1331
742
        base_pair = contents_pair(self.base_tree)
1332
743
        other_pair = contents_pair(self.other_tree)
1333
 
        if self._lca_trees:
1334
 
            this_pair = contents_pair(self.this_tree)
1335
 
            lca_pairs = [contents_pair(tree) for tree in self._lca_trees]
1336
 
            winner = self._lca_multi_way((base_pair, lca_pairs), other_pair,
1337
 
                                         this_pair, allow_overriding_lca=False)
1338
 
        else:
1339
 
            if base_pair == other_pair:
1340
 
                winner = 'this'
1341
 
            else:
1342
 
                # We delayed evaluating this_pair as long as we can to avoid
1343
 
                # unnecessary sha1 calculation
1344
 
                this_pair = contents_pair(self.this_tree)
1345
 
                winner = self._three_way(base_pair, other_pair, this_pair)
1346
 
        if winner == 'this':
1347
 
            # No interesting changes introduced by OTHER
1348
 
            return "unmodified"
1349
 
        # We have a hypothetical conflict, but if we have files, then we
1350
 
        # can try to merge the content
1351
 
        trans_id = self.tt.trans_id_file_id(file_id)
1352
 
        params = MergeHookParams(self, file_id, trans_id, this_pair[0],
1353
 
            other_pair[0], winner)
1354
 
        hooks = self.active_hooks
1355
 
        hook_status = 'not_applicable'
1356
 
        for hook in hooks:
1357
 
            hook_status, lines = hook.merge_contents(params)
1358
 
            if hook_status != 'not_applicable':
1359
 
                # Don't try any more hooks, this one applies.
1360
 
                break
1361
 
        result = "modified"
1362
 
        if hook_status == 'not_applicable':
1363
 
            # This is a contents conflict, because none of the available
1364
 
            # functions could merge it.
1365
 
            result = None
1366
 
            name = self.tt.final_name(trans_id)
1367
 
            parent_id = self.tt.final_parent(trans_id)
1368
 
            if self.this_tree.has_id(file_id):
1369
 
                self.tt.unversion_file(trans_id)
1370
 
            file_group = self._dump_conflicts(name, parent_id, file_id,
1371
 
                                              set_version=True)
1372
 
            self._raw_conflicts.append(('contents conflict', file_group))
1373
 
        elif hook_status == 'success':
1374
 
            self.tt.create_file(lines, trans_id)
1375
 
        elif hook_status == 'conflicted':
1376
 
            # XXX: perhaps the hook should be able to provide
1377
 
            # the BASE/THIS/OTHER files?
1378
 
            self.tt.create_file(lines, trans_id)
1379
 
            self._raw_conflicts.append(('text conflict', trans_id))
1380
 
            name = self.tt.final_name(trans_id)
1381
 
            parent_id = self.tt.final_parent(trans_id)
1382
 
            self._dump_conflicts(name, parent_id, file_id)
1383
 
        elif hook_status == 'delete':
1384
 
            self.tt.unversion_file(trans_id)
1385
 
            result = "deleted"
1386
 
        elif hook_status == 'done':
1387
 
            # The hook function did whatever it needs to do directly, no
1388
 
            # further action needed here.
1389
 
            pass
1390
 
        else:
1391
 
            raise AssertionError('unknown hook_status: %r' % (hook_status,))
1392
 
        if not self.this_tree.has_id(file_id) and result == "modified":
1393
 
            self.tt.version_file(file_id, trans_id)
1394
 
        # The merge has been performed, so the old contents should not be
1395
 
        # retained.
1396
 
        try:
1397
 
            self.tt.delete_contents(trans_id)
1398
 
        except errors.NoSuchFile:
1399
 
            pass
1400
 
        return result
1401
 
 
1402
 
    def _default_other_winner_merge(self, merge_hook_params):
1403
 
        """Replace this contents with other."""
1404
 
        file_id = merge_hook_params.file_id
1405
 
        trans_id = merge_hook_params.trans_id
1406
 
        file_in_this = self.this_tree.has_id(file_id)
1407
 
        if self.other_tree.has_id(file_id):
1408
 
            # OTHER changed the file
1409
 
            wt = self.this_tree
1410
 
            if wt.supports_content_filtering():
1411
 
                # We get the path from the working tree if it exists.
1412
 
                # That fails though when OTHER is adding a file, so
1413
 
                # we fall back to the other tree to find the path if
1414
 
                # it doesn't exist locally.
1415
 
                try:
1416
 
                    filter_tree_path = wt.id2path(file_id)
1417
 
                except errors.NoSuchId:
1418
 
                    filter_tree_path = self.other_tree.id2path(file_id)
1419
 
            else:
1420
 
                # Skip the id2path lookup for older formats
1421
 
                filter_tree_path = None
1422
 
            transform.create_from_tree(self.tt, trans_id,
1423
 
                             self.other_tree, file_id,
1424
 
                             filter_tree_path=filter_tree_path)
1425
 
            return 'done', None
1426
 
        elif file_in_this:
1427
 
            # OTHER deleted the file
1428
 
            return 'delete', None
1429
 
        else:
1430
 
            raise AssertionError(
1431
 
                'winner is OTHER, but file_id %r not in THIS or OTHER tree'
1432
 
                % (file_id,))
1433
 
 
1434
 
    def merge_contents(self, merge_hook_params):
1435
 
        """Fallback merge logic after user installed hooks."""
1436
 
        # This function is used in merge hooks as the fallback instance.
1437
 
        # Perhaps making this function and the functions it calls be a 
1438
 
        # a separate class would be better.
1439
 
        if merge_hook_params.winner == 'other':
1440
 
            # OTHER is a straight winner, so replace this contents with other
1441
 
            return self._default_other_winner_merge(merge_hook_params)
1442
 
        elif merge_hook_params.is_file_merge():
1443
 
            # THIS and OTHER are both files, so text merge.  Either
1444
 
            # BASE is a file, or both converted to files, so at least we
1445
 
            # have agreement that output should be a file.
1446
 
            try:
1447
 
                self.text_merge(merge_hook_params.file_id,
1448
 
                    merge_hook_params.trans_id)
1449
 
            except errors.BinaryFile:
1450
 
                return 'not_applicable', None
1451
 
            return 'done', None
1452
 
        else:
1453
 
            return 'not_applicable', None
 
744
        if base_pair == other_pair:
 
745
            # OTHER introduced no changes
 
746
            return "unmodified"
 
747
        this_pair = contents_pair(self.this_tree)
 
748
        if this_pair == other_pair:
 
749
            # THIS and OTHER introduced the same changes
 
750
            return "unmodified"
 
751
        else:
 
752
            trans_id = self.tt.trans_id_file_id(file_id)
 
753
            if this_pair == base_pair:
 
754
                # only OTHER introduced changes
 
755
                if file_id in self.this_tree:
 
756
                    # Remove any existing contents
 
757
                    self.tt.delete_contents(trans_id)
 
758
                if file_id in self.other_tree:
 
759
                    # OTHER changed the file
 
760
                    create_by_entry(self.tt, 
 
761
                                    self.other_tree.inventory[file_id], 
 
762
                                    self.other_tree, trans_id)
 
763
                    if file_id not in self.this_tree.inventory:
 
764
                        self.tt.version_file(file_id, trans_id)
 
765
                    return "modified"
 
766
                elif file_id in self.this_tree.inventory:
 
767
                    # OTHER deleted the file
 
768
                    self.tt.unversion_file(trans_id)
 
769
                    return "deleted"
 
770
            #BOTH THIS and OTHER introduced changes; scalar conflict
 
771
            elif this_pair[0] == "file" and other_pair[0] == "file":
 
772
                # THIS and OTHER are both files, so text merge.  Either
 
773
                # BASE is a file, or both converted to files, so at least we
 
774
                # have agreement that output should be a file.
 
775
                try:
 
776
                    self.text_merge(file_id, trans_id)
 
777
                except BinaryFile:
 
778
                    return contents_conflict()
 
779
                if file_id not in self.this_tree.inventory:
 
780
                    self.tt.version_file(file_id, trans_id)
 
781
                try:
 
782
                    self.tt.tree_kind(trans_id)
 
783
                    self.tt.delete_contents(trans_id)
 
784
                except NoSuchFile:
 
785
                    pass
 
786
                return "modified"
 
787
            else:
 
788
                # Scalar conflict, can't text merge.  Dump conflicts
 
789
                return contents_conflict()
1454
790
 
1455
791
    def get_lines(self, tree, file_id):
1456
792
        """Return the lines in a file, or an empty list."""
1457
 
        if tree.has_id(file_id):
 
793
        if file_id in tree:
1458
794
            return tree.get_file(file_id).readlines()
1459
795
        else:
1460
796
            return []
1463
799
        """Perform a three-way text merge on a file_id"""
1464
800
        # it's possible that we got here with base as a different type.
1465
801
        # if so, we just want two-way text conflicts.
1466
 
        if self.base_tree.has_id(file_id) and \
 
802
        if file_id in self.base_tree and \
1467
803
            self.base_tree.kind(file_id) == "file":
1468
804
            base_lines = self.get_lines(self.base_tree, file_id)
1469
805
        else:
1470
806
            base_lines = []
1471
807
        other_lines = self.get_lines(self.other_tree, file_id)
1472
808
        this_lines = self.get_lines(self.this_tree, file_id)
1473
 
        m3 = merge3.Merge3(base_lines, this_lines, other_lines,
1474
 
                           is_cherrypick=self.cherrypick)
 
809
        m3 = Merge3(base_lines, this_lines, other_lines)
1475
810
        start_marker = "!START OF MERGE CONFLICT!" + "I HOPE THIS IS UNIQUE"
1476
811
        if self.show_base is True:
1477
812
            base_marker = '|' * 7
1480
815
 
1481
816
        def iter_merge3(retval):
1482
817
            retval["text_conflicts"] = False
1483
 
            for line in m3.merge_lines(name_a = "TREE",
1484
 
                                       name_b = "MERGE-SOURCE",
 
818
            for line in m3.merge_lines(name_a = "TREE", 
 
819
                                       name_b = "MERGE-SOURCE", 
1485
820
                                       name_base = "BASE-REVISION",
1486
 
                                       start_marker=start_marker,
 
821
                                       start_marker=start_marker, 
1487
822
                                       base_marker=base_marker,
1488
823
                                       reprocess=self.reprocess):
1489
824
                if line.startswith(start_marker):
1498
833
            self._raw_conflicts.append(('text conflict', trans_id))
1499
834
            name = self.tt.final_name(trans_id)
1500
835
            parent_id = self.tt.final_parent(trans_id)
1501
 
            file_group = self._dump_conflicts(name, parent_id, file_id,
 
836
            file_group = self._dump_conflicts(name, parent_id, file_id, 
1502
837
                                              this_lines, base_lines,
1503
838
                                              other_lines)
1504
839
            file_group.append(trans_id)
1505
840
 
1506
 
    def _dump_conflicts(self, name, parent_id, file_id, this_lines=None,
 
841
    def _dump_conflicts(self, name, parent_id, file_id, this_lines=None, 
1507
842
                        base_lines=None, other_lines=None, set_version=False,
1508
843
                        no_base=False):
1509
844
        """Emit conflict files.
1511
846
        determined automatically.  If set_version is true, the .OTHER, .THIS
1512
847
        or .BASE (in that order) will be created as versioned files.
1513
848
        """
1514
 
        data = [('OTHER', self.other_tree, other_lines),
 
849
        data = [('OTHER', self.other_tree, other_lines), 
1515
850
                ('THIS', self.this_tree, this_lines)]
1516
851
        if not no_base:
1517
852
            data.append(('BASE', self.base_tree, base_lines))
1518
 
 
1519
 
        # We need to use the actual path in the working tree of the file here,
1520
 
        # ignoring the conflict suffixes
1521
 
        wt = self.this_tree
1522
 
        if wt.supports_content_filtering():
1523
 
            try:
1524
 
                filter_tree_path = wt.id2path(file_id)
1525
 
            except errors.NoSuchId:
1526
 
                # file has been deleted
1527
 
                filter_tree_path = None
1528
 
        else:
1529
 
            # Skip the id2path lookup for older formats
1530
 
            filter_tree_path = None
1531
 
 
1532
853
        versioned = False
1533
854
        file_group = []
1534
855
        for suffix, tree, lines in data:
1535
 
            if tree.has_id(file_id):
 
856
            if file_id in tree:
1536
857
                trans_id = self._conflict_file(name, parent_id, tree, file_id,
1537
 
                                               suffix, lines, filter_tree_path)
 
858
                                               suffix, lines)
1538
859
                file_group.append(trans_id)
1539
860
                if set_version and not versioned:
1540
861
                    self.tt.version_file(file_id, trans_id)
1541
862
                    versioned = True
1542
863
        return file_group
1543
 
 
1544
 
    def _conflict_file(self, name, parent_id, tree, file_id, suffix,
1545
 
                       lines=None, filter_tree_path=None):
 
864
           
 
865
    def _conflict_file(self, name, parent_id, tree, file_id, suffix, 
 
866
                       lines=None):
1546
867
        """Emit a single conflict file."""
1547
868
        name = name + '.' + suffix
1548
869
        trans_id = self.tt.create_path(name, parent_id)
1549
 
        transform.create_from_tree(self.tt, trans_id, tree, file_id, lines,
1550
 
            filter_tree_path)
 
870
        entry = tree.inventory[file_id]
 
871
        create_by_entry(self.tt, entry, tree, trans_id, lines)
1551
872
        return trans_id
1552
873
 
1553
874
    def merge_executable(self, file_id, file_status):
1554
875
        """Perform a merge on the execute bit."""
1555
876
        executable = [self.executable(t, file_id) for t in (self.base_tree,
1556
877
                      self.other_tree, self.this_tree)]
1557
 
        self._merge_executable(file_id, executable, file_status,
1558
 
                               resolver=self._three_way)
 
878
        self._merge_executable(file_id, executable, file_status)
1559
879
 
1560
 
    def _merge_executable(self, file_id, executable, file_status,
1561
 
                          resolver):
 
880
    def _merge_executable(self, file_id, executable, file_status):
1562
881
        """Perform a merge on the execute bit."""
1563
882
        base_executable, other_executable, this_executable = executable
1564
883
        if file_status == "deleted":
1565
884
            return
1566
 
        winner = resolver(*executable)
 
885
        trans_id = self.tt.trans_id_file_id(file_id)
 
886
        try:
 
887
            if self.tt.final_kind(trans_id) != "file":
 
888
                return
 
889
        except NoSuchFile:
 
890
            return
 
891
        winner = self._three_way(*executable)
1567
892
        if winner == "conflict":
1568
893
        # There must be a None in here, if we have a conflict, but we
1569
894
        # need executability since file status was not deleted.
1571
896
                winner = "this"
1572
897
            else:
1573
898
                winner = "other"
1574
 
        if winner == 'this' and file_status != "modified":
1575
 
            return
1576
 
        trans_id = self.tt.trans_id_file_id(file_id)
1577
 
        try:
1578
 
            if self.tt.final_kind(trans_id) != "file":
1579
 
                return
1580
 
        except errors.NoSuchFile:
1581
 
            return
1582
899
        if winner == "this":
1583
 
            executability = this_executable
 
900
            if file_status == "modified":
 
901
                executability = this_executable
 
902
                if executability is not None:
 
903
                    trans_id = self.tt.trans_id_file_id(file_id)
 
904
                    self.tt.set_executability(executability, trans_id)
1584
905
        else:
1585
 
            if self.other_tree.has_id(file_id):
 
906
            assert winner == "other"
 
907
            if file_id in self.other_tree:
1586
908
                executability = other_executable
1587
 
            elif self.this_tree.has_id(file_id):
 
909
            elif file_id in self.this_tree:
1588
910
                executability = this_executable
1589
 
            elif self.base_tree_has_id(file_id):
 
911
            elif file_id in self.base_tree:
1590
912
                executability = base_executable
1591
 
        if executability is not None:
1592
 
            trans_id = self.tt.trans_id_file_id(file_id)
1593
 
            self.tt.set_executability(executability, trans_id)
 
913
            if executability is not None:
 
914
                trans_id = self.tt.trans_id_file_id(file_id)
 
915
                self.tt.set_executability(executability, trans_id)
1594
916
 
1595
917
    def cook_conflicts(self, fs_conflicts):
1596
918
        """Convert all conflicts into a form that doesn't depend on trans_id"""
1597
 
        self.cooked_conflicts.extend(transform.cook_conflicts(
1598
 
                fs_conflicts, self.tt))
1599
 
        fp = transform.FinalPaths(self.tt)
 
919
        from conflicts import Conflict
 
920
        name_conflicts = {}
 
921
        self.cooked_conflicts.extend(cook_conflicts(fs_conflicts, self.tt))
 
922
        fp = FinalPaths(self.tt)
1600
923
        for conflict in self._raw_conflicts:
1601
924
            conflict_type = conflict[0]
1602
 
            if conflict_type == 'path conflict':
1603
 
                (trans_id, file_id,
1604
 
                this_parent, this_name,
1605
 
                other_parent, other_name) = conflict[1:]
1606
 
                if this_parent is None or this_name is None:
1607
 
                    this_path = '<deleted>'
1608
 
                else:
1609
 
                    parent_path =  fp.get_path(
1610
 
                        self.tt.trans_id_file_id(this_parent))
1611
 
                    this_path = osutils.pathjoin(parent_path, this_name)
1612
 
                if other_parent is None or other_name is None:
1613
 
                    other_path = '<deleted>'
1614
 
                else:
1615
 
                    parent_path =  fp.get_path(
1616
 
                        self.tt.trans_id_file_id(other_parent))
1617
 
                    other_path = osutils.pathjoin(parent_path, other_name)
1618
 
                c = _mod_conflicts.Conflict.factory(
1619
 
                    'path conflict', path=this_path,
1620
 
                    conflict_path=other_path,
1621
 
                    file_id=file_id)
1622
 
            elif conflict_type == 'contents conflict':
 
925
            if conflict_type in ('name conflict', 'parent conflict'):
 
926
                trans_id = conflict[1]
 
927
                conflict_args = conflict[2:]
 
928
                if trans_id not in name_conflicts:
 
929
                    name_conflicts[trans_id] = {}
 
930
                unique_add(name_conflicts[trans_id], conflict_type, 
 
931
                           conflict_args)
 
932
            if conflict_type == 'contents conflict':
1623
933
                for trans_id in conflict[1]:
1624
934
                    file_id = self.tt.final_file_id(trans_id)
1625
935
                    if file_id is not None:
1629
939
                    if path.endswith(suffix):
1630
940
                        path = path[:-len(suffix)]
1631
941
                        break
1632
 
                c = _mod_conflicts.Conflict.factory(conflict_type,
1633
 
                                                    path=path, file_id=file_id)
1634
 
            elif conflict_type == 'text conflict':
 
942
                c = Conflict.factory(conflict_type, path=path, file_id=file_id)
 
943
                self.cooked_conflicts.append(c)
 
944
            if conflict_type == 'text conflict':
1635
945
                trans_id = conflict[1]
1636
946
                path = fp.get_path(trans_id)
1637
947
                file_id = self.tt.final_file_id(trans_id)
1638
 
                c = _mod_conflicts.Conflict.factory(conflict_type,
1639
 
                                                    path=path, file_id=file_id)
 
948
                c = Conflict.factory(conflict_type, path=path, file_id=file_id)
 
949
                self.cooked_conflicts.append(c)
 
950
 
 
951
        for trans_id, conflicts in name_conflicts.iteritems():
 
952
            try:
 
953
                this_parent, other_parent = conflicts['parent conflict']
 
954
                assert this_parent != other_parent
 
955
            except KeyError:
 
956
                this_parent = other_parent = \
 
957
                    self.tt.final_file_id(self.tt.final_parent(trans_id))
 
958
            try:
 
959
                this_name, other_name = conflicts['name conflict']
 
960
                assert this_name != other_name
 
961
            except KeyError:
 
962
                this_name = other_name = self.tt.final_name(trans_id)
 
963
            other_path = fp.get_path(trans_id)
 
964
            if this_parent is not None and this_name is not None:
 
965
                this_parent_path = \
 
966
                    fp.get_path(self.tt.trans_id_file_id(this_parent))
 
967
                this_path = pathjoin(this_parent_path, this_name)
1640
968
            else:
1641
 
                raise AssertionError('bad conflict type: %r' % (conflict,))
 
969
                this_path = "<deleted>"
 
970
            file_id = self.tt.final_file_id(trans_id)
 
971
            c = Conflict.factory('path conflict', path=this_path,
 
972
                                 conflict_path=other_path, file_id=file_id)
1642
973
            self.cooked_conflicts.append(c)
1643
 
        self.cooked_conflicts.sort(key=_mod_conflicts.Conflict.sort_key)
 
974
        self.cooked_conflicts.sort(key=Conflict.sort_key)
1644
975
 
1645
976
 
1646
977
class WeaveMerger(Merge3Merger):
1647
978
    """Three-way tree merger, text weave merger."""
1648
979
    supports_reprocess = True
1649
980
    supports_show_base = False
1650
 
    supports_reverse_cherrypick = False
1651
 
    history_based = True
1652
981
 
1653
 
    def _generate_merge_plan(self, file_id, base):
1654
 
        return self.this_tree.plan_file_merge(file_id, self.other_tree,
1655
 
                                              base=base)
 
982
    def __init__(self, working_tree, this_tree, base_tree, other_tree, 
 
983
                 interesting_ids=None, pb=DummyProgress(), pp=None,
 
984
                 reprocess=False, change_reporter=None,
 
985
                 interesting_files=None):
 
986
        super(WeaveMerger, self).__init__(working_tree, this_tree, 
 
987
                                          base_tree, other_tree, 
 
988
                                          interesting_ids=interesting_ids, 
 
989
                                          pb=pb, pp=pp, reprocess=reprocess,
 
990
                                          change_reporter=change_reporter)
1656
991
 
1657
992
    def _merged_lines(self, file_id):
1658
993
        """Generate the merged lines.
1659
994
        There is no distinction between lines that are meant to contain <<<<<<<
1660
995
        and conflicts.
1661
996
        """
1662
 
        if self.cherrypick:
1663
 
            base = self.base_tree
1664
 
        else:
1665
 
            base = None
1666
 
        plan = self._generate_merge_plan(file_id, base)
 
997
        plan = self.this_tree.plan_file_merge(file_id, self.other_tree,
 
998
                                              base=self.base_tree)
1667
999
        if 'merge' in debug.debug_flags:
1668
1000
            plan = list(plan)
1669
1001
            trans_id = self.tt.trans_id_file_id(file_id)
1670
1002
            name = self.tt.final_name(trans_id) + '.plan'
1671
 
            contents = ('%11s|%s' % l for l in plan)
 
1003
            contents = ('%10s|%s' % l for l in plan)
1672
1004
            self.tt.new_file(name, self.tt.final_parent(trans_id), contents)
1673
 
        textmerge = versionedfile.PlanWeaveMerge(plan, '<<<<<<< TREE\n',
1674
 
                                                 '>>>>>>> MERGE-SOURCE\n')
1675
 
        lines, conflicts = textmerge.merge_lines(self.reprocess)
1676
 
        if conflicts:
1677
 
            base_lines = textmerge.base_from_plan()
1678
 
        else:
1679
 
            base_lines = None
1680
 
        return lines, base_lines
 
1005
        textmerge = PlanWeaveMerge(plan, '<<<<<<< TREE\n',
 
1006
            '>>>>>>> MERGE-SOURCE\n')
 
1007
        return textmerge.merge_lines(self.reprocess)
1681
1008
 
1682
1009
    def text_merge(self, file_id, trans_id):
1683
1010
        """Perform a (weave) text merge for a given file and file-id.
1684
1011
        If conflicts are encountered, .THIS and .OTHER files will be emitted,
1685
1012
        and a conflict will be noted.
1686
1013
        """
1687
 
        lines, base_lines = self._merged_lines(file_id)
 
1014
        lines, conflicts = self._merged_lines(file_id)
1688
1015
        lines = list(lines)
1689
 
        # Note we're checking whether the OUTPUT is binary in this case,
 
1016
        # Note we're checking whether the OUTPUT is binary in this case, 
1690
1017
        # because we don't want to get into weave merge guts.
1691
 
        textfile.check_text_lines(lines)
 
1018
        check_text_lines(lines)
1692
1019
        self.tt.create_file(lines, trans_id)
1693
 
        if base_lines is not None:
1694
 
            # Conflict
 
1020
        if conflicts:
1695
1021
            self._raw_conflicts.append(('text conflict', trans_id))
1696
1022
            name = self.tt.final_name(trans_id)
1697
1023
            parent_id = self.tt.final_parent(trans_id)
1698
 
            file_group = self._dump_conflicts(name, parent_id, file_id,
1699
 
                                              no_base=False,
1700
 
                                              base_lines=base_lines)
 
1024
            file_group = self._dump_conflicts(name, parent_id, file_id, 
 
1025
                                              no_base=True)
1701
1026
            file_group.append(trans_id)
1702
1027
 
1703
1028
 
1704
 
class LCAMerger(WeaveMerger):
1705
 
 
1706
 
    def _generate_merge_plan(self, file_id, base):
1707
 
        return self.this_tree.plan_file_lca_merge(file_id, self.other_tree,
1708
 
                                                  base=base)
1709
 
 
1710
1029
class Diff3Merger(Merge3Merger):
1711
1030
    """Three-way merger using external diff3 for text merging"""
1712
1031
 
1713
1032
    def dump_file(self, temp_dir, name, tree, file_id):
1714
 
        out_path = osutils.pathjoin(temp_dir, name)
 
1033
        out_path = pathjoin(temp_dir, name)
1715
1034
        out_file = open(out_path, "wb")
1716
1035
        try:
1717
1036
            in_file = tree.get_file(file_id)
1729
1048
        import bzrlib.patch
1730
1049
        temp_dir = osutils.mkdtemp(prefix="bzr-")
1731
1050
        try:
1732
 
            new_file = osutils.pathjoin(temp_dir, "new")
 
1051
            new_file = pathjoin(temp_dir, "new")
1733
1052
            this = self.dump_file(temp_dir, "this", self.this_tree, file_id)
1734
1053
            base = self.dump_file(temp_dir, "base", self.base_tree, file_id)
1735
1054
            other = self.dump_file(temp_dir, "other", self.other_tree, file_id)
1736
1055
            status = bzrlib.patch.diff3(new_file, this, base, other)
1737
1056
            if status not in (0, 1):
1738
 
                raise errors.BzrError("Unhandled diff3 exit code")
 
1057
                raise BzrError("Unhandled diff3 exit code")
1739
1058
            f = open(new_file, 'rb')
1740
1059
            try:
1741
1060
                self.tt.create_file(f, trans_id)
1759
1078
                other_rev_id=None,
1760
1079
                interesting_files=None,
1761
1080
                this_tree=None,
1762
 
                pb=None,
 
1081
                pb=DummyProgress(),
1763
1082
                change_reporter=None):
1764
 
    """Primary interface for merging.
 
1083
    """Primary interface for merging. 
1765
1084
 
1766
 
        typical use is probably
 
1085
        typical use is probably 
1767
1086
        'merge_inner(branch, branch.get_revision_tree(other_revision),
1768
1087
                     branch.get_revision_tree(base_revision))'
1769
1088
        """
1770
1089
    if this_tree is None:
1771
 
        raise errors.BzrError("bzrlib.merge.merge_inner requires a this_tree "
1772
 
                              "parameter as of bzrlib version 0.8.")
 
1090
        raise BzrError("bzrlib.merge.merge_inner requires a this_tree "
 
1091
            "parameter as of bzrlib version 0.8.")
1773
1092
    merger = Merger(this_branch, other_tree, base_tree, this_tree=this_tree,
1774
1093
                    pb=pb, change_reporter=change_reporter)
1775
1094
    merger.backup_files = backup_files
1777
1096
    merger.interesting_ids = interesting_ids
1778
1097
    merger.ignore_zero = ignore_zero
1779
1098
    if interesting_files:
1780
 
        if interesting_ids:
1781
 
            raise ValueError('Only supply interesting_ids'
1782
 
                             ' or interesting_files')
 
1099
        assert not interesting_ids, ('Only supply interesting_ids'
 
1100
                                     ' or interesting_files')
1783
1101
        merger.interesting_files = interesting_files
1784
1102
    merger.show_base = show_base
1785
1103
    merger.reprocess = reprocess
1786
1104
    merger.other_rev_id = other_rev_id
1787
1105
    merger.other_basis = other_rev_id
1788
 
    get_revision_id = getattr(base_tree, 'get_revision_id', None)
1789
 
    if get_revision_id is None:
1790
 
        get_revision_id = base_tree.last_revision
1791
 
    merger.cache_trees_with_revision_ids([other_tree, base_tree, this_tree])
1792
 
    merger.set_base_revision(get_revision_id(), this_branch)
1793
1106
    return merger.do_merge()
1794
1107
 
1795
1108
def get_merge_type_registry():
1828
1141
            yield status_a(revision, text)
1829
1142
        for revision, text in annotated_b[b_cur:bi]:
1830
1143
            yield status_b(revision, text)
 
1144
 
1831
1145
        # and now the matched section
1832
1146
        a_cur = ai + l
1833
1147
        b_cur = bi + l
1834
 
        for text_a in plain_a[ai:a_cur]:
 
1148
        for text_a, text_b in zip(plain_a[ai:a_cur], plain_b[bi:b_cur]):
 
1149
            assert text_a == text_b
1835
1150
            yield "unchanged", text_a
1836
1151
 
1837
1152
 
1838
 
class _PlanMergeBase(object):
 
1153
class _PlanMerge(object):
 
1154
    """Plan an annotate merge using on-the-fly annotation"""
1839
1155
 
1840
 
    def __init__(self, a_rev, b_rev, vf, key_prefix):
 
1156
    def __init__(self, a_rev, b_rev, vf):
1841
1157
        """Contructor.
1842
1158
 
1843
1159
        :param a_rev: Revision-id of one revision to merge
1844
1160
        :param b_rev: Revision-id of the other revision to merge
1845
 
        :param vf: A VersionedFiles containing both revisions
1846
 
        :param key_prefix: A prefix for accessing keys in vf, typically
1847
 
            (file_id,).
 
1161
        :param vf: A versionedfile containing both revisions
1848
1162
        """
1849
1163
        self.a_rev = a_rev
1850
1164
        self.b_rev = b_rev
 
1165
        self.lines_a = vf.get_lines(a_rev)
 
1166
        self.lines_b = vf.get_lines(b_rev)
1851
1167
        self.vf = vf
 
1168
        a_ancestry = set(vf.get_ancestry(a_rev, topo_sorted=False))
 
1169
        b_ancestry = set(vf.get_ancestry(b_rev, topo_sorted=False))
 
1170
        self.uncommon = a_ancestry.symmetric_difference(b_ancestry)
1852
1171
        self._last_lines = None
1853
1172
        self._last_lines_revision_id = None
1854
 
        self._cached_matching_blocks = {}
1855
 
        self._key_prefix = key_prefix
1856
 
        self._precache_tip_lines()
1857
 
 
1858
 
    def _precache_tip_lines(self):
1859
 
        lines = self.get_lines([self.a_rev, self.b_rev])
1860
 
        self.lines_a = lines[self.a_rev]
1861
 
        self.lines_b = lines[self.b_rev]
1862
 
 
1863
 
    def get_lines(self, revisions):
1864
 
        """Get lines for revisions from the backing VersionedFiles.
1865
 
 
1866
 
        :raises RevisionNotPresent: on absent texts.
1867
 
        """
1868
 
        keys = [(self._key_prefix + (rev,)) for rev in revisions]
1869
 
        result = {}
1870
 
        for record in self.vf.get_record_stream(keys, 'unordered', True):
1871
 
            if record.storage_kind == 'absent':
1872
 
                raise errors.RevisionNotPresent(record.key, self.vf)
1873
 
            result[record.key[-1]] = osutils.chunks_to_lines(
1874
 
                record.get_bytes_as('chunked'))
1875
 
        return result
1876
1173
 
1877
1174
    def plan_merge(self):
1878
1175
        """Generate a 'plan' for merging the two revisions.
1884
1181
        VersionedFile.plan_merge
1885
1182
        """
1886
1183
        blocks = self._get_matching_blocks(self.a_rev, self.b_rev)
1887
 
        unique_a, unique_b = self._unique_lines(blocks)
1888
 
        new_a, killed_b = self._determine_status(self.a_rev, unique_a)
1889
 
        new_b, killed_a = self._determine_status(self.b_rev, unique_b)
1890
 
        return self._iter_plan(blocks, new_a, killed_b, new_b, killed_a)
1891
 
 
1892
 
    def _iter_plan(self, blocks, new_a, killed_b, new_b, killed_a):
 
1184
        new_a = self._find_new(self.a_rev)
 
1185
        new_b = self._find_new(self.b_rev)
1893
1186
        last_i = 0
1894
1187
        last_j = 0
 
1188
        a_lines = self.vf.get_lines(self.a_rev)
 
1189
        b_lines = self.vf.get_lines(self.b_rev)
1895
1190
        for i, j, n in blocks:
 
1191
            # determine why lines aren't common
1896
1192
            for a_index in range(last_i, i):
1897
1193
                if a_index in new_a:
1898
 
                    if a_index in killed_b:
1899
 
                        yield 'conflicted-a', self.lines_a[a_index]
1900
 
                    else:
1901
 
                        yield 'new-a', self.lines_a[a_index]
 
1194
                    cause = 'new-a'
1902
1195
                else:
1903
 
                    yield 'killed-b', self.lines_a[a_index]
 
1196
                    cause = 'killed-b'
 
1197
                yield cause, a_lines[a_index]
1904
1198
            for b_index in range(last_j, j):
1905
1199
                if b_index in new_b:
1906
 
                    if b_index in killed_a:
1907
 
                        yield 'conflicted-b', self.lines_b[b_index]
1908
 
                    else:
1909
 
                        yield 'new-b', self.lines_b[b_index]
 
1200
                    cause = 'new-b'
1910
1201
                else:
1911
 
                    yield 'killed-a', self.lines_b[b_index]
 
1202
                    cause = 'killed-a'
 
1203
                yield cause, b_lines[b_index]
1912
1204
            # handle common lines
1913
1205
            for a_index in range(i, i+n):
1914
 
                yield 'unchanged', self.lines_a[a_index]
 
1206
                yield 'unchanged', a_lines[a_index]
1915
1207
            last_i = i+n
1916
1208
            last_j = j+n
1917
1209
 
1920
1212
 
1921
1213
        See SequenceMatcher.get_matching_blocks
1922
1214
        """
1923
 
        cached = self._cached_matching_blocks.get((left_revision,
1924
 
                                                   right_revision))
1925
 
        if cached is not None:
1926
 
            return cached
1927
1215
        if self._last_lines_revision_id == left_revision:
1928
1216
            left_lines = self._last_lines
1929
 
            right_lines = self.get_lines([right_revision])[right_revision]
1930
1217
        else:
1931
 
            lines = self.get_lines([left_revision, right_revision])
1932
 
            left_lines = lines[left_revision]
1933
 
            right_lines = lines[right_revision]
 
1218
            left_lines = self.vf.get_lines(left_revision)
 
1219
        right_lines = self.vf.get_lines(right_revision)
1934
1220
        self._last_lines = right_lines
1935
1221
        self._last_lines_revision_id = right_revision
1936
1222
        matcher = patiencediff.PatienceSequenceMatcher(None, left_lines,
1954
1240
            last_j = j + n
1955
1241
        return unique_left, unique_right
1956
1242
 
 
1243
    def _find_new(self, version_id):
 
1244
        """Determine which lines are new in the ancestry of this version.
 
1245
 
 
1246
        If a lines is present in this version, and not present in any
 
1247
        common ancestor, it is considered new.
 
1248
        """
 
1249
        if version_id not in self.uncommon:
 
1250
            return set()
 
1251
        parents = self.vf.get_parents(version_id)
 
1252
        if len(parents) == 0:
 
1253
            return set(range(len(self.vf.get_lines(version_id))))
 
1254
        new = None
 
1255
        for parent in parents:
 
1256
            blocks = self._get_matching_blocks(version_id, parent)
 
1257
            result, unused = self._unique_lines(blocks)
 
1258
            parent_new = self._find_new(parent)
 
1259
            for i, j, n in blocks:
 
1260
                for ii, jj in [(i+r, j+r) for r in range(n)]:
 
1261
                    if jj in parent_new:
 
1262
                        result.append(ii)
 
1263
            if new is None:
 
1264
                new = set(result)
 
1265
            else:
 
1266
                new.intersection_update(result)
 
1267
        return new
 
1268
 
1957
1269
    @staticmethod
1958
1270
    def _subtract_plans(old_plan, new_plan):
1959
 
        """Remove changes from new_plan that came from old_plan.
1960
 
 
1961
 
        It is assumed that the difference between the old_plan and new_plan
1962
 
        is their choice of 'b' text.
1963
 
 
1964
 
        All lines from new_plan that differ from old_plan are emitted
1965
 
        verbatim.  All lines from new_plan that match old_plan but are
1966
 
        not about the 'b' revision are emitted verbatim.
1967
 
 
1968
 
        Lines that match and are about the 'b' revision are the lines we
1969
 
        don't want, so we convert 'killed-b' -> 'unchanged', and 'new-b'
1970
 
        is skipped entirely.
1971
 
        """
1972
 
        matcher = patiencediff.PatienceSequenceMatcher(None, old_plan,
1973
 
                                                       new_plan)
 
1271
        # Can't use patience diff-- C version doesn't work with tuples
 
1272
        matcher = difflib.SequenceMatcher(None, old_plan, new_plan)
1974
1273
        last_j = 0
1975
1274
        for i, j, n in matcher.get_matching_blocks():
1976
1275
            for jj in range(last_j, j):
1984
1283
                else:
1985
1284
                    yield plan_line
1986
1285
            last_j = j + n
1987
 
 
1988
 
 
1989
 
class _PlanMerge(_PlanMergeBase):
1990
 
    """Plan an annotate merge using on-the-fly annotation"""
1991
 
 
1992
 
    def __init__(self, a_rev, b_rev, vf, key_prefix):
1993
 
        super(_PlanMerge, self).__init__(a_rev, b_rev, vf, key_prefix)
1994
 
        self.a_key = self._key_prefix + (self.a_rev,)
1995
 
        self.b_key = self._key_prefix + (self.b_rev,)
1996
 
        self.graph = _mod_graph.Graph(self.vf)
1997
 
        heads = self.graph.heads((self.a_key, self.b_key))
1998
 
        if len(heads) == 1:
1999
 
            # one side dominates, so we can just return its values, yay for
2000
 
            # per-file graphs
2001
 
            # Ideally we would know that before we get this far
2002
 
            self._head_key = heads.pop()
2003
 
            if self._head_key == self.a_key:
2004
 
                other = b_rev
2005
 
            else:
2006
 
                other = a_rev
2007
 
            trace.mutter('found dominating revision for %s\n%s > %s', self.vf,
2008
 
                         self._head_key[-1], other)
2009
 
            self._weave = None
2010
 
        else:
2011
 
            self._head_key = None
2012
 
            self._build_weave()
2013
 
 
2014
 
    def _precache_tip_lines(self):
2015
 
        # Turn this into a no-op, because we will do this later
2016
 
        pass
2017
 
 
2018
 
    def _find_recursive_lcas(self):
2019
 
        """Find all the ancestors back to a unique lca"""
2020
 
        cur_ancestors = (self.a_key, self.b_key)
2021
 
        # graph.find_lca(uncommon, keys) now returns plain NULL_REVISION,
2022
 
        # rather than a key tuple. We will just map that directly to no common
2023
 
        # ancestors.
2024
 
        parent_map = {}
2025
 
        while True:
2026
 
            next_lcas = self.graph.find_lca(*cur_ancestors)
2027
 
            # Map a plain NULL_REVISION to a simple no-ancestors
2028
 
            if next_lcas == set([_mod_revision.NULL_REVISION]):
2029
 
                next_lcas = ()
2030
 
            # Order the lca's based on when they were merged into the tip
2031
 
            # While the actual merge portion of weave merge uses a set() of
2032
 
            # active revisions, the order of insertion *does* effect the
2033
 
            # implicit ordering of the texts.
2034
 
            for rev_key in cur_ancestors:
2035
 
                ordered_parents = tuple(self.graph.find_merge_order(rev_key,
2036
 
                                                                    next_lcas))
2037
 
                parent_map[rev_key] = ordered_parents
2038
 
            if len(next_lcas) == 0:
2039
 
                break
2040
 
            elif len(next_lcas) == 1:
2041
 
                parent_map[list(next_lcas)[0]] = ()
2042
 
                break
2043
 
            elif len(next_lcas) > 2:
2044
 
                # More than 2 lca's, fall back to grabbing all nodes between
2045
 
                # this and the unique lca.
2046
 
                trace.mutter('More than 2 LCAs, falling back to all nodes for:'
2047
 
                             ' %s, %s\n=> %s',
2048
 
                             self.a_key, self.b_key, cur_ancestors)
2049
 
                cur_lcas = next_lcas
2050
 
                while len(cur_lcas) > 1:
2051
 
                    cur_lcas = self.graph.find_lca(*cur_lcas)
2052
 
                if len(cur_lcas) == 0:
2053
 
                    # No common base to find, use the full ancestry
2054
 
                    unique_lca = None
2055
 
                else:
2056
 
                    unique_lca = list(cur_lcas)[0]
2057
 
                    if unique_lca == _mod_revision.NULL_REVISION:
2058
 
                        # find_lca will return a plain 'NULL_REVISION' rather
2059
 
                        # than a key tuple when there is no common ancestor, we
2060
 
                        # prefer to just use None, because it doesn't confuse
2061
 
                        # _get_interesting_texts()
2062
 
                        unique_lca = None
2063
 
                parent_map.update(self._find_unique_parents(next_lcas,
2064
 
                                                            unique_lca))
2065
 
                break
2066
 
            cur_ancestors = next_lcas
2067
 
        return parent_map
2068
 
 
2069
 
    def _find_unique_parents(self, tip_keys, base_key):
2070
 
        """Find ancestors of tip that aren't ancestors of base.
2071
 
 
2072
 
        :param tip_keys: Nodes that are interesting
2073
 
        :param base_key: Cull all ancestors of this node
2074
 
        :return: The parent map for all revisions between tip_keys and
2075
 
            base_key. base_key will be included. References to nodes outside of
2076
 
            the ancestor set will also be removed.
2077
 
        """
2078
 
        # TODO: this would be simpler if find_unique_ancestors took a list
2079
 
        #       instead of a single tip, internally it supports it, but it
2080
 
        #       isn't a "backwards compatible" api change.
2081
 
        if base_key is None:
2082
 
            parent_map = dict(self.graph.iter_ancestry(tip_keys))
2083
 
            # We remove NULL_REVISION because it isn't a proper tuple key, and
2084
 
            # thus confuses things like _get_interesting_texts, and our logic
2085
 
            # to add the texts into the memory weave.
2086
 
            if _mod_revision.NULL_REVISION in parent_map:
2087
 
                parent_map.pop(_mod_revision.NULL_REVISION)
2088
 
        else:
2089
 
            interesting = set()
2090
 
            for tip in tip_keys:
2091
 
                interesting.update(
2092
 
                    self.graph.find_unique_ancestors(tip, [base_key]))
2093
 
            parent_map = self.graph.get_parent_map(interesting)
2094
 
            parent_map[base_key] = ()
2095
 
        culled_parent_map, child_map, tails = self._remove_external_references(
2096
 
            parent_map)
2097
 
        # Remove all the tails but base_key
2098
 
        if base_key is not None:
2099
 
            tails.remove(base_key)
2100
 
            self._prune_tails(culled_parent_map, child_map, tails)
2101
 
        # Now remove all the uninteresting 'linear' regions
2102
 
        simple_map = _mod_graph.collapse_linear_regions(culled_parent_map)
2103
 
        return simple_map
2104
 
 
2105
 
    @staticmethod
2106
 
    def _remove_external_references(parent_map):
2107
 
        """Remove references that go outside of the parent map.
2108
 
 
2109
 
        :param parent_map: Something returned from Graph.get_parent_map(keys)
2110
 
        :return: (filtered_parent_map, child_map, tails)
2111
 
            filtered_parent_map is parent_map without external references
2112
 
            child_map is the {parent_key: [child_keys]} mapping
2113
 
            tails is a list of nodes that do not have any parents in the map
2114
 
        """
2115
 
        # TODO: The basic effect of this function seems more generic than
2116
 
        #       _PlanMerge. But the specific details of building a child_map,
2117
 
        #       and computing tails seems very specific to _PlanMerge.
2118
 
        #       Still, should this be in Graph land?
2119
 
        filtered_parent_map = {}
2120
 
        child_map = {}
2121
 
        tails = []
2122
 
        for key, parent_keys in parent_map.iteritems():
2123
 
            culled_parent_keys = [p for p in parent_keys if p in parent_map]
2124
 
            if not culled_parent_keys:
2125
 
                tails.append(key)
2126
 
            for parent_key in culled_parent_keys:
2127
 
                child_map.setdefault(parent_key, []).append(key)
2128
 
            # TODO: Do we want to do this, it adds overhead for every node,
2129
 
            #       just to say that the node has no children
2130
 
            child_map.setdefault(key, [])
2131
 
            filtered_parent_map[key] = culled_parent_keys
2132
 
        return filtered_parent_map, child_map, tails
2133
 
 
2134
 
    @staticmethod
2135
 
    def _prune_tails(parent_map, child_map, tails_to_remove):
2136
 
        """Remove tails from the parent map.
2137
 
 
2138
 
        This will remove the supplied revisions until no more children have 0
2139
 
        parents.
2140
 
 
2141
 
        :param parent_map: A dict of {child: [parents]}, this dictionary will
2142
 
            be modified in place.
2143
 
        :param tails_to_remove: A list of tips that should be removed,
2144
 
            this list will be consumed
2145
 
        :param child_map: The reverse dict of parent_map ({parent: [children]})
2146
 
            this dict will be modified
2147
 
        :return: None, parent_map will be modified in place.
2148
 
        """
2149
 
        while tails_to_remove:
2150
 
            next = tails_to_remove.pop()
2151
 
            parent_map.pop(next)
2152
 
            children = child_map.pop(next)
2153
 
            for child in children:
2154
 
                child_parents = parent_map[child]
2155
 
                child_parents.remove(next)
2156
 
                if len(child_parents) == 0:
2157
 
                    tails_to_remove.append(child)
2158
 
 
2159
 
    def _get_interesting_texts(self, parent_map):
2160
 
        """Return a dict of texts we are interested in.
2161
 
 
2162
 
        Note that the input is in key tuples, but the output is in plain
2163
 
        revision ids.
2164
 
 
2165
 
        :param parent_map: The output from _find_recursive_lcas
2166
 
        :return: A dict of {'revision_id':lines} as returned by
2167
 
            _PlanMergeBase.get_lines()
2168
 
        """
2169
 
        all_revision_keys = set(parent_map)
2170
 
        all_revision_keys.add(self.a_key)
2171
 
        all_revision_keys.add(self.b_key)
2172
 
 
2173
 
        # Everything else is in 'keys' but get_lines is in 'revision_ids'
2174
 
        all_texts = self.get_lines([k[-1] for k in all_revision_keys])
2175
 
        return all_texts
2176
 
 
2177
 
    def _build_weave(self):
2178
 
        from bzrlib import weave
2179
 
        self._weave = weave.Weave(weave_name='in_memory_weave',
2180
 
                                  allow_reserved=True)
2181
 
        parent_map = self._find_recursive_lcas()
2182
 
 
2183
 
        all_texts = self._get_interesting_texts(parent_map)
2184
 
 
2185
 
        # Note: Unfortunately, the order given by topo_sort will effect the
2186
 
        # ordering resolution in the output. Specifically, if you add A then B,
2187
 
        # then in the output text A lines will show up before B lines. And, of
2188
 
        # course, topo_sort doesn't guarantee any real ordering.
2189
 
        # So we use merge_sort, and add a fake node on the tip.
2190
 
        # This ensures that left-hand parents will always be inserted into the
2191
 
        # weave before right-hand parents.
2192
 
        tip_key = self._key_prefix + (_mod_revision.CURRENT_REVISION,)
2193
 
        parent_map[tip_key] = (self.a_key, self.b_key)
2194
 
 
2195
 
        for seq_num, key, depth, eom in reversed(tsort.merge_sort(parent_map,
2196
 
                                                                  tip_key)):
2197
 
            if key == tip_key:
2198
 
                continue
2199
 
        # for key in tsort.topo_sort(parent_map):
2200
 
            parent_keys = parent_map[key]
2201
 
            revision_id = key[-1]
2202
 
            parent_ids = [k[-1] for k in parent_keys]
2203
 
            self._weave.add_lines(revision_id, parent_ids,
2204
 
                                  all_texts[revision_id])
2205
 
 
2206
 
    def plan_merge(self):
2207
 
        """Generate a 'plan' for merging the two revisions.
2208
 
 
2209
 
        This involves comparing their texts and determining the cause of
2210
 
        differences.  If text A has a line and text B does not, then either the
2211
 
        line was added to text A, or it was deleted from B.  Once the causes
2212
 
        are combined, they are written out in the format described in
2213
 
        VersionedFile.plan_merge
2214
 
        """
2215
 
        if self._head_key is not None: # There was a single head
2216
 
            if self._head_key == self.a_key:
2217
 
                plan = 'new-a'
2218
 
            else:
2219
 
                if self._head_key != self.b_key:
2220
 
                    raise AssertionError('There was an invalid head: %s != %s'
2221
 
                                         % (self.b_key, self._head_key))
2222
 
                plan = 'new-b'
2223
 
            head_rev = self._head_key[-1]
2224
 
            lines = self.get_lines([head_rev])[head_rev]
2225
 
            return ((plan, line) for line in lines)
2226
 
        return self._weave.plan_merge(self.a_rev, self.b_rev)
2227
 
 
2228
 
 
2229
 
class _PlanLCAMerge(_PlanMergeBase):
2230
 
    """
2231
 
    This merge algorithm differs from _PlanMerge in that:
2232
 
    1. comparisons are done against LCAs only
2233
 
    2. cases where a contested line is new versus one LCA but old versus
2234
 
       another are marked as conflicts, by emitting the line as conflicted-a
2235
 
       or conflicted-b.
2236
 
 
2237
 
    This is faster, and hopefully produces more useful output.
2238
 
    """
2239
 
 
2240
 
    def __init__(self, a_rev, b_rev, vf, key_prefix, graph):
2241
 
        _PlanMergeBase.__init__(self, a_rev, b_rev, vf, key_prefix)
2242
 
        lcas = graph.find_lca(key_prefix + (a_rev,), key_prefix + (b_rev,))
2243
 
        self.lcas = set()
2244
 
        for lca in lcas:
2245
 
            if lca == _mod_revision.NULL_REVISION:
2246
 
                self.lcas.add(lca)
2247
 
            else:
2248
 
                self.lcas.add(lca[-1])
2249
 
        for lca in self.lcas:
2250
 
            if _mod_revision.is_null(lca):
2251
 
                lca_lines = []
2252
 
            else:
2253
 
                lca_lines = self.get_lines([lca])[lca]
2254
 
            matcher = patiencediff.PatienceSequenceMatcher(None, self.lines_a,
2255
 
                                                           lca_lines)
2256
 
            blocks = list(matcher.get_matching_blocks())
2257
 
            self._cached_matching_blocks[(a_rev, lca)] = blocks
2258
 
            matcher = patiencediff.PatienceSequenceMatcher(None, self.lines_b,
2259
 
                                                           lca_lines)
2260
 
            blocks = list(matcher.get_matching_blocks())
2261
 
            self._cached_matching_blocks[(b_rev, lca)] = blocks
2262
 
 
2263
 
    def _determine_status(self, revision_id, unique_line_numbers):
2264
 
        """Determines the status unique lines versus all lcas.
2265
 
 
2266
 
        Basically, determines why the line is unique to this revision.
2267
 
 
2268
 
        A line may be determined new, killed, or both.
2269
 
 
2270
 
        If a line is determined new, that means it was not present in at least
2271
 
        one LCA, and is not present in the other merge revision.
2272
 
 
2273
 
        If a line is determined killed, that means the line was present in
2274
 
        at least one LCA.
2275
 
 
2276
 
        If a line is killed and new, this indicates that the two merge
2277
 
        revisions contain differing conflict resolutions.
2278
 
        :param revision_id: The id of the revision in which the lines are
2279
 
            unique
2280
 
        :param unique_line_numbers: The line numbers of unique lines.
2281
 
        :return a tuple of (new_this, killed_other):
2282
 
        """
2283
 
        new = set()
2284
 
        killed = set()
2285
 
        unique_line_numbers = set(unique_line_numbers)
2286
 
        for lca in self.lcas:
2287
 
            blocks = self._get_matching_blocks(revision_id, lca)
2288
 
            unique_vs_lca, _ignored = self._unique_lines(blocks)
2289
 
            new.update(unique_line_numbers.intersection(unique_vs_lca))
2290
 
            killed.update(unique_line_numbers.difference(unique_vs_lca))
2291
 
        return new, killed