/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/merge.py

  • Committer: Aaron Bentley
  • Date: 2007-07-10 21:18:54 UTC
  • mto: This revision was merged to the branch mainline in revision 2606.
  • Revision ID: abentley@panoramicfeedback.com-20070710211854-93ofaa70day2p8d3
Start eliminating the use of None to indicate null revision

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005, 2006 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
 
 
18
import os
 
19
import errno
 
20
import warnings
 
21
 
 
22
from bzrlib import (
 
23
    osutils,
 
24
    registry,
 
25
    revision as _mod_revision,
 
26
    )
 
27
from bzrlib.branch import Branch
 
28
from bzrlib.conflicts import ConflictList, Conflict
 
29
from bzrlib.errors import (BzrCommandError,
 
30
                           BzrError,
 
31
                           NoCommonAncestor,
 
32
                           NoCommits,
 
33
                           NoSuchRevision,
 
34
                           NoSuchFile,
 
35
                           NotBranchError,
 
36
                           NotVersionedError,
 
37
                           UnrelatedBranches,
 
38
                           UnsupportedOperation,
 
39
                           WorkingTreeNotRevision,
 
40
                           BinaryFile,
 
41
                           )
 
42
from bzrlib.merge3 import Merge3
 
43
from bzrlib.osutils import rename, pathjoin
 
44
from progress import DummyProgress, ProgressPhase
 
45
from bzrlib.revision import (is_ancestor, NULL_REVISION, ensure_null)
 
46
from bzrlib.textfile import check_text_lines
 
47
from bzrlib.trace import mutter, warning, note
 
48
from bzrlib.transform import (TreeTransform, resolve_conflicts, cook_conflicts,
 
49
                              FinalPaths, create_by_entry, unique_add,
 
50
                              ROOT_PARENT)
 
51
from bzrlib.versionedfile import WeaveMerge
 
52
from bzrlib import ui
 
53
 
 
54
# TODO: Report back as changes are merged in
 
55
 
 
56
def _get_tree(treespec, local_branch=None):
 
57
    from bzrlib import workingtree
 
58
    location, revno = treespec
 
59
    if revno is None:
 
60
        tree = workingtree.WorkingTree.open_containing(location)[0]
 
61
        return tree.branch, tree
 
62
    branch = Branch.open_containing(location)[0]
 
63
    if revno == -1:
 
64
        revision_id = branch.last_revision()
 
65
    else:
 
66
        revision_id = branch.get_rev_id(revno)
 
67
    if revision_id is None:
 
68
        revision_id = NULL_REVISION
 
69
    return branch, _get_revid_tree(branch, revision_id, local_branch)
 
70
 
 
71
 
 
72
def _get_revid_tree(branch, revision_id, local_branch):
 
73
    if revision_id is None:
 
74
        base_tree = branch.bzrdir.open_workingtree()
 
75
    else:
 
76
        if local_branch is not None:
 
77
            if local_branch.base != branch.base:
 
78
                local_branch.fetch(branch, revision_id)
 
79
            base_tree = local_branch.repository.revision_tree(revision_id)
 
80
        else:
 
81
            base_tree = branch.repository.revision_tree(revision_id)
 
82
    return base_tree
 
83
 
 
84
 
 
85
def _get_revid_tree_from_tree(tree, revision_id, local_branch):
 
86
    if revision_id is None:
 
87
        return tree
 
88
    if local_branch is not None:
 
89
        if local_branch.base != tree.branch.base:
 
90
            local_branch.fetch(tree.branch, revision_id)
 
91
        return local_branch.repository.revision_tree(revision_id)
 
92
    return tree.branch.repository.revision_tree(revision_id)
 
93
 
 
94
 
 
95
def transform_tree(from_tree, to_tree, interesting_ids=None):
 
96
    merge_inner(from_tree.branch, to_tree, from_tree, ignore_zero=True,
 
97
                interesting_ids=interesting_ids, this_tree=from_tree)
 
98
 
 
99
 
 
100
class Merger(object):
 
101
    def __init__(self, this_branch, other_tree=None, base_tree=None,
 
102
                 this_tree=None, pb=DummyProgress(), change_reporter=None,
 
103
                 recurse='down'):
 
104
        object.__init__(self)
 
105
        assert this_tree is not None, "this_tree is required"
 
106
        self.this_branch = this_branch
 
107
        self.this_basis = this_branch.last_revision()
 
108
        self.this_rev_id = None
 
109
        self.this_tree = this_tree
 
110
        self.this_revision_tree = None
 
111
        self.this_basis_tree = None
 
112
        self.other_tree = other_tree
 
113
        self.other_branch = None
 
114
        self.base_tree = base_tree
 
115
        self.ignore_zero = False
 
116
        self.backup_files = False
 
117
        self.interesting_ids = None
 
118
        self.show_base = False
 
119
        self.reprocess = False
 
120
        self._pb = pb
 
121
        self.pp = None
 
122
        self.recurse = recurse
 
123
        self.change_reporter = change_reporter
 
124
 
 
125
    def revision_tree(self, revision_id):
 
126
        return self.this_branch.repository.revision_tree(revision_id)
 
127
 
 
128
    def ensure_revision_trees(self):
 
129
        if self.this_revision_tree is None:
 
130
            self.this_basis_tree = self.this_branch.repository.revision_tree(
 
131
                self.this_basis)
 
132
            if self.this_basis == self.this_rev_id:
 
133
                self.this_revision_tree = self.this_basis_tree
 
134
 
 
135
        if self.other_rev_id is None:
 
136
            other_basis_tree = self.revision_tree(self.other_basis)
 
137
            changes = other_basis_tree.changes_from(self.other_tree)
 
138
            if changes.has_changed():
 
139
                raise WorkingTreeNotRevision(self.this_tree)
 
140
            other_rev_id = self.other_basis
 
141
            self.other_tree = other_basis_tree
 
142
 
 
143
    def file_revisions(self, file_id):
 
144
        self.ensure_revision_trees()
 
145
        def get_id(tree, file_id):
 
146
            revision_id = tree.inventory[file_id].revision
 
147
            assert revision_id is not None
 
148
            return revision_id
 
149
        if self.this_rev_id is None:
 
150
            if self.this_basis_tree.get_file_sha1(file_id) != \
 
151
                self.this_tree.get_file_sha1(file_id):
 
152
                raise WorkingTreeNotRevision(self.this_tree)
 
153
 
 
154
        trees = (self.this_basis_tree, self.other_tree)
 
155
        return [get_id(tree, file_id) for tree in trees]
 
156
 
 
157
    def check_basis(self, check_clean, require_commits=True):
 
158
        if self.this_basis is None and require_commits is True:
 
159
            raise BzrCommandError("This branch has no commits."
 
160
                                  " (perhaps you would prefer 'bzr pull')")
 
161
        if check_clean:
 
162
            self.compare_basis()
 
163
            if self.this_basis != self.this_rev_id:
 
164
                raise BzrCommandError("Working tree has uncommitted changes.")
 
165
 
 
166
    def compare_basis(self):
 
167
        changes = self.this_tree.changes_from(self.this_tree.basis_tree())
 
168
        if not changes.has_changed():
 
169
            self.this_rev_id = self.this_basis
 
170
 
 
171
    def set_interesting_files(self, file_list):
 
172
        try:
 
173
            self._set_interesting_files(file_list)
 
174
        except NotVersionedError, e:
 
175
            raise BzrCommandError("%s is not a source file in any"
 
176
                                      " tree." % e.path)
 
177
 
 
178
    def _set_interesting_files(self, file_list):
 
179
        """Set the list of interesting ids from a list of files."""
 
180
        if file_list is None:
 
181
            self.interesting_ids = None
 
182
            return
 
183
 
 
184
        interesting_ids = set()
 
185
        for path in file_list:
 
186
            found_id = False
 
187
            # TODO: jam 20070226 The trees are not locked at this time,
 
188
            #       wouldn't it make merge faster if it locks everything in the
 
189
            #       beginning? It locks at do_merge time, but this happens
 
190
            #       before that.
 
191
            for tree in (self.this_tree, self.base_tree, self.other_tree):
 
192
                file_id = tree.path2id(path)
 
193
                if file_id is not None:
 
194
                    interesting_ids.add(file_id)
 
195
                    found_id = True
 
196
            if not found_id:
 
197
                raise NotVersionedError(path=path)
 
198
        self.interesting_ids = interesting_ids
 
199
 
 
200
    def set_pending(self):
 
201
        if not self.base_is_ancestor:
 
202
            return
 
203
        if self.other_rev_id is None:
 
204
            return
 
205
        ancestry = set(self.this_branch.repository.get_ancestry(
 
206
            self.this_basis, topo_sorted=False))
 
207
        if self.other_rev_id in ancestry:
 
208
            return
 
209
        self.this_tree.add_parent_tree((self.other_rev_id, self.other_tree))
 
210
 
 
211
    def set_other(self, other_revision):
 
212
        """Set the revision and tree to merge from.
 
213
 
 
214
        This sets the other_tree, other_rev_id, other_basis attributes.
 
215
 
 
216
        :param other_revision: The [path, revision] list to merge from.
 
217
        """
 
218
        self.other_branch, self.other_tree = _get_tree(other_revision,
 
219
                                                  self.this_branch)
 
220
        if other_revision[1] == -1:
 
221
            self.other_rev_id = self.other_branch.last_revision()
 
222
            if _mod_revision.is_null(self.other_rev_id):
 
223
                raise NoCommits(self.other_branch)
 
224
            self.other_basis = self.other_rev_id
 
225
        elif other_revision[1] is not None:
 
226
            self.other_rev_id = self.other_branch.get_rev_id(other_revision[1])
 
227
            self.other_basis = self.other_rev_id
 
228
        else:
 
229
            self.other_rev_id = None
 
230
            self.other_basis = self.other_branch.last_revision()
 
231
            if self.other_basis is None:
 
232
                raise NoCommits(self.other_branch)
 
233
        if self.other_branch.base != self.this_branch.base:
 
234
            self.this_branch.fetch(self.other_branch,
 
235
                                   last_revision=self.other_basis)
 
236
 
 
237
    def set_other_revision(self, revision_id, other_branch):
 
238
        """Set 'other' based on a branch and revision id
 
239
 
 
240
        :param revision_id: The revision to use for a tree
 
241
        :param other_branch: The branch containing this tree
 
242
        """
 
243
        self.other_rev_id = revision_id
 
244
        self.other_branch = other_branch
 
245
        self.this_branch.fetch(other_branch, self.other_rev_id)
 
246
        self.other_tree = self.revision_tree(revision_id)
 
247
        self.other_basis = revision_id
 
248
 
 
249
    def find_base(self):
 
250
        self.set_base([None, None])
 
251
 
 
252
    def set_base(self, base_revision):
 
253
        """Set the base revision to use for the merge.
 
254
 
 
255
        :param base_revision: A 2-list containing a path and revision number.
 
256
        """
 
257
        mutter("doing merge() with no base_revision specified")
 
258
        if base_revision == [None, None]:
 
259
            try:
 
260
                pb = ui.ui_factory.nested_progress_bar()
 
261
                try:
 
262
                    this_repo = self.this_branch.repository
 
263
                    graph = this_repo.get_graph()
 
264
                    revisions = [ensure_null(self.this_basis),
 
265
                                 ensure_null(self.other_basis)]
 
266
                    if NULL_REVISION in revisions:
 
267
                        self.base_rev_id = NULL_REVISION
 
268
                    else:
 
269
                        self.base_rev_id = graph.find_unique_lca(*revisions)
 
270
                        if self.base_rev_id == NULL_REVISION:
 
271
                            raise UnrelatedBranches()
 
272
                finally:
 
273
                    pb.finished()
 
274
            except NoCommonAncestor:
 
275
                raise UnrelatedBranches()
 
276
            self.base_tree = _get_revid_tree_from_tree(self.this_tree,
 
277
                                                       self.base_rev_id,
 
278
                                                       None)
 
279
            self.base_is_ancestor = True
 
280
        else:
 
281
            base_branch, self.base_tree = _get_tree(base_revision)
 
282
            if base_revision[1] == -1:
 
283
                self.base_rev_id = base_branch.last_revision()
 
284
            elif base_revision[1] is None:
 
285
                self.base_rev_id = None
 
286
            else:
 
287
                self.base_rev_id = base_branch.get_rev_id(base_revision[1])
 
288
            if self.this_branch.base != base_branch.base:
 
289
                self.this_branch.fetch(base_branch)
 
290
            self.base_is_ancestor = is_ancestor(self.this_basis, 
 
291
                                                self.base_rev_id,
 
292
                                                self.this_branch)
 
293
 
 
294
    def do_merge(self):
 
295
        kwargs = {'working_tree':self.this_tree, 'this_tree': self.this_tree,
 
296
                  'other_tree': self.other_tree,
 
297
                  'interesting_ids': self.interesting_ids,
 
298
                  'pp': self.pp}
 
299
        if self.merge_type.requires_base:
 
300
            kwargs['base_tree'] = self.base_tree
 
301
        if self.merge_type.supports_reprocess:
 
302
            kwargs['reprocess'] = self.reprocess
 
303
        elif self.reprocess:
 
304
            raise BzrError("Conflict reduction is not supported for merge"
 
305
                                  " type %s." % self.merge_type)
 
306
        if self.merge_type.supports_show_base:
 
307
            kwargs['show_base'] = self.show_base
 
308
        elif self.show_base:
 
309
            raise BzrError("Showing base is not supported for this"
 
310
                                  " merge type. %s" % self.merge_type)
 
311
        self.this_tree.lock_tree_write()
 
312
        if self.base_tree is not None:
 
313
            self.base_tree.lock_read()
 
314
        if self.other_tree is not None:
 
315
            self.other_tree.lock_read()
 
316
        try:
 
317
            merge = self.merge_type(pb=self._pb,
 
318
                                    change_reporter=self.change_reporter,
 
319
                                    **kwargs)
 
320
            if self.recurse == 'down':
 
321
                for path, file_id in self.this_tree.iter_references():
 
322
                    sub_tree = self.this_tree.get_nested_tree(file_id, path)
 
323
                    other_revision = self.other_tree.get_reference_revision(
 
324
                        file_id, path)
 
325
                    if  other_revision == sub_tree.last_revision():
 
326
                        continue
 
327
                    sub_merge = Merger(sub_tree.branch, this_tree=sub_tree)
 
328
                    sub_merge.merge_type = self.merge_type
 
329
                    relpath = self.this_tree.relpath(path)
 
330
                    other_branch = self.other_branch.reference_parent(file_id, relpath)
 
331
                    sub_merge.set_other_revision(other_revision, other_branch)
 
332
                    base_revision = self.base_tree.get_reference_revision(file_id)
 
333
                    sub_merge.base_tree = \
 
334
                        sub_tree.branch.repository.revision_tree(base_revision)
 
335
                    sub_merge.do_merge()
 
336
 
 
337
        finally:
 
338
            if self.other_tree is not None:
 
339
                self.other_tree.unlock()
 
340
            if self.base_tree is not None:
 
341
                self.base_tree.unlock()
 
342
            self.this_tree.unlock()
 
343
        if len(merge.cooked_conflicts) == 0:
 
344
            if not self.ignore_zero:
 
345
                note("All changes applied successfully.")
 
346
        else:
 
347
            note("%d conflicts encountered." % len(merge.cooked_conflicts))
 
348
 
 
349
        return len(merge.cooked_conflicts)
 
350
 
 
351
    def regen_inventory(self, new_entries):
 
352
        old_entries = self.this_tree.read_working_inventory()
 
353
        new_inventory = {}
 
354
        by_path = {}
 
355
        new_entries_map = {} 
 
356
        for path, file_id in new_entries:
 
357
            if path is None:
 
358
                continue
 
359
            new_entries_map[file_id] = path
 
360
 
 
361
        def id2path(file_id):
 
362
            path = new_entries_map.get(file_id)
 
363
            if path is not None:
 
364
                return path
 
365
            entry = old_entries[file_id]
 
366
            if entry.parent_id is None:
 
367
                return entry.name
 
368
            return pathjoin(id2path(entry.parent_id), entry.name)
 
369
            
 
370
        for file_id in old_entries:
 
371
            entry = old_entries[file_id]
 
372
            path = id2path(file_id)
 
373
            if file_id in self.base_tree.inventory:
 
374
                executable = getattr(self.base_tree.inventory[file_id], 'executable', False)
 
375
            else:
 
376
                executable = getattr(entry, 'executable', False)
 
377
            new_inventory[file_id] = (path, file_id, entry.parent_id, 
 
378
                                      entry.kind, executable)
 
379
                                      
 
380
            by_path[path] = file_id
 
381
        
 
382
        deletions = 0
 
383
        insertions = 0
 
384
        new_path_list = []
 
385
        for path, file_id in new_entries:
 
386
            if path is None:
 
387
                del new_inventory[file_id]
 
388
                deletions += 1
 
389
            else:
 
390
                new_path_list.append((path, file_id))
 
391
                if file_id not in old_entries:
 
392
                    insertions += 1
 
393
        # Ensure no file is added before its parent
 
394
        new_path_list.sort()
 
395
        for path, file_id in new_path_list:
 
396
            if path == '':
 
397
                parent = None
 
398
            else:
 
399
                parent = by_path[os.path.dirname(path)]
 
400
            abspath = pathjoin(self.this_tree.basedir, path)
 
401
            kind = osutils.file_kind(abspath)
 
402
            if file_id in self.base_tree.inventory:
 
403
                executable = getattr(self.base_tree.inventory[file_id], 'executable', False)
 
404
            else:
 
405
                executable = False
 
406
            new_inventory[file_id] = (path, file_id, parent, kind, executable)
 
407
            by_path[path] = file_id 
 
408
 
 
409
        # Get a list in insertion order
 
410
        new_inventory_list = new_inventory.values()
 
411
        mutter ("""Inventory regeneration:
 
412
    old length: %i insertions: %i deletions: %i new_length: %i"""\
 
413
            % (len(old_entries), insertions, deletions, 
 
414
               len(new_inventory_list)))
 
415
        assert len(new_inventory_list) == len(old_entries) + insertions\
 
416
            - deletions
 
417
        new_inventory_list.sort()
 
418
        return new_inventory_list
 
419
 
 
420
 
 
421
class Merge3Merger(object):
 
422
    """Three-way merger that uses the merge3 text merger"""
 
423
    requires_base = True
 
424
    supports_reprocess = True
 
425
    supports_show_base = True
 
426
    history_based = False
 
427
 
 
428
    def __init__(self, working_tree, this_tree, base_tree, other_tree, 
 
429
                 interesting_ids=None, reprocess=False, show_base=False,
 
430
                 pb=DummyProgress(), pp=None, change_reporter=None):
 
431
        """Initialize the merger object and perform the merge."""
 
432
        object.__init__(self)
 
433
        self.this_tree = working_tree
 
434
        self.this_tree.lock_tree_write()
 
435
        self.base_tree = base_tree
 
436
        self.base_tree.lock_read()
 
437
        self.other_tree = other_tree
 
438
        self.other_tree.lock_read()
 
439
        self._raw_conflicts = []
 
440
        self.cooked_conflicts = []
 
441
        self.reprocess = reprocess
 
442
        self.show_base = show_base
 
443
        self.pb = pb
 
444
        self.pp = pp
 
445
        self.change_reporter = change_reporter
 
446
        if self.pp is None:
 
447
            self.pp = ProgressPhase("Merge phase", 3, self.pb)
 
448
 
 
449
        if interesting_ids is not None:
 
450
            all_ids = interesting_ids
 
451
        else:
 
452
            all_ids = set(base_tree)
 
453
            all_ids.update(other_tree)
 
454
        self.tt = TreeTransform(working_tree, self.pb)
 
455
        try:
 
456
            self.pp.next_phase()
 
457
            child_pb = ui.ui_factory.nested_progress_bar()
 
458
            try:
 
459
                for num, file_id in enumerate(all_ids):
 
460
                    child_pb.update('Preparing file merge', num, len(all_ids))
 
461
                    self.merge_names(file_id)
 
462
                    file_status = self.merge_contents(file_id)
 
463
                    self.merge_executable(file_id, file_status)
 
464
            finally:
 
465
                child_pb.finished()
 
466
            self.fix_root()
 
467
            self.pp.next_phase()
 
468
            child_pb = ui.ui_factory.nested_progress_bar()
 
469
            try:
 
470
                fs_conflicts = resolve_conflicts(self.tt, child_pb)
 
471
            finally:
 
472
                child_pb.finished()
 
473
            if change_reporter is not None:
 
474
                from bzrlib import delta
 
475
                delta.report_changes(self.tt._iter_changes(), change_reporter)
 
476
            self.cook_conflicts(fs_conflicts)
 
477
            for conflict in self.cooked_conflicts:
 
478
                warning(conflict)
 
479
            self.pp.next_phase()
 
480
            results = self.tt.apply()
 
481
            self.write_modified(results)
 
482
            try:
 
483
                working_tree.add_conflicts(self.cooked_conflicts)
 
484
            except UnsupportedOperation:
 
485
                pass
 
486
        finally:
 
487
            self.tt.finalize()
 
488
            self.other_tree.unlock()
 
489
            self.base_tree.unlock()
 
490
            self.this_tree.unlock()
 
491
            self.pb.clear()
 
492
 
 
493
    def fix_root(self):
 
494
        try:
 
495
            self.tt.final_kind(self.tt.root)
 
496
        except NoSuchFile:
 
497
            self.tt.cancel_deletion(self.tt.root)
 
498
        if self.tt.final_file_id(self.tt.root) is None:
 
499
            self.tt.version_file(self.tt.tree_file_id(self.tt.root), 
 
500
                                 self.tt.root)
 
501
        if self.other_tree.inventory.root is None:
 
502
            return
 
503
        other_root_file_id = self.other_tree.inventory.root.file_id
 
504
        other_root = self.tt.trans_id_file_id(other_root_file_id)
 
505
        if other_root == self.tt.root:
 
506
            return
 
507
        try:
 
508
            self.tt.final_kind(other_root)
 
509
        except NoSuchFile:
 
510
            return
 
511
        self.reparent_children(self.other_tree.inventory.root, self.tt.root)
 
512
        self.tt.cancel_creation(other_root)
 
513
        self.tt.cancel_versioning(other_root)
 
514
 
 
515
    def reparent_children(self, ie, target):
 
516
        for thing, child in ie.children.iteritems():
 
517
            trans_id = self.tt.trans_id_file_id(child.file_id)
 
518
            self.tt.adjust_path(self.tt.final_name(trans_id), target, trans_id)
 
519
 
 
520
    def write_modified(self, results):
 
521
        modified_hashes = {}
 
522
        for path in results.modified_paths:
 
523
            file_id = self.this_tree.path2id(self.this_tree.relpath(path))
 
524
            if file_id is None:
 
525
                continue
 
526
            hash = self.this_tree.get_file_sha1(file_id)
 
527
            if hash is None:
 
528
                continue
 
529
            modified_hashes[file_id] = hash
 
530
        self.this_tree.set_merge_modified(modified_hashes)
 
531
 
 
532
    @staticmethod
 
533
    def parent(entry, file_id):
 
534
        """Determine the parent for a file_id (used as a key method)"""
 
535
        if entry is None:
 
536
            return None
 
537
        return entry.parent_id
 
538
 
 
539
    @staticmethod
 
540
    def name(entry, file_id):
 
541
        """Determine the name for a file_id (used as a key method)"""
 
542
        if entry is None:
 
543
            return None
 
544
        return entry.name
 
545
    
 
546
    @staticmethod
 
547
    def contents_sha1(tree, file_id):
 
548
        """Determine the sha1 of the file contents (used as a key method)."""
 
549
        if file_id not in tree:
 
550
            return None
 
551
        return tree.get_file_sha1(file_id)
 
552
 
 
553
    @staticmethod
 
554
    def executable(tree, file_id):
 
555
        """Determine the executability of a file-id (used as a key method)."""
 
556
        if file_id not in tree:
 
557
            return None
 
558
        if tree.kind(file_id) != "file":
 
559
            return False
 
560
        return tree.is_executable(file_id)
 
561
 
 
562
    @staticmethod
 
563
    def kind(tree, file_id):
 
564
        """Determine the kind of a file-id (used as a key method)."""
 
565
        if file_id not in tree:
 
566
            return None
 
567
        return tree.kind(file_id)
 
568
 
 
569
    @staticmethod
 
570
    def scalar_three_way(this_tree, base_tree, other_tree, file_id, key):
 
571
        """Do a three-way test on a scalar.
 
572
        Return "this", "other" or "conflict", depending whether a value wins.
 
573
        """
 
574
        key_base = key(base_tree, file_id)
 
575
        key_other = key(other_tree, file_id)
 
576
        #if base == other, either they all agree, or only THIS has changed.
 
577
        if key_base == key_other:
 
578
            return "this"
 
579
        key_this = key(this_tree, file_id)
 
580
        if key_this not in (key_base, key_other):
 
581
            return "conflict"
 
582
        # "Ambiguous clean merge"
 
583
        elif key_this == key_other:
 
584
            return "this"
 
585
        else:
 
586
            assert key_this == key_base
 
587
            return "other"
 
588
 
 
589
    def merge_names(self, file_id):
 
590
        """Perform a merge on file_id names and parents"""
 
591
        def get_entry(tree):
 
592
            if file_id in tree.inventory:
 
593
                return tree.inventory[file_id]
 
594
            else:
 
595
                return None
 
596
        this_entry = get_entry(self.this_tree)
 
597
        other_entry = get_entry(self.other_tree)
 
598
        base_entry = get_entry(self.base_tree)
 
599
        name_winner = self.scalar_three_way(this_entry, base_entry, 
 
600
                                            other_entry, file_id, self.name)
 
601
        parent_id_winner = self.scalar_three_way(this_entry, base_entry, 
 
602
                                                 other_entry, file_id, 
 
603
                                                 self.parent)
 
604
        if this_entry is None:
 
605
            if name_winner == "this":
 
606
                name_winner = "other"
 
607
            if parent_id_winner == "this":
 
608
                parent_id_winner = "other"
 
609
        if name_winner == "this" and parent_id_winner == "this":
 
610
            return
 
611
        if name_winner == "conflict":
 
612
            trans_id = self.tt.trans_id_file_id(file_id)
 
613
            self._raw_conflicts.append(('name conflict', trans_id, 
 
614
                                        self.name(this_entry, file_id), 
 
615
                                        self.name(other_entry, file_id)))
 
616
        if parent_id_winner == "conflict":
 
617
            trans_id = self.tt.trans_id_file_id(file_id)
 
618
            self._raw_conflicts.append(('parent conflict', trans_id, 
 
619
                                        self.parent(this_entry, file_id), 
 
620
                                        self.parent(other_entry, file_id)))
 
621
        if other_entry is None:
 
622
            # it doesn't matter whether the result was 'other' or 
 
623
            # 'conflict'-- if there's no 'other', we leave it alone.
 
624
            return
 
625
        # if we get here, name_winner and parent_winner are set to safe values.
 
626
        winner_entry = {"this": this_entry, "other": other_entry, 
 
627
                        "conflict": other_entry}
 
628
        trans_id = self.tt.trans_id_file_id(file_id)
 
629
        parent_id = winner_entry[parent_id_winner].parent_id
 
630
        if parent_id is not None:
 
631
            parent_trans_id = self.tt.trans_id_file_id(parent_id)
 
632
            self.tt.adjust_path(winner_entry[name_winner].name, 
 
633
                                parent_trans_id, trans_id)
 
634
 
 
635
    def merge_contents(self, file_id):
 
636
        """Performa a merge on file_id contents."""
 
637
        def contents_pair(tree):
 
638
            if file_id not in tree:
 
639
                return (None, None)
 
640
            kind = tree.kind(file_id)
 
641
            if kind == "file":
 
642
                contents = tree.get_file_sha1(file_id)
 
643
            elif kind == "symlink":
 
644
                contents = tree.get_symlink_target(file_id)
 
645
            else:
 
646
                contents = None
 
647
            return kind, contents
 
648
 
 
649
        def contents_conflict():
 
650
            trans_id = self.tt.trans_id_file_id(file_id)
 
651
            name = self.tt.final_name(trans_id)
 
652
            parent_id = self.tt.final_parent(trans_id)
 
653
            if file_id in self.this_tree.inventory:
 
654
                self.tt.unversion_file(trans_id)
 
655
                if file_id in self.this_tree:
 
656
                    self.tt.delete_contents(trans_id)
 
657
            file_group = self._dump_conflicts(name, parent_id, file_id, 
 
658
                                              set_version=True)
 
659
            self._raw_conflicts.append(('contents conflict', file_group))
 
660
 
 
661
        # See SPOT run.  run, SPOT, run.
 
662
        # So we're not QUITE repeating ourselves; we do tricky things with
 
663
        # file kind...
 
664
        base_pair = contents_pair(self.base_tree)
 
665
        other_pair = contents_pair(self.other_tree)
 
666
        if base_pair == other_pair:
 
667
            # OTHER introduced no changes
 
668
            return "unmodified"
 
669
        this_pair = contents_pair(self.this_tree)
 
670
        if this_pair == other_pair:
 
671
            # THIS and OTHER introduced the same changes
 
672
            return "unmodified"
 
673
        else:
 
674
            trans_id = self.tt.trans_id_file_id(file_id)
 
675
            if this_pair == base_pair:
 
676
                # only OTHER introduced changes
 
677
                if file_id in self.this_tree:
 
678
                    # Remove any existing contents
 
679
                    self.tt.delete_contents(trans_id)
 
680
                if file_id in self.other_tree:
 
681
                    # OTHER changed the file
 
682
                    create_by_entry(self.tt, 
 
683
                                    self.other_tree.inventory[file_id], 
 
684
                                    self.other_tree, trans_id)
 
685
                    if file_id not in self.this_tree.inventory:
 
686
                        self.tt.version_file(file_id, trans_id)
 
687
                    return "modified"
 
688
                elif file_id in self.this_tree.inventory:
 
689
                    # OTHER deleted the file
 
690
                    self.tt.unversion_file(trans_id)
 
691
                    return "deleted"
 
692
            #BOTH THIS and OTHER introduced changes; scalar conflict
 
693
            elif this_pair[0] == "file" and other_pair[0] == "file":
 
694
                # THIS and OTHER are both files, so text merge.  Either
 
695
                # BASE is a file, or both converted to files, so at least we
 
696
                # have agreement that output should be a file.
 
697
                try:
 
698
                    self.text_merge(file_id, trans_id)
 
699
                except BinaryFile:
 
700
                    return contents_conflict()
 
701
                if file_id not in self.this_tree.inventory:
 
702
                    self.tt.version_file(file_id, trans_id)
 
703
                try:
 
704
                    self.tt.tree_kind(trans_id)
 
705
                    self.tt.delete_contents(trans_id)
 
706
                except NoSuchFile:
 
707
                    pass
 
708
                return "modified"
 
709
            else:
 
710
                # Scalar conflict, can't text merge.  Dump conflicts
 
711
                return contents_conflict()
 
712
 
 
713
    def get_lines(self, tree, file_id):
 
714
        """Return the lines in a file, or an empty list."""
 
715
        if file_id in tree:
 
716
            return tree.get_file(file_id).readlines()
 
717
        else:
 
718
            return []
 
719
 
 
720
    def text_merge(self, file_id, trans_id):
 
721
        """Perform a three-way text merge on a file_id"""
 
722
        # it's possible that we got here with base as a different type.
 
723
        # if so, we just want two-way text conflicts.
 
724
        if file_id in self.base_tree and \
 
725
            self.base_tree.kind(file_id) == "file":
 
726
            base_lines = self.get_lines(self.base_tree, file_id)
 
727
        else:
 
728
            base_lines = []
 
729
        other_lines = self.get_lines(self.other_tree, file_id)
 
730
        this_lines = self.get_lines(self.this_tree, file_id)
 
731
        m3 = Merge3(base_lines, this_lines, other_lines)
 
732
        start_marker = "!START OF MERGE CONFLICT!" + "I HOPE THIS IS UNIQUE"
 
733
        if self.show_base is True:
 
734
            base_marker = '|' * 7
 
735
        else:
 
736
            base_marker = None
 
737
 
 
738
        def iter_merge3(retval):
 
739
            retval["text_conflicts"] = False
 
740
            for line in m3.merge_lines(name_a = "TREE", 
 
741
                                       name_b = "MERGE-SOURCE", 
 
742
                                       name_base = "BASE-REVISION",
 
743
                                       start_marker=start_marker, 
 
744
                                       base_marker=base_marker,
 
745
                                       reprocess=self.reprocess):
 
746
                if line.startswith(start_marker):
 
747
                    retval["text_conflicts"] = True
 
748
                    yield line.replace(start_marker, '<' * 7)
 
749
                else:
 
750
                    yield line
 
751
        retval = {}
 
752
        merge3_iterator = iter_merge3(retval)
 
753
        self.tt.create_file(merge3_iterator, trans_id)
 
754
        if retval["text_conflicts"] is True:
 
755
            self._raw_conflicts.append(('text conflict', trans_id))
 
756
            name = self.tt.final_name(trans_id)
 
757
            parent_id = self.tt.final_parent(trans_id)
 
758
            file_group = self._dump_conflicts(name, parent_id, file_id, 
 
759
                                              this_lines, base_lines,
 
760
                                              other_lines)
 
761
            file_group.append(trans_id)
 
762
 
 
763
    def _dump_conflicts(self, name, parent_id, file_id, this_lines=None, 
 
764
                        base_lines=None, other_lines=None, set_version=False,
 
765
                        no_base=False):
 
766
        """Emit conflict files.
 
767
        If this_lines, base_lines, or other_lines are omitted, they will be
 
768
        determined automatically.  If set_version is true, the .OTHER, .THIS
 
769
        or .BASE (in that order) will be created as versioned files.
 
770
        """
 
771
        data = [('OTHER', self.other_tree, other_lines), 
 
772
                ('THIS', self.this_tree, this_lines)]
 
773
        if not no_base:
 
774
            data.append(('BASE', self.base_tree, base_lines))
 
775
        versioned = False
 
776
        file_group = []
 
777
        for suffix, tree, lines in data:
 
778
            if file_id in tree:
 
779
                trans_id = self._conflict_file(name, parent_id, tree, file_id,
 
780
                                               suffix, lines)
 
781
                file_group.append(trans_id)
 
782
                if set_version and not versioned:
 
783
                    self.tt.version_file(file_id, trans_id)
 
784
                    versioned = True
 
785
        return file_group
 
786
           
 
787
    def _conflict_file(self, name, parent_id, tree, file_id, suffix, 
 
788
                       lines=None):
 
789
        """Emit a single conflict file."""
 
790
        name = name + '.' + suffix
 
791
        trans_id = self.tt.create_path(name, parent_id)
 
792
        entry = tree.inventory[file_id]
 
793
        create_by_entry(self.tt, entry, tree, trans_id, lines)
 
794
        return trans_id
 
795
 
 
796
    def merge_executable(self, file_id, file_status):
 
797
        """Perform a merge on the execute bit."""
 
798
        if file_status == "deleted":
 
799
            return
 
800
        trans_id = self.tt.trans_id_file_id(file_id)
 
801
        try:
 
802
            if self.tt.final_kind(trans_id) != "file":
 
803
                return
 
804
        except NoSuchFile:
 
805
            return
 
806
        winner = self.scalar_three_way(self.this_tree, self.base_tree, 
 
807
                                       self.other_tree, file_id, 
 
808
                                       self.executable)
 
809
        if winner == "conflict":
 
810
        # There must be a None in here, if we have a conflict, but we
 
811
        # need executability since file status was not deleted.
 
812
            if self.executable(self.other_tree, file_id) is None:
 
813
                winner = "this"
 
814
            else:
 
815
                winner = "other"
 
816
        if winner == "this":
 
817
            if file_status == "modified":
 
818
                executability = self.this_tree.is_executable(file_id)
 
819
                if executability is not None:
 
820
                    trans_id = self.tt.trans_id_file_id(file_id)
 
821
                    self.tt.set_executability(executability, trans_id)
 
822
        else:
 
823
            assert winner == "other"
 
824
            if file_id in self.other_tree:
 
825
                executability = self.other_tree.is_executable(file_id)
 
826
            elif file_id in self.this_tree:
 
827
                executability = self.this_tree.is_executable(file_id)
 
828
            elif file_id in self.base_tree:
 
829
                executability = self.base_tree.is_executable(file_id)
 
830
            if executability is not None:
 
831
                trans_id = self.tt.trans_id_file_id(file_id)
 
832
                self.tt.set_executability(executability, trans_id)
 
833
 
 
834
    def cook_conflicts(self, fs_conflicts):
 
835
        """Convert all conflicts into a form that doesn't depend on trans_id"""
 
836
        from conflicts import Conflict
 
837
        name_conflicts = {}
 
838
        self.cooked_conflicts.extend(cook_conflicts(fs_conflicts, self.tt))
 
839
        fp = FinalPaths(self.tt)
 
840
        for conflict in self._raw_conflicts:
 
841
            conflict_type = conflict[0]
 
842
            if conflict_type in ('name conflict', 'parent conflict'):
 
843
                trans_id = conflict[1]
 
844
                conflict_args = conflict[2:]
 
845
                if trans_id not in name_conflicts:
 
846
                    name_conflicts[trans_id] = {}
 
847
                unique_add(name_conflicts[trans_id], conflict_type, 
 
848
                           conflict_args)
 
849
            if conflict_type == 'contents conflict':
 
850
                for trans_id in conflict[1]:
 
851
                    file_id = self.tt.final_file_id(trans_id)
 
852
                    if file_id is not None:
 
853
                        break
 
854
                path = fp.get_path(trans_id)
 
855
                for suffix in ('.BASE', '.THIS', '.OTHER'):
 
856
                    if path.endswith(suffix):
 
857
                        path = path[:-len(suffix)]
 
858
                        break
 
859
                c = Conflict.factory(conflict_type, path=path, file_id=file_id)
 
860
                self.cooked_conflicts.append(c)
 
861
            if conflict_type == 'text conflict':
 
862
                trans_id = conflict[1]
 
863
                path = fp.get_path(trans_id)
 
864
                file_id = self.tt.final_file_id(trans_id)
 
865
                c = Conflict.factory(conflict_type, path=path, file_id=file_id)
 
866
                self.cooked_conflicts.append(c)
 
867
 
 
868
        for trans_id, conflicts in name_conflicts.iteritems():
 
869
            try:
 
870
                this_parent, other_parent = conflicts['parent conflict']
 
871
                assert this_parent != other_parent
 
872
            except KeyError:
 
873
                this_parent = other_parent = \
 
874
                    self.tt.final_file_id(self.tt.final_parent(trans_id))
 
875
            try:
 
876
                this_name, other_name = conflicts['name conflict']
 
877
                assert this_name != other_name
 
878
            except KeyError:
 
879
                this_name = other_name = self.tt.final_name(trans_id)
 
880
            other_path = fp.get_path(trans_id)
 
881
            if this_parent is not None and this_name is not None:
 
882
                this_parent_path = \
 
883
                    fp.get_path(self.tt.trans_id_file_id(this_parent))
 
884
                this_path = pathjoin(this_parent_path, this_name)
 
885
            else:
 
886
                this_path = "<deleted>"
 
887
            file_id = self.tt.final_file_id(trans_id)
 
888
            c = Conflict.factory('path conflict', path=this_path,
 
889
                                 conflict_path=other_path, file_id=file_id)
 
890
            self.cooked_conflicts.append(c)
 
891
        self.cooked_conflicts.sort(key=Conflict.sort_key)
 
892
 
 
893
 
 
894
class WeaveMerger(Merge3Merger):
 
895
    """Three-way tree merger, text weave merger."""
 
896
    supports_reprocess = True
 
897
    supports_show_base = False
 
898
 
 
899
    def __init__(self, working_tree, this_tree, base_tree, other_tree, 
 
900
                 interesting_ids=None, pb=DummyProgress(), pp=None,
 
901
                 reprocess=False, change_reporter=None):
 
902
        self.this_revision_tree = self._get_revision_tree(this_tree)
 
903
        self.other_revision_tree = self._get_revision_tree(other_tree)
 
904
        super(WeaveMerger, self).__init__(working_tree, this_tree, 
 
905
                                          base_tree, other_tree, 
 
906
                                          interesting_ids=interesting_ids, 
 
907
                                          pb=pb, pp=pp, reprocess=reprocess,
 
908
                                          change_reporter=change_reporter)
 
909
 
 
910
    def _get_revision_tree(self, tree):
 
911
        """Return a revision tree related to this tree.
 
912
        If the tree is a WorkingTree, the basis will be returned.
 
913
        """
 
914
        if getattr(tree, 'get_weave', False) is False:
 
915
            # If we have a WorkingTree, try using the basis
 
916
            return tree.branch.basis_tree()
 
917
        else:
 
918
            return tree
 
919
 
 
920
    def _check_file(self, file_id):
 
921
        """Check that the revision tree's version of the file matches."""
 
922
        for tree, rt in ((self.this_tree, self.this_revision_tree), 
 
923
                         (self.other_tree, self.other_revision_tree)):
 
924
            if rt is tree:
 
925
                continue
 
926
            if tree.get_file_sha1(file_id) != rt.get_file_sha1(file_id):
 
927
                raise WorkingTreeNotRevision(self.this_tree)
 
928
 
 
929
    def _merged_lines(self, file_id):
 
930
        """Generate the merged lines.
 
931
        There is no distinction between lines that are meant to contain <<<<<<<
 
932
        and conflicts.
 
933
        """
 
934
        weave = self.this_revision_tree.get_weave(file_id)
 
935
        this_revision_id = self.this_revision_tree.inventory[file_id].revision
 
936
        other_revision_id = \
 
937
            self.other_revision_tree.inventory[file_id].revision
 
938
        wm = WeaveMerge(weave, this_revision_id, other_revision_id, 
 
939
                        '<<<<<<< TREE\n', '>>>>>>> MERGE-SOURCE\n')
 
940
        return wm.merge_lines(self.reprocess)
 
941
 
 
942
    def text_merge(self, file_id, trans_id):
 
943
        """Perform a (weave) text merge for a given file and file-id.
 
944
        If conflicts are encountered, .THIS and .OTHER files will be emitted,
 
945
        and a conflict will be noted.
 
946
        """
 
947
        self._check_file(file_id)
 
948
        lines, conflicts = self._merged_lines(file_id)
 
949
        lines = list(lines)
 
950
        # Note we're checking whether the OUTPUT is binary in this case, 
 
951
        # because we don't want to get into weave merge guts.
 
952
        check_text_lines(lines)
 
953
        self.tt.create_file(lines, trans_id)
 
954
        if conflicts:
 
955
            self._raw_conflicts.append(('text conflict', trans_id))
 
956
            name = self.tt.final_name(trans_id)
 
957
            parent_id = self.tt.final_parent(trans_id)
 
958
            file_group = self._dump_conflicts(name, parent_id, file_id, 
 
959
                                              no_base=True)
 
960
            file_group.append(trans_id)
 
961
 
 
962
 
 
963
class Diff3Merger(Merge3Merger):
 
964
    """Three-way merger using external diff3 for text merging"""
 
965
 
 
966
    def dump_file(self, temp_dir, name, tree, file_id):
 
967
        out_path = pathjoin(temp_dir, name)
 
968
        out_file = open(out_path, "wb")
 
969
        try:
 
970
            in_file = tree.get_file(file_id)
 
971
            for line in in_file:
 
972
                out_file.write(line)
 
973
        finally:
 
974
            out_file.close()
 
975
        return out_path
 
976
 
 
977
    def text_merge(self, file_id, trans_id):
 
978
        """Perform a diff3 merge using a specified file-id and trans-id.
 
979
        If conflicts are encountered, .BASE, .THIS. and .OTHER conflict files
 
980
        will be dumped, and a will be conflict noted.
 
981
        """
 
982
        import bzrlib.patch
 
983
        temp_dir = osutils.mkdtemp(prefix="bzr-")
 
984
        try:
 
985
            new_file = pathjoin(temp_dir, "new")
 
986
            this = self.dump_file(temp_dir, "this", self.this_tree, file_id)
 
987
            base = self.dump_file(temp_dir, "base", self.base_tree, file_id)
 
988
            other = self.dump_file(temp_dir, "other", self.other_tree, file_id)
 
989
            status = bzrlib.patch.diff3(new_file, this, base, other)
 
990
            if status not in (0, 1):
 
991
                raise BzrError("Unhandled diff3 exit code")
 
992
            f = open(new_file, 'rb')
 
993
            try:
 
994
                self.tt.create_file(f, trans_id)
 
995
            finally:
 
996
                f.close()
 
997
            if status == 1:
 
998
                name = self.tt.final_name(trans_id)
 
999
                parent_id = self.tt.final_parent(trans_id)
 
1000
                self._dump_conflicts(name, parent_id, file_id)
 
1001
                self._raw_conflicts.append(('text conflict', trans_id))
 
1002
        finally:
 
1003
            osutils.rmtree(temp_dir)
 
1004
 
 
1005
 
 
1006
def merge_inner(this_branch, other_tree, base_tree, ignore_zero=False,
 
1007
                backup_files=False,
 
1008
                merge_type=Merge3Merger,
 
1009
                interesting_ids=None,
 
1010
                show_base=False,
 
1011
                reprocess=False,
 
1012
                other_rev_id=None,
 
1013
                interesting_files=None,
 
1014
                this_tree=None,
 
1015
                pb=DummyProgress(),
 
1016
                change_reporter=None):
 
1017
    """Primary interface for merging. 
 
1018
 
 
1019
        typical use is probably 
 
1020
        'merge_inner(branch, branch.get_revision_tree(other_revision),
 
1021
                     branch.get_revision_tree(base_revision))'
 
1022
        """
 
1023
    if this_tree is None:
 
1024
        raise BzrError("bzrlib.merge.merge_inner requires a this_tree "
 
1025
            "parameter as of bzrlib version 0.8.")
 
1026
    merger = Merger(this_branch, other_tree, base_tree, this_tree=this_tree,
 
1027
                    pb=pb, change_reporter=change_reporter)
 
1028
    merger.backup_files = backup_files
 
1029
    merger.merge_type = merge_type
 
1030
    merger.interesting_ids = interesting_ids
 
1031
    merger.ignore_zero = ignore_zero
 
1032
    if interesting_files:
 
1033
        assert not interesting_ids, ('Only supply interesting_ids'
 
1034
                                     ' or interesting_files')
 
1035
        merger._set_interesting_files(interesting_files)
 
1036
    merger.show_base = show_base
 
1037
    merger.reprocess = reprocess
 
1038
    merger.other_rev_id = other_rev_id
 
1039
    merger.other_basis = other_rev_id
 
1040
    return merger.do_merge()
 
1041
 
 
1042
def get_merge_type_registry():
 
1043
    """Merge type registry is in bzrlib.option to avoid circular imports.
 
1044
 
 
1045
    This method provides a sanctioned way to retrieve it.
 
1046
    """
 
1047
    from bzrlib import option
 
1048
    return option._merge_type_registry