/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/merge.py

  • Committer: Aaron Bentley
  • Date: 2006-08-08 00:11:35 UTC
  • mto: (1731.1.40 nested-trees)
  • mto: This revision was merged to the branch mainline in revision 1910.
  • Revision ID: aaron.bentley@utoronto.ca-20060808001135-ae94c12d9631f432
Avoid generating unnecessary list

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005, 2006 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
 
 
18
import os
 
19
import errno
 
20
from tempfile import mkdtemp
 
21
import warnings
 
22
 
 
23
from bzrlib.branch import Branch
 
24
from bzrlib.conflicts import ConflictList, Conflict
 
25
from bzrlib.errors import (BzrCommandError,
 
26
                           BzrError,
 
27
                           NoCommonAncestor,
 
28
                           NoCommits,
 
29
                           NoSuchRevision,
 
30
                           NoSuchFile,
 
31
                           NotBranchError,
 
32
                           NotVersionedError,
 
33
                           UnrelatedBranches,
 
34
                           UnsupportedOperation,
 
35
                           WorkingTreeNotRevision,
 
36
                           BinaryFile,
 
37
                           )
 
38
from bzrlib.merge3 import Merge3
 
39
import bzrlib.osutils
 
40
from bzrlib.osutils import rename, pathjoin, rmtree
 
41
from progress import DummyProgress, ProgressPhase
 
42
from bzrlib.revision import common_ancestor, is_ancestor, NULL_REVISION
 
43
from bzrlib.textfile import check_text_lines
 
44
from bzrlib.trace import mutter, warning, note
 
45
from bzrlib.transform import (TreeTransform, resolve_conflicts, cook_conflicts,
 
46
                              FinalPaths, create_by_entry, unique_add)
 
47
from bzrlib.versionedfile import WeaveMerge
 
48
from bzrlib import ui
 
49
 
 
50
# TODO: Report back as changes are merged in
 
51
 
 
52
def _get_tree(treespec, local_branch=None):
 
53
    location, revno = treespec
 
54
    branch = Branch.open_containing(location)[0]
 
55
    if revno is None:
 
56
        revision = None
 
57
    elif revno == -1:
 
58
        revision = branch.last_revision()
 
59
    else:
 
60
        revision = branch.get_rev_id(revno)
 
61
        if revision is None:
 
62
            revision = NULL_REVISION
 
63
    return branch, _get_revid_tree(branch, revision, local_branch)
 
64
 
 
65
 
 
66
def _get_revid_tree(branch, revision, local_branch):
 
67
    if revision is None:
 
68
        base_tree = branch.bzrdir.open_workingtree()
 
69
    else:
 
70
        if local_branch is not None:
 
71
            if local_branch.base != branch.base:
 
72
                local_branch.fetch(branch, revision)
 
73
            base_tree = local_branch.repository.revision_tree(revision)
 
74
        else:
 
75
            base_tree = branch.repository.revision_tree(revision)
 
76
    return base_tree
 
77
 
 
78
 
 
79
def transform_tree(from_tree, to_tree, interesting_ids=None):
 
80
    merge_inner(from_tree.branch, to_tree, from_tree, ignore_zero=True,
 
81
                interesting_ids=interesting_ids, this_tree=from_tree)
 
82
 
 
83
 
 
84
class Merger(object):
 
85
    def __init__(self, this_branch, other_tree=None, base_tree=None, 
 
86
                 this_tree=None, pb=DummyProgress()):
 
87
        object.__init__(self)
 
88
        assert this_tree is not None, "this_tree is required"
 
89
        self.this_branch = this_branch
 
90
        self.this_basis = this_branch.last_revision()
 
91
        self.this_rev_id = None
 
92
        self.this_tree = this_tree
 
93
        self.this_revision_tree = None
 
94
        self.this_basis_tree = None
 
95
        self.other_tree = other_tree
 
96
        self.base_tree = base_tree
 
97
        self.ignore_zero = False
 
98
        self.backup_files = False
 
99
        self.interesting_ids = None
 
100
        self.show_base = False
 
101
        self.reprocess = False
 
102
        self._pb = pb 
 
103
        self.pp = None
 
104
 
 
105
 
 
106
    def revision_tree(self, revision_id):
 
107
        return self.this_branch.repository.revision_tree(revision_id)
 
108
 
 
109
    def ensure_revision_trees(self):
 
110
        if self.this_revision_tree is None:
 
111
            self.this_basis_tree = self.this_branch.repository.revision_tree(
 
112
                self.this_basis)
 
113
            if self.this_basis == self.this_rev_id:
 
114
                self.this_revision_tree = self.this_basis_tree
 
115
 
 
116
        if self.other_rev_id is None:
 
117
            other_basis_tree = self.revision_tree(self.other_basis)
 
118
            changes = other_basis_tree.changes_from(self.other_tree)
 
119
            if changes.has_changed():
 
120
                raise WorkingTreeNotRevision(self.this_tree)
 
121
            other_rev_id = self.other_basis
 
122
            self.other_tree = other_basis_tree
 
123
 
 
124
    def file_revisions(self, file_id):
 
125
        self.ensure_revision_trees()
 
126
        def get_id(tree, file_id):
 
127
            revision_id = tree.inventory[file_id].revision
 
128
            assert revision_id is not None
 
129
            return revision_id
 
130
        if self.this_rev_id is None:
 
131
            if self.this_basis_tree.get_file_sha1(file_id) != \
 
132
                self.this_tree.get_file_sha1(file_id):
 
133
                raise WorkingTreeNotRevision(self.this_tree)
 
134
 
 
135
        trees = (self.this_basis_tree, self.other_tree)
 
136
        return [get_id(tree, file_id) for tree in trees]
 
137
 
 
138
    def check_basis(self, check_clean, require_commits=True):
 
139
        if self.this_basis is None and require_commits is True:
 
140
            raise BzrCommandError("This branch has no commits")
 
141
        if check_clean:
 
142
            self.compare_basis()
 
143
            if self.this_basis != self.this_rev_id:
 
144
                raise BzrCommandError("Working tree has uncommitted changes.")
 
145
 
 
146
    def compare_basis(self):
 
147
        changes = self.this_tree.changes_from(self.this_tree.basis_tree())
 
148
        if not changes.has_changed():
 
149
            self.this_rev_id = self.this_basis
 
150
 
 
151
    def set_interesting_files(self, file_list):
 
152
        try:
 
153
            self._set_interesting_files(file_list)
 
154
        except NotVersionedError, e:
 
155
            raise BzrCommandError("%s is not a source file in any"
 
156
                                      " tree." % e.path)
 
157
 
 
158
    def _set_interesting_files(self, file_list):
 
159
        """Set the list of interesting ids from a list of files."""
 
160
        if file_list is None:
 
161
            self.interesting_ids = None
 
162
            return
 
163
 
 
164
        interesting_ids = set()
 
165
        for path in file_list:
 
166
            found_id = False
 
167
            for tree in (self.this_tree, self.base_tree, self.other_tree):
 
168
                file_id = tree.inventory.path2id(path)
 
169
                if file_id is not None:
 
170
                    interesting_ids.add(file_id)
 
171
                    found_id = True
 
172
            if not found_id:
 
173
                raise NotVersionedError(path=path)
 
174
        self.interesting_ids = interesting_ids
 
175
 
 
176
    def set_pending(self):
 
177
        if not self.base_is_ancestor:
 
178
            return
 
179
        if self.other_rev_id is None:
 
180
            return
 
181
        ancestry = self.this_branch.repository.get_ancestry(self.this_basis)
 
182
        if self.other_rev_id in ancestry:
 
183
            return
 
184
        self.this_tree.add_pending_merge(self.other_rev_id)
 
185
 
 
186
    def set_other(self, other_revision):
 
187
        other_branch, self.other_tree = _get_tree(other_revision, 
 
188
                                                  self.this_branch)
 
189
        if other_revision[1] == -1:
 
190
            self.other_rev_id = other_branch.last_revision()
 
191
            if self.other_rev_id is None:
 
192
                raise NoCommits(other_branch)
 
193
            self.other_basis = self.other_rev_id
 
194
        elif other_revision[1] is not None:
 
195
            self.other_rev_id = other_branch.get_rev_id(other_revision[1])
 
196
            self.other_basis = self.other_rev_id
 
197
        else:
 
198
            self.other_rev_id = None
 
199
            self.other_basis = other_branch.last_revision()
 
200
            if self.other_basis is None:
 
201
                raise NoCommits(other_branch)
 
202
        if other_branch.base != self.this_branch.base:
 
203
            self.this_branch.fetch(other_branch, last_revision=self.other_basis)
 
204
 
 
205
    def find_base(self):
 
206
        self.set_base([None, None])
 
207
 
 
208
    def set_base(self, base_revision):
 
209
        mutter("doing merge() with no base_revision specified")
 
210
        if base_revision == [None, None]:
 
211
            try:
 
212
                pb = bzrlib.ui.ui_factory.nested_progress_bar()
 
213
                try:
 
214
                    this_repo = self.this_branch.repository
 
215
                    self.base_rev_id = common_ancestor(self.this_basis, 
 
216
                                                       self.other_basis, 
 
217
                                                       this_repo, pb)
 
218
                finally:
 
219
                    pb.finished()
 
220
            except NoCommonAncestor:
 
221
                raise UnrelatedBranches()
 
222
            self.base_tree = _get_revid_tree(self.this_branch, self.base_rev_id,
 
223
                                            None)
 
224
            self.base_is_ancestor = True
 
225
        else:
 
226
            base_branch, self.base_tree = _get_tree(base_revision)
 
227
            if base_revision[1] == -1:
 
228
                self.base_rev_id = base_branch.last_revision()
 
229
            elif base_revision[1] is None:
 
230
                self.base_rev_id = None
 
231
            else:
 
232
                self.base_rev_id = base_branch.get_rev_id(base_revision[1])
 
233
            if self.this_branch.base != base_branch.base:
 
234
                self.this_branch.fetch(base_branch)
 
235
            self.base_is_ancestor = is_ancestor(self.this_basis, 
 
236
                                                self.base_rev_id,
 
237
                                                self.this_branch)
 
238
 
 
239
    def do_merge(self):
 
240
        kwargs = {'working_tree':self.this_tree, 'this_tree': self.this_tree, 
 
241
                  'other_tree': self.other_tree, 
 
242
                  'interesting_ids': self.interesting_ids,
 
243
                  'pp': self.pp}
 
244
        if self.merge_type.requires_base:
 
245
            kwargs['base_tree'] = self.base_tree
 
246
        if self.merge_type.supports_reprocess:
 
247
            kwargs['reprocess'] = self.reprocess
 
248
        elif self.reprocess:
 
249
            raise BzrError("Conflict reduction is not supported for merge"
 
250
                                  " type %s." % self.merge_type)
 
251
        if self.merge_type.supports_show_base:
 
252
            kwargs['show_base'] = self.show_base
 
253
        elif self.show_base:
 
254
            raise BzrError("Showing base is not supported for this"
 
255
                                  " merge type. %s" % self.merge_type)
 
256
        merge = self.merge_type(pb=self._pb, **kwargs)
 
257
        if len(merge.cooked_conflicts) == 0:
 
258
            if not self.ignore_zero:
 
259
                note("All changes applied successfully.")
 
260
        else:
 
261
            note("%d conflicts encountered." % len(merge.cooked_conflicts))
 
262
 
 
263
        return len(merge.cooked_conflicts)
 
264
 
 
265
    def regen_inventory(self, new_entries):
 
266
        old_entries = self.this_tree.read_working_inventory()
 
267
        new_inventory = {}
 
268
        by_path = {}
 
269
        new_entries_map = {} 
 
270
        for path, file_id in new_entries:
 
271
            if path is None:
 
272
                continue
 
273
            new_entries_map[file_id] = path
 
274
 
 
275
        def id2path(file_id):
 
276
            path = new_entries_map.get(file_id)
 
277
            if path is not None:
 
278
                return path
 
279
            entry = old_entries[file_id]
 
280
            if entry.parent_id is None:
 
281
                return entry.name
 
282
            return pathjoin(id2path(entry.parent_id), entry.name)
 
283
            
 
284
        for file_id in old_entries:
 
285
            entry = old_entries[file_id]
 
286
            path = id2path(file_id)
 
287
            if file_id in self.base_tree.inventory:
 
288
                executable = getattr(self.base_tree.inventory[file_id], 'executable', False)
 
289
            else:
 
290
                executable = getattr(entry, 'executable', False)
 
291
            new_inventory[file_id] = (path, file_id, entry.parent_id, 
 
292
                                      entry.kind, executable)
 
293
                                      
 
294
            by_path[path] = file_id
 
295
        
 
296
        deletions = 0
 
297
        insertions = 0
 
298
        new_path_list = []
 
299
        for path, file_id in new_entries:
 
300
            if path is None:
 
301
                del new_inventory[file_id]
 
302
                deletions += 1
 
303
            else:
 
304
                new_path_list.append((path, file_id))
 
305
                if file_id not in old_entries:
 
306
                    insertions += 1
 
307
        # Ensure no file is added before its parent
 
308
        new_path_list.sort()
 
309
        for path, file_id in new_path_list:
 
310
            if path == '':
 
311
                parent = None
 
312
            else:
 
313
                parent = by_path[os.path.dirname(path)]
 
314
            abspath = pathjoin(self.this_tree.basedir, path)
 
315
            kind = bzrlib.osutils.file_kind(abspath)
 
316
            if file_id in self.base_tree.inventory:
 
317
                executable = getattr(self.base_tree.inventory[file_id], 'executable', False)
 
318
            else:
 
319
                executable = False
 
320
            new_inventory[file_id] = (path, file_id, parent, kind, executable)
 
321
            by_path[path] = file_id 
 
322
 
 
323
        # Get a list in insertion order
 
324
        new_inventory_list = new_inventory.values()
 
325
        mutter ("""Inventory regeneration:
 
326
    old length: %i insertions: %i deletions: %i new_length: %i"""\
 
327
            % (len(old_entries), insertions, deletions, 
 
328
               len(new_inventory_list)))
 
329
        assert len(new_inventory_list) == len(old_entries) + insertions\
 
330
            - deletions
 
331
        new_inventory_list.sort()
 
332
        return new_inventory_list
 
333
 
 
334
 
 
335
class Merge3Merger(object):
 
336
    """Three-way merger that uses the merge3 text merger"""
 
337
    requires_base = True
 
338
    supports_reprocess = True
 
339
    supports_show_base = True
 
340
    history_based = False
 
341
 
 
342
    def __init__(self, working_tree, this_tree, base_tree, other_tree, 
 
343
                 interesting_ids=None, reprocess=False, show_base=False,
 
344
                 pb=DummyProgress(), pp=None):
 
345
        """Initialize the merger object and perform the merge."""
 
346
        object.__init__(self)
 
347
        self.this_tree = working_tree
 
348
        self.base_tree = base_tree
 
349
        self.other_tree = other_tree
 
350
        self._raw_conflicts = []
 
351
        self.cooked_conflicts = []
 
352
        self.reprocess = reprocess
 
353
        self.show_base = show_base
 
354
        self.pb = pb
 
355
        self.pp = pp
 
356
        if self.pp is None:
 
357
            self.pp = ProgressPhase("Merge phase", 3, self.pb)
 
358
 
 
359
        if interesting_ids is not None:
 
360
            all_ids = interesting_ids
 
361
        else:
 
362
            all_ids = set(base_tree)
 
363
            all_ids.update(other_tree)
 
364
        working_tree.lock_write()
 
365
        self.tt = TreeTransform(working_tree, self.pb)
 
366
        try:
 
367
            self.pp.next_phase()
 
368
            child_pb = ui.ui_factory.nested_progress_bar()
 
369
            try:
 
370
                for num, file_id in enumerate(all_ids):
 
371
                    child_pb.update('Preparing file merge', num, len(all_ids))
 
372
                    self.merge_names(file_id)
 
373
                    file_status = self.merge_contents(file_id)
 
374
                    self.merge_executable(file_id, file_status)
 
375
            finally:
 
376
                child_pb.finished()
 
377
                
 
378
            self.pp.next_phase()
 
379
            child_pb = ui.ui_factory.nested_progress_bar()
 
380
            try:
 
381
                fs_conflicts = resolve_conflicts(self.tt, child_pb)
 
382
            finally:
 
383
                child_pb.finished()
 
384
            self.cook_conflicts(fs_conflicts)
 
385
            for conflict in self.cooked_conflicts:
 
386
                warning(conflict)
 
387
            self.pp.next_phase()
 
388
            results = self.tt.apply()
 
389
            self.write_modified(results)
 
390
            try:
 
391
                working_tree.add_conflicts(self.cooked_conflicts)
 
392
            except UnsupportedOperation:
 
393
                pass
 
394
        finally:
 
395
            self.tt.finalize()
 
396
            working_tree.unlock()
 
397
            self.pb.clear()
 
398
 
 
399
    def write_modified(self, results):
 
400
        modified_hashes = {}
 
401
        for path in results.modified_paths:
 
402
            file_id = self.this_tree.path2id(self.this_tree.relpath(path))
 
403
            if file_id is None:
 
404
                continue
 
405
            hash = self.this_tree.get_file_sha1(file_id)
 
406
            if hash is None:
 
407
                continue
 
408
            modified_hashes[file_id] = hash
 
409
        self.this_tree.set_merge_modified(modified_hashes)
 
410
 
 
411
    @staticmethod
 
412
    def parent(entry, file_id):
 
413
        """Determine the parent for a file_id (used as a key method)"""
 
414
        if entry is None:
 
415
            return None
 
416
        return entry.parent_id
 
417
 
 
418
    @staticmethod
 
419
    def name(entry, file_id):
 
420
        """Determine the name for a file_id (used as a key method)"""
 
421
        if entry is None:
 
422
            return None
 
423
        return entry.name
 
424
    
 
425
    @staticmethod
 
426
    def contents_sha1(tree, file_id):
 
427
        """Determine the sha1 of the file contents (used as a key method)."""
 
428
        if file_id not in tree:
 
429
            return None
 
430
        return tree.get_file_sha1(file_id)
 
431
 
 
432
    @staticmethod
 
433
    def executable(tree, file_id):
 
434
        """Determine the executability of a file-id (used as a key method)."""
 
435
        if file_id not in tree:
 
436
            return None
 
437
        if tree.kind(file_id) != "file":
 
438
            return False
 
439
        return tree.is_executable(file_id)
 
440
 
 
441
    @staticmethod
 
442
    def kind(tree, file_id):
 
443
        """Determine the kind of a file-id (used as a key method)."""
 
444
        if file_id not in tree:
 
445
            return None
 
446
        return tree.kind(file_id)
 
447
 
 
448
    @staticmethod
 
449
    def scalar_three_way(this_tree, base_tree, other_tree, file_id, key):
 
450
        """Do a three-way test on a scalar.
 
451
        Return "this", "other" or "conflict", depending whether a value wins.
 
452
        """
 
453
        key_base = key(base_tree, file_id)
 
454
        key_other = key(other_tree, file_id)
 
455
        #if base == other, either they all agree, or only THIS has changed.
 
456
        if key_base == key_other:
 
457
            return "this"
 
458
        key_this = key(this_tree, file_id)
 
459
        if key_this not in (key_base, key_other):
 
460
            return "conflict"
 
461
        # "Ambiguous clean merge"
 
462
        elif key_this == key_other:
 
463
            return "this"
 
464
        else:
 
465
            assert key_this == key_base
 
466
            return "other"
 
467
 
 
468
    def merge_names(self, file_id):
 
469
        """Perform a merge on file_id names and parents"""
 
470
        def get_entry(tree):
 
471
            if file_id in tree.inventory:
 
472
                return tree.inventory[file_id]
 
473
            else:
 
474
                return None
 
475
        this_entry = get_entry(self.this_tree)
 
476
        other_entry = get_entry(self.other_tree)
 
477
        base_entry = get_entry(self.base_tree)
 
478
        name_winner = self.scalar_three_way(this_entry, base_entry, 
 
479
                                            other_entry, file_id, self.name)
 
480
        parent_id_winner = self.scalar_three_way(this_entry, base_entry, 
 
481
                                                 other_entry, file_id, 
 
482
                                                 self.parent)
 
483
        if this_entry is None:
 
484
            if name_winner == "this":
 
485
                name_winner = "other"
 
486
            if parent_id_winner == "this":
 
487
                parent_id_winner = "other"
 
488
        if name_winner == "this" and parent_id_winner == "this":
 
489
            return
 
490
        if name_winner == "conflict":
 
491
            trans_id = self.tt.trans_id_file_id(file_id)
 
492
            self._raw_conflicts.append(('name conflict', trans_id, 
 
493
                                        self.name(this_entry, file_id), 
 
494
                                        self.name(other_entry, file_id)))
 
495
        if parent_id_winner == "conflict":
 
496
            trans_id = self.tt.trans_id_file_id(file_id)
 
497
            self._raw_conflicts.append(('parent conflict', trans_id, 
 
498
                                        self.parent(this_entry, file_id), 
 
499
                                        self.parent(other_entry, file_id)))
 
500
        if other_entry is None:
 
501
            # it doesn't matter whether the result was 'other' or 
 
502
            # 'conflict'-- if there's no 'other', we leave it alone.
 
503
            return
 
504
        # if we get here, name_winner and parent_winner are set to safe values.
 
505
        winner_entry = {"this": this_entry, "other": other_entry, 
 
506
                        "conflict": other_entry}
 
507
        trans_id = self.tt.trans_id_file_id(file_id)
 
508
        parent_id = winner_entry[parent_id_winner].parent_id
 
509
        parent_trans_id = self.tt.trans_id_file_id(parent_id)
 
510
        self.tt.adjust_path(winner_entry[name_winner].name, parent_trans_id,
 
511
                            trans_id)
 
512
 
 
513
    def merge_contents(self, file_id):
 
514
        """Performa a merge on file_id contents."""
 
515
        def contents_pair(tree):
 
516
            if file_id not in tree:
 
517
                return (None, None)
 
518
            kind = tree.kind(file_id)
 
519
            if kind == "file":
 
520
                contents = tree.get_file_sha1(file_id)
 
521
            elif kind == "symlink":
 
522
                contents = tree.get_symlink_target(file_id)
 
523
            else:
 
524
                contents = None
 
525
            return kind, contents
 
526
 
 
527
        def contents_conflict():
 
528
            trans_id = self.tt.trans_id_file_id(file_id)
 
529
            name = self.tt.final_name(trans_id)
 
530
            parent_id = self.tt.final_parent(trans_id)
 
531
            if file_id in self.this_tree.inventory:
 
532
                self.tt.unversion_file(trans_id)
 
533
                self.tt.delete_contents(trans_id)
 
534
            file_group = self._dump_conflicts(name, parent_id, file_id, 
 
535
                                              set_version=True)
 
536
            self._raw_conflicts.append(('contents conflict', file_group))
 
537
 
 
538
        # See SPOT run.  run, SPOT, run.
 
539
        # So we're not QUITE repeating ourselves; we do tricky things with
 
540
        # file kind...
 
541
        base_pair = contents_pair(self.base_tree)
 
542
        other_pair = contents_pair(self.other_tree)
 
543
        if base_pair == other_pair:
 
544
            # OTHER introduced no changes
 
545
            return "unmodified"
 
546
        this_pair = contents_pair(self.this_tree)
 
547
        if this_pair == other_pair:
 
548
            # THIS and OTHER introduced the same changes
 
549
            return "unmodified"
 
550
        else:
 
551
            trans_id = self.tt.trans_id_file_id(file_id)
 
552
            if this_pair == base_pair:
 
553
                # only OTHER introduced changes
 
554
                if file_id in self.this_tree:
 
555
                    # Remove any existing contents
 
556
                    self.tt.delete_contents(trans_id)
 
557
                if file_id in self.other_tree:
 
558
                    # OTHER changed the file
 
559
                    create_by_entry(self.tt, 
 
560
                                    self.other_tree.inventory[file_id], 
 
561
                                    self.other_tree, trans_id)
 
562
                    if file_id not in self.this_tree.inventory:
 
563
                        self.tt.version_file(file_id, trans_id)
 
564
                    return "modified"
 
565
                elif file_id in self.this_tree.inventory:
 
566
                    # OTHER deleted the file
 
567
                    self.tt.unversion_file(trans_id)
 
568
                    return "deleted"
 
569
            #BOTH THIS and OTHER introduced changes; scalar conflict
 
570
            elif this_pair[0] == "file" and other_pair[0] == "file":
 
571
                # THIS and OTHER are both files, so text merge.  Either
 
572
                # BASE is a file, or both converted to files, so at least we
 
573
                # have agreement that output should be a file.
 
574
                try:
 
575
                    self.text_merge(file_id, trans_id)
 
576
                except BinaryFile:
 
577
                    return contents_conflict()
 
578
                if file_id not in self.this_tree.inventory:
 
579
                    self.tt.version_file(file_id, trans_id)
 
580
                try:
 
581
                    self.tt.tree_kind(trans_id)
 
582
                    self.tt.delete_contents(trans_id)
 
583
                except NoSuchFile:
 
584
                    pass
 
585
                return "modified"
 
586
            else:
 
587
                # Scalar conflict, can't text merge.  Dump conflicts
 
588
                return contents_conflict()
 
589
 
 
590
    def get_lines(self, tree, file_id):
 
591
        """Return the lines in a file, or an empty list."""
 
592
        if file_id in tree:
 
593
            return tree.get_file(file_id).readlines()
 
594
        else:
 
595
            return []
 
596
 
 
597
    def text_merge(self, file_id, trans_id):
 
598
        """Perform a three-way text merge on a file_id"""
 
599
        # it's possible that we got here with base as a different type.
 
600
        # if so, we just want two-way text conflicts.
 
601
        if file_id in self.base_tree and \
 
602
            self.base_tree.kind(file_id) == "file":
 
603
            base_lines = self.get_lines(self.base_tree, file_id)
 
604
        else:
 
605
            base_lines = []
 
606
        other_lines = self.get_lines(self.other_tree, file_id)
 
607
        this_lines = self.get_lines(self.this_tree, file_id)
 
608
        m3 = Merge3(base_lines, this_lines, other_lines)
 
609
        start_marker = "!START OF MERGE CONFLICT!" + "I HOPE THIS IS UNIQUE"
 
610
        if self.show_base is True:
 
611
            base_marker = '|' * 7
 
612
        else:
 
613
            base_marker = None
 
614
 
 
615
        def iter_merge3(retval):
 
616
            retval["text_conflicts"] = False
 
617
            for line in m3.merge_lines(name_a = "TREE", 
 
618
                                       name_b = "MERGE-SOURCE", 
 
619
                                       name_base = "BASE-REVISION",
 
620
                                       start_marker=start_marker, 
 
621
                                       base_marker=base_marker,
 
622
                                       reprocess=self.reprocess):
 
623
                if line.startswith(start_marker):
 
624
                    retval["text_conflicts"] = True
 
625
                    yield line.replace(start_marker, '<' * 7)
 
626
                else:
 
627
                    yield line
 
628
        retval = {}
 
629
        merge3_iterator = iter_merge3(retval)
 
630
        self.tt.create_file(merge3_iterator, trans_id)
 
631
        if retval["text_conflicts"] is True:
 
632
            self._raw_conflicts.append(('text conflict', trans_id))
 
633
            name = self.tt.final_name(trans_id)
 
634
            parent_id = self.tt.final_parent(trans_id)
 
635
            file_group = self._dump_conflicts(name, parent_id, file_id, 
 
636
                                              this_lines, base_lines,
 
637
                                              other_lines)
 
638
            file_group.append(trans_id)
 
639
 
 
640
    def _dump_conflicts(self, name, parent_id, file_id, this_lines=None, 
 
641
                        base_lines=None, other_lines=None, set_version=False,
 
642
                        no_base=False):
 
643
        """Emit conflict files.
 
644
        If this_lines, base_lines, or other_lines are omitted, they will be
 
645
        determined automatically.  If set_version is true, the .OTHER, .THIS
 
646
        or .BASE (in that order) will be created as versioned files.
 
647
        """
 
648
        data = [('OTHER', self.other_tree, other_lines), 
 
649
                ('THIS', self.this_tree, this_lines)]
 
650
        if not no_base:
 
651
            data.append(('BASE', self.base_tree, base_lines))
 
652
        versioned = False
 
653
        file_group = []
 
654
        for suffix, tree, lines in data:
 
655
            if file_id in tree:
 
656
                trans_id = self._conflict_file(name, parent_id, tree, file_id,
 
657
                                               suffix, lines)
 
658
                file_group.append(trans_id)
 
659
                if set_version and not versioned:
 
660
                    self.tt.version_file(file_id, trans_id)
 
661
                    versioned = True
 
662
        return file_group
 
663
           
 
664
    def _conflict_file(self, name, parent_id, tree, file_id, suffix, 
 
665
                       lines=None):
 
666
        """Emit a single conflict file."""
 
667
        name = name + '.' + suffix
 
668
        trans_id = self.tt.create_path(name, parent_id)
 
669
        entry = tree.inventory[file_id]
 
670
        create_by_entry(self.tt, entry, tree, trans_id, lines)
 
671
        return trans_id
 
672
 
 
673
    def merge_executable(self, file_id, file_status):
 
674
        """Perform a merge on the execute bit."""
 
675
        if file_status == "deleted":
 
676
            return
 
677
        trans_id = self.tt.trans_id_file_id(file_id)
 
678
        try:
 
679
            if self.tt.final_kind(trans_id) != "file":
 
680
                return
 
681
        except NoSuchFile:
 
682
            return
 
683
        winner = self.scalar_three_way(self.this_tree, self.base_tree, 
 
684
                                       self.other_tree, file_id, 
 
685
                                       self.executable)
 
686
        if winner == "conflict":
 
687
        # There must be a None in here, if we have a conflict, but we
 
688
        # need executability since file status was not deleted.
 
689
            if self.executable(self.other_tree, file_id) is None:
 
690
                winner = "this"
 
691
            else:
 
692
                winner = "other"
 
693
        if winner == "this":
 
694
            if file_status == "modified":
 
695
                executability = self.this_tree.is_executable(file_id)
 
696
                if executability is not None:
 
697
                    trans_id = self.tt.trans_id_file_id(file_id)
 
698
                    self.tt.set_executability(executability, trans_id)
 
699
        else:
 
700
            assert winner == "other"
 
701
            if file_id in self.other_tree:
 
702
                executability = self.other_tree.is_executable(file_id)
 
703
            elif file_id in self.this_tree:
 
704
                executability = self.this_tree.is_executable(file_id)
 
705
            elif file_id in self.base_tree:
 
706
                executability = self.base_tree.is_executable(file_id)
 
707
            if executability is not None:
 
708
                trans_id = self.tt.trans_id_file_id(file_id)
 
709
                self.tt.set_executability(executability, trans_id)
 
710
 
 
711
    def cook_conflicts(self, fs_conflicts):
 
712
        """Convert all conflicts into a form that doesn't depend on trans_id"""
 
713
        from conflicts import Conflict
 
714
        name_conflicts = {}
 
715
        self.cooked_conflicts.extend(cook_conflicts(fs_conflicts, self.tt))
 
716
        fp = FinalPaths(self.tt)
 
717
        for conflict in self._raw_conflicts:
 
718
            conflict_type = conflict[0]
 
719
            if conflict_type in ('name conflict', 'parent conflict'):
 
720
                trans_id = conflict[1]
 
721
                conflict_args = conflict[2:]
 
722
                if trans_id not in name_conflicts:
 
723
                    name_conflicts[trans_id] = {}
 
724
                unique_add(name_conflicts[trans_id], conflict_type, 
 
725
                           conflict_args)
 
726
            if conflict_type == 'contents conflict':
 
727
                for trans_id in conflict[1]:
 
728
                    file_id = self.tt.final_file_id(trans_id)
 
729
                    if file_id is not None:
 
730
                        break
 
731
                path = fp.get_path(trans_id)
 
732
                for suffix in ('.BASE', '.THIS', '.OTHER'):
 
733
                    if path.endswith(suffix):
 
734
                        path = path[:-len(suffix)]
 
735
                        break
 
736
                c = Conflict.factory(conflict_type, path=path, file_id=file_id)
 
737
                self.cooked_conflicts.append(c)
 
738
            if conflict_type == 'text conflict':
 
739
                trans_id = conflict[1]
 
740
                path = fp.get_path(trans_id)
 
741
                file_id = self.tt.final_file_id(trans_id)
 
742
                c = Conflict.factory(conflict_type, path=path, file_id=file_id)
 
743
                self.cooked_conflicts.append(c)
 
744
 
 
745
        for trans_id, conflicts in name_conflicts.iteritems():
 
746
            try:
 
747
                this_parent, other_parent = conflicts['parent conflict']
 
748
                assert this_parent != other_parent
 
749
            except KeyError:
 
750
                this_parent = other_parent = \
 
751
                    self.tt.final_file_id(self.tt.final_parent(trans_id))
 
752
            try:
 
753
                this_name, other_name = conflicts['name conflict']
 
754
                assert this_name != other_name
 
755
            except KeyError:
 
756
                this_name = other_name = self.tt.final_name(trans_id)
 
757
            other_path = fp.get_path(trans_id)
 
758
            if this_parent is not None:
 
759
                this_parent_path = \
 
760
                    fp.get_path(self.tt.trans_id_file_id(this_parent))
 
761
                this_path = pathjoin(this_parent_path, this_name)
 
762
            else:
 
763
                this_path = "<deleted>"
 
764
            file_id = self.tt.final_file_id(trans_id)
 
765
            c = Conflict.factory('path conflict', path=this_path,
 
766
                                 conflict_path=other_path, file_id=file_id)
 
767
            self.cooked_conflicts.append(c)
 
768
        self.cooked_conflicts.sort(key=Conflict.sort_key)
 
769
 
 
770
 
 
771
class WeaveMerger(Merge3Merger):
 
772
    """Three-way tree merger, text weave merger."""
 
773
    supports_reprocess = True
 
774
    supports_show_base = False
 
775
 
 
776
    def __init__(self, working_tree, this_tree, base_tree, other_tree, 
 
777
                 interesting_ids=None, pb=DummyProgress(), pp=None,
 
778
                 reprocess=False):
 
779
        self.this_revision_tree = self._get_revision_tree(this_tree)
 
780
        self.other_revision_tree = self._get_revision_tree(other_tree)
 
781
        super(WeaveMerger, self).__init__(working_tree, this_tree, 
 
782
                                          base_tree, other_tree, 
 
783
                                          interesting_ids=interesting_ids, 
 
784
                                          pb=pb, pp=pp, reprocess=reprocess)
 
785
 
 
786
    def _get_revision_tree(self, tree):
 
787
        """Return a revision tree related to this tree.
 
788
        If the tree is a WorkingTree, the basis will be returned.
 
789
        """
 
790
        if getattr(tree, 'get_weave', False) is False:
 
791
            # If we have a WorkingTree, try using the basis
 
792
            return tree.branch.basis_tree()
 
793
        else:
 
794
            return tree
 
795
 
 
796
    def _check_file(self, file_id):
 
797
        """Check that the revision tree's version of the file matches."""
 
798
        for tree, rt in ((self.this_tree, self.this_revision_tree), 
 
799
                         (self.other_tree, self.other_revision_tree)):
 
800
            if rt is tree:
 
801
                continue
 
802
            if tree.get_file_sha1(file_id) != rt.get_file_sha1(file_id):
 
803
                raise WorkingTreeNotRevision(self.this_tree)
 
804
 
 
805
    def _merged_lines(self, file_id):
 
806
        """Generate the merged lines.
 
807
        There is no distinction between lines that are meant to contain <<<<<<<
 
808
        and conflicts.
 
809
        """
 
810
        weave = self.this_revision_tree.get_weave(file_id)
 
811
        this_revision_id = self.this_revision_tree.inventory[file_id].revision
 
812
        other_revision_id = \
 
813
            self.other_revision_tree.inventory[file_id].revision
 
814
        wm = WeaveMerge(weave, this_revision_id, other_revision_id, 
 
815
                        '<<<<<<< TREE\n', '>>>>>>> MERGE-SOURCE\n')
 
816
        return wm.merge_lines(self.reprocess)
 
817
 
 
818
    def text_merge(self, file_id, trans_id):
 
819
        """Perform a (weave) text merge for a given file and file-id.
 
820
        If conflicts are encountered, .THIS and .OTHER files will be emitted,
 
821
        and a conflict will be noted.
 
822
        """
 
823
        self._check_file(file_id)
 
824
        lines, conflicts = self._merged_lines(file_id)
 
825
        lines = list(lines)
 
826
        # Note we're checking whether the OUTPUT is binary in this case, 
 
827
        # because we don't want to get into weave merge guts.
 
828
        check_text_lines(lines)
 
829
        self.tt.create_file(lines, trans_id)
 
830
        if conflicts:
 
831
            self._raw_conflicts.append(('text conflict', trans_id))
 
832
            name = self.tt.final_name(trans_id)
 
833
            parent_id = self.tt.final_parent(trans_id)
 
834
            file_group = self._dump_conflicts(name, parent_id, file_id, 
 
835
                                              no_base=True)
 
836
            file_group.append(trans_id)
 
837
 
 
838
 
 
839
class Diff3Merger(Merge3Merger):
 
840
    """Three-way merger using external diff3 for text merging"""
 
841
 
 
842
    def dump_file(self, temp_dir, name, tree, file_id):
 
843
        out_path = pathjoin(temp_dir, name)
 
844
        out_file = open(out_path, "wb")
 
845
        try:
 
846
            in_file = tree.get_file(file_id)
 
847
            for line in in_file:
 
848
                out_file.write(line)
 
849
        finally:
 
850
            out_file.close()
 
851
        return out_path
 
852
 
 
853
    def text_merge(self, file_id, trans_id):
 
854
        """Perform a diff3 merge using a specified file-id and trans-id.
 
855
        If conflicts are encountered, .BASE, .THIS. and .OTHER conflict files
 
856
        will be dumped, and a will be conflict noted.
 
857
        """
 
858
        import bzrlib.patch
 
859
        temp_dir = mkdtemp(prefix="bzr-")
 
860
        try:
 
861
            new_file = pathjoin(temp_dir, "new")
 
862
            this = self.dump_file(temp_dir, "this", self.this_tree, file_id)
 
863
            base = self.dump_file(temp_dir, "base", self.base_tree, file_id)
 
864
            other = self.dump_file(temp_dir, "other", self.other_tree, file_id)
 
865
            status = bzrlib.patch.diff3(new_file, this, base, other)
 
866
            if status not in (0, 1):
 
867
                raise BzrError("Unhandled diff3 exit code")
 
868
            f = open(new_file, 'rb')
 
869
            try:
 
870
                self.tt.create_file(f, trans_id)
 
871
            finally:
 
872
                f.close()
 
873
            if status == 1:
 
874
                name = self.tt.final_name(trans_id)
 
875
                parent_id = self.tt.final_parent(trans_id)
 
876
                self._dump_conflicts(name, parent_id, file_id)
 
877
            self._raw_conflicts.append(('text conflict', trans_id))
 
878
        finally:
 
879
            rmtree(temp_dir)
 
880
 
 
881
 
 
882
def merge_inner(this_branch, other_tree, base_tree, ignore_zero=False,
 
883
                backup_files=False, 
 
884
                merge_type=Merge3Merger, 
 
885
                interesting_ids=None, 
 
886
                show_base=False, 
 
887
                reprocess=False, 
 
888
                other_rev_id=None,
 
889
                interesting_files=None,
 
890
                this_tree=None,
 
891
                pb=DummyProgress()):
 
892
    """Primary interface for merging. 
 
893
 
 
894
        typical use is probably 
 
895
        'merge_inner(branch, branch.get_revision_tree(other_revision),
 
896
                     branch.get_revision_tree(base_revision))'
 
897
        """
 
898
    if this_tree is None:
 
899
        warnings.warn("bzrlib.merge.merge_inner requires a this_tree parameter as of "
 
900
             "bzrlib version 0.8.",
 
901
             DeprecationWarning,
 
902
             stacklevel=2)
 
903
        this_tree = this_branch.bzrdir.open_workingtree()
 
904
    merger = Merger(this_branch, other_tree, base_tree, this_tree=this_tree, 
 
905
                    pb=pb)
 
906
    merger.backup_files = backup_files
 
907
    merger.merge_type = merge_type
 
908
    merger.interesting_ids = interesting_ids
 
909
    merger.ignore_zero = ignore_zero
 
910
    if interesting_files:
 
911
        assert not interesting_ids, ('Only supply interesting_ids'
 
912
                                     ' or interesting_files')
 
913
        merger._set_interesting_files(interesting_files)
 
914
    merger.show_base = show_base 
 
915
    merger.reprocess = reprocess
 
916
    merger.other_rev_id = other_rev_id
 
917
    merger.other_basis = other_rev_id
 
918
    return merger.do_merge()
 
919
 
 
920
 
 
921
merge_types = {     "merge3": (Merge3Merger, "Native diff3-style merge"), 
 
922
                     "diff3": (Diff3Merger,  "Merge using external diff3"),
 
923
                     'weave': (WeaveMerger, "Weave-based merge")
 
924
              }
 
925
 
 
926
 
 
927
def merge_type_help():
 
928
    templ = '%s%%7s: %%s' % (' '*12)
 
929
    lines = [templ % (f[0], f[1][1]) for f in merge_types.iteritems()]
 
930
    return '\n'.join(lines)