/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/merge.py

  • Committer: Robert Collins
  • Date: 2006-04-19 23:32:08 UTC
  • mto: (1711.1.1 integration)
  • mto: This revision was merged to the branch mainline in revision 1674.
  • Revision ID: robertc@robertcollins.net-20060419233208-2ed6906796994316
Make knit the default format.
Adjust affect tests to either have knit specific values or to be more generic,
as appropriate.
Disable all SFTP prefetching for known paramikos - direct readv support is now
a TODO.

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005 Canonical Ltd
 
2
 
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
 
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
 
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
 
 
18
import os
 
19
import errno
 
20
from shutil import rmtree
 
21
from tempfile import mkdtemp
 
22
 
 
23
import bzrlib
 
24
from bzrlib.branch import Branch
 
25
from bzrlib.conflicts import ConflictList, Conflict
 
26
from bzrlib.delta import compare_trees
 
27
from bzrlib.errors import (BzrCommandError,
 
28
                           BzrError,
 
29
                           NoCommonAncestor,
 
30
                           NoCommits,
 
31
                           NoSuchRevision,
 
32
                           NoSuchFile,
 
33
                           NotBranchError,
 
34
                           NotVersionedError,
 
35
                           UnrelatedBranches,
 
36
                           UnsupportedOperation,
 
37
                           WorkingTreeNotRevision,
 
38
                           )
 
39
from bzrlib.merge3 import Merge3
 
40
import bzrlib.osutils
 
41
from bzrlib.osutils import rename, pathjoin
 
42
from progress import DummyProgress, ProgressPhase
 
43
from bzrlib.revision import common_ancestor, is_ancestor, NULL_REVISION
 
44
from bzrlib.symbol_versioning import *
 
45
from bzrlib.trace import mutter, warning, note
 
46
from bzrlib.transform import (TreeTransform, resolve_conflicts, cook_conflicts,
 
47
                              FinalPaths, create_by_entry, unique_add)
 
48
import bzrlib.ui
 
49
 
 
50
# TODO: Report back as changes are merged in
 
51
 
 
52
def _get_tree(treespec, local_branch=None):
 
53
    location, revno = treespec
 
54
    branch = Branch.open_containing(location)[0]
 
55
    if revno is None:
 
56
        revision = None
 
57
    elif revno == -1:
 
58
        revision = branch.last_revision()
 
59
    else:
 
60
        revision = branch.get_rev_id(revno)
 
61
        if revision is None:
 
62
            revision = NULL_REVISION
 
63
    return branch, _get_revid_tree(branch, revision, local_branch)
 
64
 
 
65
 
 
66
def _get_revid_tree(branch, revision, local_branch):
 
67
    if revision is None:
 
68
        base_tree = branch.bzrdir.open_workingtree()
 
69
    else:
 
70
        if local_branch is not None:
 
71
            if local_branch.base != branch.base:
 
72
                local_branch.fetch(branch, revision)
 
73
            base_tree = local_branch.repository.revision_tree(revision)
 
74
        else:
 
75
            base_tree = branch.repository.revision_tree(revision)
 
76
    return base_tree
 
77
 
 
78
 
 
79
def transform_tree(from_tree, to_tree, interesting_ids=None):
 
80
    merge_inner(from_tree.branch, to_tree, from_tree, ignore_zero=True,
 
81
                interesting_ids=interesting_ids, this_tree=from_tree)
 
82
 
 
83
 
 
84
class Merger(object):
 
85
    def __init__(self, this_branch, other_tree=None, base_tree=None, 
 
86
                 this_tree=None, pb=DummyProgress()):
 
87
        object.__init__(self)
 
88
        assert this_tree is not None, "this_tree is required"
 
89
        self.this_branch = this_branch
 
90
        self.this_basis = this_branch.last_revision()
 
91
        self.this_rev_id = None
 
92
        self.this_tree = this_tree
 
93
        self.this_revision_tree = None
 
94
        self.this_basis_tree = None
 
95
        self.other_tree = other_tree
 
96
        self.base_tree = base_tree
 
97
        self.ignore_zero = False
 
98
        self.backup_files = False
 
99
        self.interesting_ids = None
 
100
        self.show_base = False
 
101
        self.reprocess = False
 
102
        self._pb = pb 
 
103
        self.pp = None
 
104
 
 
105
 
 
106
    def revision_tree(self, revision_id):
 
107
        return self.this_branch.repository.revision_tree(revision_id)
 
108
 
 
109
    def ensure_revision_trees(self):
 
110
        if self.this_revision_tree is None:
 
111
            self.this_basis_tree = self.this_branch.repository.revision_tree(
 
112
                self.this_basis)
 
113
            if self.this_basis == self.this_rev_id:
 
114
                self.this_revision_tree = self.this_basis_tree
 
115
 
 
116
        if self.other_rev_id is None:
 
117
            other_basis_tree = self.revision_tree(self.other_basis)
 
118
            changes = compare_trees(self.other_tree, other_basis_tree)
 
119
            if changes.has_changed():
 
120
                raise WorkingTreeNotRevision(self.this_tree)
 
121
            other_rev_id = other_basis
 
122
            self.other_tree = other_basis_tree
 
123
 
 
124
    def file_revisions(self, file_id):
 
125
        self.ensure_revision_trees()
 
126
        def get_id(tree, file_id):
 
127
            revision_id = tree.inventory[file_id].revision
 
128
            assert revision_id is not None
 
129
            return revision_id
 
130
        if self.this_rev_id is None:
 
131
            if self.this_basis_tree.get_file_sha1(file_id) != \
 
132
                self.this_tree.get_file_sha1(file_id):
 
133
                raise WorkingTreeNotRevision(self.this_tree)
 
134
 
 
135
        trees = (self.this_basis_tree, self.other_tree)
 
136
        return [get_id(tree, file_id) for tree in trees]
 
137
 
 
138
    def check_basis(self, check_clean):
 
139
        if self.this_basis is None:
 
140
            raise BzrCommandError("This branch has no commits")
 
141
        if check_clean:
 
142
            self.compare_basis()
 
143
            if self.this_basis != self.this_rev_id:
 
144
                raise BzrCommandError("Working tree has uncommitted changes.")
 
145
 
 
146
    def compare_basis(self):
 
147
        changes = compare_trees(self.this_tree, 
 
148
                                self.this_tree.basis_tree(), False)
 
149
        if not changes.has_changed():
 
150
            self.this_rev_id = self.this_basis
 
151
 
 
152
    def set_interesting_files(self, file_list):
 
153
        try:
 
154
            self._set_interesting_files(file_list)
 
155
        except NotVersionedError, e:
 
156
            raise BzrCommandError("%s is not a source file in any"
 
157
                                      " tree." % e.path)
 
158
 
 
159
    def _set_interesting_files(self, file_list):
 
160
        """Set the list of interesting ids from a list of files."""
 
161
        if file_list is None:
 
162
            self.interesting_ids = None
 
163
            return
 
164
 
 
165
        interesting_ids = set()
 
166
        for path in file_list:
 
167
            found_id = False
 
168
            for tree in (self.this_tree, self.base_tree, self.other_tree):
 
169
                file_id = tree.inventory.path2id(path)
 
170
                if file_id is not None:
 
171
                    interesting_ids.add(file_id)
 
172
                    found_id = True
 
173
            if not found_id:
 
174
                raise NotVersionedError(path=path)
 
175
        self.interesting_ids = interesting_ids
 
176
 
 
177
    def set_pending(self):
 
178
        if not self.base_is_ancestor:
 
179
            return
 
180
        if self.other_rev_id is None:
 
181
            return
 
182
        ancestry = self.this_branch.repository.get_ancestry(self.this_basis)
 
183
        if self.other_rev_id in ancestry:
 
184
            return
 
185
        self.this_tree.add_pending_merge(self.other_rev_id)
 
186
 
 
187
    def set_other(self, other_revision):
 
188
        other_branch, self.other_tree = _get_tree(other_revision, 
 
189
                                                  self.this_branch)
 
190
        if other_revision[1] == -1:
 
191
            self.other_rev_id = other_branch.last_revision()
 
192
            if self.other_rev_id is None:
 
193
                raise NoCommits(other_branch)
 
194
            self.other_basis = self.other_rev_id
 
195
        elif other_revision[1] is not None:
 
196
            self.other_rev_id = other_branch.get_rev_id(other_revision[1])
 
197
            self.other_basis = self.other_rev_id
 
198
        else:
 
199
            self.other_rev_id = None
 
200
            self.other_basis = other_branch.last_revision()
 
201
            if self.other_basis is None:
 
202
                raise NoCommits(other_branch)
 
203
        if other_branch.base != self.this_branch.base:
 
204
            self.this_branch.fetch(other_branch, last_revision=self.other_basis)
 
205
 
 
206
    def set_base(self, base_revision):
 
207
        mutter("doing merge() with no base_revision specified")
 
208
        if base_revision == [None, None]:
 
209
            try:
 
210
                pb = bzrlib.ui.ui_factory.nested_progress_bar()
 
211
                try:
 
212
                    this_repo = self.this_branch.repository
 
213
                    self.base_rev_id = common_ancestor(self.this_basis, 
 
214
                                                       self.other_basis, 
 
215
                                                       this_repo, pb)
 
216
                finally:
 
217
                    pb.finished()
 
218
            except NoCommonAncestor:
 
219
                raise UnrelatedBranches()
 
220
            self.base_tree = _get_revid_tree(self.this_branch, self.base_rev_id,
 
221
                                            None)
 
222
            self.base_is_ancestor = True
 
223
        else:
 
224
            base_branch, self.base_tree = _get_tree(base_revision)
 
225
            if base_revision[1] == -1:
 
226
                self.base_rev_id = base_branch.last_revision()
 
227
            elif base_revision[1] is None:
 
228
                self.base_rev_id = None
 
229
            else:
 
230
                self.base_rev_id = base_branch.get_rev_id(base_revision[1])
 
231
            if self.this_branch.base != base_branch.base:
 
232
                self.this_branch.fetch(base_branch)
 
233
            self.base_is_ancestor = is_ancestor(self.this_basis, 
 
234
                                                self.base_rev_id,
 
235
                                                self.this_branch)
 
236
 
 
237
    def do_merge(self):
 
238
        kwargs = {'working_tree':self.this_tree, 'this_tree': self.this_tree, 
 
239
                  'other_tree': self.other_tree, 
 
240
                  'interesting_ids': self.interesting_ids,
 
241
                  'pp': self.pp}
 
242
        if self.merge_type.requires_base:
 
243
            kwargs['base_tree'] = self.base_tree
 
244
        if self.merge_type.supports_reprocess:
 
245
            kwargs['reprocess'] = self.reprocess
 
246
        elif self.reprocess:
 
247
            raise BzrError("Reprocess is not supported for this merge"
 
248
                                  " type. %s" % merge_type)
 
249
        if self.merge_type.supports_show_base:
 
250
            kwargs['show_base'] = self.show_base
 
251
        elif self.show_base:
 
252
            raise BzrError("Showing base is not supported for this"
 
253
                                  " merge type. %s" % self.merge_type)
 
254
        merge = self.merge_type(pb=self._pb, **kwargs)
 
255
        if len(merge.cooked_conflicts) == 0:
 
256
            if not self.ignore_zero:
 
257
                note("All changes applied successfully.")
 
258
        else:
 
259
            note("%d conflicts encountered." % len(merge.cooked_conflicts))
 
260
 
 
261
        return len(merge.cooked_conflicts)
 
262
 
 
263
    def regen_inventory(self, new_entries):
 
264
        old_entries = self.this_tree.read_working_inventory()
 
265
        new_inventory = {}
 
266
        by_path = {}
 
267
        new_entries_map = {} 
 
268
        for path, file_id in new_entries:
 
269
            if path is None:
 
270
                continue
 
271
            new_entries_map[file_id] = path
 
272
 
 
273
        def id2path(file_id):
 
274
            path = new_entries_map.get(file_id)
 
275
            if path is not None:
 
276
                return path
 
277
            entry = old_entries[file_id]
 
278
            if entry.parent_id is None:
 
279
                return entry.name
 
280
            return pathjoin(id2path(entry.parent_id), entry.name)
 
281
            
 
282
        for file_id in old_entries:
 
283
            entry = old_entries[file_id]
 
284
            path = id2path(file_id)
 
285
            if file_id in self.base_tree.inventory:
 
286
                executable = getattr(self.base_tree.inventory[file_id], 'executable', False)
 
287
            else:
 
288
                executable = getattr(entry, 'executable', False)
 
289
            new_inventory[file_id] = (path, file_id, entry.parent_id, 
 
290
                                      entry.kind, executable)
 
291
                                      
 
292
            by_path[path] = file_id
 
293
        
 
294
        deletions = 0
 
295
        insertions = 0
 
296
        new_path_list = []
 
297
        for path, file_id in new_entries:
 
298
            if path is None:
 
299
                del new_inventory[file_id]
 
300
                deletions += 1
 
301
            else:
 
302
                new_path_list.append((path, file_id))
 
303
                if file_id not in old_entries:
 
304
                    insertions += 1
 
305
        # Ensure no file is added before its parent
 
306
        new_path_list.sort()
 
307
        for path, file_id in new_path_list:
 
308
            if path == '':
 
309
                parent = None
 
310
            else:
 
311
                parent = by_path[os.path.dirname(path)]
 
312
            abspath = pathjoin(self.this_tree.basedir, path)
 
313
            kind = bzrlib.osutils.file_kind(abspath)
 
314
            if file_id in self.base_tree.inventory:
 
315
                executable = getattr(self.base_tree.inventory[file_id], 'executable', False)
 
316
            else:
 
317
                executable = False
 
318
            new_inventory[file_id] = (path, file_id, parent, kind, executable)
 
319
            by_path[path] = file_id 
 
320
 
 
321
        # Get a list in insertion order
 
322
        new_inventory_list = new_inventory.values()
 
323
        mutter ("""Inventory regeneration:
 
324
    old length: %i insertions: %i deletions: %i new_length: %i"""\
 
325
            % (len(old_entries), insertions, deletions, 
 
326
               len(new_inventory_list)))
 
327
        assert len(new_inventory_list) == len(old_entries) + insertions\
 
328
            - deletions
 
329
        new_inventory_list.sort()
 
330
        return new_inventory_list
 
331
 
 
332
 
 
333
class Merge3Merger(object):
 
334
    """Three-way merger that uses the merge3 text merger"""
 
335
    requires_base = True
 
336
    supports_reprocess = True
 
337
    supports_show_base = True
 
338
    history_based = False
 
339
 
 
340
    def __init__(self, working_tree, this_tree, base_tree, other_tree, 
 
341
                 interesting_ids=None, reprocess=False, show_base=False,
 
342
                 pb=DummyProgress(), pp=None):
 
343
        """Initialize the merger object and perform the merge."""
 
344
        object.__init__(self)
 
345
        self.this_tree = working_tree
 
346
        self.base_tree = base_tree
 
347
        self.other_tree = other_tree
 
348
        self._raw_conflicts = []
 
349
        self.cooked_conflicts = []
 
350
        self.reprocess = reprocess
 
351
        self.show_base = show_base
 
352
        self.pb = pb
 
353
        self.pp = pp
 
354
        if self.pp is None:
 
355
            self.pp = ProgressPhase("Merge phase", 3, self.pb)
 
356
 
 
357
        if interesting_ids is not None:
 
358
            all_ids = interesting_ids
 
359
        else:
 
360
            all_ids = set(base_tree)
 
361
            all_ids.update(other_tree)
 
362
        working_tree.lock_write()
 
363
        self.tt = TreeTransform(working_tree, self.pb)
 
364
        try:
 
365
            self.pp.next_phase()
 
366
            child_pb = bzrlib.ui.ui_factory.nested_progress_bar()
 
367
            try:
 
368
                for num, file_id in enumerate(all_ids):
 
369
                    child_pb.update('Preparing file merge', num, len(all_ids))
 
370
                    self.merge_names(file_id)
 
371
                    file_status = self.merge_contents(file_id)
 
372
                    self.merge_executable(file_id, file_status)
 
373
            finally:
 
374
                child_pb.finished()
 
375
                
 
376
            self.pp.next_phase()
 
377
            child_pb = bzrlib.ui.ui_factory.nested_progress_bar()
 
378
            try:
 
379
                fs_conflicts = resolve_conflicts(self.tt, child_pb)
 
380
            finally:
 
381
                child_pb.finished()
 
382
            self.cook_conflicts(fs_conflicts)
 
383
            for conflict in self.cooked_conflicts:
 
384
                warning(conflict)
 
385
            self.pp.next_phase()
 
386
            results = self.tt.apply()
 
387
            self.write_modified(results)
 
388
            try:
 
389
                working_tree.set_conflicts(ConflictList(self.cooked_conflicts))
 
390
            except UnsupportedOperation:
 
391
                pass
 
392
        finally:
 
393
            try:
 
394
                self.tt.finalize()
 
395
            except:
 
396
                pass
 
397
            working_tree.unlock()
 
398
            self.pb.clear()
 
399
 
 
400
    def write_modified(self, results):
 
401
        modified_hashes = {}
 
402
        for path in results.modified_paths:
 
403
            file_id = self.this_tree.path2id(self.this_tree.relpath(path))
 
404
            if file_id is None:
 
405
                continue
 
406
            hash = self.this_tree.get_file_sha1(file_id)
 
407
            if hash is None:
 
408
                continue
 
409
            modified_hashes[file_id] = hash
 
410
        self.this_tree.set_merge_modified(modified_hashes)
 
411
 
 
412
    @staticmethod
 
413
    def parent(entry, file_id):
 
414
        """Determine the parent for a file_id (used as a key method)"""
 
415
        if entry is None:
 
416
            return None
 
417
        return entry.parent_id
 
418
 
 
419
    @staticmethod
 
420
    def name(entry, file_id):
 
421
        """Determine the name for a file_id (used as a key method)"""
 
422
        if entry is None:
 
423
            return None
 
424
        return entry.name
 
425
    
 
426
    @staticmethod
 
427
    def contents_sha1(tree, file_id):
 
428
        """Determine the sha1 of the file contents (used as a key method)."""
 
429
        if file_id not in tree:
 
430
            return None
 
431
        return tree.get_file_sha1(file_id)
 
432
 
 
433
    @staticmethod
 
434
    def executable(tree, file_id):
 
435
        """Determine the executability of a file-id (used as a key method)."""
 
436
        if file_id not in tree:
 
437
            return None
 
438
        if tree.kind(file_id) != "file":
 
439
            return False
 
440
        return tree.is_executable(file_id)
 
441
 
 
442
    @staticmethod
 
443
    def kind(tree, file_id):
 
444
        """Determine the kind of a file-id (used as a key method)."""
 
445
        if file_id not in tree:
 
446
            return None
 
447
        return tree.kind(file_id)
 
448
 
 
449
    @staticmethod
 
450
    def scalar_three_way(this_tree, base_tree, other_tree, file_id, key):
 
451
        """Do a three-way test on a scalar.
 
452
        Return "this", "other" or "conflict", depending whether a value wins.
 
453
        """
 
454
        key_base = key(base_tree, file_id)
 
455
        key_other = key(other_tree, file_id)
 
456
        #if base == other, either they all agree, or only THIS has changed.
 
457
        if key_base == key_other:
 
458
            return "this"
 
459
        key_this = key(this_tree, file_id)
 
460
        if key_this not in (key_base, key_other):
 
461
            return "conflict"
 
462
        # "Ambiguous clean merge"
 
463
        elif key_this == key_other:
 
464
            return "this"
 
465
        else:
 
466
            assert key_this == key_base
 
467
            return "other"
 
468
 
 
469
    def merge_names(self, file_id):
 
470
        """Perform a merge on file_id names and parents"""
 
471
        def get_entry(tree):
 
472
            if file_id in tree.inventory:
 
473
                return tree.inventory[file_id]
 
474
            else:
 
475
                return None
 
476
        this_entry = get_entry(self.this_tree)
 
477
        other_entry = get_entry(self.other_tree)
 
478
        base_entry = get_entry(self.base_tree)
 
479
        name_winner = self.scalar_three_way(this_entry, base_entry, 
 
480
                                            other_entry, file_id, self.name)
 
481
        parent_id_winner = self.scalar_three_way(this_entry, base_entry, 
 
482
                                                 other_entry, file_id, 
 
483
                                                 self.parent)
 
484
        if this_entry is None:
 
485
            if name_winner == "this":
 
486
                name_winner = "other"
 
487
            if parent_id_winner == "this":
 
488
                parent_id_winner = "other"
 
489
        if name_winner == "this" and parent_id_winner == "this":
 
490
            return
 
491
        if name_winner == "conflict":
 
492
            trans_id = self.tt.trans_id_file_id(file_id)
 
493
            self._raw_conflicts.append(('name conflict', trans_id, 
 
494
                                        self.name(this_entry, file_id), 
 
495
                                        self.name(other_entry, file_id)))
 
496
        if parent_id_winner == "conflict":
 
497
            trans_id = self.tt.trans_id_file_id(file_id)
 
498
            self._raw_conflicts.append(('parent conflict', trans_id, 
 
499
                                        self.parent(this_entry, file_id), 
 
500
                                        self.parent(other_entry, file_id)))
 
501
        if other_entry is None:
 
502
            # it doesn't matter whether the result was 'other' or 
 
503
            # 'conflict'-- if there's no 'other', we leave it alone.
 
504
            return
 
505
        # if we get here, name_winner and parent_winner are set to safe values.
 
506
        winner_entry = {"this": this_entry, "other": other_entry, 
 
507
                        "conflict": other_entry}
 
508
        trans_id = self.tt.trans_id_file_id(file_id)
 
509
        parent_id = winner_entry[parent_id_winner].parent_id
 
510
        parent_trans_id = self.tt.trans_id_file_id(parent_id)
 
511
        self.tt.adjust_path(winner_entry[name_winner].name, parent_trans_id,
 
512
                            trans_id)
 
513
 
 
514
    def merge_contents(self, file_id):
 
515
        """Performa a merge on file_id contents."""
 
516
        def contents_pair(tree):
 
517
            if file_id not in tree:
 
518
                return (None, None)
 
519
            kind = tree.kind(file_id)
 
520
            if kind == "root_directory":
 
521
                kind = "directory"
 
522
            if kind == "file":
 
523
                contents = tree.get_file_sha1(file_id)
 
524
            elif kind == "symlink":
 
525
                contents = tree.get_symlink_target(file_id)
 
526
            else:
 
527
                contents = None
 
528
            return kind, contents
 
529
        # See SPOT run.  run, SPOT, run.
 
530
        # So we're not QUITE repeating ourselves; we do tricky things with
 
531
        # file kind...
 
532
        base_pair = contents_pair(self.base_tree)
 
533
        other_pair = contents_pair(self.other_tree)
 
534
        if base_pair == other_pair:
 
535
            # OTHER introduced no changes
 
536
            return "unmodified"
 
537
        this_pair = contents_pair(self.this_tree)
 
538
        if this_pair == other_pair:
 
539
            # THIS and OTHER introduced the same changes
 
540
            return "unmodified"
 
541
        else:
 
542
            trans_id = self.tt.trans_id_file_id(file_id)
 
543
            if this_pair == base_pair:
 
544
                # only OTHER introduced changes
 
545
                if file_id in self.this_tree:
 
546
                    # Remove any existing contents
 
547
                    self.tt.delete_contents(trans_id)
 
548
                if file_id in self.other_tree:
 
549
                    # OTHER changed the file
 
550
                    create_by_entry(self.tt, 
 
551
                                    self.other_tree.inventory[file_id], 
 
552
                                    self.other_tree, trans_id)
 
553
                    if file_id not in self.this_tree.inventory:
 
554
                        self.tt.version_file(file_id, trans_id)
 
555
                    return "modified"
 
556
                elif file_id in self.this_tree.inventory:
 
557
                    # OTHER deleted the file
 
558
                    self.tt.unversion_file(trans_id)
 
559
                    return "deleted"
 
560
            #BOTH THIS and OTHER introduced changes; scalar conflict
 
561
            elif this_pair[0] == "file" and other_pair[0] == "file":
 
562
                # THIS and OTHER are both files, so text merge.  Either
 
563
                # BASE is a file, or both converted to files, so at least we
 
564
                # have agreement that output should be a file.
 
565
                if file_id not in self.this_tree.inventory:
 
566
                    self.tt.version_file(file_id, trans_id)
 
567
                self.text_merge(file_id, trans_id)
 
568
                try:
 
569
                    self.tt.tree_kind(trans_id)
 
570
                    self.tt.delete_contents(trans_id)
 
571
                except NoSuchFile:
 
572
                    pass
 
573
                return "modified"
 
574
            else:
 
575
                # Scalar conflict, can't text merge.  Dump conflicts
 
576
                trans_id = self.tt.trans_id_file_id(file_id)
 
577
                name = self.tt.final_name(trans_id)
 
578
                parent_id = self.tt.final_parent(trans_id)
 
579
                if file_id in self.this_tree.inventory:
 
580
                    self.tt.unversion_file(trans_id)
 
581
                    self.tt.delete_contents(trans_id)
 
582
                file_group = self._dump_conflicts(name, parent_id, file_id, 
 
583
                                                  set_version=True)
 
584
                self._raw_conflicts.append(('contents conflict', file_group))
 
585
 
 
586
    def get_lines(self, tree, file_id):
 
587
        """Return the lines in a file, or an empty list."""
 
588
        if file_id in tree:
 
589
            return tree.get_file(file_id).readlines()
 
590
        else:
 
591
            return []
 
592
 
 
593
    def text_merge(self, file_id, trans_id):
 
594
        """Perform a three-way text merge on a file_id"""
 
595
        # it's possible that we got here with base as a different type.
 
596
        # if so, we just want two-way text conflicts.
 
597
        if file_id in self.base_tree and \
 
598
            self.base_tree.kind(file_id) == "file":
 
599
            base_lines = self.get_lines(self.base_tree, file_id)
 
600
        else:
 
601
            base_lines = []
 
602
        other_lines = self.get_lines(self.other_tree, file_id)
 
603
        this_lines = self.get_lines(self.this_tree, file_id)
 
604
        m3 = Merge3(base_lines, this_lines, other_lines)
 
605
        start_marker = "!START OF MERGE CONFLICT!" + "I HOPE THIS IS UNIQUE"
 
606
        if self.show_base is True:
 
607
            base_marker = '|' * 7
 
608
        else:
 
609
            base_marker = None
 
610
 
 
611
        def iter_merge3(retval):
 
612
            retval["text_conflicts"] = False
 
613
            for line in m3.merge_lines(name_a = "TREE", 
 
614
                                       name_b = "MERGE-SOURCE", 
 
615
                                       name_base = "BASE-REVISION",
 
616
                                       start_marker=start_marker, 
 
617
                                       base_marker=base_marker,
 
618
                                       reprocess=self.reprocess):
 
619
                if line.startswith(start_marker):
 
620
                    retval["text_conflicts"] = True
 
621
                    yield line.replace(start_marker, '<' * 7)
 
622
                else:
 
623
                    yield line
 
624
        retval = {}
 
625
        merge3_iterator = iter_merge3(retval)
 
626
        self.tt.create_file(merge3_iterator, trans_id)
 
627
        if retval["text_conflicts"] is True:
 
628
            self._raw_conflicts.append(('text conflict', trans_id))
 
629
            name = self.tt.final_name(trans_id)
 
630
            parent_id = self.tt.final_parent(trans_id)
 
631
            file_group = self._dump_conflicts(name, parent_id, file_id, 
 
632
                                              this_lines, base_lines,
 
633
                                              other_lines)
 
634
            file_group.append(trans_id)
 
635
 
 
636
    def _dump_conflicts(self, name, parent_id, file_id, this_lines=None, 
 
637
                        base_lines=None, other_lines=None, set_version=False,
 
638
                        no_base=False):
 
639
        """Emit conflict files.
 
640
        If this_lines, base_lines, or other_lines are omitted, they will be
 
641
        determined automatically.  If set_version is true, the .OTHER, .THIS
 
642
        or .BASE (in that order) will be created as versioned files.
 
643
        """
 
644
        data = [('OTHER', self.other_tree, other_lines), 
 
645
                ('THIS', self.this_tree, this_lines)]
 
646
        if not no_base:
 
647
            data.append(('BASE', self.base_tree, base_lines))
 
648
        versioned = False
 
649
        file_group = []
 
650
        for suffix, tree, lines in data:
 
651
            if file_id in tree:
 
652
                trans_id = self._conflict_file(name, parent_id, tree, file_id,
 
653
                                               suffix, lines)
 
654
                file_group.append(trans_id)
 
655
                if set_version and not versioned:
 
656
                    self.tt.version_file(file_id, trans_id)
 
657
                    versioned = True
 
658
        return file_group
 
659
           
 
660
    def _conflict_file(self, name, parent_id, tree, file_id, suffix, 
 
661
                       lines=None):
 
662
        """Emit a single conflict file."""
 
663
        name = name + '.' + suffix
 
664
        trans_id = self.tt.create_path(name, parent_id)
 
665
        entry = tree.inventory[file_id]
 
666
        create_by_entry(self.tt, entry, tree, trans_id, lines)
 
667
        return trans_id
 
668
 
 
669
    def merge_executable(self, file_id, file_status):
 
670
        """Perform a merge on the execute bit."""
 
671
        if file_status == "deleted":
 
672
            return
 
673
        trans_id = self.tt.trans_id_file_id(file_id)
 
674
        try:
 
675
            if self.tt.final_kind(trans_id) != "file":
 
676
                return
 
677
        except NoSuchFile:
 
678
            return
 
679
        winner = self.scalar_three_way(self.this_tree, self.base_tree, 
 
680
                                       self.other_tree, file_id, 
 
681
                                       self.executable)
 
682
        if winner == "conflict":
 
683
        # There must be a None in here, if we have a conflict, but we
 
684
        # need executability since file status was not deleted.
 
685
            if self.other_tree.is_executable(file_id) is None:
 
686
                winner = "this"
 
687
            else:
 
688
                winner = "other"
 
689
        if winner == "this":
 
690
            if file_status == "modified":
 
691
                executability = self.this_tree.is_executable(file_id)
 
692
                if executability is not None:
 
693
                    trans_id = self.tt.trans_id_file_id(file_id)
 
694
                    self.tt.set_executability(executability, trans_id)
 
695
        else:
 
696
            assert winner == "other"
 
697
            if file_id in self.other_tree:
 
698
                executability = self.other_tree.is_executable(file_id)
 
699
            elif file_id in self.this_tree:
 
700
                executability = self.this_tree.is_executable(file_id)
 
701
            elif file_id in self.base_tree:
 
702
                executability = self.base_tree.is_executable(file_id)
 
703
            if executability is not None:
 
704
                trans_id = self.tt.trans_id_file_id(file_id)
 
705
                self.tt.set_executability(executability, trans_id)
 
706
 
 
707
    def cook_conflicts(self, fs_conflicts):
 
708
        """Convert all conflicts into a form that doesn't depend on trans_id"""
 
709
        from conflicts import Conflict
 
710
        name_conflicts = {}
 
711
        self.cooked_conflicts.extend(cook_conflicts(fs_conflicts, self.tt))
 
712
        fp = FinalPaths(self.tt)
 
713
        for conflict in self._raw_conflicts:
 
714
            conflict_type = conflict[0]
 
715
            if conflict_type in ('name conflict', 'parent conflict'):
 
716
                trans_id = conflict[1]
 
717
                conflict_args = conflict[2:]
 
718
                if trans_id not in name_conflicts:
 
719
                    name_conflicts[trans_id] = {}
 
720
                unique_add(name_conflicts[trans_id], conflict_type, 
 
721
                           conflict_args)
 
722
            if conflict_type == 'contents conflict':
 
723
                for trans_id in conflict[1]:
 
724
                    file_id = self.tt.final_file_id(trans_id)
 
725
                    if file_id is not None:
 
726
                        break
 
727
                path = fp.get_path(trans_id)
 
728
                for suffix in ('.BASE', '.THIS', '.OTHER'):
 
729
                    if path.endswith(suffix):
 
730
                        path = path[:-len(suffix)]
 
731
                        break
 
732
                c = Conflict.factory(conflict_type, path=path, file_id=file_id)
 
733
                self.cooked_conflicts.append(c)
 
734
            if conflict_type == 'text conflict':
 
735
                trans_id = conflict[1]
 
736
                path = fp.get_path(trans_id)
 
737
                file_id = self.tt.final_file_id(trans_id)
 
738
                c = Conflict.factory(conflict_type, path=path, file_id=file_id)
 
739
                self.cooked_conflicts.append(c)
 
740
 
 
741
        for trans_id, conflicts in name_conflicts.iteritems():
 
742
            try:
 
743
                this_parent, other_parent = conflicts['parent conflict']
 
744
                assert this_parent != other_parent
 
745
            except KeyError:
 
746
                this_parent = other_parent = \
 
747
                    self.tt.final_file_id(self.tt.final_parent(trans_id))
 
748
            try:
 
749
                this_name, other_name = conflicts['name conflict']
 
750
                assert this_name != other_name
 
751
            except KeyError:
 
752
                this_name = other_name = self.tt.final_name(trans_id)
 
753
            other_path = fp.get_path(trans_id)
 
754
            if this_parent is not None:
 
755
                this_parent_path = \
 
756
                    fp.get_path(self.tt.trans_id_file_id(this_parent))
 
757
                this_path = pathjoin(this_parent_path, this_name)
 
758
            else:
 
759
                this_path = "<deleted>"
 
760
            file_id = self.tt.final_file_id(trans_id)
 
761
            c = Conflict.factory('path conflict', path=this_path,
 
762
                                 conflict_path=other_path, file_id=file_id)
 
763
            self.cooked_conflicts.append(c)
 
764
        self.cooked_conflicts.sort(key=Conflict.sort_key)
 
765
 
 
766
 
 
767
class WeaveMerger(Merge3Merger):
 
768
    """Three-way tree merger, text weave merger."""
 
769
    supports_reprocess = False
 
770
    supports_show_base = False
 
771
 
 
772
    def __init__(self, working_tree, this_tree, base_tree, other_tree, 
 
773
                 interesting_ids=None, pb=DummyProgress(), pp=None):
 
774
        self.this_revision_tree = self._get_revision_tree(this_tree)
 
775
        self.other_revision_tree = self._get_revision_tree(other_tree)
 
776
        super(WeaveMerger, self).__init__(working_tree, this_tree, 
 
777
                                          base_tree, other_tree, 
 
778
                                          interesting_ids=interesting_ids, 
 
779
                                          pb=pb, pp=pp)
 
780
 
 
781
    def _get_revision_tree(self, tree):
 
782
        """Return a revision tree releated to this tree.
 
783
        If the tree is a WorkingTree, the basis will be returned.
 
784
        """
 
785
        if getattr(tree, 'get_weave', False) is False:
 
786
            # If we have a WorkingTree, try using the basis
 
787
            return tree.branch.basis_tree()
 
788
        else:
 
789
            return tree
 
790
 
 
791
    def _check_file(self, file_id):
 
792
        """Check that the revision tree's version of the file matches."""
 
793
        for tree, rt in ((self.this_tree, self.this_revision_tree), 
 
794
                         (self.other_tree, self.other_revision_tree)):
 
795
            if rt is tree:
 
796
                continue
 
797
            if tree.get_file_sha1(file_id) != rt.get_file_sha1(file_id):
 
798
                raise WorkingTreeNotRevision(self.this_tree)
 
799
 
 
800
    def _merged_lines(self, file_id):
 
801
        """Generate the merged lines.
 
802
        There is no distinction between lines that are meant to contain <<<<<<<
 
803
        and conflicts.
 
804
        """
 
805
        weave = self.this_revision_tree.get_weave(file_id)
 
806
        this_revision_id = self.this_revision_tree.inventory[file_id].revision
 
807
        other_revision_id = \
 
808
            self.other_revision_tree.inventory[file_id].revision
 
809
        plan =  weave.plan_merge(this_revision_id, other_revision_id)
 
810
        return weave.weave_merge(plan, '<<<<<<< TREE\n', 
 
811
                                       '>>>>>>> MERGE-SOURCE\n')
 
812
 
 
813
    def text_merge(self, file_id, trans_id):
 
814
        """Perform a (weave) text merge for a given file and file-id.
 
815
        If conflicts are encountered, .THIS and .OTHER files will be emitted,
 
816
        and a conflict will be noted.
 
817
        """
 
818
        self._check_file(file_id)
 
819
        lines = list(self._merged_lines(file_id))
 
820
        conflicts = '<<<<<<< TREE\n' in lines
 
821
        self.tt.create_file(lines, trans_id)
 
822
        if conflicts:
 
823
            self._raw_conflicts.append(('text conflict', trans_id))
 
824
            name = self.tt.final_name(trans_id)
 
825
            parent_id = self.tt.final_parent(trans_id)
 
826
            file_group = self._dump_conflicts(name, parent_id, file_id, 
 
827
                                              no_base=True)
 
828
            file_group.append(trans_id)
 
829
 
 
830
 
 
831
class Diff3Merger(Merge3Merger):
 
832
    """Three-way merger using external diff3 for text merging"""
 
833
    def dump_file(self, temp_dir, name, tree, file_id):
 
834
        out_path = pathjoin(temp_dir, name)
 
835
        out_file = file(out_path, "wb")
 
836
        in_file = tree.get_file(file_id)
 
837
        for line in in_file:
 
838
            out_file.write(line)
 
839
        return out_path
 
840
 
 
841
    def text_merge(self, file_id, trans_id):
 
842
        """Perform a diff3 merge using a specified file-id and trans-id.
 
843
        If conflicts are encountered, .BASE, .THIS. and .OTHER conflict files
 
844
        will be dumped, and a will be conflict noted.
 
845
        """
 
846
        import bzrlib.patch
 
847
        temp_dir = mkdtemp(prefix="bzr-")
 
848
        try:
 
849
            new_file = pathjoin(temp_dir, "new")
 
850
            this = self.dump_file(temp_dir, "this", self.this_tree, file_id)
 
851
            base = self.dump_file(temp_dir, "base", self.base_tree, file_id)
 
852
            other = self.dump_file(temp_dir, "other", self.other_tree, file_id)
 
853
            status = bzrlib.patch.diff3(new_file, this, base, other)
 
854
            if status not in (0, 1):
 
855
                raise BzrError("Unhandled diff3 exit code")
 
856
            self.tt.create_file(file(new_file, "rb"), trans_id)
 
857
            if status == 1:
 
858
                name = self.tt.final_name(trans_id)
 
859
                parent_id = self.tt.final_parent(trans_id)
 
860
                self._dump_conflicts(name, parent_id, file_id)
 
861
            self._raw_conflicts.append(('text conflict', trans_id))
 
862
        finally:
 
863
            rmtree(temp_dir)
 
864
 
 
865
 
 
866
def merge_inner(this_branch, other_tree, base_tree, ignore_zero=False,
 
867
                backup_files=False, 
 
868
                merge_type=Merge3Merger, 
 
869
                interesting_ids=None, 
 
870
                show_base=False, 
 
871
                reprocess=False, 
 
872
                other_rev_id=None,
 
873
                interesting_files=None,
 
874
                this_tree=None,
 
875
                pb=DummyProgress()):
 
876
    """Primary interface for merging. 
 
877
 
 
878
        typical use is probably 
 
879
        'merge_inner(branch, branch.get_revision_tree(other_revision),
 
880
                     branch.get_revision_tree(base_revision))'
 
881
        """
 
882
    if this_tree is None:
 
883
        warn("bzrlib.merge.merge_inner requires a this_tree parameter as of "
 
884
             "bzrlib version 0.8.",
 
885
             DeprecationWarning,
 
886
             stacklevel=2)
 
887
        this_tree = this_branch.bzrdir.open_workingtree()
 
888
    merger = Merger(this_branch, other_tree, base_tree, this_tree=this_tree, 
 
889
                    pb=pb)
 
890
    merger.backup_files = backup_files
 
891
    merger.merge_type = merge_type
 
892
    merger.interesting_ids = interesting_ids
 
893
    merger.ignore_zero = ignore_zero
 
894
    if interesting_files:
 
895
        assert not interesting_ids, ('Only supply interesting_ids'
 
896
                                     ' or interesting_files')
 
897
        merger._set_interesting_files(interesting_files)
 
898
    merger.show_base = show_base 
 
899
    merger.reprocess = reprocess
 
900
    merger.other_rev_id = other_rev_id
 
901
    merger.other_basis = other_rev_id
 
902
    return merger.do_merge()
 
903
 
 
904
 
 
905
merge_types = {     "merge3": (Merge3Merger, "Native diff3-style merge"), 
 
906
                     "diff3": (Diff3Merger,  "Merge using external diff3"),
 
907
                     'weave': (WeaveMerger, "Weave-based merge")
 
908
              }