/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/merge.py

  • Committer: Aaron Bentley
  • Date: 2007-07-05 00:17:17 UTC
  • mto: This revision was merged to the branch mainline in revision 2631.
  • Revision ID: aaron.bentley@utoronto.ca-20070705001717-xvjziyhsvaehxz01
Raise BadBundle for records with wrong number of names

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005, 2006 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
 
 
18
import os
 
19
import errno
 
20
import warnings
 
21
 
 
22
from bzrlib import (
 
23
    osutils,
 
24
    registry,
 
25
    )
 
26
from bzrlib.branch import Branch
 
27
from bzrlib.conflicts import ConflictList, Conflict
 
28
from bzrlib.errors import (BzrCommandError,
 
29
                           BzrError,
 
30
                           NoCommonAncestor,
 
31
                           NoCommits,
 
32
                           NoSuchRevision,
 
33
                           NoSuchFile,
 
34
                           NotBranchError,
 
35
                           NotVersionedError,
 
36
                           UnrelatedBranches,
 
37
                           UnsupportedOperation,
 
38
                           WorkingTreeNotRevision,
 
39
                           BinaryFile,
 
40
                           )
 
41
from bzrlib.merge3 import Merge3
 
42
from bzrlib.osutils import rename, pathjoin
 
43
from progress import DummyProgress, ProgressPhase
 
44
from bzrlib.revision import (is_ancestor, NULL_REVISION, ensure_null)
 
45
from bzrlib.textfile import check_text_lines
 
46
from bzrlib.trace import mutter, warning, note
 
47
from bzrlib.transform import (TreeTransform, resolve_conflicts, cook_conflicts,
 
48
                              FinalPaths, create_by_entry, unique_add,
 
49
                              ROOT_PARENT)
 
50
from bzrlib.versionedfile import WeaveMerge
 
51
from bzrlib import ui
 
52
 
 
53
# TODO: Report back as changes are merged in
 
54
 
 
55
def _get_tree(treespec, local_branch=None):
 
56
    from bzrlib import workingtree
 
57
    location, revno = treespec
 
58
    if revno is None:
 
59
        tree = workingtree.WorkingTree.open_containing(location)[0]
 
60
        return tree.branch, tree
 
61
    branch = Branch.open_containing(location)[0]
 
62
    if revno == -1:
 
63
        revision_id = branch.last_revision()
 
64
    else:
 
65
        revision_id = branch.get_rev_id(revno)
 
66
    if revision_id is None:
 
67
        revision_id = NULL_REVISION
 
68
    return branch, _get_revid_tree(branch, revision_id, local_branch)
 
69
 
 
70
 
 
71
def _get_revid_tree(branch, revision_id, local_branch):
 
72
    if revision_id is None:
 
73
        base_tree = branch.bzrdir.open_workingtree()
 
74
    else:
 
75
        if local_branch is not None:
 
76
            if local_branch.base != branch.base:
 
77
                local_branch.fetch(branch, revision_id)
 
78
            base_tree = local_branch.repository.revision_tree(revision_id)
 
79
        else:
 
80
            base_tree = branch.repository.revision_tree(revision_id)
 
81
    return base_tree
 
82
 
 
83
 
 
84
def _get_revid_tree_from_tree(tree, revision_id, local_branch):
 
85
    if revision_id is None:
 
86
        return tree
 
87
    if local_branch is not None:
 
88
        if local_branch.base != tree.branch.base:
 
89
            local_branch.fetch(tree.branch, revision_id)
 
90
        return local_branch.repository.revision_tree(revision_id)
 
91
    return tree.branch.repository.revision_tree(revision_id)
 
92
 
 
93
 
 
94
def transform_tree(from_tree, to_tree, interesting_ids=None):
 
95
    merge_inner(from_tree.branch, to_tree, from_tree, ignore_zero=True,
 
96
                interesting_ids=interesting_ids, this_tree=from_tree)
 
97
 
 
98
 
 
99
class Merger(object):
 
100
    def __init__(self, this_branch, other_tree=None, base_tree=None,
 
101
                 this_tree=None, pb=DummyProgress(), change_reporter=None,
 
102
                 recurse='down'):
 
103
        object.__init__(self)
 
104
        assert this_tree is not None, "this_tree is required"
 
105
        self.this_branch = this_branch
 
106
        self.this_basis = this_branch.last_revision()
 
107
        self.this_rev_id = None
 
108
        self.this_tree = this_tree
 
109
        self.this_revision_tree = None
 
110
        self.this_basis_tree = None
 
111
        self.other_tree = other_tree
 
112
        self.other_branch = None
 
113
        self.base_tree = base_tree
 
114
        self.ignore_zero = False
 
115
        self.backup_files = False
 
116
        self.interesting_ids = None
 
117
        self.show_base = False
 
118
        self.reprocess = False
 
119
        self._pb = pb
 
120
        self.pp = None
 
121
        self.recurse = recurse
 
122
        self.change_reporter = change_reporter
 
123
 
 
124
    def revision_tree(self, revision_id):
 
125
        return self.this_branch.repository.revision_tree(revision_id)
 
126
 
 
127
    def ensure_revision_trees(self):
 
128
        if self.this_revision_tree is None:
 
129
            self.this_basis_tree = self.this_branch.repository.revision_tree(
 
130
                self.this_basis)
 
131
            if self.this_basis == self.this_rev_id:
 
132
                self.this_revision_tree = self.this_basis_tree
 
133
 
 
134
        if self.other_rev_id is None:
 
135
            other_basis_tree = self.revision_tree(self.other_basis)
 
136
            changes = other_basis_tree.changes_from(self.other_tree)
 
137
            if changes.has_changed():
 
138
                raise WorkingTreeNotRevision(self.this_tree)
 
139
            other_rev_id = self.other_basis
 
140
            self.other_tree = other_basis_tree
 
141
 
 
142
    def file_revisions(self, file_id):
 
143
        self.ensure_revision_trees()
 
144
        def get_id(tree, file_id):
 
145
            revision_id = tree.inventory[file_id].revision
 
146
            assert revision_id is not None
 
147
            return revision_id
 
148
        if self.this_rev_id is None:
 
149
            if self.this_basis_tree.get_file_sha1(file_id) != \
 
150
                self.this_tree.get_file_sha1(file_id):
 
151
                raise WorkingTreeNotRevision(self.this_tree)
 
152
 
 
153
        trees = (self.this_basis_tree, self.other_tree)
 
154
        return [get_id(tree, file_id) for tree in trees]
 
155
 
 
156
    def check_basis(self, check_clean, require_commits=True):
 
157
        if self.this_basis is None and require_commits is True:
 
158
            raise BzrCommandError("This branch has no commits."
 
159
                                  " (perhaps you would prefer 'bzr pull')")
 
160
        if check_clean:
 
161
            self.compare_basis()
 
162
            if self.this_basis != self.this_rev_id:
 
163
                raise BzrCommandError("Working tree has uncommitted changes.")
 
164
 
 
165
    def compare_basis(self):
 
166
        changes = self.this_tree.changes_from(self.this_tree.basis_tree())
 
167
        if not changes.has_changed():
 
168
            self.this_rev_id = self.this_basis
 
169
 
 
170
    def set_interesting_files(self, file_list):
 
171
        try:
 
172
            self._set_interesting_files(file_list)
 
173
        except NotVersionedError, e:
 
174
            raise BzrCommandError("%s is not a source file in any"
 
175
                                      " tree." % e.path)
 
176
 
 
177
    def _set_interesting_files(self, file_list):
 
178
        """Set the list of interesting ids from a list of files."""
 
179
        if file_list is None:
 
180
            self.interesting_ids = None
 
181
            return
 
182
 
 
183
        interesting_ids = set()
 
184
        for path in file_list:
 
185
            found_id = False
 
186
            # TODO: jam 20070226 The trees are not locked at this time,
 
187
            #       wouldn't it make merge faster if it locks everything in the
 
188
            #       beginning? It locks at do_merge time, but this happens
 
189
            #       before that.
 
190
            for tree in (self.this_tree, self.base_tree, self.other_tree):
 
191
                file_id = tree.path2id(path)
 
192
                if file_id is not None:
 
193
                    interesting_ids.add(file_id)
 
194
                    found_id = True
 
195
            if not found_id:
 
196
                raise NotVersionedError(path=path)
 
197
        self.interesting_ids = interesting_ids
 
198
 
 
199
    def set_pending(self):
 
200
        if not self.base_is_ancestor:
 
201
            return
 
202
        if self.other_rev_id is None:
 
203
            return
 
204
        ancestry = set(self.this_branch.repository.get_ancestry(
 
205
            self.this_basis, topo_sorted=False))
 
206
        if self.other_rev_id in ancestry:
 
207
            return
 
208
        self.this_tree.add_parent_tree((self.other_rev_id, self.other_tree))
 
209
 
 
210
    def set_other(self, other_revision):
 
211
        """Set the revision and tree to merge from.
 
212
 
 
213
        This sets the other_tree, other_rev_id, other_basis attributes.
 
214
 
 
215
        :param other_revision: The [path, revision] list to merge from.
 
216
        """
 
217
        self.other_branch, self.other_tree = _get_tree(other_revision,
 
218
                                                  self.this_branch)
 
219
        if other_revision[1] == -1:
 
220
            self.other_rev_id = self.other_branch.last_revision()
 
221
            if self.other_rev_id is None:
 
222
                raise NoCommits(self.other_branch)
 
223
            self.other_basis = self.other_rev_id
 
224
        elif other_revision[1] is not None:
 
225
            self.other_rev_id = self.other_branch.get_rev_id(other_revision[1])
 
226
            self.other_basis = self.other_rev_id
 
227
        else:
 
228
            self.other_rev_id = None
 
229
            self.other_basis = self.other_branch.last_revision()
 
230
            if self.other_basis is None:
 
231
                raise NoCommits(self.other_branch)
 
232
        if self.other_branch.base != self.this_branch.base:
 
233
            self.this_branch.fetch(self.other_branch,
 
234
                                   last_revision=self.other_basis)
 
235
 
 
236
    def set_other_revision(self, revision_id, other_branch):
 
237
        """Set 'other' based on a branch and revision id
 
238
 
 
239
        :param revision_id: The revision to use for a tree
 
240
        :param other_branch: The branch containing this tree
 
241
        """
 
242
        self.other_rev_id = revision_id
 
243
        self.other_branch = other_branch
 
244
        self.this_branch.fetch(other_branch, self.other_rev_id)
 
245
        self.other_tree = self.revision_tree(revision_id)
 
246
        self.other_basis = revision_id
 
247
 
 
248
    def set_base_revision(self, revision_id, branch):
 
249
        """Set 'base' based on a branch and revision id
 
250
 
 
251
        :param revision_id: The revision to use for a tree
 
252
        :param branch: The branch containing this tree
 
253
        """
 
254
        self.base_rev_id = revision_id
 
255
        self.base_branch = branch
 
256
        self.this_branch.fetch(branch, revision_id)
 
257
        self.base_tree = self.revision_tree(revision_id)
 
258
        self.base_is_ancestor = is_ancestor(self.this_basis,
 
259
                                            self.base_rev_id,
 
260
                                            self.this_branch)
 
261
 
 
262
    def find_base(self):
 
263
        self.set_base([None, None])
 
264
 
 
265
    def set_base(self, base_revision):
 
266
        """Set the base revision to use for the merge.
 
267
 
 
268
        :param base_revision: A 2-list containing a path and revision number.
 
269
        """
 
270
        mutter("doing merge() with no base_revision specified")
 
271
        if base_revision == [None, None]:
 
272
            try:
 
273
                pb = ui.ui_factory.nested_progress_bar()
 
274
                try:
 
275
                    this_repo = self.this_branch.repository
 
276
                    graph = this_repo.get_graph()
 
277
                    revisions = [ensure_null(self.this_basis),
 
278
                                 ensure_null(self.other_basis)]
 
279
                    if NULL_REVISION in revisions:
 
280
                        self.base_rev_id = NULL_REVISION
 
281
                    else:
 
282
                        self.base_rev_id = graph.find_unique_lca(*revisions)
 
283
                        if self.base_rev_id == NULL_REVISION:
 
284
                            raise UnrelatedBranches()
 
285
                finally:
 
286
                    pb.finished()
 
287
            except NoCommonAncestor:
 
288
                raise UnrelatedBranches()
 
289
            self.base_tree = _get_revid_tree_from_tree(self.this_tree,
 
290
                                                       self.base_rev_id,
 
291
                                                       None)
 
292
            self.base_is_ancestor = True
 
293
        else:
 
294
            base_branch, self.base_tree = _get_tree(base_revision)
 
295
            if base_revision[1] == -1:
 
296
                self.base_rev_id = base_branch.last_revision()
 
297
            elif base_revision[1] is None:
 
298
                self.base_rev_id = None
 
299
            else:
 
300
                self.base_rev_id = base_branch.get_rev_id(base_revision[1])
 
301
            if self.this_branch.base != base_branch.base:
 
302
                self.this_branch.fetch(base_branch)
 
303
            self.base_is_ancestor = is_ancestor(self.this_basis, 
 
304
                                                self.base_rev_id,
 
305
                                                self.this_branch)
 
306
 
 
307
    def do_merge(self):
 
308
        kwargs = {'working_tree':self.this_tree, 'this_tree': self.this_tree,
 
309
                  'other_tree': self.other_tree,
 
310
                  'interesting_ids': self.interesting_ids,
 
311
                  'pp': self.pp}
 
312
        if self.merge_type.requires_base:
 
313
            kwargs['base_tree'] = self.base_tree
 
314
        if self.merge_type.supports_reprocess:
 
315
            kwargs['reprocess'] = self.reprocess
 
316
        elif self.reprocess:
 
317
            raise BzrError("Conflict reduction is not supported for merge"
 
318
                                  " type %s." % self.merge_type)
 
319
        if self.merge_type.supports_show_base:
 
320
            kwargs['show_base'] = self.show_base
 
321
        elif self.show_base:
 
322
            raise BzrError("Showing base is not supported for this"
 
323
                                  " merge type. %s" % self.merge_type)
 
324
        self.this_tree.lock_tree_write()
 
325
        if self.base_tree is not None:
 
326
            self.base_tree.lock_read()
 
327
        if self.other_tree is not None:
 
328
            self.other_tree.lock_read()
 
329
        try:
 
330
            merge = self.merge_type(pb=self._pb,
 
331
                                    change_reporter=self.change_reporter,
 
332
                                    **kwargs)
 
333
            if self.recurse == 'down':
 
334
                for path, file_id in self.this_tree.iter_references():
 
335
                    sub_tree = self.this_tree.get_nested_tree(file_id, path)
 
336
                    other_revision = self.other_tree.get_reference_revision(
 
337
                        file_id, path)
 
338
                    if  other_revision == sub_tree.last_revision():
 
339
                        continue
 
340
                    sub_merge = Merger(sub_tree.branch, this_tree=sub_tree)
 
341
                    sub_merge.merge_type = self.merge_type
 
342
                    relpath = self.this_tree.relpath(path)
 
343
                    other_branch = self.other_branch.reference_parent(file_id, relpath)
 
344
                    sub_merge.set_other_revision(other_revision, other_branch)
 
345
                    base_revision = self.base_tree.get_reference_revision(file_id)
 
346
                    sub_merge.base_tree = \
 
347
                        sub_tree.branch.repository.revision_tree(base_revision)
 
348
                    sub_merge.do_merge()
 
349
 
 
350
        finally:
 
351
            if self.other_tree is not None:
 
352
                self.other_tree.unlock()
 
353
            if self.base_tree is not None:
 
354
                self.base_tree.unlock()
 
355
            self.this_tree.unlock()
 
356
        if len(merge.cooked_conflicts) == 0:
 
357
            if not self.ignore_zero:
 
358
                note("All changes applied successfully.")
 
359
        else:
 
360
            note("%d conflicts encountered." % len(merge.cooked_conflicts))
 
361
 
 
362
        return len(merge.cooked_conflicts)
 
363
 
 
364
    def regen_inventory(self, new_entries):
 
365
        old_entries = self.this_tree.read_working_inventory()
 
366
        new_inventory = {}
 
367
        by_path = {}
 
368
        new_entries_map = {} 
 
369
        for path, file_id in new_entries:
 
370
            if path is None:
 
371
                continue
 
372
            new_entries_map[file_id] = path
 
373
 
 
374
        def id2path(file_id):
 
375
            path = new_entries_map.get(file_id)
 
376
            if path is not None:
 
377
                return path
 
378
            entry = old_entries[file_id]
 
379
            if entry.parent_id is None:
 
380
                return entry.name
 
381
            return pathjoin(id2path(entry.parent_id), entry.name)
 
382
            
 
383
        for file_id in old_entries:
 
384
            entry = old_entries[file_id]
 
385
            path = id2path(file_id)
 
386
            if file_id in self.base_tree.inventory:
 
387
                executable = getattr(self.base_tree.inventory[file_id], 'executable', False)
 
388
            else:
 
389
                executable = getattr(entry, 'executable', False)
 
390
            new_inventory[file_id] = (path, file_id, entry.parent_id, 
 
391
                                      entry.kind, executable)
 
392
                                      
 
393
            by_path[path] = file_id
 
394
        
 
395
        deletions = 0
 
396
        insertions = 0
 
397
        new_path_list = []
 
398
        for path, file_id in new_entries:
 
399
            if path is None:
 
400
                del new_inventory[file_id]
 
401
                deletions += 1
 
402
            else:
 
403
                new_path_list.append((path, file_id))
 
404
                if file_id not in old_entries:
 
405
                    insertions += 1
 
406
        # Ensure no file is added before its parent
 
407
        new_path_list.sort()
 
408
        for path, file_id in new_path_list:
 
409
            if path == '':
 
410
                parent = None
 
411
            else:
 
412
                parent = by_path[os.path.dirname(path)]
 
413
            abspath = pathjoin(self.this_tree.basedir, path)
 
414
            kind = osutils.file_kind(abspath)
 
415
            if file_id in self.base_tree.inventory:
 
416
                executable = getattr(self.base_tree.inventory[file_id], 'executable', False)
 
417
            else:
 
418
                executable = False
 
419
            new_inventory[file_id] = (path, file_id, parent, kind, executable)
 
420
            by_path[path] = file_id 
 
421
 
 
422
        # Get a list in insertion order
 
423
        new_inventory_list = new_inventory.values()
 
424
        mutter ("""Inventory regeneration:
 
425
    old length: %i insertions: %i deletions: %i new_length: %i"""\
 
426
            % (len(old_entries), insertions, deletions, 
 
427
               len(new_inventory_list)))
 
428
        assert len(new_inventory_list) == len(old_entries) + insertions\
 
429
            - deletions
 
430
        new_inventory_list.sort()
 
431
        return new_inventory_list
 
432
 
 
433
 
 
434
class Merge3Merger(object):
 
435
    """Three-way merger that uses the merge3 text merger"""
 
436
    requires_base = True
 
437
    supports_reprocess = True
 
438
    supports_show_base = True
 
439
    history_based = False
 
440
 
 
441
    def __init__(self, working_tree, this_tree, base_tree, other_tree, 
 
442
                 interesting_ids=None, reprocess=False, show_base=False,
 
443
                 pb=DummyProgress(), pp=None, change_reporter=None):
 
444
        """Initialize the merger object and perform the merge."""
 
445
        object.__init__(self)
 
446
        self.this_tree = working_tree
 
447
        self.this_tree.lock_tree_write()
 
448
        self.base_tree = base_tree
 
449
        self.base_tree.lock_read()
 
450
        self.other_tree = other_tree
 
451
        self.other_tree.lock_read()
 
452
        self._raw_conflicts = []
 
453
        self.cooked_conflicts = []
 
454
        self.reprocess = reprocess
 
455
        self.show_base = show_base
 
456
        self.pb = pb
 
457
        self.pp = pp
 
458
        self.change_reporter = change_reporter
 
459
        if self.pp is None:
 
460
            self.pp = ProgressPhase("Merge phase", 3, self.pb)
 
461
 
 
462
        if interesting_ids is not None:
 
463
            all_ids = interesting_ids
 
464
        else:
 
465
            all_ids = set(base_tree)
 
466
            all_ids.update(other_tree)
 
467
        self.tt = TreeTransform(working_tree, self.pb)
 
468
        try:
 
469
            self.pp.next_phase()
 
470
            child_pb = ui.ui_factory.nested_progress_bar()
 
471
            try:
 
472
                for num, file_id in enumerate(all_ids):
 
473
                    child_pb.update('Preparing file merge', num, len(all_ids))
 
474
                    self.merge_names(file_id)
 
475
                    file_status = self.merge_contents(file_id)
 
476
                    self.merge_executable(file_id, file_status)
 
477
            finally:
 
478
                child_pb.finished()
 
479
            self.fix_root()
 
480
            self.pp.next_phase()
 
481
            child_pb = ui.ui_factory.nested_progress_bar()
 
482
            try:
 
483
                fs_conflicts = resolve_conflicts(self.tt, child_pb)
 
484
            finally:
 
485
                child_pb.finished()
 
486
            if change_reporter is not None:
 
487
                from bzrlib import delta
 
488
                delta.report_changes(self.tt._iter_changes(), change_reporter)
 
489
            self.cook_conflicts(fs_conflicts)
 
490
            for conflict in self.cooked_conflicts:
 
491
                warning(conflict)
 
492
            self.pp.next_phase()
 
493
            results = self.tt.apply()
 
494
            self.write_modified(results)
 
495
            try:
 
496
                working_tree.add_conflicts(self.cooked_conflicts)
 
497
            except UnsupportedOperation:
 
498
                pass
 
499
        finally:
 
500
            self.tt.finalize()
 
501
            self.other_tree.unlock()
 
502
            self.base_tree.unlock()
 
503
            self.this_tree.unlock()
 
504
            self.pb.clear()
 
505
 
 
506
    def fix_root(self):
 
507
        try:
 
508
            self.tt.final_kind(self.tt.root)
 
509
        except NoSuchFile:
 
510
            self.tt.cancel_deletion(self.tt.root)
 
511
        if self.tt.final_file_id(self.tt.root) is None:
 
512
            self.tt.version_file(self.tt.tree_file_id(self.tt.root), 
 
513
                                 self.tt.root)
 
514
        if self.other_tree.inventory.root is None:
 
515
            return
 
516
        other_root_file_id = self.other_tree.inventory.root.file_id
 
517
        other_root = self.tt.trans_id_file_id(other_root_file_id)
 
518
        if other_root == self.tt.root:
 
519
            return
 
520
        try:
 
521
            self.tt.final_kind(other_root)
 
522
        except NoSuchFile:
 
523
            return
 
524
        self.reparent_children(self.other_tree.inventory.root, self.tt.root)
 
525
        self.tt.cancel_creation(other_root)
 
526
        self.tt.cancel_versioning(other_root)
 
527
 
 
528
    def reparent_children(self, ie, target):
 
529
        for thing, child in ie.children.iteritems():
 
530
            trans_id = self.tt.trans_id_file_id(child.file_id)
 
531
            self.tt.adjust_path(self.tt.final_name(trans_id), target, trans_id)
 
532
 
 
533
    def write_modified(self, results):
 
534
        modified_hashes = {}
 
535
        for path in results.modified_paths:
 
536
            file_id = self.this_tree.path2id(self.this_tree.relpath(path))
 
537
            if file_id is None:
 
538
                continue
 
539
            hash = self.this_tree.get_file_sha1(file_id)
 
540
            if hash is None:
 
541
                continue
 
542
            modified_hashes[file_id] = hash
 
543
        self.this_tree.set_merge_modified(modified_hashes)
 
544
 
 
545
    @staticmethod
 
546
    def parent(entry, file_id):
 
547
        """Determine the parent for a file_id (used as a key method)"""
 
548
        if entry is None:
 
549
            return None
 
550
        return entry.parent_id
 
551
 
 
552
    @staticmethod
 
553
    def name(entry, file_id):
 
554
        """Determine the name for a file_id (used as a key method)"""
 
555
        if entry is None:
 
556
            return None
 
557
        return entry.name
 
558
    
 
559
    @staticmethod
 
560
    def contents_sha1(tree, file_id):
 
561
        """Determine the sha1 of the file contents (used as a key method)."""
 
562
        if file_id not in tree:
 
563
            return None
 
564
        return tree.get_file_sha1(file_id)
 
565
 
 
566
    @staticmethod
 
567
    def executable(tree, file_id):
 
568
        """Determine the executability of a file-id (used as a key method)."""
 
569
        if file_id not in tree:
 
570
            return None
 
571
        if tree.kind(file_id) != "file":
 
572
            return False
 
573
        return tree.is_executable(file_id)
 
574
 
 
575
    @staticmethod
 
576
    def kind(tree, file_id):
 
577
        """Determine the kind of a file-id (used as a key method)."""
 
578
        if file_id not in tree:
 
579
            return None
 
580
        return tree.kind(file_id)
 
581
 
 
582
    @staticmethod
 
583
    def scalar_three_way(this_tree, base_tree, other_tree, file_id, key):
 
584
        """Do a three-way test on a scalar.
 
585
        Return "this", "other" or "conflict", depending whether a value wins.
 
586
        """
 
587
        key_base = key(base_tree, file_id)
 
588
        key_other = key(other_tree, file_id)
 
589
        #if base == other, either they all agree, or only THIS has changed.
 
590
        if key_base == key_other:
 
591
            return "this"
 
592
        key_this = key(this_tree, file_id)
 
593
        if key_this not in (key_base, key_other):
 
594
            return "conflict"
 
595
        # "Ambiguous clean merge"
 
596
        elif key_this == key_other:
 
597
            return "this"
 
598
        else:
 
599
            assert key_this == key_base
 
600
            return "other"
 
601
 
 
602
    def merge_names(self, file_id):
 
603
        """Perform a merge on file_id names and parents"""
 
604
        def get_entry(tree):
 
605
            if file_id in tree.inventory:
 
606
                return tree.inventory[file_id]
 
607
            else:
 
608
                return None
 
609
        this_entry = get_entry(self.this_tree)
 
610
        other_entry = get_entry(self.other_tree)
 
611
        base_entry = get_entry(self.base_tree)
 
612
        name_winner = self.scalar_three_way(this_entry, base_entry, 
 
613
                                            other_entry, file_id, self.name)
 
614
        parent_id_winner = self.scalar_three_way(this_entry, base_entry, 
 
615
                                                 other_entry, file_id, 
 
616
                                                 self.parent)
 
617
        if this_entry is None:
 
618
            if name_winner == "this":
 
619
                name_winner = "other"
 
620
            if parent_id_winner == "this":
 
621
                parent_id_winner = "other"
 
622
        if name_winner == "this" and parent_id_winner == "this":
 
623
            return
 
624
        if name_winner == "conflict":
 
625
            trans_id = self.tt.trans_id_file_id(file_id)
 
626
            self._raw_conflicts.append(('name conflict', trans_id, 
 
627
                                        self.name(this_entry, file_id), 
 
628
                                        self.name(other_entry, file_id)))
 
629
        if parent_id_winner == "conflict":
 
630
            trans_id = self.tt.trans_id_file_id(file_id)
 
631
            self._raw_conflicts.append(('parent conflict', trans_id, 
 
632
                                        self.parent(this_entry, file_id), 
 
633
                                        self.parent(other_entry, file_id)))
 
634
        if other_entry is None:
 
635
            # it doesn't matter whether the result was 'other' or 
 
636
            # 'conflict'-- if there's no 'other', we leave it alone.
 
637
            return
 
638
        # if we get here, name_winner and parent_winner are set to safe values.
 
639
        winner_entry = {"this": this_entry, "other": other_entry, 
 
640
                        "conflict": other_entry}
 
641
        trans_id = self.tt.trans_id_file_id(file_id)
 
642
        parent_id = winner_entry[parent_id_winner].parent_id
 
643
        if parent_id is not None:
 
644
            parent_trans_id = self.tt.trans_id_file_id(parent_id)
 
645
            self.tt.adjust_path(winner_entry[name_winner].name, 
 
646
                                parent_trans_id, trans_id)
 
647
 
 
648
    def merge_contents(self, file_id):
 
649
        """Performa a merge on file_id contents."""
 
650
        def contents_pair(tree):
 
651
            if file_id not in tree:
 
652
                return (None, None)
 
653
            kind = tree.kind(file_id)
 
654
            if kind == "file":
 
655
                contents = tree.get_file_sha1(file_id)
 
656
            elif kind == "symlink":
 
657
                contents = tree.get_symlink_target(file_id)
 
658
            else:
 
659
                contents = None
 
660
            return kind, contents
 
661
 
 
662
        def contents_conflict():
 
663
            trans_id = self.tt.trans_id_file_id(file_id)
 
664
            name = self.tt.final_name(trans_id)
 
665
            parent_id = self.tt.final_parent(trans_id)
 
666
            if file_id in self.this_tree.inventory:
 
667
                self.tt.unversion_file(trans_id)
 
668
                if file_id in self.this_tree:
 
669
                    self.tt.delete_contents(trans_id)
 
670
            file_group = self._dump_conflicts(name, parent_id, file_id, 
 
671
                                              set_version=True)
 
672
            self._raw_conflicts.append(('contents conflict', file_group))
 
673
 
 
674
        # See SPOT run.  run, SPOT, run.
 
675
        # So we're not QUITE repeating ourselves; we do tricky things with
 
676
        # file kind...
 
677
        base_pair = contents_pair(self.base_tree)
 
678
        other_pair = contents_pair(self.other_tree)
 
679
        if base_pair == other_pair:
 
680
            # OTHER introduced no changes
 
681
            return "unmodified"
 
682
        this_pair = contents_pair(self.this_tree)
 
683
        if this_pair == other_pair:
 
684
            # THIS and OTHER introduced the same changes
 
685
            return "unmodified"
 
686
        else:
 
687
            trans_id = self.tt.trans_id_file_id(file_id)
 
688
            if this_pair == base_pair:
 
689
                # only OTHER introduced changes
 
690
                if file_id in self.this_tree:
 
691
                    # Remove any existing contents
 
692
                    self.tt.delete_contents(trans_id)
 
693
                if file_id in self.other_tree:
 
694
                    # OTHER changed the file
 
695
                    create_by_entry(self.tt, 
 
696
                                    self.other_tree.inventory[file_id], 
 
697
                                    self.other_tree, trans_id)
 
698
                    if file_id not in self.this_tree.inventory:
 
699
                        self.tt.version_file(file_id, trans_id)
 
700
                    return "modified"
 
701
                elif file_id in self.this_tree.inventory:
 
702
                    # OTHER deleted the file
 
703
                    self.tt.unversion_file(trans_id)
 
704
                    return "deleted"
 
705
            #BOTH THIS and OTHER introduced changes; scalar conflict
 
706
            elif this_pair[0] == "file" and other_pair[0] == "file":
 
707
                # THIS and OTHER are both files, so text merge.  Either
 
708
                # BASE is a file, or both converted to files, so at least we
 
709
                # have agreement that output should be a file.
 
710
                try:
 
711
                    self.text_merge(file_id, trans_id)
 
712
                except BinaryFile:
 
713
                    return contents_conflict()
 
714
                if file_id not in self.this_tree.inventory:
 
715
                    self.tt.version_file(file_id, trans_id)
 
716
                try:
 
717
                    self.tt.tree_kind(trans_id)
 
718
                    self.tt.delete_contents(trans_id)
 
719
                except NoSuchFile:
 
720
                    pass
 
721
                return "modified"
 
722
            else:
 
723
                # Scalar conflict, can't text merge.  Dump conflicts
 
724
                return contents_conflict()
 
725
 
 
726
    def get_lines(self, tree, file_id):
 
727
        """Return the lines in a file, or an empty list."""
 
728
        if file_id in tree:
 
729
            return tree.get_file(file_id).readlines()
 
730
        else:
 
731
            return []
 
732
 
 
733
    def text_merge(self, file_id, trans_id):
 
734
        """Perform a three-way text merge on a file_id"""
 
735
        # it's possible that we got here with base as a different type.
 
736
        # if so, we just want two-way text conflicts.
 
737
        if file_id in self.base_tree and \
 
738
            self.base_tree.kind(file_id) == "file":
 
739
            base_lines = self.get_lines(self.base_tree, file_id)
 
740
        else:
 
741
            base_lines = []
 
742
        other_lines = self.get_lines(self.other_tree, file_id)
 
743
        this_lines = self.get_lines(self.this_tree, file_id)
 
744
        m3 = Merge3(base_lines, this_lines, other_lines)
 
745
        start_marker = "!START OF MERGE CONFLICT!" + "I HOPE THIS IS UNIQUE"
 
746
        if self.show_base is True:
 
747
            base_marker = '|' * 7
 
748
        else:
 
749
            base_marker = None
 
750
 
 
751
        def iter_merge3(retval):
 
752
            retval["text_conflicts"] = False
 
753
            for line in m3.merge_lines(name_a = "TREE", 
 
754
                                       name_b = "MERGE-SOURCE", 
 
755
                                       name_base = "BASE-REVISION",
 
756
                                       start_marker=start_marker, 
 
757
                                       base_marker=base_marker,
 
758
                                       reprocess=self.reprocess):
 
759
                if line.startswith(start_marker):
 
760
                    retval["text_conflicts"] = True
 
761
                    yield line.replace(start_marker, '<' * 7)
 
762
                else:
 
763
                    yield line
 
764
        retval = {}
 
765
        merge3_iterator = iter_merge3(retval)
 
766
        self.tt.create_file(merge3_iterator, trans_id)
 
767
        if retval["text_conflicts"] is True:
 
768
            self._raw_conflicts.append(('text conflict', trans_id))
 
769
            name = self.tt.final_name(trans_id)
 
770
            parent_id = self.tt.final_parent(trans_id)
 
771
            file_group = self._dump_conflicts(name, parent_id, file_id, 
 
772
                                              this_lines, base_lines,
 
773
                                              other_lines)
 
774
            file_group.append(trans_id)
 
775
 
 
776
    def _dump_conflicts(self, name, parent_id, file_id, this_lines=None, 
 
777
                        base_lines=None, other_lines=None, set_version=False,
 
778
                        no_base=False):
 
779
        """Emit conflict files.
 
780
        If this_lines, base_lines, or other_lines are omitted, they will be
 
781
        determined automatically.  If set_version is true, the .OTHER, .THIS
 
782
        or .BASE (in that order) will be created as versioned files.
 
783
        """
 
784
        data = [('OTHER', self.other_tree, other_lines), 
 
785
                ('THIS', self.this_tree, this_lines)]
 
786
        if not no_base:
 
787
            data.append(('BASE', self.base_tree, base_lines))
 
788
        versioned = False
 
789
        file_group = []
 
790
        for suffix, tree, lines in data:
 
791
            if file_id in tree:
 
792
                trans_id = self._conflict_file(name, parent_id, tree, file_id,
 
793
                                               suffix, lines)
 
794
                file_group.append(trans_id)
 
795
                if set_version and not versioned:
 
796
                    self.tt.version_file(file_id, trans_id)
 
797
                    versioned = True
 
798
        return file_group
 
799
           
 
800
    def _conflict_file(self, name, parent_id, tree, file_id, suffix, 
 
801
                       lines=None):
 
802
        """Emit a single conflict file."""
 
803
        name = name + '.' + suffix
 
804
        trans_id = self.tt.create_path(name, parent_id)
 
805
        entry = tree.inventory[file_id]
 
806
        create_by_entry(self.tt, entry, tree, trans_id, lines)
 
807
        return trans_id
 
808
 
 
809
    def merge_executable(self, file_id, file_status):
 
810
        """Perform a merge on the execute bit."""
 
811
        if file_status == "deleted":
 
812
            return
 
813
        trans_id = self.tt.trans_id_file_id(file_id)
 
814
        try:
 
815
            if self.tt.final_kind(trans_id) != "file":
 
816
                return
 
817
        except NoSuchFile:
 
818
            return
 
819
        winner = self.scalar_three_way(self.this_tree, self.base_tree, 
 
820
                                       self.other_tree, file_id, 
 
821
                                       self.executable)
 
822
        if winner == "conflict":
 
823
        # There must be a None in here, if we have a conflict, but we
 
824
        # need executability since file status was not deleted.
 
825
            if self.executable(self.other_tree, file_id) is None:
 
826
                winner = "this"
 
827
            else:
 
828
                winner = "other"
 
829
        if winner == "this":
 
830
            if file_status == "modified":
 
831
                executability = self.this_tree.is_executable(file_id)
 
832
                if executability is not None:
 
833
                    trans_id = self.tt.trans_id_file_id(file_id)
 
834
                    self.tt.set_executability(executability, trans_id)
 
835
        else:
 
836
            assert winner == "other"
 
837
            if file_id in self.other_tree:
 
838
                executability = self.other_tree.is_executable(file_id)
 
839
            elif file_id in self.this_tree:
 
840
                executability = self.this_tree.is_executable(file_id)
 
841
            elif file_id in self.base_tree:
 
842
                executability = self.base_tree.is_executable(file_id)
 
843
            if executability is not None:
 
844
                trans_id = self.tt.trans_id_file_id(file_id)
 
845
                self.tt.set_executability(executability, trans_id)
 
846
 
 
847
    def cook_conflicts(self, fs_conflicts):
 
848
        """Convert all conflicts into a form that doesn't depend on trans_id"""
 
849
        from conflicts import Conflict
 
850
        name_conflicts = {}
 
851
        self.cooked_conflicts.extend(cook_conflicts(fs_conflicts, self.tt))
 
852
        fp = FinalPaths(self.tt)
 
853
        for conflict in self._raw_conflicts:
 
854
            conflict_type = conflict[0]
 
855
            if conflict_type in ('name conflict', 'parent conflict'):
 
856
                trans_id = conflict[1]
 
857
                conflict_args = conflict[2:]
 
858
                if trans_id not in name_conflicts:
 
859
                    name_conflicts[trans_id] = {}
 
860
                unique_add(name_conflicts[trans_id], conflict_type, 
 
861
                           conflict_args)
 
862
            if conflict_type == 'contents conflict':
 
863
                for trans_id in conflict[1]:
 
864
                    file_id = self.tt.final_file_id(trans_id)
 
865
                    if file_id is not None:
 
866
                        break
 
867
                path = fp.get_path(trans_id)
 
868
                for suffix in ('.BASE', '.THIS', '.OTHER'):
 
869
                    if path.endswith(suffix):
 
870
                        path = path[:-len(suffix)]
 
871
                        break
 
872
                c = Conflict.factory(conflict_type, path=path, file_id=file_id)
 
873
                self.cooked_conflicts.append(c)
 
874
            if conflict_type == 'text conflict':
 
875
                trans_id = conflict[1]
 
876
                path = fp.get_path(trans_id)
 
877
                file_id = self.tt.final_file_id(trans_id)
 
878
                c = Conflict.factory(conflict_type, path=path, file_id=file_id)
 
879
                self.cooked_conflicts.append(c)
 
880
 
 
881
        for trans_id, conflicts in name_conflicts.iteritems():
 
882
            try:
 
883
                this_parent, other_parent = conflicts['parent conflict']
 
884
                assert this_parent != other_parent
 
885
            except KeyError:
 
886
                this_parent = other_parent = \
 
887
                    self.tt.final_file_id(self.tt.final_parent(trans_id))
 
888
            try:
 
889
                this_name, other_name = conflicts['name conflict']
 
890
                assert this_name != other_name
 
891
            except KeyError:
 
892
                this_name = other_name = self.tt.final_name(trans_id)
 
893
            other_path = fp.get_path(trans_id)
 
894
            if this_parent is not None and this_name is not None:
 
895
                this_parent_path = \
 
896
                    fp.get_path(self.tt.trans_id_file_id(this_parent))
 
897
                this_path = pathjoin(this_parent_path, this_name)
 
898
            else:
 
899
                this_path = "<deleted>"
 
900
            file_id = self.tt.final_file_id(trans_id)
 
901
            c = Conflict.factory('path conflict', path=this_path,
 
902
                                 conflict_path=other_path, file_id=file_id)
 
903
            self.cooked_conflicts.append(c)
 
904
        self.cooked_conflicts.sort(key=Conflict.sort_key)
 
905
 
 
906
 
 
907
class WeaveMerger(Merge3Merger):
 
908
    """Three-way tree merger, text weave merger."""
 
909
    supports_reprocess = True
 
910
    supports_show_base = False
 
911
 
 
912
    def __init__(self, working_tree, this_tree, base_tree, other_tree, 
 
913
                 interesting_ids=None, pb=DummyProgress(), pp=None,
 
914
                 reprocess=False, change_reporter=None):
 
915
        self.this_revision_tree = self._get_revision_tree(this_tree)
 
916
        self.other_revision_tree = self._get_revision_tree(other_tree)
 
917
        super(WeaveMerger, self).__init__(working_tree, this_tree, 
 
918
                                          base_tree, other_tree, 
 
919
                                          interesting_ids=interesting_ids, 
 
920
                                          pb=pb, pp=pp, reprocess=reprocess,
 
921
                                          change_reporter=change_reporter)
 
922
 
 
923
    def _get_revision_tree(self, tree):
 
924
        """Return a revision tree related to this tree.
 
925
        If the tree is a WorkingTree, the basis will be returned.
 
926
        """
 
927
        if getattr(tree, 'get_weave', False) is False:
 
928
            # If we have a WorkingTree, try using the basis
 
929
            return tree.branch.basis_tree()
 
930
        else:
 
931
            return tree
 
932
 
 
933
    def _check_file(self, file_id):
 
934
        """Check that the revision tree's version of the file matches."""
 
935
        for tree, rt in ((self.this_tree, self.this_revision_tree), 
 
936
                         (self.other_tree, self.other_revision_tree)):
 
937
            if rt is tree:
 
938
                continue
 
939
            if tree.get_file_sha1(file_id) != rt.get_file_sha1(file_id):
 
940
                raise WorkingTreeNotRevision(self.this_tree)
 
941
 
 
942
    def _merged_lines(self, file_id):
 
943
        """Generate the merged lines.
 
944
        There is no distinction between lines that are meant to contain <<<<<<<
 
945
        and conflicts.
 
946
        """
 
947
        weave = self.this_revision_tree.get_weave(file_id)
 
948
        this_revision_id = self.this_revision_tree.inventory[file_id].revision
 
949
        other_revision_id = \
 
950
            self.other_revision_tree.inventory[file_id].revision
 
951
        wm = WeaveMerge(weave, this_revision_id, other_revision_id, 
 
952
                        '<<<<<<< TREE\n', '>>>>>>> MERGE-SOURCE\n')
 
953
        return wm.merge_lines(self.reprocess)
 
954
 
 
955
    def text_merge(self, file_id, trans_id):
 
956
        """Perform a (weave) text merge for a given file and file-id.
 
957
        If conflicts are encountered, .THIS and .OTHER files will be emitted,
 
958
        and a conflict will be noted.
 
959
        """
 
960
        self._check_file(file_id)
 
961
        lines, conflicts = self._merged_lines(file_id)
 
962
        lines = list(lines)
 
963
        # Note we're checking whether the OUTPUT is binary in this case, 
 
964
        # because we don't want to get into weave merge guts.
 
965
        check_text_lines(lines)
 
966
        self.tt.create_file(lines, trans_id)
 
967
        if conflicts:
 
968
            self._raw_conflicts.append(('text conflict', trans_id))
 
969
            name = self.tt.final_name(trans_id)
 
970
            parent_id = self.tt.final_parent(trans_id)
 
971
            file_group = self._dump_conflicts(name, parent_id, file_id, 
 
972
                                              no_base=True)
 
973
            file_group.append(trans_id)
 
974
 
 
975
 
 
976
class Diff3Merger(Merge3Merger):
 
977
    """Three-way merger using external diff3 for text merging"""
 
978
 
 
979
    def dump_file(self, temp_dir, name, tree, file_id):
 
980
        out_path = pathjoin(temp_dir, name)
 
981
        out_file = open(out_path, "wb")
 
982
        try:
 
983
            in_file = tree.get_file(file_id)
 
984
            for line in in_file:
 
985
                out_file.write(line)
 
986
        finally:
 
987
            out_file.close()
 
988
        return out_path
 
989
 
 
990
    def text_merge(self, file_id, trans_id):
 
991
        """Perform a diff3 merge using a specified file-id and trans-id.
 
992
        If conflicts are encountered, .BASE, .THIS. and .OTHER conflict files
 
993
        will be dumped, and a will be conflict noted.
 
994
        """
 
995
        import bzrlib.patch
 
996
        temp_dir = osutils.mkdtemp(prefix="bzr-")
 
997
        try:
 
998
            new_file = pathjoin(temp_dir, "new")
 
999
            this = self.dump_file(temp_dir, "this", self.this_tree, file_id)
 
1000
            base = self.dump_file(temp_dir, "base", self.base_tree, file_id)
 
1001
            other = self.dump_file(temp_dir, "other", self.other_tree, file_id)
 
1002
            status = bzrlib.patch.diff3(new_file, this, base, other)
 
1003
            if status not in (0, 1):
 
1004
                raise BzrError("Unhandled diff3 exit code")
 
1005
            f = open(new_file, 'rb')
 
1006
            try:
 
1007
                self.tt.create_file(f, trans_id)
 
1008
            finally:
 
1009
                f.close()
 
1010
            if status == 1:
 
1011
                name = self.tt.final_name(trans_id)
 
1012
                parent_id = self.tt.final_parent(trans_id)
 
1013
                self._dump_conflicts(name, parent_id, file_id)
 
1014
                self._raw_conflicts.append(('text conflict', trans_id))
 
1015
        finally:
 
1016
            osutils.rmtree(temp_dir)
 
1017
 
 
1018
 
 
1019
def merge_inner(this_branch, other_tree, base_tree, ignore_zero=False,
 
1020
                backup_files=False,
 
1021
                merge_type=Merge3Merger,
 
1022
                interesting_ids=None,
 
1023
                show_base=False,
 
1024
                reprocess=False,
 
1025
                other_rev_id=None,
 
1026
                interesting_files=None,
 
1027
                this_tree=None,
 
1028
                pb=DummyProgress(),
 
1029
                change_reporter=None):
 
1030
    """Primary interface for merging. 
 
1031
 
 
1032
        typical use is probably 
 
1033
        'merge_inner(branch, branch.get_revision_tree(other_revision),
 
1034
                     branch.get_revision_tree(base_revision))'
 
1035
        """
 
1036
    if this_tree is None:
 
1037
        raise BzrError("bzrlib.merge.merge_inner requires a this_tree "
 
1038
            "parameter as of bzrlib version 0.8.")
 
1039
    merger = Merger(this_branch, other_tree, base_tree, this_tree=this_tree,
 
1040
                    pb=pb, change_reporter=change_reporter)
 
1041
    merger.backup_files = backup_files
 
1042
    merger.merge_type = merge_type
 
1043
    merger.interesting_ids = interesting_ids
 
1044
    merger.ignore_zero = ignore_zero
 
1045
    if interesting_files:
 
1046
        assert not interesting_ids, ('Only supply interesting_ids'
 
1047
                                     ' or interesting_files')
 
1048
        merger._set_interesting_files(interesting_files)
 
1049
    merger.show_base = show_base
 
1050
    merger.reprocess = reprocess
 
1051
    merger.other_rev_id = other_rev_id
 
1052
    merger.other_basis = other_rev_id
 
1053
    return merger.do_merge()
 
1054
 
 
1055
def get_merge_type_registry():
 
1056
    """Merge type registry is in bzrlib.option to avoid circular imports.
 
1057
 
 
1058
    This method provides a sanctioned way to retrieve it.
 
1059
    """
 
1060
    from bzrlib import option
 
1061
    return option._merge_type_registry