/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/merge.py

More merge/fetch tests

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005 Canonical Ltd
 
2
 
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
 
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
 
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
 
 
18
import os
 
19
import tempfile
 
20
import shutil
 
21
import errno
 
22
 
 
23
import bzrlib.osutils
 
24
import bzrlib.revision
 
25
from bzrlib.merge_core import merge_flex, ApplyMerge3, BackupBeforeChange
 
26
from bzrlib.changeset import generate_changeset, ExceptionConflictHandler
 
27
from bzrlib.changeset import Inventory, Diff3Merge, ReplaceContents
 
28
from bzrlib.branch import Branch
 
29
from bzrlib.errors import BzrCommandError, UnrelatedBranches, NoCommonAncestor
 
30
from bzrlib.errors import NoCommits
 
31
from bzrlib.delta import compare_trees
 
32
from bzrlib.trace import mutter, warning, note
 
33
from bzrlib.fetch import greedy_fetch, fetch
 
34
from bzrlib.revision import is_ancestor
 
35
from bzrlib.osutils import rename
 
36
from bzrlib.revision import common_ancestor, MultipleRevisionSources
 
37
from bzrlib.errors import NoSuchRevision
 
38
 
 
39
# TODO: Report back as changes are merged in
 
40
 
 
41
# TODO: build_working_dir can be built on something simpler than merge()
 
42
 
 
43
# FIXME: merge() parameters seem oriented towards the command line
 
44
# NOTABUG: merge is a helper for commandline functions.  merge_inner is the
 
45
#          the core functionality.
 
46
 
 
47
# comments from abentley on irc: merge happens in two stages, each
 
48
# of which generates a changeset object
 
49
 
 
50
# stage 1: generate OLD->OTHER,
 
51
# stage 2: use MINE and OLD->OTHER to generate MINE -> RESULT
 
52
 
 
53
class MergeConflictHandler(ExceptionConflictHandler):
 
54
    """Handle conflicts encountered while merging.
 
55
 
 
56
    This subclasses ExceptionConflictHandler, so that any types of
 
57
    conflict that are not explicitly handled cause an exception and
 
58
    terminate the merge.
 
59
    """
 
60
    def __init__(self, this_tree, base_tree, other_tree, ignore_zero=False):
 
61
        ExceptionConflictHandler.__init__(self)
 
62
        self.conflicts = 0
 
63
        self.ignore_zero = ignore_zero
 
64
        self.this_tree = this_tree
 
65
        self.base_tree = base_tree
 
66
        self.other_tree = other_tree
 
67
 
 
68
    def copy(self, source, dest):
 
69
        """Copy the text and mode of a file
 
70
        :param source: The path of the file to copy
 
71
        :param dest: The distination file to create
 
72
        """
 
73
        s_file = file(source, "rb")
 
74
        d_file = file(dest, "wb")
 
75
        for line in s_file:
 
76
            d_file.write(line)
 
77
        os.chmod(dest, 0777 & os.stat(source).st_mode)
 
78
 
 
79
    def dump(self, lines, dest):
 
80
        """Copy the text and mode of a file
 
81
        :param source: The path of the file to copy
 
82
        :param dest: The distination file to create
 
83
        """
 
84
        d_file = file(dest, "wb")
 
85
        for line in lines:
 
86
            d_file.write(line)
 
87
 
 
88
    def add_suffix(self, name, suffix, last_new_name=None):
 
89
        """Rename a file to append a suffix.  If the new name exists, the
 
90
        suffix is added repeatedly until a non-existant name is found
 
91
 
 
92
        :param name: The path of the file
 
93
        :param suffix: The suffix to append
 
94
        :param last_new_name: (used for recursive calls) the last name tried
 
95
        """
 
96
        if last_new_name is None:
 
97
            last_new_name = name
 
98
        new_name = last_new_name+suffix
 
99
        try:
 
100
            rename(name, new_name)
 
101
            return new_name
 
102
        except OSError, e:
 
103
            if e.errno != errno.EEXIST and e.errno != errno.ENOTEMPTY:
 
104
                raise
 
105
            return self.add_suffix(name, suffix, last_new_name=new_name)
 
106
 
 
107
    def conflict(self, text):
 
108
        warning(text)
 
109
        self.conflicts += 1
 
110
        
 
111
 
 
112
    def merge_conflict(self, new_file, this_path, base_lines, other_lines):
 
113
        """
 
114
        Handle diff3 conflicts by producing a .THIS, .BASE and .OTHER.  The
 
115
        main file will be a version with diff3 conflicts.
 
116
        :param new_file: Path to the output file with diff3 markers
 
117
        :param this_path: Path to the file text for the THIS tree
 
118
        :param base_path: Path to the file text for the BASE tree
 
119
        :param other_path: Path to the file text for the OTHER tree
 
120
        """
 
121
        self.add_suffix(this_path, ".THIS")
 
122
        self.dump(base_lines, this_path+".BASE")
 
123
        self.dump(other_lines, this_path+".OTHER")
 
124
        rename(new_file, this_path)
 
125
        self.conflict("Diff3 conflict encountered in %s" % this_path)
 
126
 
 
127
    def new_contents_conflict(self, filename, other_contents):
 
128
        """Conflicting contents for newly added file."""
 
129
        other_contents(filename + ".OTHER", self, False)
 
130
        self.conflict("Conflict in newly added file %s" % filename)
 
131
    
 
132
 
 
133
    def target_exists(self, entry, target, old_path):
 
134
        """Handle the case when the target file or dir exists"""
 
135
        moved_path = self.add_suffix(target, ".moved")
 
136
        self.conflict("Moved existing %s to %s" % (target, moved_path))
 
137
 
 
138
    def rmdir_non_empty(self, filename):
 
139
        """Handle the case where the dir to be removed still has contents"""
 
140
        self.conflict("Directory %s not removed because it is not empty"\
 
141
            % filename)
 
142
        return "skip"
 
143
 
 
144
    def rem_contents_conflict(self, filename, this_contents, base_contents):
 
145
        base_contents(filename+".BASE", self, False)
 
146
        this_contents(filename+".THIS", self, False)
 
147
        return ReplaceContents(this_contents, None)
 
148
 
 
149
    def rem_contents_conflict(self, filename, this_contents, base_contents):
 
150
        base_contents(filename+".BASE", self, False)
 
151
        this_contents(filename+".THIS", self, False)
 
152
        self.conflict("Other branch deleted locally modified file %s" %
 
153
                      filename)
 
154
        return ReplaceContents(this_contents, None)
 
155
 
 
156
    def abs_this_path(self, file_id):
 
157
        """Return the absolute path for a file_id in the this tree."""
 
158
        return self.this_tree.id2abspath(file_id)
 
159
 
 
160
    def add_missing_parents(self, file_id, tree):
 
161
        """If some of the parents for file_id are missing, add them."""
 
162
        entry = tree.inventory[file_id]
 
163
        if entry.parent_id not in self.this_tree:
 
164
            return self.create_all_missing(entry.parent_id, tree)
 
165
        else:
 
166
            return self.abs_this_path(entry.parent_id)
 
167
 
 
168
    def create_all_missing(self, file_id, tree):
 
169
        """Add contents for a file_id and all its parents to a tree."""
 
170
        entry = tree.inventory[file_id]
 
171
        if entry.parent_id is not None and entry.parent_id not in self.this_tree:
 
172
            abspath = self.create_all_missing(entry.parent_id, tree)
 
173
        else:
 
174
            abspath = self.abs_this_path(entry.parent_id)
 
175
        entry_path = os.path.join(abspath, entry.name)
 
176
        if not os.path.isdir(entry_path):
 
177
            self.create(file_id, entry_path, tree)
 
178
        return entry_path
 
179
 
 
180
    def create(self, file_id, path, tree, reverse=False):
 
181
        """Uses tree data to create a filesystem object for the file_id"""
 
182
        from changeset import get_contents
 
183
        get_contents(tree, file_id)(path, self, reverse)
 
184
 
 
185
    def missing_for_merge(self, file_id, other_path):
 
186
        """The file_id doesn't exist in THIS, but does in OTHER and BASE"""
 
187
        self.conflict("Other branch modified locally deleted file %s" %
 
188
                      other_path)
 
189
        parent_dir = self.add_missing_parents(file_id, self.other_tree)
 
190
        stem = os.path.join(parent_dir, os.path.basename(other_path))
 
191
        self.create(file_id, stem+".OTHER", self.other_tree)
 
192
        self.create(file_id, stem+".BASE", self.base_tree)
 
193
 
 
194
    def threeway_contents_conflict(filename, this_contents, base_contents,
 
195
                                   other_contents):
 
196
        self.conflict("Three-way conflict merging %s" % filename)
 
197
 
 
198
    def finalize(self):
 
199
        if not self.ignore_zero:
 
200
            note("%d conflicts encountered.\n" % self.conflicts)
 
201
            
 
202
def get_tree(treespec, local_branch=None):
 
203
    location, revno = treespec
 
204
    branch = Branch.open_containing(location)[0]
 
205
    if revno is None:
 
206
        revision = None
 
207
    elif revno == -1:
 
208
        revision = branch.last_revision()
 
209
    else:
 
210
        revision = branch.get_rev_id(revno)
 
211
    return branch, get_revid_tree(branch, revision, local_branch)
 
212
 
 
213
def get_revid_tree(branch, revision, local_branch):
 
214
    if revision is None:
 
215
        base_tree = branch.working_tree()
 
216
    else:
 
217
        if local_branch is not None:
 
218
            greedy_fetch(local_branch, branch, revision)
 
219
            base_tree = local_branch.revision_tree(revision)
 
220
        else:
 
221
            base_tree = branch.revision_tree(revision)
 
222
    return base_tree
 
223
 
 
224
 
 
225
def file_exists(tree, file_id):
 
226
    return tree.has_filename(tree.id2path(file_id))
 
227
    
 
228
 
 
229
def build_working_dir(to_dir):
 
230
    """Build a working directory in an empty directory.
 
231
 
 
232
    to_dir is a directory containing branch metadata but no working files,
 
233
    typically constructed by cloning an existing branch. 
 
234
 
 
235
    This is split out as a special idiomatic case of merge.  It could
 
236
    eventually be done by just building the tree directly calling into 
 
237
    lower-level code (e.g. constructing a changeset).
 
238
    """
 
239
    # RBC 20051019 is this not just 'export' ?
 
240
    merge((to_dir, -1), (to_dir, 0), this_dir=to_dir,
 
241
          check_clean=False, ignore_zero=True)
 
242
 
 
243
 
 
244
def merge(other_revision, base_revision,
 
245
          check_clean=True, ignore_zero=False,
 
246
          this_dir=None, backup_files=False, merge_type=ApplyMerge3,
 
247
          file_list=None, show_base=False):
 
248
    """Merge changes into a tree.
 
249
 
 
250
    base_revision
 
251
        tuple(path, revno) Base for three-way merge.  
 
252
        If (None, None) then a base will be automatically determined.
 
253
    other_revision
 
254
        tuple(path, revno) Other revision for three-way merge.
 
255
    this_dir
 
256
        Directory to merge changes into; '.' by default.
 
257
    check_clean
 
258
        If true, this_dir must have no uncommitted changes before the
 
259
        merge begins.
 
260
    ignore_zero - If true, suppress the "zero conflicts" message when 
 
261
        there are no conflicts; should be set when doing something we expect
 
262
        to complete perfectly.
 
263
    file_list - If true, merge only changes to selected files.
 
264
 
 
265
    All available ancestors of other_revision and base_revision are
 
266
    automatically pulled into the branch.
 
267
 
 
268
    The revno may be -1 to indicate the last revision on the branch, which is the 
 
269
    typical case.
 
270
 
 
271
    This function is intended for use from the command line; programmatic clients 
 
272
    might prefer to call merge_inner(), which has less magic behavior.
 
273
    """
 
274
    # TODO: please check this docstring is true and accurate - mbp 20051024
 
275
    if this_dir is None:
 
276
        this_dir = '.'
 
277
    this_branch = Branch.open_containing(this_dir)[0]
 
278
    this_rev_id = this_branch.last_revision()
 
279
    if this_rev_id is None:
 
280
        raise BzrCommandError("This branch has no commits")
 
281
    if check_clean:
 
282
        changes = compare_trees(this_branch.working_tree(), 
 
283
                                this_branch.basis_tree(), False)
 
284
        if changes.has_changed():
 
285
            raise BzrCommandError("Working tree has uncommitted changes.")
 
286
    other_branch, other_tree = get_tree(other_revision, this_branch)
 
287
    if other_revision[1] == -1:
 
288
        other_rev_id = other_branch.last_revision()
 
289
        if other_rev_id is None:
 
290
            raise NoCommits(other_branch)
 
291
        other_basis = other_rev_id
 
292
    elif other_revision[1] is not None:
 
293
        other_rev_id = other_branch.get_rev_id(other_revision[1])
 
294
        other_basis = other_rev_id
 
295
    else:
 
296
        other_rev_id = None
 
297
        other_basis = other_branch.last_revision()
 
298
        if other_basis is None:
 
299
            raise NoCommits(other_branch)
 
300
    if base_revision == [None, None]:
 
301
        mutter("doing merge() with no base_revision specified")
 
302
        try:
 
303
            base_rev_id = common_ancestor(this_rev_id, other_basis, 
 
304
                                          this_branch)
 
305
        except NoCommonAncestor:
 
306
            raise UnrelatedBranches()
 
307
        base_tree = get_revid_tree(this_branch, base_rev_id, None)
 
308
        base_is_ancestor = True
 
309
    else:
 
310
        mutter('doing merge() with base %r' % (base_revision,))
 
311
        base_branch, base_tree = get_tree(base_revision)
 
312
        if base_revision[1] == -1:
 
313
            base_rev_id = base_branch.last_revision()
 
314
        elif base_revision[1] is None:
 
315
            base_rev_id = None
 
316
        else:
 
317
            base_rev_id = base_branch.get_rev_id(base_revision[1])
 
318
        fetch(from_branch=base_branch, to_branch=this_branch)
 
319
        base_is_ancestor = is_ancestor(this_rev_id, base_rev_id,
 
320
                                       this_branch)
 
321
    if file_list is None:
 
322
        interesting_ids = None
 
323
    else:
 
324
        interesting_ids = set()
 
325
        this_tree = this_branch.working_tree()
 
326
        for fname in file_list:
 
327
            path = this_tree.relpath(fname)
 
328
            found_id = False
 
329
            for tree in (this_tree, base_tree, other_tree):
 
330
                file_id = tree.inventory.path2id(path)
 
331
                if file_id is not None:
 
332
                    interesting_ids.add(file_id)
 
333
                    found_id = True
 
334
            if not found_id:
 
335
                raise BzrCommandError("%s is not a source file in any"
 
336
                                      " tree." % fname)
 
337
    conflicts = merge_inner(this_branch, other_tree, base_tree, tempdir=None,
 
338
                            ignore_zero=ignore_zero,
 
339
                            backup_files=backup_files, 
 
340
                            merge_type=merge_type,
 
341
                            interesting_ids=interesting_ids,
 
342
                            show_base=show_base)
 
343
    if base_is_ancestor and other_rev_id is not None\
 
344
        and other_rev_id not in this_branch.revision_history():
 
345
        this_branch.add_pending_merge(other_rev_id)
 
346
    return conflicts
 
347
 
 
348
 
 
349
def set_interesting(inventory_a, inventory_b, interesting_ids):
 
350
    """Mark files whose ids are in interesting_ids as interesting
 
351
    """
 
352
    for inventory in (inventory_a, inventory_b):
 
353
        for path, source_file in inventory.iteritems():
 
354
             source_file.interesting = source_file.id in interesting_ids
 
355
 
 
356
 
 
357
def merge_inner(this_branch, other_tree, base_tree, tempdir=None, 
 
358
                ignore_zero=False, merge_type=ApplyMerge3, backup_files=False,
 
359
                interesting_ids=None, show_base=False):
 
360
    """Primary interface for merging. 
 
361
 
 
362
    typical use is probably 
 
363
    'merge_inner(branch, branch.get_revision_tree(other_revision),
 
364
                 branch.get_revision_tree(base_revision))'
 
365
    """
 
366
    if tempdir is None:
 
367
        _tempdir = tempfile.mkdtemp(prefix="bzr-")
 
368
    else:
 
369
        _tempdir = tempdir
 
370
    try:
 
371
        return _merge_inner(this_branch, other_tree, base_tree, _tempdir,
 
372
                            ignore_zero, merge_type, backup_files,
 
373
                            interesting_ids,
 
374
                            show_base=show_base)
 
375
    finally:
 
376
        if tempdir is None:
 
377
            shutil.rmtree(_tempdir)
 
378
 
 
379
 
 
380
def _merge_inner(this_branch, other_tree, base_tree, user_tempdir, 
 
381
                ignore_zero=False, merge_type=ApplyMerge3, backup_files=False,
 
382
                interesting_ids=None, show_base=False):
 
383
    def merge_factory(file_id, base, other):
 
384
        if show_base is True:
 
385
            contents_change = merge_type(file_id, base, other, show_base=True)
 
386
        else:
 
387
            contents_change = merge_type(file_id, base, other)
 
388
        if backup_files:
 
389
            contents_change = BackupBeforeChange(contents_change)
 
390
        return contents_change
 
391
 
 
392
    this_tree = get_tree((this_branch.base, None))[1]
 
393
 
 
394
    def get_inventory(tree):
 
395
        return tree.inventory
 
396
 
 
397
    conflict_handler = MergeConflictHandler(this_tree, base_tree, other_tree,
 
398
                                            ignore_zero=ignore_zero)
 
399
    inv_changes = merge_flex(this_tree, base_tree, other_tree,
 
400
                             generate_changeset, get_inventory,
 
401
                             conflict_handler,
 
402
                             merge_factory=merge_factory, 
 
403
                             interesting_ids=interesting_ids)
 
404
 
 
405
    adjust_ids = []
 
406
    for id, path in inv_changes.iteritems():
 
407
        if path is not None:
 
408
            if path == '.':
 
409
                path = ''
 
410
            else:
 
411
                assert path.startswith('.' + os.sep), "path is %s" % path
 
412
            path = path[2:]
 
413
        adjust_ids.append((path, id))
 
414
    if len(adjust_ids) > 0:
 
415
        this_branch.set_inventory(regen_inventory(this_branch, 
 
416
                                                  this_tree.basedir,
 
417
                                                  adjust_ids))
 
418
    conflicts = conflict_handler.conflicts
 
419
    conflict_handler.finalize()
 
420
    return conflicts
 
421
 
 
422
 
 
423
def regen_inventory(this_branch, root, new_entries):
 
424
    old_entries = this_branch.read_working_inventory()
 
425
    new_inventory = {}
 
426
    by_path = {}
 
427
    new_entries_map = {} 
 
428
    for path, file_id in new_entries:
 
429
        if path is None:
 
430
            continue
 
431
        new_entries_map[file_id] = path
 
432
 
 
433
    def id2path(file_id):
 
434
        path = new_entries_map.get(file_id)
 
435
        if path is not None:
 
436
            return path
 
437
        entry = old_entries[file_id]
 
438
        if entry.parent_id is None:
 
439
            return entry.name
 
440
        return os.path.join(id2path(entry.parent_id), entry.name)
 
441
        
 
442
    for file_id in old_entries:
 
443
        entry = old_entries[file_id]
 
444
        path = id2path(file_id)
 
445
        new_inventory[file_id] = (path, file_id, entry.parent_id, entry.kind)
 
446
        by_path[path] = file_id
 
447
    
 
448
    deletions = 0
 
449
    insertions = 0
 
450
    new_path_list = []
 
451
    for path, file_id in new_entries:
 
452
        if path is None:
 
453
            del new_inventory[file_id]
 
454
            deletions += 1
 
455
        else:
 
456
            new_path_list.append((path, file_id))
 
457
            if file_id not in old_entries:
 
458
                insertions += 1
 
459
    # Ensure no file is added before its parent
 
460
    new_path_list.sort()
 
461
    for path, file_id in new_path_list:
 
462
        if path == '':
 
463
            parent = None
 
464
        else:
 
465
            parent = by_path[os.path.dirname(path)]
 
466
        kind = bzrlib.osutils.file_kind(os.path.join(root, path))
 
467
        new_inventory[file_id] = (path, file_id, parent, kind)
 
468
        by_path[path] = file_id 
 
469
 
 
470
    # Get a list in insertion order
 
471
    new_inventory_list = new_inventory.values()
 
472
    mutter ("""Inventory regeneration:
 
473
old length: %i insertions: %i deletions: %i new_length: %i"""\
 
474
        % (len(old_entries), insertions, deletions, len(new_inventory_list)))
 
475
    assert len(new_inventory_list) == len(old_entries) + insertions - deletions
 
476
    new_inventory_list.sort()
 
477
    return new_inventory_list
 
478
 
 
479
merge_types = {     "merge3": (ApplyMerge3, "Native diff3-style merge"), 
 
480
                     "diff3": (Diff3Merge,  "Merge using external diff3")
 
481
              }
 
482