/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/diff.py

  • Committer: Robert Collins
  • Date: 2010-05-06 11:08:10 UTC
  • mto: This revision was merged to the branch mainline in revision 5223.
  • Revision ID: robertc@robertcollins.net-20100506110810-h3j07fh5gmw54s25
Cleaner matcher matching revised unlocking protocol.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/diff.py
1
 
# Copyright (C) 2004, 2005, 2006 Canonical Ltd.
 
1
# Copyright (C) 2005-2010 Canonical Ltd.
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
17
import difflib
18
18
import os
19
19
import re
20
 
import shutil
 
20
import string
21
21
import sys
22
22
 
23
23
from bzrlib.lazy_import import lazy_import
30
30
from bzrlib import (
31
31
    branch as _mod_branch,
32
32
    bzrdir,
33
 
    commands,
 
33
    cmdline,
 
34
    cleanup,
34
35
    errors,
35
36
    osutils,
36
37
    patiencediff,
37
38
    textfile,
38
39
    timestamp,
 
40
    views,
39
41
    )
 
42
 
 
43
from bzrlib.workingtree import WorkingTree
40
44
""")
41
45
 
 
46
from bzrlib.registry import (
 
47
    Registry,
 
48
    )
42
49
from bzrlib.symbol_versioning import (
43
 
        deprecated_function,
44
 
        one_three
45
 
        )
46
 
from bzrlib.trace import warning
 
50
    deprecated_function,
 
51
    deprecated_in,
 
52
    )
 
53
from bzrlib.trace import mutter, note, warning
 
54
 
 
55
 
 
56
class AtTemplate(string.Template):
 
57
    """Templating class that uses @ instead of $."""
 
58
 
 
59
    delimiter = '@'
47
60
 
48
61
 
49
62
# TODO: Rather than building a changeset object, we should probably
78
91
    # both sequences are empty.
79
92
    if not oldlines and not newlines:
80
93
        return
81
 
    
 
94
 
82
95
    if allow_binary is False:
83
96
        textfile.check_text_lines(oldlines)
84
97
        textfile.check_text_lines(newlines)
99
112
        ud[2] = ud[2].replace('-1,0', '-0,0')
100
113
    elif not newlines:
101
114
        ud[2] = ud[2].replace('+1,0', '+0,0')
102
 
    # work around for difflib emitting random spaces after the label
103
 
    ud[0] = ud[0][:-2] + '\n'
104
 
    ud[1] = ud[1][:-2] + '\n'
105
115
 
106
116
    for line in ud:
107
117
        to_file.write(line)
174
184
 
175
185
        if not diff_opts:
176
186
            diff_opts = []
 
187
        if sys.platform == 'win32':
 
188
            # Popen doesn't do the proper encoding for external commands
 
189
            # Since we are dealing with an ANSI api, use mbcs encoding
 
190
            old_filename = old_filename.encode('mbcs')
 
191
            new_filename = new_filename.encode('mbcs')
177
192
        diffcmd = ['diff',
178
193
                   '--label', old_filename,
179
194
                   old_abspath,
202
217
            break
203
218
        else:
204
219
            diffcmd.append('-u')
205
 
                  
 
220
 
206
221
        if diff_opts:
207
222
            diffcmd.extend(diff_opts)
208
223
 
209
224
        pipe = _spawn_external_diff(diffcmd, capture_errors=True)
210
225
        out,err = pipe.communicate()
211
226
        rc = pipe.returncode
212
 
        
 
227
 
213
228
        # internal_diff() adds a trailing newline, add one here for consistency
214
229
        out += '\n'
215
230
        if rc == 2:
250
265
                msg = 'signal %d' % (-rc)
251
266
            else:
252
267
                msg = 'exit code %d' % rc
253
 
                
254
 
            raise errors.BzrError('external diff failed with %s; command: %r' 
 
268
 
 
269
            raise errors.BzrError('external diff failed with %s; command: %r'
255
270
                                  % (rc, diffcmd))
256
271
 
257
272
 
275
290
                        new_abspath, e)
276
291
 
277
292
 
278
 
def _get_trees_to_diff(path_list, revision_specs, old_url, new_url):
279
 
    """Get the trees and specific files to diff given a list of paths.
280
 
 
281
 
    This method works out the trees to be diff'ed and the files of
282
 
    interest within those trees.
283
 
 
284
 
    :param path_list:
285
 
        the list of arguments passed to the diff command
286
 
    :param revision_specs:
287
 
        Zero, one or two RevisionSpecs from the diff command line,
288
 
        saying what revisions to compare.
289
 
    :param old_url:
290
 
        The url of the old branch or tree. If None, the tree to use is
291
 
        taken from the first path, if any, or the current working tree.
292
 
    :param new_url:
293
 
        The url of the new branch or tree. If None, the tree to use is
294
 
        taken from the first path, if any, or the current working tree.
295
 
    :returns:
296
 
        a tuple of (old_tree, new_tree, specific_files, extra_trees) where
297
 
        extra_trees is a sequence of additional trees to search in for
298
 
        file-ids.
 
293
@deprecated_function(deprecated_in((2, 2, 0)))
 
294
def get_trees_and_branches_to_diff(path_list, revision_specs, old_url, new_url,
 
295
                                   apply_view=True):
 
296
    """Get the trees and specific files to diff given a list of paths.
 
297
 
 
298
    This method works out the trees to be diff'ed and the files of
 
299
    interest within those trees.
 
300
 
 
301
    :param path_list:
 
302
        the list of arguments passed to the diff command
 
303
    :param revision_specs:
 
304
        Zero, one or two RevisionSpecs from the diff command line,
 
305
        saying what revisions to compare.
 
306
    :param old_url:
 
307
        The url of the old branch or tree. If None, the tree to use is
 
308
        taken from the first path, if any, or the current working tree.
 
309
    :param new_url:
 
310
        The url of the new branch or tree. If None, the tree to use is
 
311
        taken from the first path, if any, or the current working tree.
 
312
    :param apply_view:
 
313
        if True and a view is set, apply the view or check that the paths
 
314
        are within it
 
315
    :returns:
 
316
        a tuple of (old_tree, new_tree, old_branch, new_branch,
 
317
        specific_files, extra_trees) where extra_trees is a sequence of
 
318
        additional trees to search in for file-ids.  The trees and branches
 
319
        are not locked.
 
320
    """
 
321
    op = cleanup.OperationWithCleanups(get_trees_and_branches_to_diff_locked)
 
322
    return op.run_simple(path_list, revision_specs, old_url, new_url,
 
323
            op.add_cleanup, apply_view=apply_view)
 
324
    
 
325
 
 
326
def get_trees_and_branches_to_diff_locked(
 
327
    path_list, revision_specs, old_url, new_url, add_cleanup, apply_view=True):
 
328
    """Get the trees and specific files to diff given a list of paths.
 
329
 
 
330
    This method works out the trees to be diff'ed and the files of
 
331
    interest within those trees.
 
332
 
 
333
    :param path_list:
 
334
        the list of arguments passed to the diff command
 
335
    :param revision_specs:
 
336
        Zero, one or two RevisionSpecs from the diff command line,
 
337
        saying what revisions to compare.
 
338
    :param old_url:
 
339
        The url of the old branch or tree. If None, the tree to use is
 
340
        taken from the first path, if any, or the current working tree.
 
341
    :param new_url:
 
342
        The url of the new branch or tree. If None, the tree to use is
 
343
        taken from the first path, if any, or the current working tree.
 
344
    :param add_cleanup:
 
345
        a callable like Command.add_cleanup.  get_trees_and_branches_to_diff
 
346
        will register cleanups that must be run to unlock the trees, etc.
 
347
    :param apply_view:
 
348
        if True and a view is set, apply the view or check that the paths
 
349
        are within it
 
350
    :returns:
 
351
        a tuple of (old_tree, new_tree, old_branch, new_branch,
 
352
        specific_files, extra_trees) where extra_trees is a sequence of
 
353
        additional trees to search in for file-ids.  The trees and branches
 
354
        will be read-locked until the cleanups registered via the add_cleanup
 
355
        param are run.
299
356
    """
300
357
    # Get the old and new revision specs
301
358
    old_revision_spec = None
324
381
        default_location = path_list[0]
325
382
        other_paths = path_list[1:]
326
383
 
 
384
    def lock_tree_or_branch(wt, br):
 
385
        if wt is not None:
 
386
            wt.lock_read()
 
387
            add_cleanup(wt.unlock)
 
388
        elif br is not None:
 
389
            br.lock_read()
 
390
            add_cleanup(br.unlock)
 
391
 
327
392
    # Get the old location
328
393
    specific_files = []
329
394
    if old_url is None:
330
395
        old_url = default_location
331
396
    working_tree, branch, relpath = \
332
397
        bzrdir.BzrDir.open_containing_tree_or_branch(old_url)
 
398
    lock_tree_or_branch(working_tree, branch)
333
399
    if consider_relpath and relpath != '':
 
400
        if working_tree is not None and apply_view:
 
401
            views.check_path_in_view(working_tree, relpath)
334
402
        specific_files.append(relpath)
335
403
    old_tree = _get_tree_to_diff(old_revision_spec, working_tree, branch)
 
404
    old_branch = branch
336
405
 
337
406
    # Get the new location
338
407
    if new_url is None:
340
409
    if new_url != old_url:
341
410
        working_tree, branch, relpath = \
342
411
            bzrdir.BzrDir.open_containing_tree_or_branch(new_url)
 
412
        lock_tree_or_branch(working_tree, branch)
343
413
        if consider_relpath and relpath != '':
 
414
            if working_tree is not None and apply_view:
 
415
                views.check_path_in_view(working_tree, relpath)
344
416
            specific_files.append(relpath)
345
417
    new_tree = _get_tree_to_diff(new_revision_spec, working_tree, branch,
346
418
        basis_is_default=working_tree is None)
 
419
    new_branch = branch
347
420
 
348
421
    # Get the specific files (all files is None, no files is [])
349
422
    if make_paths_wt_relative and working_tree is not None:
350
 
        other_paths = _relative_paths_in_tree(working_tree, other_paths)
 
423
        try:
 
424
            from bzrlib.builtins import safe_relpath_files
 
425
            other_paths = safe_relpath_files(working_tree, other_paths,
 
426
            apply_view=apply_view)
 
427
        except errors.FileInWrongBranch:
 
428
            raise errors.BzrCommandError("Files are in different branches")
351
429
    specific_files.extend(other_paths)
352
430
    if len(specific_files) == 0:
353
431
        specific_files = None
 
432
        if (working_tree is not None and working_tree.supports_views()
 
433
            and apply_view):
 
434
            view_files = working_tree.views.lookup_view()
 
435
            if view_files:
 
436
                specific_files = view_files
 
437
                view_str = views.view_display_str(view_files)
 
438
                note("*** Ignoring files outside view. View is %s" % view_str)
354
439
 
355
440
    # Get extra trees that ought to be searched for file-ids
356
441
    extra_trees = None
357
442
    if working_tree is not None and working_tree not in (old_tree, new_tree):
358
443
        extra_trees = (working_tree,)
359
 
    return old_tree, new_tree, specific_files, extra_trees
 
444
    return old_tree, new_tree, old_branch, new_branch, specific_files, extra_trees
360
445
 
361
446
 
362
447
def _get_tree_to_diff(spec, tree=None, branch=None, basis_is_default=True):
373
458
    return spec.as_tree(branch)
374
459
 
375
460
 
376
 
def _relative_paths_in_tree(tree, paths):
377
 
    """Get the relative paths within a working tree.
378
 
 
379
 
    Each path may be either an absolute path or a path relative to the
380
 
    current working directory.
381
 
    """
382
 
    result = []
383
 
    for filename in paths:
384
 
        try:
385
 
            result.append(tree.relpath(osutils.dereference_path(filename)))
386
 
        except errors.PathNotChild:
387
 
            raise errors.BzrCommandError("Files are in different branches")
388
 
    return result
389
 
 
390
 
 
391
461
def show_diff_trees(old_tree, new_tree, to_file, specific_files=None,
392
462
                    external_diff_options=None,
393
463
                    old_label='a/', new_label='b/',
394
464
                    extra_trees=None,
395
465
                    path_encoding='utf8',
396
 
                    using=None):
 
466
                    using=None,
 
467
                    format_cls=None):
397
468
    """Show in text form the changes from one tree to another.
398
469
 
399
 
    to_file
400
 
        The output stream.
401
 
 
402
 
    specific_files
403
 
        Include only changes to these files - None for all changes.
404
 
 
405
 
    external_diff_options
406
 
        If set, use an external GNU diff and pass these options.
407
 
 
408
 
    extra_trees
409
 
        If set, more Trees to use for looking up file ids
410
 
 
411
 
    path_encoding
412
 
        If set, the path will be encoded as specified, otherwise is supposed
413
 
        to be utf8
 
470
    :param to_file: The output stream.
 
471
    :param specific_files:Include only changes to these files - None for all
 
472
        changes.
 
473
    :param external_diff_options: If set, use an external GNU diff and pass 
 
474
        these options.
 
475
    :param extra_trees: If set, more Trees to use for looking up file ids
 
476
    :param path_encoding: If set, the path will be encoded as specified, 
 
477
        otherwise is supposed to be utf8
 
478
    :param format_cls: Formatter class (DiffTree subclass)
414
479
    """
 
480
    if format_cls is None:
 
481
        format_cls = DiffTree
415
482
    old_tree.lock_read()
416
483
    try:
417
484
        if extra_trees is not None:
419
486
                tree.lock_read()
420
487
        new_tree.lock_read()
421
488
        try:
422
 
            differ = DiffTree.from_trees_options(old_tree, new_tree, to_file,
423
 
                                                 path_encoding,
424
 
                                                 external_diff_options,
425
 
                                                 old_label, new_label, using)
 
489
            differ = format_cls.from_trees_options(old_tree, new_tree, to_file,
 
490
                                                   path_encoding,
 
491
                                                   external_diff_options,
 
492
                                                   old_label, new_label, using)
426
493
            return differ.show_diff(specific_files, extra_trees)
427
494
        finally:
428
495
            new_tree.unlock()
435
502
 
436
503
def _patch_header_date(tree, file_id, path):
437
504
    """Returns a timestamp suitable for use in a patch header."""
438
 
    mtime = tree.get_file_mtime(file_id, path)
 
505
    try:
 
506
        mtime = tree.get_file_mtime(file_id, path)
 
507
    except errors.FileTimestampUnavailable:
 
508
        mtime = 0
439
509
    return timestamp.format_patch_date(mtime)
440
510
 
441
511
 
442
 
@deprecated_function(one_three)
443
 
def get_prop_change(meta_modified):
444
 
    if meta_modified:
445
 
        return " (properties changed)"
446
 
    else:
447
 
        return  ""
448
 
 
449
512
def get_executable_change(old_is_x, new_is_x):
450
513
    descr = { True:"+x", False:"-x", None:"??" }
451
514
    if old_is_x != new_is_x:
626
689
            return self.CANNOT_DIFF
627
690
        from_label = '%s%s\t%s' % (self.old_label, old_path, old_date)
628
691
        to_label = '%s%s\t%s' % (self.new_label, new_path, new_date)
629
 
        return self.diff_text(from_file_id, to_file_id, from_label, to_label)
 
692
        return self.diff_text(from_file_id, to_file_id, from_label, to_label,
 
693
            old_path, new_path)
630
694
 
631
 
    def diff_text(self, from_file_id, to_file_id, from_label, to_label):
 
695
    def diff_text(self, from_file_id, to_file_id, from_label, to_label,
 
696
        from_path=None, to_path=None):
632
697
        """Diff the content of given files in two trees
633
698
 
634
699
        :param from_file_id: The id of the file in the from tree.  If None,
636
701
        :param to_file_id: The id of the file in the to tree.  This may refer
637
702
            to a different file from from_file_id.  If None,
638
703
            the file is not present in the to tree.
 
704
        :param from_path: The path in the from tree or None if unknown.
 
705
        :param to_path: The path in the to tree or None if unknown.
639
706
        """
640
 
        def _get_text(tree, file_id):
 
707
        def _get_text(tree, file_id, path):
641
708
            if file_id is not None:
642
 
                return tree.get_file(file_id).readlines()
 
709
                return tree.get_file(file_id, path).readlines()
643
710
            else:
644
711
                return []
645
712
        try:
646
 
            from_text = _get_text(self.old_tree, from_file_id)
647
 
            to_text = _get_text(self.new_tree, to_file_id)
 
713
            from_text = _get_text(self.old_tree, from_file_id, from_path)
 
714
            to_text = _get_text(self.new_tree, to_file_id, to_path)
648
715
            self.text_differ(from_label, from_text, to_label, to_text,
649
716
                             self.to_file)
650
717
        except errors.BinaryFile:
665
732
    @classmethod
666
733
    def from_string(klass, command_string, old_tree, new_tree, to_file,
667
734
                    path_encoding='utf-8'):
668
 
        command_template = commands.shlex_split_unicode(command_string)
669
 
        command_template.extend(['%(old_path)s', '%(new_path)s'])
 
735
        command_template = cmdline.split(command_string)
 
736
        if '@' not in command_string:
 
737
            command_template.extend(['@old_path', '@new_path'])
670
738
        return klass(command_template, old_tree, new_tree, to_file,
671
739
                     path_encoding)
672
740
 
679
747
 
680
748
    def _get_command(self, old_path, new_path):
681
749
        my_map = {'old_path': old_path, 'new_path': new_path}
682
 
        return [t % my_map for t in self.command_template]
 
750
        return [AtTemplate(t).substitute(my_map) for t in
 
751
                self.command_template]
683
752
 
684
753
    def _execute(self, old_path, new_path):
685
754
        command = self._get_command(old_path, new_path)
705
774
                raise
706
775
        return True
707
776
 
708
 
    def _write_file(self, file_id, tree, prefix, relpath):
 
777
    def _write_file(self, file_id, tree, prefix, relpath, force_temp=False,
 
778
                    allow_write=False):
 
779
        if not force_temp and isinstance(tree, WorkingTree):
 
780
            return tree.abspath(tree.id2path(file_id))
 
781
        
709
782
        full_path = osutils.pathjoin(self._root, prefix, relpath)
710
 
        if self._try_symlink_root(tree, prefix):
 
783
        if not force_temp and self._try_symlink_root(tree, prefix):
711
784
            return full_path
712
785
        parent_dir = osutils.dirname(full_path)
713
786
        try:
724
797
                target.close()
725
798
        finally:
726
799
            source.close()
727
 
        osutils.make_readonly(full_path)
728
 
        mtime = tree.get_file_mtime(file_id)
729
 
        os.utime(full_path, (mtime, mtime))
 
800
        try:
 
801
            mtime = tree.get_file_mtime(file_id)
 
802
        except errors.FileTimestampUnavailable:
 
803
            pass
 
804
        else:
 
805
            os.utime(full_path, (mtime, mtime))
 
806
        if not allow_write:
 
807
            osutils.make_readonly(full_path)
730
808
        return full_path
731
809
 
732
 
    def _prepare_files(self, file_id, old_path, new_path):
 
810
    def _prepare_files(self, file_id, old_path, new_path, force_temp=False,
 
811
                       allow_write_new=False):
733
812
        old_disk_path = self._write_file(file_id, self.old_tree, 'old',
734
 
                                         old_path)
 
813
                                         old_path, force_temp)
735
814
        new_disk_path = self._write_file(file_id, self.new_tree, 'new',
736
 
                                         new_path)
 
815
                                         new_path, force_temp,
 
816
                                         allow_write=allow_write_new)
737
817
        return old_disk_path, new_disk_path
738
818
 
739
819
    def finish(self):
740
 
        osutils.rmtree(self._root)
 
820
        try:
 
821
            osutils.rmtree(self._root)
 
822
        except OSError, e:
 
823
            if e.errno != errno.ENOENT:
 
824
                mutter("The temporary directory \"%s\" was not "
 
825
                        "cleanly removed: %s." % (self._root, e))
741
826
 
742
827
    def diff(self, file_id, old_path, new_path, old_kind, new_kind):
743
828
        if (old_kind, new_kind) != ('file', 'file'):
744
829
            return DiffPath.CANNOT_DIFF
745
 
        self._prepare_files(file_id, old_path, new_path)
746
 
        self._execute(osutils.pathjoin('old', old_path),
747
 
                      osutils.pathjoin('new', new_path))
 
830
        (old_disk_path, new_disk_path) = self._prepare_files(
 
831
                                                file_id, old_path, new_path)
 
832
        self._execute(old_disk_path, new_disk_path)
 
833
 
 
834
    def edit_file(self, file_id):
 
835
        """Use this tool to edit a file.
 
836
 
 
837
        A temporary copy will be edited, and the new contents will be
 
838
        returned.
 
839
 
 
840
        :param file_id: The id of the file to edit.
 
841
        :return: The new contents of the file.
 
842
        """
 
843
        old_path = self.old_tree.id2path(file_id)
 
844
        new_path = self.new_tree.id2path(file_id)
 
845
        new_abs_path = self._prepare_files(file_id, old_path, new_path,
 
846
                                           allow_write_new=True,
 
847
                                           force_temp=True)[1]
 
848
        command = self._get_command(osutils.pathjoin('old', old_path),
 
849
                                    osutils.pathjoin('new', new_path))
 
850
        subprocess.call(command, cwd=self._root)
 
851
        new_file = open(new_abs_path, 'r')
 
852
        try:
 
853
            return new_file.read()
 
854
        finally:
 
855
            new_file.close()
748
856
 
749
857
 
750
858
class DiffTree(object):
824
932
    def show_diff(self, specific_files, extra_trees=None):
825
933
        """Write tree diff to self.to_file
826
934
 
827
 
        :param sepecific_files: the specific files to compare (recursive)
 
935
        :param specific_files: the specific files to compare (recursive)
828
936
        :param extra_trees: extra trees to use for mapping paths to file_ids
829
937
        """
830
938
        try:
888
996
                self.to_file.write("=== modified %s '%s'%s\n" % (kind[0],
889
997
                                   newpath_encoded, prop_str))
890
998
            if changed_content:
891
 
                self.diff(file_id, oldpath, newpath)
 
999
                self._diff(file_id, oldpath, newpath, kind[0], kind[1])
892
1000
                has_changes = 1
893
1001
            if renamed:
894
1002
                has_changes = 1
909
1017
            new_kind = self.new_tree.kind(file_id)
910
1018
        except (errors.NoSuchId, errors.NoSuchFile):
911
1019
            new_kind = None
912
 
 
 
1020
        self._diff(file_id, old_path, new_path, old_kind, new_kind)
 
1021
 
 
1022
 
 
1023
    def _diff(self, file_id, old_path, new_path, old_kind, new_kind):
913
1024
        result = DiffPath._diff_many(self.differs, file_id, old_path,
914
1025
                                       new_path, old_kind, new_kind)
915
1026
        if result is DiffPath.CANNOT_DIFF:
917
1028
            if error_path is None:
918
1029
                error_path = old_path
919
1030
            raise errors.NoDiffFound(error_path)
 
1031
 
 
1032
 
 
1033
format_registry = Registry()
 
1034
format_registry.register('default', DiffTree)