/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/diff.py

  • Committer: John Arbash Meinel
  • Date: 2009-10-13 16:44:43 UTC
  • mto: This revision was merged to the branch mainline in revision 4741.
  • Revision ID: john@arbash-meinel.com-20091013164443-b92lnyiir2ucyguj
Stop using hash() because of bugs wrt pyrex 0.9.8.5

Rather than going directly to the Py_TYPE() object, I also use PyObject_Hash()
everywhere now. This simplifies the code a little bit, as I can declare it
returns -1 as an exception, rather than having to manually check the return
value.

What is really strange is that pyrex 0.9.7.2 gets it right, strange
regression to have. cython 0.11.3 also gets it right, but I don't know
that all versions of cython handle it correctly, either.


The main problem is that we are mixing, and then comparing
'other_hash = this_hash'. If we always used the 32-bit form, we would
be okay for our purposes, or always use the 64-bit form. I'm focusing
on the latter.

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2004, 2005, 2006 Canonical Ltd.
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
import difflib
 
18
import os
 
19
import re
 
20
import shutil
 
21
import sys
 
22
 
 
23
from bzrlib.lazy_import import lazy_import
 
24
lazy_import(globals(), """
 
25
import errno
 
26
import subprocess
 
27
import tempfile
 
28
import time
 
29
 
 
30
from bzrlib import (
 
31
    branch as _mod_branch,
 
32
    bzrdir,
 
33
    commands,
 
34
    errors,
 
35
    osutils,
 
36
    patiencediff,
 
37
    textfile,
 
38
    timestamp,
 
39
    views,
 
40
    )
 
41
""")
 
42
 
 
43
from bzrlib.symbol_versioning import (
 
44
    deprecated_function,
 
45
    )
 
46
from bzrlib.trace import mutter, note, warning
 
47
 
 
48
 
 
49
# TODO: Rather than building a changeset object, we should probably
 
50
# invoke callbacks on an object.  That object can either accumulate a
 
51
# list, write them out directly, etc etc.
 
52
 
 
53
 
 
54
class _PrematchedMatcher(difflib.SequenceMatcher):
 
55
    """Allow SequenceMatcher operations to use predetermined blocks"""
 
56
 
 
57
    def __init__(self, matching_blocks):
 
58
        difflib.SequenceMatcher(self, None, None)
 
59
        self.matching_blocks = matching_blocks
 
60
        self.opcodes = None
 
61
 
 
62
 
 
63
def internal_diff(old_filename, oldlines, new_filename, newlines, to_file,
 
64
                  allow_binary=False, sequence_matcher=None,
 
65
                  path_encoding='utf8'):
 
66
    # FIXME: difflib is wrong if there is no trailing newline.
 
67
    # The syntax used by patch seems to be "\ No newline at
 
68
    # end of file" following the last diff line from that
 
69
    # file.  This is not trivial to insert into the
 
70
    # unified_diff output and it might be better to just fix
 
71
    # or replace that function.
 
72
 
 
73
    # In the meantime we at least make sure the patch isn't
 
74
    # mangled.
 
75
 
 
76
 
 
77
    # Special workaround for Python2.3, where difflib fails if
 
78
    # both sequences are empty.
 
79
    if not oldlines and not newlines:
 
80
        return
 
81
 
 
82
    if allow_binary is False:
 
83
        textfile.check_text_lines(oldlines)
 
84
        textfile.check_text_lines(newlines)
 
85
 
 
86
    if sequence_matcher is None:
 
87
        sequence_matcher = patiencediff.PatienceSequenceMatcher
 
88
    ud = patiencediff.unified_diff(oldlines, newlines,
 
89
                      fromfile=old_filename.encode(path_encoding),
 
90
                      tofile=new_filename.encode(path_encoding),
 
91
                      sequencematcher=sequence_matcher)
 
92
 
 
93
    ud = list(ud)
 
94
    if len(ud) == 0: # Identical contents, nothing to do
 
95
        return
 
96
    # work-around for difflib being too smart for its own good
 
97
    # if /dev/null is "1,0", patch won't recognize it as /dev/null
 
98
    if not oldlines:
 
99
        ud[2] = ud[2].replace('-1,0', '-0,0')
 
100
    elif not newlines:
 
101
        ud[2] = ud[2].replace('+1,0', '+0,0')
 
102
 
 
103
    for line in ud:
 
104
        to_file.write(line)
 
105
        if not line.endswith('\n'):
 
106
            to_file.write("\n\\ No newline at end of file\n")
 
107
    to_file.write('\n')
 
108
 
 
109
 
 
110
def _spawn_external_diff(diffcmd, capture_errors=True):
 
111
    """Spawn the externall diff process, and return the child handle.
 
112
 
 
113
    :param diffcmd: The command list to spawn
 
114
    :param capture_errors: Capture stderr as well as setting LANG=C
 
115
        and LC_ALL=C. This lets us read and understand the output of diff,
 
116
        and respond to any errors.
 
117
    :return: A Popen object.
 
118
    """
 
119
    if capture_errors:
 
120
        # construct minimal environment
 
121
        env = {}
 
122
        path = os.environ.get('PATH')
 
123
        if path is not None:
 
124
            env['PATH'] = path
 
125
        env['LANGUAGE'] = 'C'   # on win32 only LANGUAGE has effect
 
126
        env['LANG'] = 'C'
 
127
        env['LC_ALL'] = 'C'
 
128
        stderr = subprocess.PIPE
 
129
    else:
 
130
        env = None
 
131
        stderr = None
 
132
 
 
133
    try:
 
134
        pipe = subprocess.Popen(diffcmd,
 
135
                                stdin=subprocess.PIPE,
 
136
                                stdout=subprocess.PIPE,
 
137
                                stderr=stderr,
 
138
                                env=env)
 
139
    except OSError, e:
 
140
        if e.errno == errno.ENOENT:
 
141
            raise errors.NoDiff(str(e))
 
142
        raise
 
143
 
 
144
    return pipe
 
145
 
 
146
 
 
147
def external_diff(old_filename, oldlines, new_filename, newlines, to_file,
 
148
                  diff_opts):
 
149
    """Display a diff by calling out to the external diff program."""
 
150
    # make sure our own output is properly ordered before the diff
 
151
    to_file.flush()
 
152
 
 
153
    oldtmp_fd, old_abspath = tempfile.mkstemp(prefix='bzr-diff-old-')
 
154
    newtmp_fd, new_abspath = tempfile.mkstemp(prefix='bzr-diff-new-')
 
155
    oldtmpf = os.fdopen(oldtmp_fd, 'wb')
 
156
    newtmpf = os.fdopen(newtmp_fd, 'wb')
 
157
 
 
158
    try:
 
159
        # TODO: perhaps a special case for comparing to or from the empty
 
160
        # sequence; can just use /dev/null on Unix
 
161
 
 
162
        # TODO: if either of the files being compared already exists as a
 
163
        # regular named file (e.g. in the working directory) then we can
 
164
        # compare directly to that, rather than copying it.
 
165
 
 
166
        oldtmpf.writelines(oldlines)
 
167
        newtmpf.writelines(newlines)
 
168
 
 
169
        oldtmpf.close()
 
170
        newtmpf.close()
 
171
 
 
172
        if not diff_opts:
 
173
            diff_opts = []
 
174
        if sys.platform == 'win32':
 
175
            # Popen doesn't do the proper encoding for external commands
 
176
            # Since we are dealing with an ANSI api, use mbcs encoding
 
177
            old_filename = old_filename.encode('mbcs')
 
178
            new_filename = new_filename.encode('mbcs')
 
179
        diffcmd = ['diff',
 
180
                   '--label', old_filename,
 
181
                   old_abspath,
 
182
                   '--label', new_filename,
 
183
                   new_abspath,
 
184
                   '--binary',
 
185
                  ]
 
186
 
 
187
        # diff only allows one style to be specified; they don't override.
 
188
        # note that some of these take optargs, and the optargs can be
 
189
        # directly appended to the options.
 
190
        # this is only an approximate parser; it doesn't properly understand
 
191
        # the grammar.
 
192
        for s in ['-c', '-u', '-C', '-U',
 
193
                  '-e', '--ed',
 
194
                  '-q', '--brief',
 
195
                  '--normal',
 
196
                  '-n', '--rcs',
 
197
                  '-y', '--side-by-side',
 
198
                  '-D', '--ifdef']:
 
199
            for j in diff_opts:
 
200
                if j.startswith(s):
 
201
                    break
 
202
            else:
 
203
                continue
 
204
            break
 
205
        else:
 
206
            diffcmd.append('-u')
 
207
 
 
208
        if diff_opts:
 
209
            diffcmd.extend(diff_opts)
 
210
 
 
211
        pipe = _spawn_external_diff(diffcmd, capture_errors=True)
 
212
        out,err = pipe.communicate()
 
213
        rc = pipe.returncode
 
214
 
 
215
        # internal_diff() adds a trailing newline, add one here for consistency
 
216
        out += '\n'
 
217
        if rc == 2:
 
218
            # 'diff' gives retcode == 2 for all sorts of errors
 
219
            # one of those is 'Binary files differ'.
 
220
            # Bad options could also be the problem.
 
221
            # 'Binary files' is not a real error, so we suppress that error.
 
222
            lang_c_out = out
 
223
 
 
224
            # Since we got here, we want to make sure to give an i18n error
 
225
            pipe = _spawn_external_diff(diffcmd, capture_errors=False)
 
226
            out, err = pipe.communicate()
 
227
 
 
228
            # Write out the new i18n diff response
 
229
            to_file.write(out+'\n')
 
230
            if pipe.returncode != 2:
 
231
                raise errors.BzrError(
 
232
                               'external diff failed with exit code 2'
 
233
                               ' when run with LANG=C and LC_ALL=C,'
 
234
                               ' but not when run natively: %r' % (diffcmd,))
 
235
 
 
236
            first_line = lang_c_out.split('\n', 1)[0]
 
237
            # Starting with diffutils 2.8.4 the word "binary" was dropped.
 
238
            m = re.match('^(binary )?files.*differ$', first_line, re.I)
 
239
            if m is None:
 
240
                raise errors.BzrError('external diff failed with exit code 2;'
 
241
                                      ' command: %r' % (diffcmd,))
 
242
            else:
 
243
                # Binary files differ, just return
 
244
                return
 
245
 
 
246
        # If we got to here, we haven't written out the output of diff
 
247
        # do so now
 
248
        to_file.write(out)
 
249
        if rc not in (0, 1):
 
250
            # returns 1 if files differ; that's OK
 
251
            if rc < 0:
 
252
                msg = 'signal %d' % (-rc)
 
253
            else:
 
254
                msg = 'exit code %d' % rc
 
255
 
 
256
            raise errors.BzrError('external diff failed with %s; command: %r'
 
257
                                  % (rc, diffcmd))
 
258
 
 
259
 
 
260
    finally:
 
261
        oldtmpf.close()                 # and delete
 
262
        newtmpf.close()
 
263
        # Clean up. Warn in case the files couldn't be deleted
 
264
        # (in case windows still holds the file open, but not
 
265
        # if the files have already been deleted)
 
266
        try:
 
267
            os.remove(old_abspath)
 
268
        except OSError, e:
 
269
            if e.errno not in (errno.ENOENT,):
 
270
                warning('Failed to delete temporary file: %s %s',
 
271
                        old_abspath, e)
 
272
        try:
 
273
            os.remove(new_abspath)
 
274
        except OSError:
 
275
            if e.errno not in (errno.ENOENT,):
 
276
                warning('Failed to delete temporary file: %s %s',
 
277
                        new_abspath, e)
 
278
 
 
279
 
 
280
def get_trees_and_branches_to_diff(path_list, revision_specs, old_url, new_url,
 
281
                                   apply_view=True):
 
282
    """Get the trees and specific files to diff given a list of paths.
 
283
 
 
284
    This method works out the trees to be diff'ed and the files of
 
285
    interest within those trees.
 
286
 
 
287
    :param path_list:
 
288
        the list of arguments passed to the diff command
 
289
    :param revision_specs:
 
290
        Zero, one or two RevisionSpecs from the diff command line,
 
291
        saying what revisions to compare.
 
292
    :param old_url:
 
293
        The url of the old branch or tree. If None, the tree to use is
 
294
        taken from the first path, if any, or the current working tree.
 
295
    :param new_url:
 
296
        The url of the new branch or tree. If None, the tree to use is
 
297
        taken from the first path, if any, or the current working tree.
 
298
    :param apply_view:
 
299
        if True and a view is set, apply the view or check that the paths
 
300
        are within it
 
301
    :returns:
 
302
        a tuple of (old_tree, new_tree, specific_files, extra_trees) where
 
303
        extra_trees is a sequence of additional trees to search in for
 
304
        file-ids.
 
305
    """
 
306
    # Get the old and new revision specs
 
307
    old_revision_spec = None
 
308
    new_revision_spec = None
 
309
    if revision_specs is not None:
 
310
        if len(revision_specs) > 0:
 
311
            old_revision_spec = revision_specs[0]
 
312
            if old_url is None:
 
313
                old_url = old_revision_spec.get_branch()
 
314
        if len(revision_specs) > 1:
 
315
            new_revision_spec = revision_specs[1]
 
316
            if new_url is None:
 
317
                new_url = new_revision_spec.get_branch()
 
318
 
 
319
    other_paths = []
 
320
    make_paths_wt_relative = True
 
321
    consider_relpath = True
 
322
    if path_list is None or len(path_list) == 0:
 
323
        # If no path is given, the current working tree is used
 
324
        default_location = u'.'
 
325
        consider_relpath = False
 
326
    elif old_url is not None and new_url is not None:
 
327
        other_paths = path_list
 
328
        make_paths_wt_relative = False
 
329
    else:
 
330
        default_location = path_list[0]
 
331
        other_paths = path_list[1:]
 
332
 
 
333
    # Get the old location
 
334
    specific_files = []
 
335
    if old_url is None:
 
336
        old_url = default_location
 
337
    working_tree, branch, relpath = \
 
338
        bzrdir.BzrDir.open_containing_tree_or_branch(old_url)
 
339
    if consider_relpath and relpath != '':
 
340
        if working_tree is not None and apply_view:
 
341
            views.check_path_in_view(working_tree, relpath)
 
342
        specific_files.append(relpath)
 
343
    old_tree = _get_tree_to_diff(old_revision_spec, working_tree, branch)
 
344
    old_branch = branch
 
345
 
 
346
    # Get the new location
 
347
    if new_url is None:
 
348
        new_url = default_location
 
349
    if new_url != old_url:
 
350
        working_tree, branch, relpath = \
 
351
            bzrdir.BzrDir.open_containing_tree_or_branch(new_url)
 
352
        if consider_relpath and relpath != '':
 
353
            if working_tree is not None and apply_view:
 
354
                views.check_path_in_view(working_tree, relpath)
 
355
            specific_files.append(relpath)
 
356
    new_tree = _get_tree_to_diff(new_revision_spec, working_tree, branch,
 
357
        basis_is_default=working_tree is None)
 
358
    new_branch = branch
 
359
 
 
360
    # Get the specific files (all files is None, no files is [])
 
361
    if make_paths_wt_relative and working_tree is not None:
 
362
        try:
 
363
            from bzrlib.builtins import safe_relpath_files
 
364
            other_paths = safe_relpath_files(working_tree, other_paths,
 
365
            apply_view=apply_view)
 
366
        except errors.FileInWrongBranch:
 
367
            raise errors.BzrCommandError("Files are in different branches")
 
368
    specific_files.extend(other_paths)
 
369
    if len(specific_files) == 0:
 
370
        specific_files = None
 
371
        if (working_tree is not None and working_tree.supports_views()
 
372
            and apply_view):
 
373
            view_files = working_tree.views.lookup_view()
 
374
            if view_files:
 
375
                specific_files = view_files
 
376
                view_str = views.view_display_str(view_files)
 
377
                note("*** Ignoring files outside view. View is %s" % view_str)
 
378
 
 
379
    # Get extra trees that ought to be searched for file-ids
 
380
    extra_trees = None
 
381
    if working_tree is not None and working_tree not in (old_tree, new_tree):
 
382
        extra_trees = (working_tree,)
 
383
    return old_tree, new_tree, old_branch, new_branch, specific_files, extra_trees
 
384
 
 
385
def _get_tree_to_diff(spec, tree=None, branch=None, basis_is_default=True):
 
386
    if branch is None and tree is not None:
 
387
        branch = tree.branch
 
388
    if spec is None or spec.spec is None:
 
389
        if basis_is_default:
 
390
            if tree is not None:
 
391
                return tree.basis_tree()
 
392
            else:
 
393
                return branch.basis_tree()
 
394
        else:
 
395
            return tree
 
396
    return spec.as_tree(branch)
 
397
 
 
398
 
 
399
def show_diff_trees(old_tree, new_tree, to_file, specific_files=None,
 
400
                    external_diff_options=None,
 
401
                    old_label='a/', new_label='b/',
 
402
                    extra_trees=None,
 
403
                    path_encoding='utf8',
 
404
                    using=None):
 
405
    """Show in text form the changes from one tree to another.
 
406
 
 
407
    to_file
 
408
        The output stream.
 
409
 
 
410
    specific_files
 
411
        Include only changes to these files - None for all changes.
 
412
 
 
413
    external_diff_options
 
414
        If set, use an external GNU diff and pass these options.
 
415
 
 
416
    extra_trees
 
417
        If set, more Trees to use for looking up file ids
 
418
 
 
419
    path_encoding
 
420
        If set, the path will be encoded as specified, otherwise is supposed
 
421
        to be utf8
 
422
    """
 
423
    old_tree.lock_read()
 
424
    try:
 
425
        if extra_trees is not None:
 
426
            for tree in extra_trees:
 
427
                tree.lock_read()
 
428
        new_tree.lock_read()
 
429
        try:
 
430
            differ = DiffTree.from_trees_options(old_tree, new_tree, to_file,
 
431
                                                 path_encoding,
 
432
                                                 external_diff_options,
 
433
                                                 old_label, new_label, using)
 
434
            return differ.show_diff(specific_files, extra_trees)
 
435
        finally:
 
436
            new_tree.unlock()
 
437
            if extra_trees is not None:
 
438
                for tree in extra_trees:
 
439
                    tree.unlock()
 
440
    finally:
 
441
        old_tree.unlock()
 
442
 
 
443
 
 
444
def _patch_header_date(tree, file_id, path):
 
445
    """Returns a timestamp suitable for use in a patch header."""
 
446
    mtime = tree.get_file_mtime(file_id, path)
 
447
    return timestamp.format_patch_date(mtime)
 
448
 
 
449
 
 
450
def get_executable_change(old_is_x, new_is_x):
 
451
    descr = { True:"+x", False:"-x", None:"??" }
 
452
    if old_is_x != new_is_x:
 
453
        return ["%s to %s" % (descr[old_is_x], descr[new_is_x],)]
 
454
    else:
 
455
        return []
 
456
 
 
457
 
 
458
class DiffPath(object):
 
459
    """Base type for command object that compare files"""
 
460
 
 
461
    # The type or contents of the file were unsuitable for diffing
 
462
    CANNOT_DIFF = 'CANNOT_DIFF'
 
463
    # The file has changed in a semantic way
 
464
    CHANGED = 'CHANGED'
 
465
    # The file content may have changed, but there is no semantic change
 
466
    UNCHANGED = 'UNCHANGED'
 
467
 
 
468
    def __init__(self, old_tree, new_tree, to_file, path_encoding='utf-8'):
 
469
        """Constructor.
 
470
 
 
471
        :param old_tree: The tree to show as the old tree in the comparison
 
472
        :param new_tree: The tree to show as new in the comparison
 
473
        :param to_file: The file to write comparison data to
 
474
        :param path_encoding: The character encoding to write paths in
 
475
        """
 
476
        self.old_tree = old_tree
 
477
        self.new_tree = new_tree
 
478
        self.to_file = to_file
 
479
        self.path_encoding = path_encoding
 
480
 
 
481
    def finish(self):
 
482
        pass
 
483
 
 
484
    @classmethod
 
485
    def from_diff_tree(klass, diff_tree):
 
486
        return klass(diff_tree.old_tree, diff_tree.new_tree,
 
487
                     diff_tree.to_file, diff_tree.path_encoding)
 
488
 
 
489
    @staticmethod
 
490
    def _diff_many(differs, file_id, old_path, new_path, old_kind, new_kind):
 
491
        for file_differ in differs:
 
492
            result = file_differ.diff(file_id, old_path, new_path, old_kind,
 
493
                                      new_kind)
 
494
            if result is not DiffPath.CANNOT_DIFF:
 
495
                return result
 
496
        else:
 
497
            return DiffPath.CANNOT_DIFF
 
498
 
 
499
 
 
500
class DiffKindChange(object):
 
501
    """Special differ for file kind changes.
 
502
 
 
503
    Represents kind change as deletion + creation.  Uses the other differs
 
504
    to do this.
 
505
    """
 
506
    def __init__(self, differs):
 
507
        self.differs = differs
 
508
 
 
509
    def finish(self):
 
510
        pass
 
511
 
 
512
    @classmethod
 
513
    def from_diff_tree(klass, diff_tree):
 
514
        return klass(diff_tree.differs)
 
515
 
 
516
    def diff(self, file_id, old_path, new_path, old_kind, new_kind):
 
517
        """Perform comparison
 
518
 
 
519
        :param file_id: The file_id of the file to compare
 
520
        :param old_path: Path of the file in the old tree
 
521
        :param new_path: Path of the file in the new tree
 
522
        :param old_kind: Old file-kind of the file
 
523
        :param new_kind: New file-kind of the file
 
524
        """
 
525
        if None in (old_kind, new_kind):
 
526
            return DiffPath.CANNOT_DIFF
 
527
        result = DiffPath._diff_many(self.differs, file_id, old_path,
 
528
                                       new_path, old_kind, None)
 
529
        if result is DiffPath.CANNOT_DIFF:
 
530
            return result
 
531
        return DiffPath._diff_many(self.differs, file_id, old_path, new_path,
 
532
                                     None, new_kind)
 
533
 
 
534
 
 
535
class DiffDirectory(DiffPath):
 
536
 
 
537
    def diff(self, file_id, old_path, new_path, old_kind, new_kind):
 
538
        """Perform comparison between two directories.  (dummy)
 
539
 
 
540
        """
 
541
        if 'directory' not in (old_kind, new_kind):
 
542
            return self.CANNOT_DIFF
 
543
        if old_kind not in ('directory', None):
 
544
            return self.CANNOT_DIFF
 
545
        if new_kind not in ('directory', None):
 
546
            return self.CANNOT_DIFF
 
547
        return self.CHANGED
 
548
 
 
549
 
 
550
class DiffSymlink(DiffPath):
 
551
 
 
552
    def diff(self, file_id, old_path, new_path, old_kind, new_kind):
 
553
        """Perform comparison between two symlinks
 
554
 
 
555
        :param file_id: The file_id of the file to compare
 
556
        :param old_path: Path of the file in the old tree
 
557
        :param new_path: Path of the file in the new tree
 
558
        :param old_kind: Old file-kind of the file
 
559
        :param new_kind: New file-kind of the file
 
560
        """
 
561
        if 'symlink' not in (old_kind, new_kind):
 
562
            return self.CANNOT_DIFF
 
563
        if old_kind == 'symlink':
 
564
            old_target = self.old_tree.get_symlink_target(file_id)
 
565
        elif old_kind is None:
 
566
            old_target = None
 
567
        else:
 
568
            return self.CANNOT_DIFF
 
569
        if new_kind == 'symlink':
 
570
            new_target = self.new_tree.get_symlink_target(file_id)
 
571
        elif new_kind is None:
 
572
            new_target = None
 
573
        else:
 
574
            return self.CANNOT_DIFF
 
575
        return self.diff_symlink(old_target, new_target)
 
576
 
 
577
    def diff_symlink(self, old_target, new_target):
 
578
        if old_target is None:
 
579
            self.to_file.write('=== target is %r\n' % new_target)
 
580
        elif new_target is None:
 
581
            self.to_file.write('=== target was %r\n' % old_target)
 
582
        else:
 
583
            self.to_file.write('=== target changed %r => %r\n' %
 
584
                              (old_target, new_target))
 
585
        return self.CHANGED
 
586
 
 
587
 
 
588
class DiffText(DiffPath):
 
589
 
 
590
    # GNU Patch uses the epoch date to detect files that are being added
 
591
    # or removed in a diff.
 
592
    EPOCH_DATE = '1970-01-01 00:00:00 +0000'
 
593
 
 
594
    def __init__(self, old_tree, new_tree, to_file, path_encoding='utf-8',
 
595
                 old_label='', new_label='', text_differ=internal_diff):
 
596
        DiffPath.__init__(self, old_tree, new_tree, to_file, path_encoding)
 
597
        self.text_differ = text_differ
 
598
        self.old_label = old_label
 
599
        self.new_label = new_label
 
600
        self.path_encoding = path_encoding
 
601
 
 
602
    def diff(self, file_id, old_path, new_path, old_kind, new_kind):
 
603
        """Compare two files in unified diff format
 
604
 
 
605
        :param file_id: The file_id of the file to compare
 
606
        :param old_path: Path of the file in the old tree
 
607
        :param new_path: Path of the file in the new tree
 
608
        :param old_kind: Old file-kind of the file
 
609
        :param new_kind: New file-kind of the file
 
610
        """
 
611
        if 'file' not in (old_kind, new_kind):
 
612
            return self.CANNOT_DIFF
 
613
        from_file_id = to_file_id = file_id
 
614
        if old_kind == 'file':
 
615
            old_date = _patch_header_date(self.old_tree, file_id, old_path)
 
616
        elif old_kind is None:
 
617
            old_date = self.EPOCH_DATE
 
618
            from_file_id = None
 
619
        else:
 
620
            return self.CANNOT_DIFF
 
621
        if new_kind == 'file':
 
622
            new_date = _patch_header_date(self.new_tree, file_id, new_path)
 
623
        elif new_kind is None:
 
624
            new_date = self.EPOCH_DATE
 
625
            to_file_id = None
 
626
        else:
 
627
            return self.CANNOT_DIFF
 
628
        from_label = '%s%s\t%s' % (self.old_label, old_path, old_date)
 
629
        to_label = '%s%s\t%s' % (self.new_label, new_path, new_date)
 
630
        return self.diff_text(from_file_id, to_file_id, from_label, to_label,
 
631
            old_path, new_path)
 
632
 
 
633
    def diff_text(self, from_file_id, to_file_id, from_label, to_label,
 
634
        from_path=None, to_path=None):
 
635
        """Diff the content of given files in two trees
 
636
 
 
637
        :param from_file_id: The id of the file in the from tree.  If None,
 
638
            the file is not present in the from tree.
 
639
        :param to_file_id: The id of the file in the to tree.  This may refer
 
640
            to a different file from from_file_id.  If None,
 
641
            the file is not present in the to tree.
 
642
        :param from_path: The path in the from tree or None if unknown.
 
643
        :param to_path: The path in the to tree or None if unknown.
 
644
        """
 
645
        def _get_text(tree, file_id, path):
 
646
            if file_id is not None:
 
647
                return tree.get_file(file_id, path).readlines()
 
648
            else:
 
649
                return []
 
650
        try:
 
651
            from_text = _get_text(self.old_tree, from_file_id, from_path)
 
652
            to_text = _get_text(self.new_tree, to_file_id, to_path)
 
653
            self.text_differ(from_label, from_text, to_label, to_text,
 
654
                             self.to_file)
 
655
        except errors.BinaryFile:
 
656
            self.to_file.write(
 
657
                  ("Binary files %s and %s differ\n" %
 
658
                  (from_label, to_label)).encode(self.path_encoding))
 
659
        return self.CHANGED
 
660
 
 
661
 
 
662
class DiffFromTool(DiffPath):
 
663
 
 
664
    def __init__(self, command_template, old_tree, new_tree, to_file,
 
665
                 path_encoding='utf-8'):
 
666
        DiffPath.__init__(self, old_tree, new_tree, to_file, path_encoding)
 
667
        self.command_template = command_template
 
668
        self._root = osutils.mkdtemp(prefix='bzr-diff-')
 
669
 
 
670
    @classmethod
 
671
    def from_string(klass, command_string, old_tree, new_tree, to_file,
 
672
                    path_encoding='utf-8'):
 
673
        command_template = commands.shlex_split_unicode(command_string)
 
674
        command_template.extend(['%(old_path)s', '%(new_path)s'])
 
675
        return klass(command_template, old_tree, new_tree, to_file,
 
676
                     path_encoding)
 
677
 
 
678
    @classmethod
 
679
    def make_from_diff_tree(klass, command_string):
 
680
        def from_diff_tree(diff_tree):
 
681
            return klass.from_string(command_string, diff_tree.old_tree,
 
682
                                     diff_tree.new_tree, diff_tree.to_file)
 
683
        return from_diff_tree
 
684
 
 
685
    def _get_command(self, old_path, new_path):
 
686
        my_map = {'old_path': old_path, 'new_path': new_path}
 
687
        return [t % my_map for t in self.command_template]
 
688
 
 
689
    def _execute(self, old_path, new_path):
 
690
        command = self._get_command(old_path, new_path)
 
691
        try:
 
692
            proc = subprocess.Popen(command, stdout=subprocess.PIPE,
 
693
                                    cwd=self._root)
 
694
        except OSError, e:
 
695
            if e.errno == errno.ENOENT:
 
696
                raise errors.ExecutableMissing(command[0])
 
697
            else:
 
698
                raise
 
699
        self.to_file.write(proc.stdout.read())
 
700
        return proc.wait()
 
701
 
 
702
    def _try_symlink_root(self, tree, prefix):
 
703
        if (getattr(tree, 'abspath', None) is None
 
704
            or not osutils.host_os_dereferences_symlinks()):
 
705
            return False
 
706
        try:
 
707
            os.symlink(tree.abspath(''), osutils.pathjoin(self._root, prefix))
 
708
        except OSError, e:
 
709
            if e.errno != errno.EEXIST:
 
710
                raise
 
711
        return True
 
712
 
 
713
    def _write_file(self, file_id, tree, prefix, relpath):
 
714
        full_path = osutils.pathjoin(self._root, prefix, relpath)
 
715
        if self._try_symlink_root(tree, prefix):
 
716
            return full_path
 
717
        parent_dir = osutils.dirname(full_path)
 
718
        try:
 
719
            os.makedirs(parent_dir)
 
720
        except OSError, e:
 
721
            if e.errno != errno.EEXIST:
 
722
                raise
 
723
        source = tree.get_file(file_id, relpath)
 
724
        try:
 
725
            target = open(full_path, 'wb')
 
726
            try:
 
727
                osutils.pumpfile(source, target)
 
728
            finally:
 
729
                target.close()
 
730
        finally:
 
731
            source.close()
 
732
        osutils.make_readonly(full_path)
 
733
        mtime = tree.get_file_mtime(file_id)
 
734
        os.utime(full_path, (mtime, mtime))
 
735
        return full_path
 
736
 
 
737
    def _prepare_files(self, file_id, old_path, new_path):
 
738
        old_disk_path = self._write_file(file_id, self.old_tree, 'old',
 
739
                                         old_path)
 
740
        new_disk_path = self._write_file(file_id, self.new_tree, 'new',
 
741
                                         new_path)
 
742
        return old_disk_path, new_disk_path
 
743
 
 
744
    def finish(self):
 
745
        try:
 
746
            osutils.rmtree(self._root)
 
747
        except OSError, e:
 
748
            if e.errno != errno.ENOENT:
 
749
                mutter("The temporary directory \"%s\" was not "
 
750
                        "cleanly removed: %s." % (self._root, e))
 
751
 
 
752
    def diff(self, file_id, old_path, new_path, old_kind, new_kind):
 
753
        if (old_kind, new_kind) != ('file', 'file'):
 
754
            return DiffPath.CANNOT_DIFF
 
755
        self._prepare_files(file_id, old_path, new_path)
 
756
        self._execute(osutils.pathjoin('old', old_path),
 
757
                      osutils.pathjoin('new', new_path))
 
758
 
 
759
 
 
760
class DiffTree(object):
 
761
    """Provides textual representations of the difference between two trees.
 
762
 
 
763
    A DiffTree examines two trees and where a file-id has altered
 
764
    between them, generates a textual representation of the difference.
 
765
    DiffTree uses a sequence of DiffPath objects which are each
 
766
    given the opportunity to handle a given altered fileid. The list
 
767
    of DiffPath objects can be extended globally by appending to
 
768
    DiffTree.diff_factories, or for a specific diff operation by
 
769
    supplying the extra_factories option to the appropriate method.
 
770
    """
 
771
 
 
772
    # list of factories that can provide instances of DiffPath objects
 
773
    # may be extended by plugins.
 
774
    diff_factories = [DiffSymlink.from_diff_tree,
 
775
                      DiffDirectory.from_diff_tree]
 
776
 
 
777
    def __init__(self, old_tree, new_tree, to_file, path_encoding='utf-8',
 
778
                 diff_text=None, extra_factories=None):
 
779
        """Constructor
 
780
 
 
781
        :param old_tree: Tree to show as old in the comparison
 
782
        :param new_tree: Tree to show as new in the comparison
 
783
        :param to_file: File to write comparision to
 
784
        :param path_encoding: Character encoding to write paths in
 
785
        :param diff_text: DiffPath-type object to use as a last resort for
 
786
            diffing text files.
 
787
        :param extra_factories: Factories of DiffPaths to try before any other
 
788
            DiffPaths"""
 
789
        if diff_text is None:
 
790
            diff_text = DiffText(old_tree, new_tree, to_file, path_encoding,
 
791
                                 '', '',  internal_diff)
 
792
        self.old_tree = old_tree
 
793
        self.new_tree = new_tree
 
794
        self.to_file = to_file
 
795
        self.path_encoding = path_encoding
 
796
        self.differs = []
 
797
        if extra_factories is not None:
 
798
            self.differs.extend(f(self) for f in extra_factories)
 
799
        self.differs.extend(f(self) for f in self.diff_factories)
 
800
        self.differs.extend([diff_text, DiffKindChange.from_diff_tree(self)])
 
801
 
 
802
    @classmethod
 
803
    def from_trees_options(klass, old_tree, new_tree, to_file,
 
804
                           path_encoding, external_diff_options, old_label,
 
805
                           new_label, using):
 
806
        """Factory for producing a DiffTree.
 
807
 
 
808
        Designed to accept options used by show_diff_trees.
 
809
        :param old_tree: The tree to show as old in the comparison
 
810
        :param new_tree: The tree to show as new in the comparison
 
811
        :param to_file: File to write comparisons to
 
812
        :param path_encoding: Character encoding to use for writing paths
 
813
        :param external_diff_options: If supplied, use the installed diff
 
814
            binary to perform file comparison, using supplied options.
 
815
        :param old_label: Prefix to use for old file labels
 
816
        :param new_label: Prefix to use for new file labels
 
817
        :param using: Commandline to use to invoke an external diff tool
 
818
        """
 
819
        if using is not None:
 
820
            extra_factories = [DiffFromTool.make_from_diff_tree(using)]
 
821
        else:
 
822
            extra_factories = []
 
823
        if external_diff_options:
 
824
            opts = external_diff_options.split()
 
825
            def diff_file(olab, olines, nlab, nlines, to_file):
 
826
                external_diff(olab, olines, nlab, nlines, to_file, opts)
 
827
        else:
 
828
            diff_file = internal_diff
 
829
        diff_text = DiffText(old_tree, new_tree, to_file, path_encoding,
 
830
                             old_label, new_label, diff_file)
 
831
        return klass(old_tree, new_tree, to_file, path_encoding, diff_text,
 
832
                     extra_factories)
 
833
 
 
834
    def show_diff(self, specific_files, extra_trees=None):
 
835
        """Write tree diff to self.to_file
 
836
 
 
837
        :param sepecific_files: the specific files to compare (recursive)
 
838
        :param extra_trees: extra trees to use for mapping paths to file_ids
 
839
        """
 
840
        try:
 
841
            return self._show_diff(specific_files, extra_trees)
 
842
        finally:
 
843
            for differ in self.differs:
 
844
                differ.finish()
 
845
 
 
846
    def _show_diff(self, specific_files, extra_trees):
 
847
        # TODO: Generation of pseudo-diffs for added/deleted files could
 
848
        # be usefully made into a much faster special case.
 
849
        iterator = self.new_tree.iter_changes(self.old_tree,
 
850
                                               specific_files=specific_files,
 
851
                                               extra_trees=extra_trees,
 
852
                                               require_versioned=True)
 
853
        has_changes = 0
 
854
        def changes_key(change):
 
855
            old_path, new_path = change[1]
 
856
            path = new_path
 
857
            if path is None:
 
858
                path = old_path
 
859
            return path
 
860
        def get_encoded_path(path):
 
861
            if path is not None:
 
862
                return path.encode(self.path_encoding, "replace")
 
863
        for (file_id, paths, changed_content, versioned, parent, name, kind,
 
864
             executable) in sorted(iterator, key=changes_key):
 
865
            # The root does not get diffed, and items with no known kind (that
 
866
            # is, missing) in both trees are skipped as well.
 
867
            if parent == (None, None) or kind == (None, None):
 
868
                continue
 
869
            oldpath, newpath = paths
 
870
            oldpath_encoded = get_encoded_path(paths[0])
 
871
            newpath_encoded = get_encoded_path(paths[1])
 
872
            old_present = (kind[0] is not None and versioned[0])
 
873
            new_present = (kind[1] is not None and versioned[1])
 
874
            renamed = (parent[0], name[0]) != (parent[1], name[1])
 
875
 
 
876
            properties_changed = []
 
877
            properties_changed.extend(get_executable_change(executable[0], executable[1]))
 
878
 
 
879
            if properties_changed:
 
880
                prop_str = " (properties changed: %s)" % (", ".join(properties_changed),)
 
881
            else:
 
882
                prop_str = ""
 
883
 
 
884
            if (old_present, new_present) == (True, False):
 
885
                self.to_file.write("=== removed %s '%s'\n" %
 
886
                                   (kind[0], oldpath_encoded))
 
887
                newpath = oldpath
 
888
            elif (old_present, new_present) == (False, True):
 
889
                self.to_file.write("=== added %s '%s'\n" %
 
890
                                   (kind[1], newpath_encoded))
 
891
                oldpath = newpath
 
892
            elif renamed:
 
893
                self.to_file.write("=== renamed %s '%s' => '%s'%s\n" %
 
894
                    (kind[0], oldpath_encoded, newpath_encoded, prop_str))
 
895
            else:
 
896
                # if it was produced by iter_changes, it must be
 
897
                # modified *somehow*, either content or execute bit.
 
898
                self.to_file.write("=== modified %s '%s'%s\n" % (kind[0],
 
899
                                   newpath_encoded, prop_str))
 
900
            if changed_content:
 
901
                self._diff(file_id, oldpath, newpath, kind[0], kind[1])
 
902
                has_changes = 1
 
903
            if renamed:
 
904
                has_changes = 1
 
905
        return has_changes
 
906
 
 
907
    def diff(self, file_id, old_path, new_path):
 
908
        """Perform a diff of a single file
 
909
 
 
910
        :param file_id: file-id of the file
 
911
        :param old_path: The path of the file in the old tree
 
912
        :param new_path: The path of the file in the new tree
 
913
        """
 
914
        try:
 
915
            old_kind = self.old_tree.kind(file_id)
 
916
        except (errors.NoSuchId, errors.NoSuchFile):
 
917
            old_kind = None
 
918
        try:
 
919
            new_kind = self.new_tree.kind(file_id)
 
920
        except (errors.NoSuchId, errors.NoSuchFile):
 
921
            new_kind = None
 
922
        self._diff(file_id, old_path, new_path, old_kind, new_kind)
 
923
 
 
924
 
 
925
    def _diff(self, file_id, old_path, new_path, old_kind, new_kind):
 
926
        result = DiffPath._diff_many(self.differs, file_id, old_path,
 
927
                                       new_path, old_kind, new_kind)
 
928
        if result is DiffPath.CANNOT_DIFF:
 
929
            error_path = new_path
 
930
            if error_path is None:
 
931
                error_path = old_path
 
932
            raise errors.NoDiffFound(error_path)