/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/annotate.py

  • Committer: Colin D Bennett
  • Date: 2009-02-12 16:57:39 UTC
  • mto: This revision was merged to the branch mainline in revision 4008.
  • Revision ID: colin@gibibit.com-20090212165739-02xv63odccfmxomw
Generate PDF version of the User Guide.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/annotate.py
1
 
# Copyright (C) 2005-2010 Canonical Ltd
 
1
# Copyright (C) 2004, 2005, 2006, 2007 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
"""File annotate based on weave storage"""
18
18
 
19
 
from __future__ import absolute_import
20
 
 
21
19
# TODO: Choice of more or less verbose formats:
22
 
#
 
20
# 
23
21
# interposed: show more details between blocks of modified lines
24
22
 
25
23
# TODO: Show which revision caused a line to merge into the parent
26
24
 
27
25
# TODO: perhaps abbreviate timescales depending on how recent they are
28
 
# e.g. "3:12 Tue", "13 Oct", "Oct 2005", etc.
 
26
# e.g. "3:12 Tue", "13 Oct", "Oct 2005", etc.  
29
27
 
30
28
import sys
31
29
import time
32
30
 
33
 
from .lazy_import import lazy_import
34
 
lazy_import(globals(), """
35
 
from breezy import (
 
31
from bzrlib import (
 
32
    errors,
 
33
    osutils,
36
34
    patiencediff,
37
35
    tsort,
38
36
    )
39
 
""")
40
 
from . import (
41
 
    osutils,
42
 
    )
43
 
from .config import (
44
 
    NoEmailInUsername,
45
 
    NoWhoami,
46
 
    extract_email_address,
47
 
    )
48
 
from .repository import _strip_NULL_ghosts
49
 
from .revision import (
50
 
    CURRENT_REVISION,
51
 
    Revision,
52
 
    )
53
 
 
54
 
 
55
 
def annotate_file_tree(tree, path, to_file, verbose=False, full=False,
56
 
                       show_ids=False, branch=None):
57
 
    """Annotate path in a tree.
 
37
from bzrlib.config import extract_email_address
 
38
from bzrlib.repository import _strip_NULL_ghosts
 
39
from bzrlib.revision import CURRENT_REVISION, Revision
 
40
 
 
41
 
 
42
def annotate_file(branch, rev_id, file_id, verbose=False, full=False,
 
43
                  to_file=None, show_ids=False):
 
44
    """Annotate file_id at revision rev_id in branch.
 
45
 
 
46
    The branch should already be read_locked() when annotate_file is called.
 
47
 
 
48
    :param branch: The branch to look for revision numbers and history from.
 
49
    :param rev_id: The revision id to annotate.
 
50
    :param file_id: The file_id to annotate.
 
51
    :param verbose: Show all details rather than truncating to ensure
 
52
        reasonable text width.
 
53
    :param full: XXXX Not sure what this does.
 
54
    :param to_file: The file to output the annotation to; if None stdout is
 
55
        used.
 
56
    :param show_ids: Show revision ids in the annotation output.
 
57
    """
 
58
    if to_file is None:
 
59
        to_file = sys.stdout
 
60
 
 
61
    # Handle the show_ids case
 
62
    annotations = _annotations(branch.repository, file_id, rev_id)
 
63
    if show_ids:
 
64
        return _show_id_annotations(annotations, to_file, full)
 
65
 
 
66
    # Calculate the lengths of the various columns
 
67
    annotation = list(_expand_annotations(annotations, branch))
 
68
    _print_annotations(annotation, verbose, to_file, full)
 
69
 
 
70
 
 
71
def annotate_file_tree(tree, file_id, to_file, verbose=False, full=False,
 
72
    show_ids=False):
 
73
    """Annotate file_id in a tree.
58
74
 
59
75
    The tree should already be read_locked() when annotate_file_tree is called.
60
76
 
61
77
    :param tree: The tree to look for revision numbers and history from.
62
 
    :param path: The path to annotate
 
78
    :param file_id: The file_id to annotate.
63
79
    :param to_file: The file to output the annotation to.
64
80
    :param verbose: Show all details rather than truncating to ensure
65
81
        reasonable text width.
66
82
    :param full: XXXX Not sure what this does.
67
83
    :param show_ids: Show revision ids in the annotation output.
68
 
    :param branch: Branch to use for revision revno lookups
69
84
    """
70
 
    if branch is None:
71
 
        branch = tree.branch
72
 
    if to_file is None:
73
 
        to_file = sys.stdout
 
85
    rev_id = tree.last_revision()
 
86
    branch = tree.branch
74
87
 
75
 
    encoding = osutils.get_terminal_encoding()
76
88
    # Handle the show_ids case
77
 
    annotations = list(tree.annotate_iter(path))
 
89
    annotations = list(tree.annotate_iter(file_id))
78
90
    if show_ids:
79
 
        return _show_id_annotations(annotations, to_file, full, encoding)
80
 
 
81
 
    if not getattr(tree, "get_revision_id", False):
82
 
        # Create a virtual revision to represent the current tree state.
83
 
        # Should get some more pending commit attributes, like pending tags,
84
 
        # bugfixes etc.
85
 
        current_rev = Revision(CURRENT_REVISION)
86
 
        current_rev.parent_ids = tree.get_parent_ids()
87
 
        try:
88
 
            current_rev.committer = branch.get_config_stack().get('email')
89
 
        except NoWhoami:
90
 
            current_rev.committer = 'local user'
91
 
        current_rev.message = "?"
92
 
        current_rev.timestamp = round(time.time(), 3)
93
 
        current_rev.timezone = osutils.local_time_offset()
94
 
    else:
95
 
        current_rev = None
96
 
    annotation = list(_expand_annotations(
97
 
        annotations, branch, current_rev))
98
 
    _print_annotations(annotation, verbose, to_file, full, encoding)
99
 
 
100
 
 
101
 
def _print_annotations(annotation, verbose, to_file, full, encoding):
 
91
        return _show_id_annotations(annotations, to_file, full)
 
92
 
 
93
    # Create a virtual revision to represent the current tree state.
 
94
    # Should get some more pending commit attributes, like pending tags,
 
95
    # bugfixes etc.
 
96
    current_rev = Revision(CURRENT_REVISION)
 
97
    current_rev.parent_ids = tree.get_parent_ids()
 
98
    current_rev.committer = tree.branch.get_config().username()
 
99
    current_rev.message = "?"
 
100
    current_rev.timestamp = round(time.time(), 3)
 
101
    current_rev.timezone = osutils.local_time_offset()
 
102
    annotation = list(_expand_annotations(annotations, tree.branch,
 
103
        current_rev))
 
104
    _print_annotations(annotation, verbose, to_file, full)
 
105
 
 
106
 
 
107
def _print_annotations(annotation, verbose, to_file, full):
102
108
    """Print annotations to to_file.
103
109
 
104
110
    :param to_file: The file to output the annotation to.
107
113
    :param full: XXXX Not sure what this does.
108
114
    """
109
115
    if len(annotation) == 0:
110
 
        max_origin_len = max_revno_len = 0
 
116
        max_origin_len = max_revno_len = max_revid_len = 0
111
117
    else:
112
118
        max_origin_len = max(len(x[1]) for x in annotation)
113
119
        max_revno_len = max(len(x[0]) for x in annotation)
 
120
        max_revid_len = max(len(x[3]) for x in annotation)
114
121
    if not verbose:
115
122
        max_revno_len = min(max_revno_len, 12)
116
123
    max_revno_len = max(max_revno_len, 3)
117
124
 
118
125
    # Output the annotations
119
126
    prevanno = ''
 
127
    encoding = getattr(to_file, 'encoding', None) or \
 
128
            osutils.get_terminal_encoding()
120
129
    for (revno_str, author, date_str, line_rev_id, text) in annotation:
121
130
        if verbose:
122
131
            anno = '%-*s %-*s %8s ' % (max_revno_len, revno_str,
123
132
                                       max_origin_len, author, date_str)
124
133
        else:
125
134
            if len(revno_str) > max_revno_len:
126
 
                revno_str = revno_str[:max_revno_len - 1] + '>'
 
135
                revno_str = revno_str[:max_revno_len-1] + '>'
127
136
            anno = "%-*s %-7s " % (max_revno_len, revno_str, author[:7])
128
137
        if anno.lstrip() == "" and full:
129
138
            anno = prevanno
130
 
        # GZ 2017-05-21: Writing both unicode annotation and bytes from file
131
 
        # which the given to_file must cope with.
132
 
        to_file.write(anno)
133
 
        to_file.write('| %s\n' % (text.decode(encoding),))
 
139
        try:
 
140
            to_file.write(anno)
 
141
        except UnicodeEncodeError:
 
142
            # cmd_annotate should be passing in an 'exact' object, which means
 
143
            # we have a direct handle to sys.stdout or equivalent. It may not
 
144
            # be able to handle the exact Unicode characters, but 'annotate' is
 
145
            # a user function (non-scripting), so shouldn't die because of
 
146
            # unrepresentable annotation characters. So encode using 'replace',
 
147
            # and write them again.
 
148
            to_file.write(anno.encode(encoding, 'replace'))
 
149
        to_file.write('| %s\n' % (text,))
134
150
        prevanno = anno
135
151
 
136
152
 
137
 
def _show_id_annotations(annotations, to_file, full, encoding):
 
153
def _show_id_annotations(annotations, to_file, full):
138
154
    if not annotations:
139
155
        return
140
156
    last_rev_id = None
143
159
        if full or last_rev_id != origin:
144
160
            this = origin
145
161
        else:
146
 
            this = b''
147
 
        to_file.write('%*s | %s' % (
148
 
            max_origin_len, this.decode('utf-8'), text.decode(encoding)))
 
162
            this = ''
 
163
        to_file.write('%*s | %s' % (max_origin_len, this, text))
149
164
        last_rev_id = origin
150
165
    return
151
166
 
152
167
 
 
168
def _annotations(repo, file_id, rev_id):
 
169
    """Return the list of (origin_revision_id, line_text) for a revision of a file in a repository."""
 
170
    annotations = repo.texts.annotate((file_id, rev_id))
 
171
    # 
 
172
    return [(key[-1], line) for (key, line) in annotations]
 
173
 
 
174
 
153
175
def _expand_annotations(annotations, branch, current_rev=None):
154
 
    """Expand a file's annotations into command line UI ready tuples.
 
176
    """Expand a a files annotations into command line UI ready tuples.
155
177
 
156
178
    Each tuple includes detailed information, such as the author name, and date
157
179
    string for the commit, rather than just the revision id.
161
183
    :param branch: A locked branch to query for revision details.
162
184
    """
163
185
    repository = branch.repository
164
 
    revision_ids = set(o for o, t in annotations)
165
186
    if current_rev is not None:
166
 
        # This can probably become a function on MutableTree, get_revno_map
167
 
        # there, or something.
 
187
        # This can probably become a function on MutableTree, get_revno_map there,
 
188
        # or something.
168
189
        last_revision = current_rev.revision_id
169
190
        # XXX: Partially Cloned from branch, uses the old_get_graph, eep.
170
 
        # XXX: The main difficulty is that we need to inject a single new node
171
 
        #      (current_rev) into the graph before it gets numbered, etc.
172
 
        #      Once KnownGraph gets an 'add_node()' function, we can use
173
 
        #      VF.get_known_graph_ancestry().
174
191
        graph = repository.get_graph()
175
 
        revision_graph = {
176
 
            key: value for key, value in
177
 
            graph.iter_ancestry(current_rev.parent_ids) if value is not None}
 
192
        revision_graph = dict(((key, value) for key, value in
 
193
            graph.iter_ancestry(current_rev.parent_ids) if value is not None))
178
194
        revision_graph = _strip_NULL_ghosts(revision_graph)
179
195
        revision_graph[last_revision] = current_rev.parent_ids
180
196
        merge_sorted_revisions = tsort.merge_sort(
182
198
            last_revision,
183
199
            None,
184
200
            generate_revno=True)
185
 
        revision_id_to_revno = {
186
 
            rev_id: revno
 
201
        revision_id_to_revno = dict((rev_id, revno)
187
202
            for seq_num, rev_id, depth, revno, end_of_merge in
188
 
            merge_sorted_revisions}
 
203
                merge_sorted_revisions)
189
204
    else:
190
 
        # TODO(jelmer): Only look up the revision ids that we need (i.e. those
191
 
        # in revision_ids). Possibly add a HPSS call that can look those up
192
 
        # in bulk over HPSS.
193
205
        revision_id_to_revno = branch.get_revision_id_to_revno_map()
194
206
    last_origin = None
 
207
    revision_ids = set(o for o, t in annotations)
195
208
    revisions = {}
196
209
    if CURRENT_REVISION in revision_ids:
197
210
        revision_id_to_revno[CURRENT_REVISION] = (
198
211
            "%d?" % (branch.revno() + 1),)
199
212
        revisions[CURRENT_REVISION] = current_rev
200
 
    revisions.update(
201
 
        entry for entry in
202
 
        repository.iter_revisions(revision_ids)
203
 
        if entry[1] is not None)
 
213
    revision_ids = [o for o in revision_ids if 
 
214
                    repository.has_revision(o)]
 
215
    revisions.update((r.revision_id, r) for r in 
 
216
                     repository.get_revisions(revision_ids))
204
217
    for origin, text in annotations:
205
 
        text = text.rstrip(b'\r\n')
 
218
        text = text.rstrip('\r\n')
206
219
        if origin == last_origin:
207
 
            (revno_str, author, date_str) = ('', '', '')
 
220
            (revno_str, author, date_str) = ('','','')
208
221
        else:
209
222
            last_origin = origin
210
223
            if origin not in revisions:
211
 
                (revno_str, author, date_str) = ('?', '?', '?')
 
224
                (revno_str, author, date_str) = ('?','?','?')
212
225
            else:
213
 
                revno_str = '.'.join(
214
 
                    str(i) for i in revision_id_to_revno[origin])
 
226
                revno_str = '.'.join(str(i) for i in
 
227
                                            revision_id_to_revno[origin])
215
228
            rev = revisions[origin]
216
229
            tz = rev.timezone or 0
217
230
            date_str = time.strftime('%Y%m%d',
218
231
                                     time.gmtime(rev.timestamp + tz))
219
232
            # a lazy way to get something like the email address
220
233
            # TODO: Get real email address
221
 
            author = rev.get_apparent_authors()[0]
 
234
            author = rev.get_apparent_author()
222
235
            try:
223
236
                author = extract_email_address(author)
224
 
            except NoEmailInUsername:
 
237
            except errors.NoEmailInUsername:
225
238
                pass        # use the whole name
226
239
        yield (revno_str, author, date_str, origin, text)
227
240
 
230
243
               _left_matching_blocks=None,
231
244
               heads_provider=None):
232
245
    """Create a new annotated version from new lines and parent annotations.
233
 
 
 
246
    
234
247
    :param parents_lines: List of annotated lines for all parents
235
248
    :param new_lines: The un-annotated new lines
236
249
    :param new_revision_id: The revision-id to associate with new lines
239
252
        between the text and its left-hand-parent.  The format is
240
253
        the SequenceMatcher.get_matching_blocks format
241
254
        (start_left, start_right, length_of_match).
242
 
    :param heads_provider: An object which provides a .heads() call to resolve
 
255
    :param heads_provider: An object which provids a .heads() call to resolve
243
256
        if any revision ids are children of others.
244
257
        If None, then any ancestry disputes will be resolved with
245
258
        new_revision_id
282
295
    new_cur = 0
283
296
    if matching_blocks is None:
284
297
        plain_parent_lines = [l for r, l in parent_lines]
285
 
        matcher = patiencediff.PatienceSequenceMatcher(
286
 
            None, plain_parent_lines, new_lines)
 
298
        matcher = patiencediff.PatienceSequenceMatcher(None,
 
299
            plain_parent_lines, new_lines)
287
300
        matching_blocks = matcher.get_matching_blocks()
288
301
    lines = []
289
302
    for i, j, n in matching_blocks:
290
303
        for line in new_lines[new_cur:j]:
291
304
            lines.append((new_revision_id, line))
292
 
        lines.extend(parent_lines[i:i + n])
 
305
        lines.extend(parent_lines[i:i+n])
293
306
        new_cur = j + n
294
307
    return lines
295
308
 
296
309
 
297
310
def _get_matching_blocks(old, new):
298
 
    matcher = patiencediff.PatienceSequenceMatcher(None, old, new)
 
311
    matcher = patiencediff.PatienceSequenceMatcher(None,
 
312
        old, new)
299
313
    return matcher.get_matching_blocks()
300
314
 
301
315
 
302
 
_break_annotation_tie = None
303
 
 
304
 
 
305
 
def _old_break_annotation_tie(annotated_lines):
306
 
    """Chose an attribution between several possible ones.
307
 
 
308
 
    :param annotated_lines: A list of tuples ((file_id, rev_id), line) where
309
 
        the lines are identical but the revids different while no parent
310
 
        relation exist between them
311
 
 
312
 
     :return : The "winning" line. This must be one with a revid that
313
 
         guarantees that further criss-cross merges will converge. Failing to
314
 
         do so have performance implications.
315
 
    """
316
 
    # sort lexicographically so that we always get a stable result.
317
 
 
318
 
    # TODO: while 'sort' is the easiest (and nearly the only possible solution)
319
 
    # with the current implementation, chosing the oldest revision is known to
320
 
    # provide better results (as in matching user expectations). The most
321
 
    # common use case being manual cherry-pick from an already existing
322
 
    # revision.
323
 
    return sorted(annotated_lines)[0]
324
 
 
325
 
 
326
316
def _find_matching_unannotated_lines(output_lines, plain_child_lines,
327
317
                                     child_lines, start_child, end_child,
328
318
                                     right_lines, start_right, end_right,
333
323
    :param plain_child_lines: The unannotated new lines for the child text
334
324
    :param child_lines: Lines for the child text which have been annotated
335
325
        for the left parent
336
 
 
337
 
    :param start_child: Position in plain_child_lines and child_lines to start
338
 
        the match searching
339
 
    :param end_child: Last position in plain_child_lines and child_lines to
340
 
        search for a match
 
326
    :param start_child: Position in plain_child_lines and child_lines to start the
 
327
        match searching
 
328
    :param end_child: Last position in plain_child_lines and child_lines to search
 
329
        for a match
341
330
    :param right_lines: The annotated lines for the whole text for the right
342
331
        parent
343
332
    :param start_right: Position in right_lines to start the match
349
338
    output_extend = output_lines.extend
350
339
    output_append = output_lines.append
351
340
    # We need to see if any of the unannotated lines match
352
 
    plain_right_subset = [l for a, l in right_lines[start_right:end_right]]
 
341
    plain_right_subset = [l for a,l in right_lines[start_right:end_right]]
353
342
    plain_child_subset = plain_child_lines[start_child:end_child]
354
343
    match_blocks = _get_matching_blocks(plain_right_subset, plain_child_subset)
355
344
 
358
347
    for right_idx, child_idx, match_len in match_blocks:
359
348
        # All the lines that don't match are just passed along
360
349
        if child_idx > last_child_idx:
361
 
            output_extend(child_lines[start_child + last_child_idx:
362
 
                                      start_child + child_idx])
363
 
        for offset in range(match_len):
364
 
            left = child_lines[start_child + child_idx + offset]
365
 
            right = right_lines[start_right + right_idx + offset]
 
350
            output_extend(child_lines[start_child + last_child_idx
 
351
                                      :start_child + child_idx])
 
352
        for offset in xrange(match_len):
 
353
            left = child_lines[start_child+child_idx+offset]
 
354
            right = right_lines[start_right+right_idx+offset]
366
355
            if left[0] == right[0]:
367
356
                # The annotations match, just return the left one
368
357
                output_append(left)
377
366
                else:
378
367
                    heads = heads_provider.heads((left[0], right[0]))
379
368
                    if len(heads) == 1:
380
 
                        output_append((next(iter(heads)), left[1]))
 
369
                        output_append((iter(heads).next(), left[1]))
381
370
                    else:
382
 
                        # Both claim different origins, get a stable result.
383
 
                        # If the result is not stable, there is a risk a
384
 
                        # performance degradation as criss-cross merges will
385
 
                        # flip-flop the attribution.
386
 
                        if _break_annotation_tie is None:
387
 
                            output_append(
388
 
                                _old_break_annotation_tie([left, right]))
389
 
                        else:
390
 
                            output_append(_break_annotation_tie([left, right]))
 
371
                        # Both claim different origins, sort lexicographically
 
372
                        # so that we always get a stable result.
 
373
                        output_append(sorted([left, right])[0])
391
374
        last_child_idx = child_idx + match_len
392
375
 
393
376
 
412
395
    # be the bulk of the lines, and they will need no further processing.
413
396
    lines = []
414
397
    lines_extend = lines.extend
415
 
    # The line just after the last match from the right side
416
 
    last_right_idx = 0
 
398
    last_right_idx = 0 # The line just after the last match from the right side
417
399
    last_left_idx = 0
418
400
    matching_left_and_right = _get_matching_blocks(right_parent_lines,
419
401
                                                   annotated_lines)
420
402
    for right_idx, left_idx, match_len in matching_left_and_right:
421
 
        # annotated lines from last_left_idx to left_idx did not match the
422
 
        # lines from last_right_idx to right_idx, the raw lines should be
423
 
        # compared to determine what annotations need to be updated
 
403
        # annotated lines from last_left_idx to left_idx did not match the lines from
 
404
        # last_right_idx
 
405
        # to right_idx, the raw lines should be compared to determine what annotations
 
406
        # need to be updated
424
407
        if last_right_idx == right_idx or last_left_idx == left_idx:
425
408
            # One of the sides is empty, so this is a pure insertion
426
409
            lines_extend(annotated_lines[last_left_idx:left_idx])
438
421
        # If left and right agree on a range, just push that into the output
439
422
        lines_extend(annotated_lines[left_idx:left_idx + match_len])
440
423
    return lines
441
 
 
442
 
 
443
 
try:
444
 
    from breezy._annotator_pyx import Annotator
445
 
except ImportError as e:
446
 
    osutils.failed_to_load_extension(e)
447
 
    from breezy._annotator_py import Annotator  # noqa: F401