/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to breezy/patches.py

  • Committer: Jelmer Vernooij
  • Date: 2020-04-05 19:11:34 UTC
  • mto: (7490.7.16 work)
  • mto: This revision was merged to the branch mainline in revision 7501.
  • Revision ID: jelmer@jelmer.uk-20200405191134-0aebh8ikiwygxma5
Populate the .gitignore file.

Show diffs side-by-side

added added

removed removed

Lines of Context:
breezy/patches.py
14
14
# You should have received a copy of the GNU General Public License
15
15
# along with this program; if not, write to the Free Software
16
16
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
17
 
 
18
from __future__ import absolute_import
 
19
 
 
20
from .errors import (
 
21
    BzrError,
 
22
    )
 
23
 
 
24
import os
17
25
import re
18
26
 
19
27
 
20
 
binary_files_re = 'Binary files (.*) and (.*) differ\n'
21
 
 
22
 
 
23
 
class BinaryFiles(Exception):
 
28
binary_files_re = b'Binary files (.*) and (.*) differ\n'
 
29
 
 
30
 
 
31
class PatchSyntax(BzrError):
 
32
    """Base class for patch syntax errors."""
 
33
 
 
34
 
 
35
class BinaryFiles(BzrError):
 
36
 
 
37
    _fmt = 'Binary files section encountered.'
24
38
 
25
39
    def __init__(self, orig_name, mod_name):
26
40
        self.orig_name = orig_name
27
41
        self.mod_name = mod_name
28
 
        Exception.__init__(self, 'Binary files section encountered.')
29
 
 
30
 
 
31
 
class PatchSyntax(Exception):
32
 
    def __init__(self, msg):
33
 
        Exception.__init__(self, msg)
34
42
 
35
43
 
36
44
class MalformedPatchHeader(PatchSyntax):
37
 
    def __init__(self, desc, line):
38
 
        self.desc = desc
39
 
        self.line = line
40
 
        msg = "Malformed patch header.  %s\n%r" % (self.desc, self.line)
41
 
        PatchSyntax.__init__(self, msg)
42
 
 
43
 
 
44
 
class MalformedHunkHeader(PatchSyntax):
45
 
    def __init__(self, desc, line):
46
 
        self.desc = desc
47
 
        self.line = line
48
 
        msg = "Malformed hunk header.  %s\n%r" % (self.desc, self.line)
49
 
        PatchSyntax.__init__(self, msg)
 
45
 
 
46
    _fmt = "Malformed patch header.  %(desc)s\n%(line)r"
 
47
 
 
48
    def __init__(self, desc, line):
 
49
        self.desc = desc
 
50
        self.line = line
50
51
 
51
52
 
52
53
class MalformedLine(PatchSyntax):
 
54
 
 
55
    _fmt = "Malformed line.  %(desc)s\n%(line)r"
 
56
 
53
57
    def __init__(self, desc, line):
54
58
        self.desc = desc
55
59
        self.line = line
56
 
        msg = "Malformed line.  %s\n%s" % (self.desc, self.line)
57
 
        PatchSyntax.__init__(self, msg)
58
 
 
59
 
 
60
 
class PatchConflict(Exception):
 
60
 
 
61
 
 
62
class PatchConflict(BzrError):
 
63
 
 
64
    _fmt = ('Text contents mismatch at line %(line_no)d.  Original has '
 
65
            '"%(orig_line)s", but patch says it should be "%(patch_line)s"')
 
66
 
61
67
    def __init__(self, line_no, orig_line, patch_line):
62
 
        orig = orig_line.rstrip('\n')
63
 
        patch = str(patch_line).rstrip('\n')
64
 
        msg = 'Text contents mismatch at line %d.  Original has "%s",'\
65
 
            ' but patch says it should be "%s"' % (line_no, orig, patch)
66
 
        Exception.__init__(self, msg)
 
68
        self.line_no = line_no
 
69
        self.orig_line = orig_line.rstrip('\n')
 
70
        self.patch_line = patch_line.rstrip('\n')
 
71
 
 
72
 
 
73
class MalformedHunkHeader(PatchSyntax):
 
74
 
 
75
    _fmt = "Malformed hunk header.  %(desc)s\n%(line)r"
 
76
 
 
77
    def __init__(self, desc, line):
 
78
        self.desc = desc
 
79
        self.line = line
67
80
 
68
81
 
69
82
def get_patch_names(iter_lines):
 
83
    line = next(iter_lines)
70
84
    try:
71
 
        line = iter_lines.next()
72
85
        match = re.match(binary_files_re, line)
73
86
        if match is not None:
74
87
            raise BinaryFiles(match.group(1), match.group(2))
75
 
        if not line.startswith("--- "):
 
88
        if not line.startswith(b"--- "):
76
89
            raise MalformedPatchHeader("No orig name", line)
77
90
        else:
78
 
            orig_name = line[4:].rstrip("\n")
 
91
            orig_name = line[4:].rstrip(b"\n")
79
92
    except StopIteration:
80
93
        raise MalformedPatchHeader("No orig line", "")
81
94
    try:
82
 
        line = iter_lines.next()
83
 
        if not line.startswith("+++ "):
 
95
        line = next(iter_lines)
 
96
        if not line.startswith(b"+++ "):
84
97
            raise PatchSyntax("No mod name")
85
98
        else:
86
 
            mod_name = line[4:].rstrip("\n")
 
99
            mod_name = line[4:].rstrip(b"\n")
87
100
    except StopIteration:
88
101
        raise MalformedPatchHeader("No mod line", "")
89
102
    return (orig_name, mod_name)
97
110
    :return: the position and range, as a tuple
98
111
    :rtype: (int, int)
99
112
    """
100
 
    tmp = textrange.split(',')
 
113
    tmp = textrange.split(b',')
101
114
    if len(tmp) == 1:
102
115
        pos = tmp[0]
103
 
        range = "1"
 
116
        range = b"1"
104
117
    else:
105
118
        (pos, range) = tmp
106
119
    pos = int(pos)
110
123
 
111
124
def hunk_from_header(line):
112
125
    import re
113
 
    matches = re.match(r'\@\@ ([^@]*) \@\@( (.*))?\n', line)
 
126
    matches = re.match(br'\@\@ ([^@]*) \@\@( (.*))?\n', line)
114
127
    if matches is None:
115
128
        raise MalformedHunkHeader("Does not match format.", line)
116
129
    try:
117
 
        (orig, mod) = matches.group(1).split(" ")
118
 
    except (ValueError, IndexError), e:
 
130
        (orig, mod) = matches.group(1).split(b" ")
 
131
    except (ValueError, IndexError) as e:
119
132
        raise MalformedHunkHeader(str(e), line)
120
 
    if not orig.startswith('-') or not mod.startswith('+'):
 
133
    if not orig.startswith(b'-') or not mod.startswith(b'+'):
121
134
        raise MalformedHunkHeader("Positions don't start with + or -.", line)
122
135
    try:
123
136
        (orig_pos, orig_range) = parse_range(orig[1:])
124
137
        (mod_pos, mod_range) = parse_range(mod[1:])
125
 
    except (ValueError, IndexError), e:
 
138
    except (ValueError, IndexError) as e:
126
139
        raise MalformedHunkHeader(str(e), line)
127
140
    if mod_range < 0 or orig_range < 0:
128
141
        raise MalformedHunkHeader("Hunk range is negative", line)
130
143
    return Hunk(orig_pos, orig_range, mod_pos, mod_range, tail)
131
144
 
132
145
 
133
 
class HunkLine:
 
146
class HunkLine(object):
 
147
 
134
148
    def __init__(self, contents):
135
149
        self.contents = contents
136
150
 
137
151
    def get_str(self, leadchar):
138
 
        if self.contents == "\n" and leadchar == " " and False:
139
 
            return "\n"
140
 
        if not self.contents.endswith('\n'):
141
 
            terminator = '\n' + NO_NL
 
152
        if self.contents == b"\n" and leadchar == b" " and False:
 
153
            return b"\n"
 
154
        if not self.contents.endswith(b'\n'):
 
155
            terminator = b'\n' + NO_NL
142
156
        else:
143
 
            terminator = ''
 
157
            terminator = b''
144
158
        return leadchar + self.contents + terminator
145
159
 
 
160
    def as_bytes(self):
 
161
        raise NotImplementedError
 
162
 
146
163
 
147
164
class ContextLine(HunkLine):
 
165
 
148
166
    def __init__(self, contents):
149
167
        HunkLine.__init__(self, contents)
150
168
 
151
 
    def __str__(self):
152
 
        return self.get_str(" ")
 
169
    def as_bytes(self):
 
170
        return self.get_str(b" ")
153
171
 
154
172
 
155
173
class InsertLine(HunkLine):
156
174
    def __init__(self, contents):
157
175
        HunkLine.__init__(self, contents)
158
176
 
159
 
    def __str__(self):
160
 
        return self.get_str("+")
 
177
    def as_bytes(self):
 
178
        return self.get_str(b"+")
161
179
 
162
180
 
163
181
class RemoveLine(HunkLine):
164
182
    def __init__(self, contents):
165
183
        HunkLine.__init__(self, contents)
166
184
 
167
 
    def __str__(self):
168
 
        return self.get_str("-")
169
 
 
170
 
NO_NL = '\\ No newline at end of file\n'
171
 
__pychecker__="no-returnvalues"
 
185
    def as_bytes(self):
 
186
        return self.get_str(b"-")
 
187
 
 
188
 
 
189
NO_NL = b'\\ No newline at end of file\n'
 
190
__pychecker__ = "no-returnvalues"
 
191
 
172
192
 
173
193
def parse_line(line):
174
 
    if line.startswith("\n"):
 
194
    if line.startswith(b"\n"):
175
195
        return ContextLine(line)
176
 
    elif line.startswith(" "):
 
196
    elif line.startswith(b" "):
177
197
        return ContextLine(line[1:])
178
 
    elif line.startswith("+"):
 
198
    elif line.startswith(b"+"):
179
199
        return InsertLine(line[1:])
180
 
    elif line.startswith("-"):
 
200
    elif line.startswith(b"-"):
181
201
        return RemoveLine(line[1:])
182
202
    else:
183
203
        raise MalformedLine("Unknown line type", line)
184
 
__pychecker__=""
185
 
 
186
 
 
187
 
class Hunk:
 
204
 
 
205
 
 
206
__pychecker__ = ""
 
207
 
 
208
 
 
209
class Hunk(object):
 
210
 
188
211
    def __init__(self, orig_pos, orig_range, mod_pos, mod_range, tail=None):
189
212
        self.orig_pos = orig_pos
190
213
        self.orig_range = orig_range
195
218
 
196
219
    def get_header(self):
197
220
        if self.tail is None:
198
 
            tail_str = ''
 
221
            tail_str = b''
199
222
        else:
200
 
            tail_str = ' ' + self.tail
201
 
        return "@@ -%s +%s @@%s\n" % (self.range_str(self.orig_pos,
202
 
                                                     self.orig_range),
203
 
                                      self.range_str(self.mod_pos,
204
 
                                                     self.mod_range),
205
 
                                      tail_str)
 
223
            tail_str = b' ' + self.tail
 
224
        return b"@@ -%s +%s @@%s\n" % (self.range_str(self.orig_pos,
 
225
                                                      self.orig_range),
 
226
                                       self.range_str(self.mod_pos,
 
227
                                                      self.mod_range),
 
228
                                       tail_str)
206
229
 
207
230
    def range_str(self, pos, range):
208
231
        """Return a file range, special-casing for 1-line files.
214
237
        :return: a string in the format 1,4 except when range == pos == 1
215
238
        """
216
239
        if range == 1:
217
 
            return "%i" % pos
 
240
            return b"%i" % pos
218
241
        else:
219
 
            return "%i,%i" % (pos, range)
 
242
            return b"%i,%i" % (pos, range)
220
243
 
221
 
    def __str__(self):
 
244
    def as_bytes(self):
222
245
        lines = [self.get_header()]
223
246
        for line in self.lines:
224
 
            lines.append(str(line))
225
 
        return "".join(lines)
 
247
            lines.append(line.as_bytes())
 
248
        return b"".join(lines)
 
249
 
 
250
    __bytes__ = as_bytes
226
251
 
227
252
    def shift_to_mod(self, pos):
228
 
        if pos < self.orig_pos-1:
 
253
        if pos < self.orig_pos - 1:
229
254
            return 0
230
 
        elif pos > self.orig_pos+self.orig_range:
 
255
        elif pos > self.orig_pos + self.orig_range:
231
256
            return self.mod_range - self.orig_range
232
257
        else:
233
258
            return self.shift_to_mod_lines(pos)
234
259
 
235
260
    def shift_to_mod_lines(self, pos):
236
 
        position = self.orig_pos-1
 
261
        position = self.orig_pos - 1
237
262
        shift = 0
238
263
        for line in self.lines:
239
264
            if isinstance(line, InsertLine):
259
284
    '''
260
285
    hunk = None
261
286
    for line in iter_lines:
262
 
        if line == "\n":
 
287
        if line == b"\n":
263
288
            if hunk is not None:
264
289
                yield hunk
265
290
                hunk = None
278
303
        orig_size = 0
279
304
        mod_size = 0
280
305
        while orig_size < hunk.orig_range or mod_size < hunk.mod_range:
281
 
            hunk_line = parse_line(iter_lines.next())
 
306
            hunk_line = parse_line(next(iter_lines))
282
307
            hunk.lines.append(hunk_line)
283
308
            if isinstance(hunk_line, (RemoveLine, ContextLine)):
284
309
                orig_size += 1
289
314
 
290
315
 
291
316
class BinaryPatch(object):
 
317
 
292
318
    def __init__(self, oldname, newname):
293
319
        self.oldname = oldname
294
320
        self.newname = newname
295
321
 
296
 
    def __str__(self):
297
 
        return 'Binary files %s and %s differ\n' % (self.oldname, self.newname)
 
322
    def as_bytes(self):
 
323
        return b'Binary files %s and %s differ\n' % (self.oldname, self.newname)
298
324
 
299
325
 
300
326
class Patch(BinaryPatch):
303
329
        BinaryPatch.__init__(self, oldname, newname)
304
330
        self.hunks = []
305
331
 
306
 
    def __str__(self):
 
332
    def as_bytes(self):
307
333
        ret = self.get_header()
308
 
        ret += "".join([str(h) for h in self.hunks])
 
334
        ret += b"".join([h.as_bytes() for h in self.hunks])
309
335
        return ret
310
336
 
311
337
    def get_header(self):
312
 
        return "--- %s\n+++ %s\n" % (self.oldname, self.newname)
 
338
        return b"--- %s\n+++ %s\n" % (self.oldname, self.newname)
313
339
 
314
340
    def stats_values(self):
315
341
        """Calculate the number of inserts and removes."""
318
344
        for hunk in self.hunks:
319
345
            for line in hunk.lines:
320
346
                if isinstance(line, InsertLine):
321
 
                     inserts+=1;
 
347
                    inserts += 1
322
348
                elif isinstance(line, RemoveLine):
323
 
                     removes+=1;
 
349
                    removes += 1
324
350
        return (inserts, removes, len(self.hunks))
325
351
 
326
352
    def stats_str(self):
344
370
        :rtype: iterator of (int, InsertLine)
345
371
        """
346
372
        for hunk in self.hunks:
347
 
            pos = hunk.mod_pos - 1;
 
373
            pos = hunk.mod_pos - 1
348
374
            for line in hunk.lines:
349
375
                if isinstance(line, InsertLine):
350
376
                    yield (pos, line)
362
388
    iter_lines = iter_lines_handle_nl(iter_lines)
363
389
    try:
364
390
        (orig_name, mod_name) = get_patch_names(iter_lines)
365
 
    except BinaryFiles, e:
 
391
    except BinaryFiles as e:
366
392
        return BinaryPatch(e.orig_name, e.mod_name)
367
393
    else:
368
394
        patch = Patch(orig_name, mod_name)
371
397
        return patch
372
398
 
373
399
 
374
 
def iter_file_patch(iter_lines, allow_dirty=False):
 
400
def iter_file_patch(iter_lines, allow_dirty=False, keep_dirty=False):
375
401
    '''
376
402
    :arg iter_lines: iterable of lines to parse for patches
377
403
    :kwarg allow_dirty: If True, allow comments and other non-patch text
380
406
        first patch are stripped away in iter_hunks() if it is also passed
381
407
        allow_dirty=True.  Default False.
382
408
    '''
383
 
    ### FIXME: Docstring is not quite true.  We allow certain comments no
 
409
    # FIXME: Docstring is not quite true.  We allow certain comments no
384
410
    # matter what, If they startwith '===', '***', or '#' Someone should
385
411
    # reexamine this logic and decide if we should include those in
386
412
    # allow_dirty or restrict those to only being before the patch is found
387
413
    # (as allow_dirty does).
388
414
    regex = re.compile(binary_files_re)
389
415
    saved_lines = []
 
416
    dirty_head = []
390
417
    orig_range = 0
391
418
    beginning = True
 
419
 
392
420
    for line in iter_lines:
393
 
        if line.startswith('=== ') or line.startswith('*** '):
394
 
            continue
395
 
        if line.startswith('#'):
 
421
        if line.startswith(b'=== '):
 
422
            if len(saved_lines) > 0:
 
423
                if keep_dirty and len(dirty_head) > 0:
 
424
                    yield {'saved_lines': saved_lines,
 
425
                           'dirty_head': dirty_head}
 
426
                    dirty_head = []
 
427
                else:
 
428
                    yield saved_lines
 
429
                saved_lines = []
 
430
            dirty_head.append(line)
 
431
            continue
 
432
        if line.startswith(b'*** '):
 
433
            continue
 
434
        if line.startswith(b'#'):
396
435
            continue
397
436
        elif orig_range > 0:
398
 
            if line.startswith('-') or line.startswith(' '):
 
437
            if line.startswith(b'-') or line.startswith(b' '):
399
438
                orig_range -= 1
400
 
        elif line.startswith('--- ') or regex.match(line):
 
439
        elif line.startswith(b'--- ') or regex.match(line):
401
440
            if allow_dirty and beginning:
402
441
                # Patches can have "junk" at the beginning
403
442
                # Stripping junk from the end of patches is handled when we
404
443
                # parse the patch
405
444
                beginning = False
406
445
            elif len(saved_lines) > 0:
407
 
                yield saved_lines
 
446
                if keep_dirty and len(dirty_head) > 0:
 
447
                    yield {'saved_lines': saved_lines,
 
448
                           'dirty_head': dirty_head}
 
449
                    dirty_head = []
 
450
                else:
 
451
                    yield saved_lines
408
452
            saved_lines = []
409
 
        elif line.startswith('@@'):
 
453
        elif line.startswith(b'@@'):
410
454
            hunk = hunk_from_header(line)
411
455
            orig_range = hunk.orig_range
412
456
        saved_lines.append(line)
413
457
    if len(saved_lines) > 0:
414
 
        yield saved_lines
 
458
        if keep_dirty and len(dirty_head) > 0:
 
459
            yield {'saved_lines': saved_lines,
 
460
                   'dirty_head': dirty_head}
 
461
        else:
 
462
            yield saved_lines
415
463
 
416
464
 
417
465
def iter_lines_handle_nl(iter_lines):
424
472
    last_line = None
425
473
    for line in iter_lines:
426
474
        if line == NO_NL:
427
 
            if not last_line.endswith('\n'):
 
475
            if not last_line.endswith(b'\n'):
428
476
                raise AssertionError()
429
477
            last_line = last_line[:-1]
430
478
            line = None
435
483
        yield last_line
436
484
 
437
485
 
438
 
def parse_patches(iter_lines, allow_dirty=False):
 
486
def parse_patches(iter_lines, allow_dirty=False, keep_dirty=False):
439
487
    '''
440
488
    :arg iter_lines: iterable of lines to parse for patches
441
489
    :kwarg allow_dirty: If True, allow text that's not part of the patch at
442
490
        selected places.  This includes comments before and after a patch
443
491
        for instance.  Default False.
 
492
    :kwarg keep_dirty: If True, returns a dict of patches with dirty headers.
 
493
        Default False.
444
494
    '''
445
 
    return [parse_patch(f.__iter__(), allow_dirty) for f in
446
 
                        iter_file_patch(iter_lines, allow_dirty)]
 
495
    for patch_lines in iter_file_patch(iter_lines, allow_dirty, keep_dirty):
 
496
        if 'dirty_head' in patch_lines:
 
497
            yield ({'patch': parse_patch(patch_lines['saved_lines'], allow_dirty),
 
498
                    'dirty_head': patch_lines['dirty_head']})
 
499
        else:
 
500
            yield parse_patch(patch_lines, allow_dirty)
447
501
 
448
502
 
449
503
def difference_index(atext, btext):
461
515
        length = len(btext)
462
516
    for i in range(length):
463
517
        if atext[i] != btext[i]:
464
 
            return i;
 
518
            return i
465
519
    return None
466
520
 
467
521
 
487
541
        orig_lines = iter(orig_lines)
488
542
    for hunk in hunks:
489
543
        while line_no < hunk.orig_pos:
490
 
            orig_line = orig_lines.next()
 
544
            orig_line = next(orig_lines)
491
545
            yield orig_line
492
546
            line_no += 1
493
547
        for hunk_line in hunk.lines:
494
 
            seen_patch.append(str(hunk_line))
 
548
            seen_patch.append(hunk_line.contents)
495
549
            if isinstance(hunk_line, InsertLine):
496
550
                yield hunk_line.contents
497
551
            elif isinstance(hunk_line, (ContextLine, RemoveLine)):
498
 
                orig_line = orig_lines.next()
 
552
                orig_line = next(orig_lines)
499
553
                if orig_line != hunk_line.contents:
500
 
                    raise PatchConflict(line_no, orig_line, "".join(seen_patch))
 
554
                    raise PatchConflict(line_no, orig_line,
 
555
                                        b''.join(seen_patch))
501
556
                if isinstance(hunk_line, ContextLine):
502
557
                    yield orig_line
503
558
                else:
507
562
    if orig_lines is not None:
508
563
        for line in orig_lines:
509
564
            yield line
 
565
 
 
566
 
 
567
def apply_patches(tt, patches, prefix=1):
 
568
    """Apply patches to a TreeTransform.
 
569
 
 
570
    :param tt: TreeTransform instance
 
571
    :param patches: List of patches
 
572
    :param prefix: Number leading path segments to strip
 
573
    """
 
574
    def strip_prefix(p):
 
575
        return '/'.join(p.split('/')[1:])
 
576
 
 
577
    from breezy.bzr.generate_ids import gen_file_id
 
578
    # TODO(jelmer): Extract and set mode
 
579
    for patch in patches:
 
580
        if patch.oldname == b'/dev/null':
 
581
            trans_id = None
 
582
            orig_contents = b''
 
583
        else:
 
584
            oldname = strip_prefix(patch.oldname.decode())
 
585
            trans_id = tt.trans_id_tree_path(oldname)
 
586
            orig_contents = tt._tree.get_file_text(oldname)
 
587
            tt.delete_contents(trans_id)
 
588
 
 
589
        if patch.newname != b'/dev/null':
 
590
            newname = strip_prefix(patch.newname.decode())
 
591
            new_contents = iter_patched_from_hunks(
 
592
                orig_contents.splitlines(True), patch.hunks)
 
593
            if trans_id is None:
 
594
                parts = os.path.split(newname)
 
595
                trans_id = tt.root
 
596
                for part in parts[1:-1]:
 
597
                    trans_id = tt.new_directory(part, trans_id)
 
598
                tt.new_file(
 
599
                    parts[-1], trans_id, new_contents,
 
600
                    file_id=gen_file_id(newname))
 
601
            else:
 
602
                tt.create_file(new_contents, trans_id)
 
603
 
 
604
 
 
605
class AppliedPatches(object):
 
606
    """Context that provides access to a tree with patches applied.
 
607
    """
 
608
 
 
609
    def __init__(self, tree, patches, prefix=1):
 
610
        self.tree = tree
 
611
        self.patches = patches
 
612
        self.prefix = prefix
 
613
 
 
614
    def __enter__(self):
 
615
        from .transform import TransformPreview
 
616
        self._tt = TransformPreview(self.tree)
 
617
        apply_patches(self._tt, self.patches, prefix=self.prefix)
 
618
        return self._tt.get_preview_tree()
 
619
 
 
620
    def __exit__(self, exc_type, exc_value, exc_tb):
 
621
        self._tt.finalize()
 
622
        return False