/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to breezy/multiparent.py

  • Committer: Jelmer Vernooij
  • Date: 2018-06-15 13:10:28 UTC
  • mto: (6973.12.2 python3-k)
  • mto: This revision was merged to the branch mainline in revision 6993.
  • Revision ID: jelmer@jelmer.uk-20180615131028-abolpmqrid8th0cd
More bees.

Show diffs side-by-side

added added

removed removed

Lines of Context:
breezy/multiparent.py
1
 
# Copyright (C) 2007 Canonical Ltd
 
1
# Copyright (C) 2007-2011 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
 
from bzrlib.lazy_import import lazy_import
 
17
from __future__ import absolute_import
 
18
 
 
19
import errno
 
20
import os
 
21
 
 
22
from .lazy_import import lazy_import
18
23
 
19
24
lazy_import(globals(), """
20
 
import errno
 
25
import gzip
21
26
import itertools
22
 
import os
23
 
from StringIO import StringIO
24
27
 
25
 
from bzrlib import (
 
28
from breezy import (
 
29
    bencode,
26
30
    errors,
27
31
    patiencediff,
28
 
    trace,
29
32
    ui,
30
33
    )
31
 
from bzrlib import bencode
32
34
""")
33
 
from bzrlib.tuned_gzip import GzipFile
 
35
from .sixish import (
 
36
    BytesIO,
 
37
    range,
 
38
    )
34
39
 
35
40
 
36
41
def topo_iter_keys(vf, keys=None):
76
81
class MultiParent(object):
77
82
    """A multi-parent diff"""
78
83
 
 
84
    __slots__ = ['hunks']
 
85
 
79
86
    def __init__(self, hunks=None):
80
87
        if hunks is not None:
81
88
            self.hunks = hunks
111
118
        diff = MultiParent([])
112
119
        def next_block(p):
113
120
            try:
114
 
                return block_iter[p].next()
 
121
                return next(block_iter[p])
115
122
            except StopIteration:
116
123
                return None
117
124
        cur_block = [next_block(p) for p, i in enumerate(block_iter)]
162
169
        """Contruct a fulltext from this diff and its parents"""
163
170
        mpvf = MultiMemoryVersionedFile()
164
171
        for num, parent in enumerate(parents):
165
 
            mpvf.add_version(StringIO(parent).readlines(), num, [])
166
 
        mpvf.add_diff(self, 'a', range(len(parents)))
 
172
            mpvf.add_version(BytesIO(parent).readlines(), num, [])
 
173
        mpvf.add_diff(self, 'a', list(range(len(parents))))
167
174
        return mpvf.get_line_list(['a'])[0]
168
175
 
169
176
    @classmethod
170
177
    def from_texts(cls, text, parents=()):
171
178
        """Produce a MultiParent from a text and list of parent text"""
172
 
        return cls.from_lines(StringIO(text).readlines(),
173
 
                              [StringIO(p).readlines() for p in parents])
 
179
        return cls.from_lines(BytesIO(text).readlines(),
 
180
                              [BytesIO(p).readlines() for p in parents])
174
181
 
175
182
    def to_patch(self):
176
183
        """Yield text lines for a patch"""
187
194
    @classmethod
188
195
    def from_patch(cls, text):
189
196
        """Create a MultiParent from its string form"""
190
 
        return cls._from_patch(StringIO(text))
 
197
        return cls._from_patch(BytesIO(text))
191
198
 
192
199
    @staticmethod
193
200
    def _from_patch(lines):
197
204
        cur_line = None
198
205
        while(True):
199
206
            try:
200
 
                cur_line = line_iter.next()
 
207
                cur_line = next(line_iter)
201
208
            except StopIteration:
202
209
                break
203
210
            if cur_line[0] == 'i':
204
211
                num_lines = int(cur_line.split(' ')[1])
205
 
                hunk_lines = [line_iter.next() for x in xrange(num_lines)]
 
212
                hunk_lines = [next(line_iter) for _ in range(num_lines)]
206
213
                hunk_lines[-1] = hunk_lines[-1][:-1]
207
214
                hunks.append(NewText(hunk_lines))
208
215
            elif cur_line[0] == '\n':
258
265
class NewText(object):
259
266
    """The contents of text that is introduced by this text"""
260
267
 
 
268
    __slots__ = ['lines']
 
269
 
261
270
    def __init__(self, lines):
262
271
        self.lines = lines
263
272
 
279
288
class ParentText(object):
280
289
    """A reference to text present in a parent text"""
281
290
 
 
291
    __slots__ = ['parent', 'parent_pos', 'child_pos', 'num_lines']
 
292
 
282
293
    def __init__(self, parent, parent_pos, child_pos, num_lines):
283
294
        self.parent = parent
284
295
        self.parent_pos = parent_pos
285
296
        self.child_pos = child_pos
286
297
        self.num_lines = num_lines
287
298
 
 
299
    def _as_dict(self):
 
300
        return dict(parent=self.parent, parent_pos=self.parent_pos,
 
301
                    child_pos=self.child_pos, num_lines=self.num_lines)
 
302
 
288
303
    def __repr__(self):
289
 
        return 'ParentText(%(parent)r, %(parent_pos)r, %(child_pos)r,'\
290
 
            ' %(num_lines)r)' % self.__dict__
 
304
        return ('ParentText(%(parent)r, %(parent_pos)r, %(child_pos)r,'
 
305
                ' %(num_lines)r)' % self._as_dict())
291
306
 
292
307
    def __eq__(self, other):
293
308
        if self.__class__ is not other.__class__:
294
309
            return False
295
 
        return (self.__dict__ == other.__dict__)
 
310
        return self._as_dict() == other._as_dict()
296
311
 
297
312
    def to_patch(self):
298
 
        yield 'c %(parent)d %(parent_pos)d %(child_pos)d %(num_lines)d\n'\
299
 
            % self.__dict__
 
313
        yield ('c %(parent)d %(parent_pos)d %(child_pos)d %(num_lines)d\n'
 
314
               % self._as_dict())
300
315
 
301
316
 
302
317
class BaseVersionedFile(object):
324
339
            return False
325
340
        if len(parent_ids) == 0:
326
341
            return True
327
 
        for ignored in xrange(self.snapshot_interval):
 
342
        for ignored in range(self.snapshot_interval):
328
343
            if len(parent_ids) == 0:
329
344
                return False
330
345
            version_ids = parent_ids
388
403
            raise ValueError()
389
404
        revisions = set(vf.versions())
390
405
        total = len(revisions)
391
 
        pb = ui.ui_factory.nested_progress_bar()
392
 
        try:
 
406
        with ui.ui_factory.nested_progress_bar() as pb:
393
407
            while len(revisions) > 0:
394
408
                added = set()
395
409
                for revision in revisions:
412
426
                            if not (lines == self.get_line_list([revision])[0]):
413
427
                                raise AssertionError()
414
428
                            self.clear_cache()
415
 
                    pb.update('Importing revisions',
 
429
                    pb.update(gettext('Importing revisions'),
416
430
                              (total - len(revisions)) + len(added), total)
417
431
                revisions = [r for r in revisions if r not in added]
418
 
        finally:
419
 
            pb.finished()
420
432
 
421
433
    def select_snapshots(self, vf):
422
434
        """Determine which versions to add as snapshots"""
545
557
 
546
558
    def get_diff(self, version_id):
547
559
        start, count = self._diff_offset[version_id]
548
 
        infile = open(self._filename + '.mpknit', 'rb')
549
 
        try:
 
560
        with open(self._filename + '.mpknit', 'rb') as infile:
550
561
            infile.seek(start)
551
 
            sio = StringIO(infile.read(count))
552
 
        finally:
553
 
            infile.close()
554
 
        zip_file = GzipFile(None, mode='rb', fileobj=sio)
555
 
        try:
 
562
            sio = BytesIO(infile.read(count))
 
563
        with gzip.GzipFile(None, mode='rb', fileobj=sio) as zip_file:
556
564
            file_version_id = zip_file.readline()
557
 
            return MultiParent.from_patch(zip_file.read())
558
 
        finally:
559
 
            zip_file.close()
 
565
            content = zip_file.read()
 
566
            return MultiParent.from_patch(content)
560
567
 
561
568
    def add_diff(self, diff, version_id, parent_ids):
562
 
        outfile = open(self._filename + '.mpknit', 'ab')
563
 
        try:
 
569
        with open(self._filename + '.mpknit', 'ab') as outfile:
564
570
            outfile.seek(0, 2)      # workaround for windows bug:
565
571
                                    # .tell() for files opened in 'ab' mode
566
572
                                    # before any write returns 0
567
573
            start = outfile.tell()
568
 
            try:
569
 
                zipfile = GzipFile(None, mode='ab', fileobj=outfile)
 
574
            with gzip.GzipFile(None, mode='ab', fileobj=outfile) as zipfile:
570
575
                zipfile.writelines(itertools.chain(
571
576
                    ['version %s\n' % version_id], diff.to_patch()))
572
 
            finally:
573
 
                zipfile.close()
574
577
            end = outfile.tell()
575
 
        finally:
576
 
            outfile.close()
577
578
        self._diff_offset[version_id] = (start, end-start)
578
579
        self._parents[version_id] = parent_ids
579
580
 
580
581
    def destroy(self):
581
582
        try:
582
583
            os.unlink(self._filename + '.mpknit')
583
 
        except OSError, e:
 
584
        except OSError as e:
584
585
            if e.errno != errno.ENOENT:
585
586
                raise
586
587
        try:
587
588
            os.unlink(self._filename + '.mpidx')
588
 
        except OSError, e:
 
589
        except OSError as e:
589
590
            if e.errno != errno.ENOENT:
590
591
                raise
591
592
 
631
632
                start, end, kind, data, iterator = self.cursor[req_version_id]
632
633
            except KeyError:
633
634
                iterator = self.diffs.get_diff(req_version_id).range_iterator()
634
 
                start, end, kind, data = iterator.next()
 
635
                start, end, kind, data = next(iterator)
635
636
            if start > req_start:
636
637
                iterator = self.diffs.get_diff(req_version_id).range_iterator()
637
 
                start, end, kind, data = iterator.next()
 
638
                start, end, kind, data = next(iterator)
638
639
 
639
640
            # find the first hunk relevant to the request
640
641
            while end <= req_start:
641
 
                start, end, kind, data = iterator.next()
 
642
                start, end, kind, data = next(iterator)
642
643
            self.cursor[req_version_id] = start, end, kind, data, iterator
643
644
            # if the hunk can't satisfy the whole request, split it in two,
644
645
            # and leave the second half for later.
662
663
 
663
664
 
664
665
def gzip_string(lines):
665
 
    sio = StringIO()
666
 
    data_file = GzipFile(None, mode='wb', fileobj=sio)
667
 
    data_file.writelines(lines)
668
 
    data_file.close()
 
666
    sio = BytesIO()
 
667
    with gzip.GzipFile(None, mode='wb', fileobj=sio) as data_file:
 
668
        data_file.writelines(lines)
669
669
    return sio.getvalue()