/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/iterablefile.py

  • Committer: Richard Wilbur
  • Date: 2016-02-04 19:07:28 UTC
  • mto: This revision was merged to the branch mainline in revision 6618.
  • Revision ID: richard.wilbur@gmail.com-20160204190728-p0zvfii6zase0fw7
Update COPYING.txt from the original http://www.gnu.org/licenses/gpl-2.0.txt  (Only differences were in whitespace.)  Thanks to Petr Stodulka for pointing out the discrepancy.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/iterablefile.py
15
15
# along with this program; if not, write to the Free Software
16
16
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
17
17
 
 
18
from __future__ import absolute_import
18
19
 
19
20
class IterableFileBase(object):
20
21
    """Create a file-like object from any iterable"""
22
23
    def __init__(self, iterable):
23
24
        object.__init__(self)
24
25
        self._iter = iterable.__iter__()
25
 
        self._buffer = b""
 
26
        self._buffer = ""
26
27
        self.done = False
27
28
 
28
29
    def read_n(self, length):
29
30
        """
30
 
        >>> IterableFileBase([b'This ', b'is ', b'a ', b'test.']).read_n(8)
31
 
        b'This is '
 
31
        >>> IterableFileBase(['This ', 'is ', 'a ', 'test.']).read_n(8)
 
32
        'This is '
32
33
        """
33
34
        def test_length(result):
34
35
            if len(result) >= length:
39
40
 
40
41
    def read_to(self, sequence, length=None):
41
42
        """
42
 
        >>> f = IterableFileBase([b'Th\\nis ', b'is \\n', b'a ', b'te\\nst.'])
43
 
        >>> f.read_to(b'\\n')
44
 
        b'Th\\n'
45
 
        >>> f.read_to(b'\\n')
46
 
        b'is is \\n'
 
43
        >>> f = IterableFileBase(['Th\\nis ', 'is \\n', 'a ', 'te\\nst.'])
 
44
        >>> f.read_to('\\n')
 
45
        'Th\\n'
 
46
        >>> f.read_to('\\n')
 
47
        'is is \\n'
47
48
        """
48
49
        def test_contents(result):
49
50
            if length is not None:
50
51
                if len(result) >= length:
51
52
                    return length
52
53
            try:
53
 
                return result.index(sequence) + len(sequence)
 
54
                return result.index(sequence)+len(sequence)
54
55
            except ValueError:
55
56
                return None
56
57
        return self._read(test_contents)
66
67
        result = self._buffer
67
68
        while result_length(result) is None:
68
69
            try:
69
 
                result += next(self._iter)
 
70
                result += self._iter.next()
70
71
            except StopIteration:
71
72
                self.done = True
72
 
                self._buffer = b""
 
73
                self._buffer = ""
73
74
                return result
74
75
        output_length = result_length(result)
75
76
        self._buffer = result[output_length:]
77
78
 
78
79
    def read_all(self):
79
80
        """
80
 
        >>> IterableFileBase([b'This ', b'is ', b'a ', b'test.']).read_all()
81
 
        b'This is a test.'
 
81
        >>> IterableFileBase(['This ', 'is ', 'a ', 'test.']).read_all()
 
82
        'This is a test.'
82
83
        """
83
84
        def no_stop(result):
84
85
            return None
85
86
        return self._read(no_stop)
86
87
 
 
88
 
87
89
    def push_back(self, contents):
88
90
        """
89
 
        >>> f = IterableFileBase([b'Th\\nis ', b'is \\n', b'a ', b'te\\nst.'])
90
 
        >>> f.read_to(b'\\n')
91
 
        b'Th\\n'
92
 
        >>> f.push_back(b"Sh")
 
91
        >>> f = IterableFileBase(['Th\\nis ', 'is \\n', 'a ', 'te\\nst.'])
 
92
        >>> f.read_to('\\n')
 
93
        'Th\\n'
 
94
        >>> f.push_back("Sh")
93
95
        >>> f.read_all()
94
 
        b'Shis is \\na te\\nst.'
 
96
        'Shis is \\na te\\nst.'
95
97
        """
96
98
        self._buffer = contents + self._buffer
97
99
 
98
100
 
99
101
class IterableFile(object):
100
102
    """This class supplies all File methods that can be implemented cheaply."""
101
 
 
102
103
    def __init__(self, iterable):
103
104
        object.__init__(self)
104
105
        self._file_base = IterableFileBase(iterable)
109
110
    def _make_iterator(self):
110
111
        while not self._file_base.done:
111
112
            self._check_closed()
112
 
            result = self._file_base.read_to(b'\n')
113
 
            if result != b'':
 
113
            result = self._file_base.read_to('\n')
 
114
            if result != '':
114
115
                yield result
115
116
 
116
117
    def _check_closed(self):
119
120
 
120
121
    def close(self):
121
122
        """
122
 
        >>> f = IterableFile([b'This ', b'is ', b'a ', b'test.'])
 
123
        >>> f = IterableFile(['This ', 'is ', 'a ', 'test.'])
123
124
        >>> f.closed
124
125
        False
125
126
        >>> f.close()
131
132
 
132
133
    closed = property(lambda x: x._closed)
133
134
 
134
 
    def __enter__(self):
135
 
        return self
136
 
 
137
 
    def __exit__(self, exc_type, exc_val, exc_tb):
138
 
        # If there was an error raised, prefer the original one
139
 
        try:
140
 
            self.close()
141
 
        except BaseException:
142
 
            if exc_type is None:
143
 
                raise
144
 
        return False
145
 
 
146
135
    def flush(self):
147
136
        """No-op for standard compliance.
148
137
        >>> f = IterableFile([])
153
142
        """
154
143
        self._check_closed()
155
144
 
156
 
    def __next__(self):
 
145
    def next(self):
157
146
        """Implementation of the iterator protocol's next()
158
147
 
159
 
        >>> f = IterableFile([b'This \\n', b'is ', b'a ', b'test.'])
160
 
        >>> next(f)
161
 
        b'This \\n'
 
148
        >>> f = IterableFile(['This \\n', 'is ', 'a ', 'test.'])
 
149
        >>> f.next()
 
150
        'This \\n'
162
151
        >>> f.close()
163
 
        >>> next(f)
 
152
        >>> f.next()
164
153
        Traceback (most recent call last):
165
154
        ValueError: File is closed.
166
 
        >>> f = IterableFile([b'This \\n', b'is ', b'a ', b'test.\\n'])
167
 
        >>> next(f)
168
 
        b'This \\n'
169
 
        >>> next(f)
170
 
        b'is a test.\\n'
171
 
        >>> next(f)
 
155
        >>> f = IterableFile(['This \\n', 'is ', 'a ', 'test.\\n'])
 
156
        >>> f.next()
 
157
        'This \\n'
 
158
        >>> f.next()
 
159
        'is a test.\\n'
 
160
        >>> f.next()
172
161
        Traceback (most recent call last):
173
162
        StopIteration
174
163
        """
175
164
        self._check_closed()
176
 
        return next(self._iter)
177
 
 
178
 
    next = __next__
 
165
        return self._iter.next()
179
166
 
180
167
    def __iter__(self):
181
168
        """
182
 
        >>> list(IterableFile([b'Th\\nis ', b'is \\n', b'a ', b'te\\nst.']))
183
 
        [b'Th\\n', b'is is \\n', b'a te\\n', b'st.']
184
 
        >>> f = IterableFile([b'Th\\nis ', b'is \\n', b'a ', b'te\\nst.'])
 
169
        >>> list(IterableFile(['Th\\nis ', 'is \\n', 'a ', 'te\\nst.']))
 
170
        ['Th\\n', 'is is \\n', 'a te\\n', 'st.']
 
171
        >>> f = IterableFile(['Th\\nis ', 'is \\n', 'a ', 'te\\nst.'])
185
172
        >>> f.close()
186
173
        >>> list(f)
187
174
        Traceback (most recent call last):
191
178
 
192
179
    def read(self, length=None):
193
180
        """
194
 
        >>> IterableFile([b'This ', b'is ', b'a ', b'test.']).read()
195
 
        b'This is a test.'
196
 
        >>> f = IterableFile([b'This ', b'is ', b'a ', b'test.'])
 
181
        >>> IterableFile(['This ', 'is ', 'a ', 'test.']).read()
 
182
        'This is a test.'
 
183
        >>> f = IterableFile(['This ', 'is ', 'a ', 'test.'])
197
184
        >>> f.read(10)
198
 
        b'This is a '
199
 
        >>> f = IterableFile([b'This ', b'is ', b'a ', b'test.'])
 
185
        'This is a '
 
186
        >>> f = IterableFile(['This ', 'is ', 'a ', 'test.'])
200
187
        >>> f.close()
201
188
        >>> f.read(10)
202
189
        Traceback (most recent call last):
213
200
        Read characters until a sequence is found, with optional max size.
214
201
        The specified sequence, if found, will be included in the result
215
202
 
216
 
        >>> f = IterableFile([b'Th\\nis ', b'is \\n', b'a ', b'te\\nst.'])
217
 
        >>> f.read_to(b'i')
218
 
        b'Th\\ni'
219
 
        >>> f.read_to(b'i')
220
 
        b's i'
 
203
        >>> f = IterableFile(['Th\\nis ', 'is \\n', 'a ', 'te\\nst.'])
 
204
        >>> f.read_to('i')
 
205
        'Th\\ni'
 
206
        >>> f.read_to('i')
 
207
        's i'
221
208
        >>> f.close()
222
 
        >>> f.read_to(b'i')
 
209
        >>> f.read_to('i')
223
210
        Traceback (most recent call last):
224
211
        ValueError: File is closed.
225
212
        """
228
215
 
229
216
    def readline(self, size=None):
230
217
        """
231
 
        >>> f = IterableFile([b'Th\\nis ', b'is \\n', b'a ', b'te\\nst.'])
 
218
        >>> f = IterableFile(['Th\\nis ', 'is \\n', 'a ', 'te\\nst.'])
232
219
        >>> f.readline()
233
 
        b'Th\\n'
 
220
        'Th\\n'
234
221
        >>> f.readline(4)
235
 
        b'is i'
 
222
        'is i'
236
223
        >>> f.close()
237
224
        >>> f.readline()
238
225
        Traceback (most recent call last):
239
226
        ValueError: File is closed.
240
227
        """
241
 
        return self.read_to(b'\n', size)
 
228
        return self.read_to('\n', size)
242
229
 
243
230
    def readlines(self, sizehint=None):
244
231
        """
245
 
        >>> f = IterableFile([b'Th\\nis ', b'is \\n', b'a ', b'te\\nst.'])
 
232
        >>> f = IterableFile(['Th\\nis ', 'is \\n', 'a ', 'te\\nst.'])
246
233
        >>> f.readlines()
247
 
        [b'Th\\n', b'is is \\n', b'a te\\n', b'st.']
248
 
        >>> f = IterableFile([b'Th\\nis ', b'is \\n', b'a ', b'te\\nst.'])
 
234
        ['Th\\n', 'is is \\n', 'a te\\n', 'st.']
 
235
        >>> f = IterableFile(['Th\\nis ', 'is \\n', 'a ', 'te\\nst.'])
249
236
        >>> f.close()
250
237
        >>> f.readlines()
251
238
        Traceback (most recent call last):
254
241
        lines = []
255
242
        while True:
256
243
            line = self.readline()
257
 
            if line == b"":
 
244
            if line == "":
258
245
                return lines
259
246
            if sizehint is None:
260
247
                lines.append(line)