/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to breezy/bzr/xml8.py

  • Committer: Jelmer Vernooij
  • Date: 2020-03-28 22:25:33 UTC
  • mto: (7490.7.10 work)
  • mto: This revision was merged to the branch mainline in revision 7501.
  • Revision ID: jelmer@jelmer.uk-20200328222533-n1gnfzq799ylf5ko
https://launchpad.net/bugs/1869533
Cope with non-ascii characters in gpg signatures.

Show diffs side-by-side

added added

removed removed

Lines of Context:
breezy/bzr/xml8.py
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
 
import cStringIO
18
 
import re
19
 
 
20
 
from bzrlib import (
 
17
from __future__ import absolute_import
 
18
 
 
19
from io import BytesIO
 
20
 
 
21
from .. import (
21
22
    cache_utf8,
22
 
    errors,
23
 
    inventory,
 
23
    lazy_regex,
24
24
    revision as _mod_revision,
25
25
    trace,
26
26
    )
27
 
from bzrlib.xml_serializer import (
 
27
from .xml_serializer import (
28
28
    Element,
29
29
    SubElement,
30
30
    XMLSerializer,
 
31
    encode_and_escape,
31
32
    escape_invalid_chars,
 
33
    get_utf8_or_ascii,
 
34
    serialize_inventory_flat,
 
35
    unpack_inventory_entry,
 
36
    unpack_inventory_flat,
32
37
    )
33
 
from bzrlib.inventory import InventoryEntry
34
 
from bzrlib.revision import Revision
35
 
from bzrlib.errors import BzrError
36
 
 
37
 
 
38
 
_utf8_re = None
39
 
_unicode_re = None
40
 
_xml_escape_map = {
41
 
    "&":'&',
42
 
    "'":"'", # FIXME: overkill
43
 
    "\"":""",
44
 
    "<":"&lt;",
45
 
    ">":"&gt;",
46
 
    }
47
 
 
48
 
 
49
 
def _ensure_utf8_re():
50
 
    """Make sure the _utf8_re and _unicode_re regexes have been compiled."""
51
 
    global _utf8_re, _unicode_re
52
 
    if _utf8_re is None:
53
 
        _utf8_re = re.compile('[&<>\'\"]|[\x80-\xff]+')
54
 
    if _unicode_re is None:
55
 
        _unicode_re = re.compile(u'[&<>\'\"\u0080-\uffff]')
56
 
 
57
 
 
58
 
def _unicode_escape_replace(match, _map=_xml_escape_map):
59
 
    """Replace a string of non-ascii, non XML safe characters with their escape
60
 
 
61
 
    This will escape both Standard XML escapes, like <>"', etc.
62
 
    As well as escaping non ascii characters, because ElementTree did.
63
 
    This helps us remain compatible to older versions of bzr. We may change
64
 
    our policy in the future, though.
65
 
    """
66
 
    # jam 20060816 Benchmarks show that try/KeyError is faster if you
67
 
    # expect the entity to rarely miss. There is about a 10% difference
68
 
    # in overall time. But if you miss frequently, then if None is much
69
 
    # faster. For our use case, we *rarely* have a revision id, file id
70
 
    # or path name that is unicode. So use try/KeyError.
71
 
    try:
72
 
        return _map[match.group()]
73
 
    except KeyError:
74
 
        return "&#%d;" % ord(match.group())
75
 
 
76
 
 
77
 
def _utf8_escape_replace(match, _map=_xml_escape_map):
78
 
    """Escape utf8 characters into XML safe ones.
79
 
 
80
 
    This uses 2 tricks. It is either escaping "standard" characters, like "&<>,
81
 
    or it is handling characters with the high-bit set. For ascii characters,
82
 
    we just lookup the replacement in the dictionary. For everything else, we
83
 
    decode back into Unicode, and then use the XML escape code.
84
 
    """
85
 
    try:
86
 
        return _map[match.group()]
87
 
    except KeyError:
88
 
        return ''.join('&#%d;' % ord(uni_chr)
89
 
                       for uni_chr in match.group().decode('utf8'))
90
 
 
91
 
 
92
 
_to_escaped_map = {}
93
 
 
94
 
def _encode_and_escape(unicode_or_utf8_str, _map=_to_escaped_map):
95
 
    """Encode the string into utf8, and escape invalid XML characters"""
96
 
    # We frequently get entities we have not seen before, so it is better
97
 
    # to check if None, rather than try/KeyError
98
 
    text = _map.get(unicode_or_utf8_str)
99
 
    if text is None:
100
 
        if unicode_or_utf8_str.__class__ is unicode:
101
 
            # The alternative policy is to do a regular UTF8 encoding
102
 
            # and then escape only XML meta characters.
103
 
            # Performance is equivalent once you use cache_utf8. *However*
104
 
            # this makes the serialized texts incompatible with old versions
105
 
            # of bzr. So no net gain. (Perhaps the read code would handle utf8
106
 
            # better than entity escapes, but cElementTree seems to do just fine
107
 
            # either way)
108
 
            text = str(_unicode_re.sub(_unicode_escape_replace,
109
 
                                       unicode_or_utf8_str)) + '"'
110
 
        else:
111
 
            # Plain strings are considered to already be in utf-8 so we do a
112
 
            # slightly different method for escaping.
113
 
            text = _utf8_re.sub(_utf8_escape_replace,
114
 
                                unicode_or_utf8_str) + '"'
115
 
        _map[unicode_or_utf8_str] = text
116
 
    return text
117
 
 
118
 
 
119
 
def _get_utf8_or_ascii(a_str,
120
 
                       _encode_utf8=cache_utf8.encode,
121
 
                       _get_cached_ascii=cache_utf8.get_cached_ascii):
122
 
    """Return a cached version of the string.
123
 
 
124
 
    cElementTree will return a plain string if the XML is plain ascii. It only
125
 
    returns Unicode when it needs to. We want to work in utf-8 strings. So if
126
 
    cElementTree returns a plain string, we can just return the cached version.
127
 
    If it is Unicode, then we need to encode it.
128
 
 
129
 
    :param a_str: An 8-bit string or Unicode as returned by
130
 
                  cElementTree.Element.get()
131
 
    :return: A utf-8 encoded 8-bit string.
132
 
    """
133
 
    # This is fairly optimized because we know what cElementTree does, this is
134
 
    # not meant as a generic function for all cases. Because it is possible for
135
 
    # an 8-bit string to not be ascii or valid utf8.
136
 
    if a_str.__class__ is unicode:
137
 
        return _encode_utf8(a_str)
138
 
    else:
139
 
        return intern(a_str)
140
 
 
141
 
 
142
 
def _clear_cache():
143
 
    """Clean out the unicode => escaped map"""
144
 
    _to_escaped_map.clear()
 
38
from ..revision import Revision
 
39
from ..sixish import unichr
 
40
from ..errors import BzrError
 
41
 
 
42
 
 
43
_xml_unescape_map = {
 
44
    b'apos': b"'",
 
45
    b'quot': b'"',
 
46
    b'amp': b'&',
 
47
    b'lt': b'<',
 
48
    b'gt': b'>'
 
49
}
 
50
 
 
51
 
 
52
def _unescaper(match, _map=_xml_unescape_map):
 
53
    code = match.group(1)
 
54
    try:
 
55
        return _map[code]
 
56
    except KeyError:
 
57
        if not code.startswith(b'#'):
 
58
            raise
 
59
        return unichr(int(code[1:])).encode('utf8')
 
60
 
 
61
 
 
62
_unescape_re = lazy_regex.lazy_compile(b'\\&([^;]*);')
 
63
 
 
64
 
 
65
def _unescape_xml(data):
 
66
    """Unescape predefined XML entities in a string of data."""
 
67
    return _unescape_re.sub(_unescaper, data)
145
68
 
146
69
 
147
70
class Serializer_v8(XMLSerializer):
157
80
    # This format supports the altered-by hack that reads file ids directly out
158
81
    # of the versionedfile, without doing XML parsing.
159
82
 
160
 
    supported_kinds = set(['file', 'directory', 'symlink'])
161
 
    format_num = '8'
 
83
    supported_kinds = {'file', 'directory', 'symlink'}
 
84
    format_num = b'8'
162
85
    revision_format_num = None
163
86
 
 
87
    # The search regex used by xml based repositories to determine what things
 
88
    # where changed in a single commit.
 
89
    _file_ids_altered_regex = lazy_regex.lazy_compile(
 
90
        b'file_id="(?P<file_id>[^"]+)"'
 
91
        b'.* revision="(?P<revision_id>[^"]+)"'
 
92
        )
 
93
 
164
94
    def _check_revisions(self, inv):
165
95
        """Extension point for subclasses to check during serialisation.
166
96
 
204
134
        """Return a list of lines with the encoded inventory."""
205
135
        return self.write_inventory(inv, None)
206
136
 
207
 
    def write_inventory_to_string(self, inv, working=False):
208
 
        """Just call write_inventory with a StringIO and return the value.
209
 
 
210
 
        :param working: If True skip history data - text_sha1, text_size,
211
 
            reference_revision, symlink_target.
212
 
        """
213
 
        sio = cStringIO.StringIO()
214
 
        self.write_inventory(inv, sio, working)
215
 
        return sio.getvalue()
 
137
    def write_inventory_to_chunks(self, inv):
 
138
        return self.write_inventory(inv, None)
216
139
 
217
140
    def write_inventory(self, inv, f, working=False):
218
141
        """Write inventory to a file.
224
147
            reference_revision, symlink_target.
225
148
        :return: The inventory as a list of lines.
226
149
        """
227
 
        _ensure_utf8_re()
228
 
        self._check_revisions(inv)
229
150
        output = []
230
151
        append = output.append
231
152
        self._append_inventory_root(append, inv)
232
 
        entries = inv.iter_entries()
233
 
        # Skip the root
234
 
        root_path, root_ie = entries.next()
235
 
        for path, ie in entries:
236
 
            if ie.parent_id != self.root_id:
237
 
                parent_str = ' parent_id="'
238
 
                parent_id  = _encode_and_escape(ie.parent_id)
239
 
            else:
240
 
                parent_str = ''
241
 
                parent_id  = ''
242
 
            if ie.kind == 'file':
243
 
                if ie.executable:
244
 
                    executable = ' executable="yes"'
245
 
                else:
246
 
                    executable = ''
247
 
                if not working:
248
 
                    append('<file%s file_id="%s name="%s%s%s revision="%s '
249
 
                        'text_sha1="%s" text_size="%d" />\n' % (
250
 
                        executable, _encode_and_escape(ie.file_id),
251
 
                        _encode_and_escape(ie.name), parent_str, parent_id,
252
 
                        _encode_and_escape(ie.revision), ie.text_sha1,
253
 
                        ie.text_size))
254
 
                else:
255
 
                    append('<file%s file_id="%s name="%s%s%s />\n' % (
256
 
                        executable, _encode_and_escape(ie.file_id),
257
 
                        _encode_and_escape(ie.name), parent_str, parent_id))
258
 
            elif ie.kind == 'directory':
259
 
                if not working:
260
 
                    append('<directory file_id="%s name="%s%s%s revision="%s '
261
 
                        '/>\n' % (
262
 
                        _encode_and_escape(ie.file_id),
263
 
                        _encode_and_escape(ie.name),
264
 
                        parent_str, parent_id,
265
 
                        _encode_and_escape(ie.revision)))
266
 
                else:
267
 
                    append('<directory file_id="%s name="%s%s%s />\n' % (
268
 
                        _encode_and_escape(ie.file_id),
269
 
                        _encode_and_escape(ie.name),
270
 
                        parent_str, parent_id))
271
 
            elif ie.kind == 'symlink':
272
 
                if not working:
273
 
                    append('<symlink file_id="%s name="%s%s%s revision="%s '
274
 
                        'symlink_target="%s />\n' % (
275
 
                        _encode_and_escape(ie.file_id),
276
 
                        _encode_and_escape(ie.name),
277
 
                        parent_str, parent_id,
278
 
                        _encode_and_escape(ie.revision),
279
 
                        _encode_and_escape(ie.symlink_target)))
280
 
                else:
281
 
                    append('<symlink file_id="%s name="%s%s%s />\n' % (
282
 
                        _encode_and_escape(ie.file_id),
283
 
                        _encode_and_escape(ie.name),
284
 
                        parent_str, parent_id))
285
 
            elif ie.kind == 'tree-reference':
286
 
                if ie.kind not in self.supported_kinds:
287
 
                    raise errors.UnsupportedInventoryKind(ie.kind)
288
 
                if not working:
289
 
                    append('<tree-reference file_id="%s name="%s%s%s '
290
 
                        'revision="%s reference_revision="%s />\n' % (
291
 
                        _encode_and_escape(ie.file_id),
292
 
                        _encode_and_escape(ie.name),
293
 
                        parent_str, parent_id,
294
 
                        _encode_and_escape(ie.revision),
295
 
                        _encode_and_escape(ie.reference_revision)))
296
 
                else:
297
 
                    append('<tree-reference file_id="%s name="%s%s%s />\n' % (
298
 
                        _encode_and_escape(ie.file_id),
299
 
                        _encode_and_escape(ie.name),
300
 
                        parent_str, parent_id))
301
 
            else:
302
 
                raise errors.UnsupportedInventoryKind(ie.kind)
303
 
        append('</inventory>\n')
 
153
        serialize_inventory_flat(inv, append,
 
154
                                 self.root_id, self.supported_kinds, working)
304
155
        if f is not None:
305
156
            f.writelines(output)
306
157
        # Just to keep the cache from growing without bounds
307
158
        # but we may actually not want to do clear the cache
308
 
        #_clear_cache()
 
159
        # _clear_cache()
309
160
        return output
310
161
 
311
162
    def _append_inventory_root(self, append, inv):
312
163
        """Append the inventory root to output."""
313
164
        if inv.revision_id is not None:
314
 
            revid1 = ' revision_id="'
315
 
            revid2 = _encode_and_escape(inv.revision_id)
 
165
            revid1 = b''.join(
 
166
                [b' revision_id="', encode_and_escape(inv.revision_id), b'"'])
316
167
        else:
317
 
            revid1 = ""
318
 
            revid2 = ""
319
 
        append('<inventory format="%s"%s%s>\n' % (
320
 
            self.format_num, revid1, revid2))
321
 
        append('<directory file_id="%s name="%s revision="%s />\n' % (
322
 
            _encode_and_escape(inv.root.file_id),
323
 
            _encode_and_escape(inv.root.name),
324
 
            _encode_and_escape(inv.root.revision)))
 
168
            revid1 = b""
 
169
        append(b'<inventory format="%s"%s>\n' % (
 
170
            self.format_num, revid1))
 
171
        append(b'<directory file_id="%s" name="%s" revision="%s" />\n' % (
 
172
            encode_and_escape(inv.root.file_id),
 
173
            encode_and_escape(inv.root.name),
 
174
            encode_and_escape(inv.root.revision)))
325
175
 
326
 
    def _pack_revision(self, rev):
 
176
    def write_revision_to_lines(self, rev):
327
177
        """Revision object -> xml tree"""
328
178
        # For the XML format, we need to write them as Unicode rather than as
329
179
        # utf-8 strings. So that cElementTree can handle properly escaping
330
180
        # them.
331
 
        decode_utf8 = cache_utf8.decode
332
 
        revision_id = rev.revision_id
333
 
        if isinstance(revision_id, str):
334
 
            revision_id = decode_utf8(revision_id)
335
 
        format_num = self.format_num
336
 
        if self.revision_format_num is not None:
337
 
            format_num = self.revision_format_num
338
 
        root = Element('revision',
339
 
                       committer = rev.committer,
340
 
                       timestamp = '%.3f' % rev.timestamp,
341
 
                       revision_id = revision_id,
342
 
                       inventory_sha1 = rev.inventory_sha1,
343
 
                       format=format_num,
344
 
                       )
 
181
        lines = []
 
182
        el = (b'<revision committer="%s" format="%s" '
 
183
              b'inventory_sha1="%s" revision_id="%s" '
 
184
              b'timestamp="%.3f"' % (
 
185
                  encode_and_escape(rev.committer),
 
186
                  self.revision_format_num or self.format_num,
 
187
                  rev.inventory_sha1,
 
188
                  encode_and_escape(cache_utf8.decode(rev.revision_id)),
 
189
                  rev.timestamp))
345
190
        if rev.timezone is not None:
346
 
            root.set('timezone', str(rev.timezone))
347
 
        root.text = '\n'
348
 
        msg = SubElement(root, 'message')
349
 
        msg.text = escape_invalid_chars(rev.message)[0]
350
 
        msg.tail = '\n'
 
191
            el += b' timezone="%s"' % str(rev.timezone).encode('ascii')
 
192
        lines.append(el + b'>\n')
 
193
        message = encode_and_escape(escape_invalid_chars(rev.message)[0])
 
194
        lines.extend((b'<message>' + message + b'</message>\n').splitlines(True))
351
195
        if rev.parent_ids:
352
 
            pelts = SubElement(root, 'parents')
353
 
            pelts.tail = pelts.text = '\n'
 
196
            lines.append(b'<parents>\n')
354
197
            for parent_id in rev.parent_ids:
355
198
                _mod_revision.check_not_reserved_id(parent_id)
356
 
                p = SubElement(pelts, 'revision_ref')
357
 
                p.tail = '\n'
358
 
                if isinstance(parent_id, str):
359
 
                    parent_id = decode_utf8(parent_id)
360
 
                p.set('revision_id', parent_id)
 
199
                lines.append(
 
200
                    b'<revision_ref revision_id="%s" />\n'
 
201
                    % encode_and_escape(cache_utf8.decode(parent_id)))
 
202
            lines.append(b'</parents>\n')
361
203
        if rev.properties:
362
 
            self._pack_revision_properties(rev, root)
363
 
        return root
 
204
            preamble = b'<properties>'
 
205
            for prop_name, prop_value in sorted(rev.properties.items()):
 
206
                if prop_value:
 
207
                    proplines = (preamble + b'<property name="%s">%s</property>\n' % (
 
208
                        encode_and_escape(prop_name),
 
209
                        encode_and_escape(escape_invalid_chars(prop_value)[0]))).splitlines(True)
 
210
                else:
 
211
                    proplines = [preamble + b'<property name="%s" />\n' % (encode_and_escape(prop_name), )]
 
212
                preamble = b''
 
213
                lines.extend(proplines)
 
214
            lines.append(b'</properties>\n')
 
215
        lines.append(b'</revision>\n')
 
216
        return lines
364
217
 
365
 
    def _pack_revision_properties(self, rev, under_element):
366
 
        top_elt = SubElement(under_element, 'properties')
367
 
        for prop_name, prop_value in sorted(rev.properties.items()):
368
 
            prop_elt = SubElement(top_elt, 'property')
369
 
            prop_elt.set('name', prop_name)
370
 
            prop_elt.text = prop_value
371
 
            prop_elt.tail = '\n'
372
 
        top_elt.tail = '\n'
 
218
    def _unpack_entry(self, elt, entry_cache=None, return_from_cache=False):
 
219
        # This is here because it's overridden by xml7
 
220
        return unpack_inventory_entry(elt, entry_cache,
 
221
                                      return_from_cache)
373
222
 
374
223
    def _unpack_inventory(self, elt, revision_id=None, entry_cache=None,
375
224
                          return_from_cache=False):
376
225
        """Construct from XML Element"""
377
 
        if elt.tag != 'inventory':
378
 
            raise errors.UnexpectedInventoryFormat('Root tag is %r' % elt.tag)
379
 
        format = elt.get('format')
380
 
        if format != self.format_num:
381
 
            raise errors.UnexpectedInventoryFormat('Invalid format version %r'
382
 
                                                   % format)
383
 
        revision_id = elt.get('revision_id')
384
 
        if revision_id is not None:
385
 
            revision_id = cache_utf8.encode(revision_id)
386
 
        inv = inventory.Inventory(root_id=None, revision_id=revision_id)
387
 
        for e in elt:
388
 
            ie = self._unpack_entry(e, entry_cache=entry_cache,
389
 
                                    return_from_cache=return_from_cache)
390
 
            inv.add(ie)
 
226
        inv = unpack_inventory_flat(elt, self.format_num, self._unpack_entry,
 
227
                                    entry_cache, return_from_cache)
391
228
        self._check_cache_size(len(inv), entry_cache)
392
229
        return inv
393
230
 
394
 
    def _unpack_entry(self, elt, entry_cache=None, return_from_cache=False):
395
 
        elt_get = elt.get
396
 
        file_id = elt_get('file_id')
397
 
        revision = elt_get('revision')
398
 
        # Check and see if we have already unpacked this exact entry
399
 
        # Some timings for "repo.revision_trees(last_100_revs)"
400
 
        #               bzr     mysql
401
 
        #   unmodified  4.1s    40.8s
402
 
        #   using lru   3.5s
403
 
        #   using fifo  2.83s   29.1s
404
 
        #   lru._cache  2.8s
405
 
        #   dict        2.75s   26.8s
406
 
        #   inv.add     2.5s    26.0s
407
 
        #   no_copy     2.00s   20.5s
408
 
        #   no_c,dict   1.95s   18.0s
409
 
        # Note that a cache of 10k nodes is more than sufficient to hold all of
410
 
        # the inventory for the last 100 revs for bzr, but not for mysql (20k
411
 
        # is enough for mysql, which saves the same 2s as using a dict)
412
 
 
413
 
        # Breakdown of mysql using time.clock()
414
 
        #   4.1s    2 calls to element.get for file_id, revision_id
415
 
        #   4.5s    cache_hit lookup
416
 
        #   7.1s    InventoryFile.copy()
417
 
        #   2.4s    InventoryDirectory.copy()
418
 
        #   0.4s    decoding unique entries
419
 
        #   1.6s    decoding entries after FIFO fills up
420
 
        #   0.8s    Adding nodes to FIFO (including flushes)
421
 
        #   0.1s    cache miss lookups
422
 
        # Using an LRU cache
423
 
        #   4.1s    2 calls to element.get for file_id, revision_id
424
 
        #   9.9s    cache_hit lookup
425
 
        #   10.8s   InventoryEntry.copy()
426
 
        #   0.3s    cache miss lookus
427
 
        #   1.2s    decoding entries
428
 
        #   1.0s    adding nodes to LRU
429
 
        if entry_cache is not None and revision is not None:
430
 
            key = (file_id, revision)
431
 
            try:
432
 
                # We copy it, because some operations may mutate it
433
 
                cached_ie = entry_cache[key]
434
 
            except KeyError:
435
 
                pass
436
 
            else:
437
 
                # Only copying directory entries drops us 2.85s => 2.35s
438
 
                if return_from_cache:
439
 
                    if cached_ie.kind == 'directory':
440
 
                        return cached_ie.copy()
441
 
                    return cached_ie
442
 
                return cached_ie.copy()
443
 
 
444
 
        kind = elt.tag
445
 
        if not InventoryEntry.versionable_kind(kind):
446
 
            raise AssertionError('unsupported entry kind %s' % kind)
447
 
 
448
 
        get_cached = _get_utf8_or_ascii
449
 
 
450
 
        file_id = get_cached(file_id)
451
 
        if revision is not None:
452
 
            revision = get_cached(revision)
453
 
        parent_id = elt_get('parent_id')
454
 
        if parent_id is not None:
455
 
            parent_id = get_cached(parent_id)
456
 
 
457
 
        if kind == 'directory':
458
 
            ie = inventory.InventoryDirectory(file_id,
459
 
                                              elt_get('name'),
460
 
                                              parent_id)
461
 
        elif kind == 'file':
462
 
            ie = inventory.InventoryFile(file_id,
463
 
                                         elt_get('name'),
464
 
                                         parent_id)
465
 
            ie.text_sha1 = elt_get('text_sha1')
466
 
            if elt_get('executable') == 'yes':
467
 
                ie.executable = True
468
 
            v = elt_get('text_size')
469
 
            ie.text_size = v and int(v)
470
 
        elif kind == 'symlink':
471
 
            ie = inventory.InventoryLink(file_id,
472
 
                                         elt_get('name'),
473
 
                                         parent_id)
474
 
            ie.symlink_target = elt_get('symlink_target')
475
 
        else:
476
 
            raise errors.UnsupportedInventoryKind(kind)
477
 
        ie.revision = revision
478
 
        if revision is not None and entry_cache is not None:
479
 
            # We cache a copy() because callers like to mutate objects, and
480
 
            # that would cause the item in cache to mutate as well.
481
 
            # This has a small effect on many-inventory performance, because
482
 
            # the majority fraction is spent in cache hits, not misses.
483
 
            entry_cache[key] = ie.copy()
484
 
 
485
 
        return ie
486
 
 
487
231
    def _unpack_revision(self, elt):
488
232
        """XML Element -> Revision object"""
489
233
        format = elt.get('format')
491
235
        if self.revision_format_num is not None:
492
236
            format_num = self.revision_format_num
493
237
        if format is not None:
494
 
            if format != format_num:
 
238
            if format.encode() != format_num:
495
239
                raise BzrError("invalid format version %r on revision"
496
 
                                % format)
497
 
        get_cached = _get_utf8_or_ascii
498
 
        rev = Revision(committer = elt.get('committer'),
499
 
                       timestamp = float(elt.get('timestamp')),
500
 
                       revision_id = get_cached(elt.get('revision_id')),
501
 
                       inventory_sha1 = elt.get('inventory_sha1')
 
240
                               % format)
 
241
        get_cached = get_utf8_or_ascii
 
242
        rev = Revision(committer=elt.get('committer'),
 
243
                       timestamp=float(elt.get('timestamp')),
 
244
                       revision_id=get_cached(elt.get('revision_id')),
 
245
                       inventory_sha1=elt.get('inventory_sha1').encode('ascii')
502
246
                       )
503
247
        parents = elt.find('parents') or []
504
248
        for p in parents:
509
253
            rev.timezone = 0
510
254
        else:
511
255
            rev.timezone = int(v)
512
 
        rev.message = elt.findtext('message') # text of <message>
 
256
        rev.message = elt.findtext('message')  # text of <message>
513
257
        return rev
514
258
 
515
259
    def _unpack_revision_properties(self, elt, rev):
516
260
        """Unpack properties onto a revision."""
517
261
        props_elt = elt.find('properties')
518
 
        if not props_elt:
 
262
        if props_elt is None:
519
263
            return
520
264
        for prop_elt in props_elt:
521
265
            if prop_elt.tag != 'property':
532
276
                raise AssertionError("repeated property %r" % name)
533
277
            rev.properties[name] = value
534
278
 
 
279
    def _find_text_key_references(self, line_iterator):
 
280
        """Core routine for extracting references to texts from inventories.
 
281
 
 
282
        This performs the translation of xml lines to revision ids.
 
283
 
 
284
        :param line_iterator: An iterator of lines, origin_version_id
 
285
        :return: A dictionary mapping text keys ((fileid, revision_id) tuples)
 
286
            to whether they were referred to by the inventory of the
 
287
            revision_id that they contain. Note that if that revision_id was
 
288
            not part of the line_iterator's output then False will be given -
 
289
            even though it may actually refer to that key.
 
290
        """
 
291
        if not self.support_altered_by_hack:
 
292
            raise AssertionError(
 
293
                "_find_text_key_references only "
 
294
                "supported for branches which store inventory as unnested xml"
 
295
                ", not on %r" % self)
 
296
        result = {}
 
297
 
 
298
        # this code needs to read every new line in every inventory for the
 
299
        # inventories [revision_ids]. Seeing a line twice is ok. Seeing a line
 
300
        # not present in one of those inventories is unnecessary but not
 
301
        # harmful because we are filtering by the revision id marker in the
 
302
        # inventory lines : we only select file ids altered in one of those
 
303
        # revisions. We don't need to see all lines in the inventory because
 
304
        # only those added in an inventory in rev X can contain a revision=X
 
305
        # line.
 
306
        unescape_revid_cache = {}
 
307
        unescape_fileid_cache = {}
 
308
 
 
309
        # jam 20061218 In a big fetch, this handles hundreds of thousands
 
310
        # of lines, so it has had a lot of inlining and optimizing done.
 
311
        # Sorry that it is a little bit messy.
 
312
        # Move several functions to be local variables, since this is a long
 
313
        # running loop.
 
314
        search = self._file_ids_altered_regex.search
 
315
        unescape = _unescape_xml
 
316
        setdefault = result.setdefault
 
317
        for line, line_key in line_iterator:
 
318
            match = search(line)
 
319
            if match is None:
 
320
                continue
 
321
            # One call to match.group() returning multiple items is quite a
 
322
            # bit faster than 2 calls to match.group() each returning 1
 
323
            file_id, revision_id = match.group('file_id', 'revision_id')
 
324
 
 
325
            # Inlining the cache lookups helps a lot when you make 170,000
 
326
            # lines and 350k ids, versus 8.4 unique ids.
 
327
            # Using a cache helps in 2 ways:
 
328
            #   1) Avoids unnecessary decoding calls
 
329
            #   2) Re-uses cached strings, which helps in future set and
 
330
            #      equality checks.
 
331
            # (2) is enough that removing encoding entirely along with
 
332
            # the cache (so we are using plain strings) results in no
 
333
            # performance improvement.
 
334
            try:
 
335
                revision_id = unescape_revid_cache[revision_id]
 
336
            except KeyError:
 
337
                unescaped = unescape(revision_id)
 
338
                unescape_revid_cache[revision_id] = unescaped
 
339
                revision_id = unescaped
 
340
 
 
341
            # Note that unconditionally unescaping means that we deserialise
 
342
            # every fileid, which for general 'pull' is not great, but we don't
 
343
            # really want to have some many fulltexts that this matters anyway.
 
344
            # RBC 20071114.
 
345
            try:
 
346
                file_id = unescape_fileid_cache[file_id]
 
347
            except KeyError:
 
348
                unescaped = unescape(file_id)
 
349
                unescape_fileid_cache[file_id] = unescaped
 
350
                file_id = unescaped
 
351
 
 
352
            key = (file_id, revision_id)
 
353
            setdefault(key, False)
 
354
            if revision_id == line_key[-1]:
 
355
                result[key] = True
 
356
        return result
 
357
 
535
358
 
536
359
serializer_v8 = Serializer_v8()