/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/xml8.py

  • Committer: John Ferlito
  • Date: 2009-09-02 04:31:45 UTC
  • mto: (4665.7.1 serve-init)
  • mto: This revision was merged to the branch mainline in revision 4913.
  • Revision ID: johnf@inodes.org-20090902043145-gxdsfw03ilcwbyn5
Add a debian init script for bzr --serve

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/xml8.py
1
 
# Copyright (C) 2005-2010 Canonical Ltd
 
1
# Copyright (C) 2005, 2006, 2007, 2008 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
 
from io import BytesIO
 
17
import cStringIO
 
18
import re
18
19
 
19
 
from .. import (
 
20
from bzrlib import (
20
21
    cache_utf8,
21
 
    lazy_regex,
 
22
    errors,
 
23
    inventory,
22
24
    revision as _mod_revision,
23
25
    trace,
24
26
    )
25
 
from .xml_serializer import (
 
27
from bzrlib.xml_serializer import (
26
28
    Element,
27
29
    SubElement,
28
30
    XMLSerializer,
29
 
    encode_and_escape,
30
31
    escape_invalid_chars,
31
 
    get_utf8_or_ascii,
32
 
    serialize_inventory_flat,
33
 
    unpack_inventory_entry,
34
 
    unpack_inventory_flat,
35
32
    )
36
 
from ..revision import Revision
37
 
from ..errors import BzrError
38
 
 
39
 
 
40
 
_xml_unescape_map = {
41
 
    b'apos': b"'",
42
 
    b'quot': b'"',
43
 
    b'amp': b'&',
44
 
    b'lt': b'<',
45
 
    b'gt': b'>'
46
 
}
47
 
 
48
 
 
49
 
def _unescaper(match, _map=_xml_unescape_map):
50
 
    code = match.group(1)
51
 
    try:
52
 
        return _map[code]
53
 
    except KeyError:
54
 
        if not code.startswith(b'#'):
55
 
            raise
56
 
        return chr(int(code[1:])).encode('utf8')
57
 
 
58
 
 
59
 
_unescape_re = lazy_regex.lazy_compile(b'\\&([^;]*);')
60
 
 
61
 
 
62
 
def _unescape_xml(data):
63
 
    """Unescape predefined XML entities in a string of data."""
64
 
    return _unescape_re.sub(_unescaper, data)
 
33
from bzrlib.inventory import ROOT_ID, Inventory, InventoryEntry
 
34
from bzrlib.revision import Revision
 
35
from bzrlib.errors import BzrError
 
36
 
 
37
 
 
38
_utf8_re = None
 
39
_unicode_re = None
 
40
_xml_escape_map = {
 
41
    "&":'&amp;',
 
42
    "'":"&apos;", # FIXME: overkill
 
43
    "\"":"&quot;",
 
44
    "<":"&lt;",
 
45
    ">":"&gt;",
 
46
    }
 
47
 
 
48
 
 
49
def _ensure_utf8_re():
 
50
    """Make sure the _utf8_re and _unicode_re regexes have been compiled."""
 
51
    global _utf8_re, _unicode_re
 
52
    if _utf8_re is None:
 
53
        _utf8_re = re.compile('[&<>\'\"]|[\x80-\xff]+')
 
54
    if _unicode_re is None:
 
55
        _unicode_re = re.compile(u'[&<>\'\"\u0080-\uffff]')
 
56
 
 
57
 
 
58
def _unicode_escape_replace(match, _map=_xml_escape_map):
 
59
    """Replace a string of non-ascii, non XML safe characters with their escape
 
60
 
 
61
    This will escape both Standard XML escapes, like <>"', etc.
 
62
    As well as escaping non ascii characters, because ElementTree did.
 
63
    This helps us remain compatible to older versions of bzr. We may change
 
64
    our policy in the future, though.
 
65
    """
 
66
    # jam 20060816 Benchmarks show that try/KeyError is faster if you
 
67
    # expect the entity to rarely miss. There is about a 10% difference
 
68
    # in overall time. But if you miss frequently, then if None is much
 
69
    # faster. For our use case, we *rarely* have a revision id, file id
 
70
    # or path name that is unicode. So use try/KeyError.
 
71
    try:
 
72
        return _map[match.group()]
 
73
    except KeyError:
 
74
        return "&#%d;" % ord(match.group())
 
75
 
 
76
 
 
77
def _utf8_escape_replace(match, _map=_xml_escape_map):
 
78
    """Escape utf8 characters into XML safe ones.
 
79
 
 
80
    This uses 2 tricks. It is either escaping "standard" characters, like "&<>,
 
81
    or it is handling characters with the high-bit set. For ascii characters,
 
82
    we just lookup the replacement in the dictionary. For everything else, we
 
83
    decode back into Unicode, and then use the XML escape code.
 
84
    """
 
85
    try:
 
86
        return _map[match.group()]
 
87
    except KeyError:
 
88
        return ''.join('&#%d;' % ord(uni_chr)
 
89
                       for uni_chr in match.group().decode('utf8'))
 
90
 
 
91
 
 
92
_to_escaped_map = {}
 
93
 
 
94
def _encode_and_escape(unicode_or_utf8_str, _map=_to_escaped_map):
 
95
    """Encode the string into utf8, and escape invalid XML characters"""
 
96
    # We frequently get entities we have not seen before, so it is better
 
97
    # to check if None, rather than try/KeyError
 
98
    text = _map.get(unicode_or_utf8_str)
 
99
    if text is None:
 
100
        if unicode_or_utf8_str.__class__ is unicode:
 
101
            # The alternative policy is to do a regular UTF8 encoding
 
102
            # and then escape only XML meta characters.
 
103
            # Performance is equivalent once you use cache_utf8. *However*
 
104
            # this makes the serialized texts incompatible with old versions
 
105
            # of bzr. So no net gain. (Perhaps the read code would handle utf8
 
106
            # better than entity escapes, but cElementTree seems to do just fine
 
107
            # either way)
 
108
            text = str(_unicode_re.sub(_unicode_escape_replace,
 
109
                                       unicode_or_utf8_str)) + '"'
 
110
        else:
 
111
            # Plain strings are considered to already be in utf-8 so we do a
 
112
            # slightly different method for escaping.
 
113
            text = _utf8_re.sub(_utf8_escape_replace,
 
114
                                unicode_or_utf8_str) + '"'
 
115
        _map[unicode_or_utf8_str] = text
 
116
    return text
 
117
 
 
118
 
 
119
def _get_utf8_or_ascii(a_str,
 
120
                       _encode_utf8=cache_utf8.encode,
 
121
                       _get_cached_ascii=cache_utf8.get_cached_ascii):
 
122
    """Return a cached version of the string.
 
123
 
 
124
    cElementTree will return a plain string if the XML is plain ascii. It only
 
125
    returns Unicode when it needs to. We want to work in utf-8 strings. So if
 
126
    cElementTree returns a plain string, we can just return the cached version.
 
127
    If it is Unicode, then we need to encode it.
 
128
 
 
129
    :param a_str: An 8-bit string or Unicode as returned by
 
130
                  cElementTree.Element.get()
 
131
    :return: A utf-8 encoded 8-bit string.
 
132
    """
 
133
    # This is fairly optimized because we know what cElementTree does, this is
 
134
    # not meant as a generic function for all cases. Because it is possible for
 
135
    # an 8-bit string to not be ascii or valid utf8.
 
136
    if a_str.__class__ is unicode:
 
137
        return _encode_utf8(a_str)
 
138
    else:
 
139
        return intern(a_str)
 
140
 
 
141
 
 
142
def _clear_cache():
 
143
    """Clean out the unicode => escaped map"""
 
144
    _to_escaped_map.clear()
65
145
 
66
146
 
67
147
class Serializer_v8(XMLSerializer):
77
157
    # This format supports the altered-by hack that reads file ids directly out
78
158
    # of the versionedfile, without doing XML parsing.
79
159
 
80
 
    supported_kinds = {'file', 'directory', 'symlink'}
81
 
    format_num = b'8'
 
160
    supported_kinds = set(['file', 'directory', 'symlink'])
 
161
    format_num = '8'
82
162
    revision_format_num = None
83
163
 
84
 
    # The search regex used by xml based repositories to determine what things
85
 
    # where changed in a single commit.
86
 
    _file_ids_altered_regex = lazy_regex.lazy_compile(
87
 
        b'file_id="(?P<file_id>[^"]+)"'
88
 
        b'.* revision="(?P<revision_id>[^"]+)"'
89
 
        )
90
 
 
91
164
    def _check_revisions(self, inv):
92
165
        """Extension point for subclasses to check during serialisation.
93
166
 
131
204
        """Return a list of lines with the encoded inventory."""
132
205
        return self.write_inventory(inv, None)
133
206
 
134
 
    def write_inventory_to_chunks(self, inv):
135
 
        return self.write_inventory(inv, None)
 
207
    def write_inventory_to_string(self, inv, working=False):
 
208
        """Just call write_inventory with a StringIO and return the value.
 
209
 
 
210
        :param working: If True skip history data - text_sha1, text_size,
 
211
            reference_revision, symlink_target.
 
212
        """
 
213
        sio = cStringIO.StringIO()
 
214
        self.write_inventory(inv, sio, working)
 
215
        return sio.getvalue()
136
216
 
137
217
    def write_inventory(self, inv, f, working=False):
138
218
        """Write inventory to a file.
144
224
            reference_revision, symlink_target.
145
225
        :return: The inventory as a list of lines.
146
226
        """
 
227
        _ensure_utf8_re()
 
228
        self._check_revisions(inv)
147
229
        output = []
148
230
        append = output.append
149
231
        self._append_inventory_root(append, inv)
150
 
        serialize_inventory_flat(inv, append,
151
 
                                 self.root_id, self.supported_kinds, working)
 
232
        entries = inv.iter_entries()
 
233
        # Skip the root
 
234
        root_path, root_ie = entries.next()
 
235
        for path, ie in entries:
 
236
            if ie.parent_id != self.root_id:
 
237
                parent_str = ' parent_id="'
 
238
                parent_id  = _encode_and_escape(ie.parent_id)
 
239
            else:
 
240
                parent_str = ''
 
241
                parent_id  = ''
 
242
            if ie.kind == 'file':
 
243
                if ie.executable:
 
244
                    executable = ' executable="yes"'
 
245
                else:
 
246
                    executable = ''
 
247
                if not working:
 
248
                    append('<file%s file_id="%s name="%s%s%s revision="%s '
 
249
                        'text_sha1="%s" text_size="%d" />\n' % (
 
250
                        executable, _encode_and_escape(ie.file_id),
 
251
                        _encode_and_escape(ie.name), parent_str, parent_id,
 
252
                        _encode_and_escape(ie.revision), ie.text_sha1,
 
253
                        ie.text_size))
 
254
                else:
 
255
                    append('<file%s file_id="%s name="%s%s%s />\n' % (
 
256
                        executable, _encode_and_escape(ie.file_id),
 
257
                        _encode_and_escape(ie.name), parent_str, parent_id))
 
258
            elif ie.kind == 'directory':
 
259
                if not working:
 
260
                    append('<directory file_id="%s name="%s%s%s revision="%s '
 
261
                        '/>\n' % (
 
262
                        _encode_and_escape(ie.file_id),
 
263
                        _encode_and_escape(ie.name),
 
264
                        parent_str, parent_id,
 
265
                        _encode_and_escape(ie.revision)))
 
266
                else:
 
267
                    append('<directory file_id="%s name="%s%s%s />\n' % (
 
268
                        _encode_and_escape(ie.file_id),
 
269
                        _encode_and_escape(ie.name),
 
270
                        parent_str, parent_id))
 
271
            elif ie.kind == 'symlink':
 
272
                if not working:
 
273
                    append('<symlink file_id="%s name="%s%s%s revision="%s '
 
274
                        'symlink_target="%s />\n' % (
 
275
                        _encode_and_escape(ie.file_id),
 
276
                        _encode_and_escape(ie.name),
 
277
                        parent_str, parent_id,
 
278
                        _encode_and_escape(ie.revision),
 
279
                        _encode_and_escape(ie.symlink_target)))
 
280
                else:
 
281
                    append('<symlink file_id="%s name="%s%s%s />\n' % (
 
282
                        _encode_and_escape(ie.file_id),
 
283
                        _encode_and_escape(ie.name),
 
284
                        parent_str, parent_id))
 
285
            elif ie.kind == 'tree-reference':
 
286
                if ie.kind not in self.supported_kinds:
 
287
                    raise errors.UnsupportedInventoryKind(ie.kind)
 
288
                if not working:
 
289
                    append('<tree-reference file_id="%s name="%s%s%s '
 
290
                        'revision="%s reference_revision="%s />\n' % (
 
291
                        _encode_and_escape(ie.file_id),
 
292
                        _encode_and_escape(ie.name),
 
293
                        parent_str, parent_id,
 
294
                        _encode_and_escape(ie.revision),
 
295
                        _encode_and_escape(ie.reference_revision)))
 
296
                else:
 
297
                    append('<tree-reference file_id="%s name="%s%s%s />\n' % (
 
298
                        _encode_and_escape(ie.file_id),
 
299
                        _encode_and_escape(ie.name),
 
300
                        parent_str, parent_id))
 
301
            else:
 
302
                raise errors.UnsupportedInventoryKind(ie.kind)
 
303
        append('</inventory>\n')
152
304
        if f is not None:
153
305
            f.writelines(output)
154
306
        # Just to keep the cache from growing without bounds
155
307
        # but we may actually not want to do clear the cache
156
 
        # _clear_cache()
 
308
        #_clear_cache()
157
309
        return output
158
310
 
159
311
    def _append_inventory_root(self, append, inv):
160
312
        """Append the inventory root to output."""
161
313
        if inv.revision_id is not None:
162
 
            revid1 = b''.join(
163
 
                [b' revision_id="', encode_and_escape(inv.revision_id), b'"'])
 
314
            revid1 = ' revision_id="'
 
315
            revid2 = _encode_and_escape(inv.revision_id)
164
316
        else:
165
 
            revid1 = b""
166
 
        append(b'<inventory format="%s"%s>\n' % (
167
 
            self.format_num, revid1))
168
 
        append(b'<directory file_id="%s" name="%s" revision="%s" />\n' % (
169
 
            encode_and_escape(inv.root.file_id),
170
 
            encode_and_escape(inv.root.name),
171
 
            encode_and_escape(inv.root.revision)))
 
317
            revid1 = ""
 
318
            revid2 = ""
 
319
        append('<inventory format="%s"%s%s>\n' % (
 
320
            self.format_num, revid1, revid2))
 
321
        append('<directory file_id="%s name="%s revision="%s />\n' % (
 
322
            _encode_and_escape(inv.root.file_id),
 
323
            _encode_and_escape(inv.root.name),
 
324
            _encode_and_escape(inv.root.revision)))
172
325
 
173
 
    def write_revision_to_lines(self, rev):
 
326
    def _pack_revision(self, rev):
174
327
        """Revision object -> xml tree"""
175
328
        # For the XML format, we need to write them as Unicode rather than as
176
329
        # utf-8 strings. So that cElementTree can handle properly escaping
177
330
        # them.
178
 
        lines = []
179
 
        el = (b'<revision committer="%s" format="%s" '
180
 
              b'inventory_sha1="%s" revision_id="%s" '
181
 
              b'timestamp="%.3f"' % (
182
 
                  encode_and_escape(rev.committer),
183
 
                  self.revision_format_num or self.format_num,
184
 
                  rev.inventory_sha1,
185
 
                  encode_and_escape(cache_utf8.decode(rev.revision_id)),
186
 
                  rev.timestamp))
 
331
        decode_utf8 = cache_utf8.decode
 
332
        revision_id = rev.revision_id
 
333
        if isinstance(revision_id, str):
 
334
            revision_id = decode_utf8(revision_id)
 
335
        format_num = self.format_num
 
336
        if self.revision_format_num is not None:
 
337
            format_num = self.revision_format_num
 
338
        root = Element('revision',
 
339
                       committer = rev.committer,
 
340
                       timestamp = '%.3f' % rev.timestamp,
 
341
                       revision_id = revision_id,
 
342
                       inventory_sha1 = rev.inventory_sha1,
 
343
                       format=format_num,
 
344
                       )
187
345
        if rev.timezone is not None:
188
 
            el += b' timezone="%s"' % str(rev.timezone).encode('ascii')
189
 
        lines.append(el + b'>\n')
190
 
        message = encode_and_escape(escape_invalid_chars(rev.message)[0])
191
 
        lines.extend((b'<message>' + message + b'</message>\n').splitlines(True))
 
346
            root.set('timezone', str(rev.timezone))
 
347
        root.text = '\n'
 
348
        msg = SubElement(root, 'message')
 
349
        msg.text = escape_invalid_chars(rev.message)[0]
 
350
        msg.tail = '\n'
192
351
        if rev.parent_ids:
193
 
            lines.append(b'<parents>\n')
 
352
            pelts = SubElement(root, 'parents')
 
353
            pelts.tail = pelts.text = '\n'
194
354
            for parent_id in rev.parent_ids:
195
355
                _mod_revision.check_not_reserved_id(parent_id)
196
 
                lines.append(
197
 
                    b'<revision_ref revision_id="%s" />\n'
198
 
                    % encode_and_escape(cache_utf8.decode(parent_id)))
199
 
            lines.append(b'</parents>\n')
 
356
                p = SubElement(pelts, 'revision_ref')
 
357
                p.tail = '\n'
 
358
                if isinstance(parent_id, str):
 
359
                    parent_id = decode_utf8(parent_id)
 
360
                p.set('revision_id', parent_id)
200
361
        if rev.properties:
201
 
            preamble = b'<properties>'
202
 
            for prop_name, prop_value in sorted(rev.properties.items()):
203
 
                if prop_value:
204
 
                    proplines = (preamble + b'<property name="%s">%s</property>\n' % (
205
 
                        encode_and_escape(prop_name),
206
 
                        encode_and_escape(escape_invalid_chars(prop_value)[0]))).splitlines(True)
207
 
                else:
208
 
                    proplines = [preamble + b'<property name="%s" />\n' % (encode_and_escape(prop_name), )]
209
 
                preamble = b''
210
 
                lines.extend(proplines)
211
 
            lines.append(b'</properties>\n')
212
 
        lines.append(b'</revision>\n')
213
 
        return lines
214
 
 
215
 
    def _unpack_entry(self, elt, entry_cache=None, return_from_cache=False):
216
 
        # This is here because it's overridden by xml7
217
 
        return unpack_inventory_entry(elt, entry_cache,
218
 
                                      return_from_cache)
219
 
 
220
 
    def _unpack_inventory(self, elt, revision_id=None, entry_cache=None,
221
 
                          return_from_cache=False):
 
362
            self._pack_revision_properties(rev, root)
 
363
        return root
 
364
 
 
365
    def _pack_revision_properties(self, rev, under_element):
 
366
        top_elt = SubElement(under_element, 'properties')
 
367
        for prop_name, prop_value in sorted(rev.properties.items()):
 
368
            prop_elt = SubElement(top_elt, 'property')
 
369
            prop_elt.set('name', prop_name)
 
370
            prop_elt.text = prop_value
 
371
            prop_elt.tail = '\n'
 
372
        top_elt.tail = '\n'
 
373
 
 
374
    def _unpack_inventory(self, elt, revision_id=None, entry_cache=None):
222
375
        """Construct from XML Element"""
223
 
        inv = unpack_inventory_flat(elt, self.format_num, self._unpack_entry,
224
 
                                    entry_cache, return_from_cache)
 
376
        if elt.tag != 'inventory':
 
377
            raise errors.UnexpectedInventoryFormat('Root tag is %r' % elt.tag)
 
378
        format = elt.get('format')
 
379
        if format != self.format_num:
 
380
            raise errors.UnexpectedInventoryFormat('Invalid format version %r'
 
381
                                                   % format)
 
382
        revision_id = elt.get('revision_id')
 
383
        if revision_id is not None:
 
384
            revision_id = cache_utf8.encode(revision_id)
 
385
        inv = inventory.Inventory(root_id=None, revision_id=revision_id)
 
386
        for e in elt:
 
387
            ie = self._unpack_entry(e, entry_cache=entry_cache)
 
388
            inv.add(ie)
225
389
        self._check_cache_size(len(inv), entry_cache)
226
390
        return inv
227
391
 
 
392
    def _unpack_entry(self, elt, entry_cache=None):
 
393
        elt_get = elt.get
 
394
        file_id = elt_get('file_id')
 
395
        revision = elt_get('revision')
 
396
        # Check and see if we have already unpacked this exact entry
 
397
        # Some timings for "repo.revision_trees(last_100_revs)"
 
398
        #               bzr     mysql
 
399
        #   unmodified  4.1s    40.8s
 
400
        #   using lru   3.5s
 
401
        #   using fifo  2.83s   29.1s
 
402
        #   lru._cache  2.8s
 
403
        #   dict        2.75s   26.8s
 
404
        #   inv.add     2.5s    26.0s
 
405
        #   no_copy     2.00s   20.5s
 
406
        #   no_c,dict   1.95s   18.0s
 
407
        # Note that a cache of 10k nodes is more than sufficient to hold all of
 
408
        # the inventory for the last 100 revs for bzr, but not for mysql (20k
 
409
        # is enough for mysql, which saves the same 2s as using a dict)
 
410
 
 
411
        # Breakdown of mysql using time.clock()
 
412
        #   4.1s    2 calls to element.get for file_id, revision_id
 
413
        #   4.5s    cache_hit lookup
 
414
        #   7.1s    InventoryFile.copy()
 
415
        #   2.4s    InventoryDirectory.copy()
 
416
        #   0.4s    decoding unique entries
 
417
        #   1.6s    decoding entries after FIFO fills up
 
418
        #   0.8s    Adding nodes to FIFO (including flushes)
 
419
        #   0.1s    cache miss lookups
 
420
        # Using an LRU cache
 
421
        #   4.1s    2 calls to element.get for file_id, revision_id
 
422
        #   9.9s    cache_hit lookup
 
423
        #   10.8s   InventoryEntry.copy()
 
424
        #   0.3s    cache miss lookus
 
425
        #   1.2s    decoding entries
 
426
        #   1.0s    adding nodes to LRU
 
427
        if entry_cache is not None and revision is not None:
 
428
            key = (file_id, revision)
 
429
            try:
 
430
                # We copy it, because some operations may mutate it
 
431
                cached_ie = entry_cache[key]
 
432
            except KeyError:
 
433
                pass
 
434
            else:
 
435
                # Only copying directory entries drops us 2.85s => 2.35s
 
436
                # if cached_ie.kind == 'directory':
 
437
                #     return cached_ie.copy()
 
438
                # return cached_ie
 
439
                return cached_ie.copy()
 
440
 
 
441
        kind = elt.tag
 
442
        if not InventoryEntry.versionable_kind(kind):
 
443
            raise AssertionError('unsupported entry kind %s' % kind)
 
444
 
 
445
        get_cached = _get_utf8_or_ascii
 
446
 
 
447
        file_id = get_cached(file_id)
 
448
        if revision is not None:
 
449
            revision = get_cached(revision)
 
450
        parent_id = elt_get('parent_id')
 
451
        if parent_id is not None:
 
452
            parent_id = get_cached(parent_id)
 
453
 
 
454
        if kind == 'directory':
 
455
            ie = inventory.InventoryDirectory(file_id,
 
456
                                              elt_get('name'),
 
457
                                              parent_id)
 
458
        elif kind == 'file':
 
459
            ie = inventory.InventoryFile(file_id,
 
460
                                         elt_get('name'),
 
461
                                         parent_id)
 
462
            ie.text_sha1 = elt_get('text_sha1')
 
463
            if elt_get('executable') == 'yes':
 
464
                ie.executable = True
 
465
            v = elt_get('text_size')
 
466
            ie.text_size = v and int(v)
 
467
        elif kind == 'symlink':
 
468
            ie = inventory.InventoryLink(file_id,
 
469
                                         elt_get('name'),
 
470
                                         parent_id)
 
471
            ie.symlink_target = elt_get('symlink_target')
 
472
        else:
 
473
            raise errors.UnsupportedInventoryKind(kind)
 
474
        ie.revision = revision
 
475
        if revision is not None and entry_cache is not None:
 
476
            # We cache a copy() because callers like to mutate objects, and
 
477
            # that would cause the item in cache to mutate as well.
 
478
            # This has a small effect on many-inventory performance, because
 
479
            # the majority fraction is spent in cache hits, not misses.
 
480
            entry_cache[key] = ie.copy()
 
481
 
 
482
        return ie
 
483
 
228
484
    def _unpack_revision(self, elt):
229
485
        """XML Element -> Revision object"""
230
486
        format = elt.get('format')
232
488
        if self.revision_format_num is not None:
233
489
            format_num = self.revision_format_num
234
490
        if format is not None:
235
 
            if format.encode() != format_num:
 
491
            if format != format_num:
236
492
                raise BzrError("invalid format version %r on revision"
237
 
                               % format)
238
 
        get_cached = get_utf8_or_ascii
239
 
        rev = Revision(committer=elt.get('committer'),
240
 
                       timestamp=float(elt.get('timestamp')),
241
 
                       revision_id=get_cached(elt.get('revision_id')),
242
 
                       inventory_sha1=elt.get('inventory_sha1').encode('ascii')
 
493
                                % format)
 
494
        get_cached = _get_utf8_or_ascii
 
495
        rev = Revision(committer = elt.get('committer'),
 
496
                       timestamp = float(elt.get('timestamp')),
 
497
                       revision_id = get_cached(elt.get('revision_id')),
 
498
                       inventory_sha1 = elt.get('inventory_sha1')
243
499
                       )
244
 
        parents = elt.find('parents')
245
 
        if parents is not None:
246
 
            for p in parents:
247
 
                rev.parent_ids.append(get_cached(p.get('revision_id')))
 
500
        parents = elt.find('parents') or []
 
501
        for p in parents:
 
502
            rev.parent_ids.append(get_cached(p.get('revision_id')))
248
503
        self._unpack_revision_properties(elt, rev)
249
504
        v = elt.get('timezone')
250
505
        if v is None:
251
506
            rev.timezone = 0
252
507
        else:
253
508
            rev.timezone = int(v)
254
 
        rev.message = elt.findtext('message')  # text of <message>
 
509
        rev.message = elt.findtext('message') # text of <message>
255
510
        return rev
256
511
 
257
512
    def _unpack_revision_properties(self, elt, rev):
258
513
        """Unpack properties onto a revision."""
259
514
        props_elt = elt.find('properties')
260
 
        if props_elt is None:
 
515
        if not props_elt:
261
516
            return
262
517
        for prop_elt in props_elt:
263
518
            if prop_elt.tag != 'property':
274
529
                raise AssertionError("repeated property %r" % name)
275
530
            rev.properties[name] = value
276
531
 
277
 
    def _find_text_key_references(self, line_iterator):
278
 
        """Core routine for extracting references to texts from inventories.
279
 
 
280
 
        This performs the translation of xml lines to revision ids.
281
 
 
282
 
        :param line_iterator: An iterator of lines, origin_version_id
283
 
        :return: A dictionary mapping text keys ((fileid, revision_id) tuples)
284
 
            to whether they were referred to by the inventory of the
285
 
            revision_id that they contain. Note that if that revision_id was
286
 
            not part of the line_iterator's output then False will be given -
287
 
            even though it may actually refer to that key.
288
 
        """
289
 
        if not self.support_altered_by_hack:
290
 
            raise AssertionError(
291
 
                "_find_text_key_references only "
292
 
                "supported for branches which store inventory as unnested xml"
293
 
                ", not on %r" % self)
294
 
        result = {}
295
 
 
296
 
        # this code needs to read every new line in every inventory for the
297
 
        # inventories [revision_ids]. Seeing a line twice is ok. Seeing a line
298
 
        # not present in one of those inventories is unnecessary but not
299
 
        # harmful because we are filtering by the revision id marker in the
300
 
        # inventory lines : we only select file ids altered in one of those
301
 
        # revisions. We don't need to see all lines in the inventory because
302
 
        # only those added in an inventory in rev X can contain a revision=X
303
 
        # line.
304
 
        unescape_revid_cache = {}
305
 
        unescape_fileid_cache = {}
306
 
 
307
 
        # jam 20061218 In a big fetch, this handles hundreds of thousands
308
 
        # of lines, so it has had a lot of inlining and optimizing done.
309
 
        # Sorry that it is a little bit messy.
310
 
        # Move several functions to be local variables, since this is a long
311
 
        # running loop.
312
 
        search = self._file_ids_altered_regex.search
313
 
        unescape = _unescape_xml
314
 
        setdefault = result.setdefault
315
 
        for line, line_key in line_iterator:
316
 
            match = search(line)
317
 
            if match is None:
318
 
                continue
319
 
            # One call to match.group() returning multiple items is quite a
320
 
            # bit faster than 2 calls to match.group() each returning 1
321
 
            file_id, revision_id = match.group('file_id', 'revision_id')
322
 
 
323
 
            # Inlining the cache lookups helps a lot when you make 170,000
324
 
            # lines and 350k ids, versus 8.4 unique ids.
325
 
            # Using a cache helps in 2 ways:
326
 
            #   1) Avoids unnecessary decoding calls
327
 
            #   2) Re-uses cached strings, which helps in future set and
328
 
            #      equality checks.
329
 
            # (2) is enough that removing encoding entirely along with
330
 
            # the cache (so we are using plain strings) results in no
331
 
            # performance improvement.
332
 
            try:
333
 
                revision_id = unescape_revid_cache[revision_id]
334
 
            except KeyError:
335
 
                unescaped = unescape(revision_id)
336
 
                unescape_revid_cache[revision_id] = unescaped
337
 
                revision_id = unescaped
338
 
 
339
 
            # Note that unconditionally unescaping means that we deserialise
340
 
            # every fileid, which for general 'pull' is not great, but we don't
341
 
            # really want to have some many fulltexts that this matters anyway.
342
 
            # RBC 20071114.
343
 
            try:
344
 
                file_id = unescape_fileid_cache[file_id]
345
 
            except KeyError:
346
 
                unescaped = unescape(file_id)
347
 
                unescape_fileid_cache[file_id] = unescaped
348
 
                file_id = unescaped
349
 
 
350
 
            key = (file_id, revision_id)
351
 
            setdefault(key, False)
352
 
            if revision_id == line_key[-1]:
353
 
                result[key] = True
354
 
        return result
355
 
 
356
532
 
357
533
serializer_v8 = Serializer_v8()