/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/xml8.py

  • Committer: Aaron Bentley
  • Date: 2008-04-15 04:29:44 UTC
  • mto: This revision was merged to the branch mainline in revision 3371.
  • Revision ID: aaron@aaronbentley.com-20080415042944-2o3o664x26507hej
PEP8 fix

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/xml8.py
1
 
# Copyright (C) 2005-2010 Canonical Ltd
 
1
# Copyright (C) 2005, 2006, 2007, 2008 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
import cStringIO
18
18
import re
22
22
    errors,
23
23
    inventory,
24
24
    revision as _mod_revision,
25
 
    trace,
26
 
    )
27
 
from bzrlib.xml_serializer import (
28
 
    Element,
29
 
    SubElement,
30
 
    XMLSerializer,
31
 
    escape_invalid_chars,
32
 
    )
33
 
from bzrlib.inventory import InventoryEntry
 
25
    )
 
26
from bzrlib.xml_serializer import SubElement, Element, Serializer
 
27
from bzrlib.inventory import ROOT_ID, Inventory, InventoryEntry
34
28
from bzrlib.revision import Revision
35
29
from bzrlib.errors import BzrError
36
30
 
97
91
    # to check if None, rather than try/KeyError
98
92
    text = _map.get(unicode_or_utf8_str)
99
93
    if text is None:
100
 
        if unicode_or_utf8_str.__class__ is unicode:
 
94
        if unicode_or_utf8_str.__class__ == unicode:
101
95
            # The alternative policy is to do a regular UTF8 encoding
102
96
            # and then escape only XML meta characters.
103
97
            # Performance is equivalent once you use cache_utf8. *However*
133
127
    # This is fairly optimized because we know what cElementTree does, this is
134
128
    # not meant as a generic function for all cases. Because it is possible for
135
129
    # an 8-bit string to not be ascii or valid utf8.
136
 
    if a_str.__class__ is unicode:
 
130
    if a_str.__class__ == unicode:
137
131
        return _encode_utf8(a_str)
138
132
    else:
139
 
        return intern(a_str)
 
133
        return _get_cached_ascii(a_str)
140
134
 
141
135
 
142
136
def _clear_cache():
144
138
    _to_escaped_map.clear()
145
139
 
146
140
 
147
 
class Serializer_v8(XMLSerializer):
 
141
class Serializer_v8(Serializer):
148
142
    """This serialiser adds rich roots.
149
143
 
150
144
    Its revision format number matches its inventory number.
164
158
    def _check_revisions(self, inv):
165
159
        """Extension point for subclasses to check during serialisation.
166
160
 
 
161
        By default no checking is done.
 
162
 
167
163
        :param inv: An inventory about to be serialised, to be checked.
168
 
        :raises: AssertionError if an error has occurred.
169
 
        """
170
 
        if inv.revision_id is None:
171
 
            raise AssertionError("inv.revision_id is None")
172
 
        if inv.root.revision is None:
173
 
            raise AssertionError("inv.root.revision is None")
174
 
 
175
 
    def _check_cache_size(self, inv_size, entry_cache):
176
 
        """Check that the entry_cache is large enough.
177
 
 
178
 
        We want the cache to be ~2x the size of an inventory. The reason is
179
 
        because we use a FIFO cache, and how Inventory records are likely to
180
 
        change. In general, you have a small number of records which change
181
 
        often, and a lot of records which do not change at all. So when the
182
 
        cache gets full, you actually flush out a lot of the records you are
183
 
        interested in, which means you need to recreate all of those records.
184
 
        An LRU Cache would be better, but the overhead negates the cache
185
 
        coherency benefit.
186
 
 
187
 
        One way to look at it, only the size of the cache > len(inv) is your
188
 
        'working' set. And in general, it shouldn't be a problem to hold 2
189
 
        inventories in memory anyway.
190
 
 
191
 
        :param inv_size: The number of entries in an inventory.
192
 
        """
193
 
        if entry_cache is None:
194
 
            return
195
 
        # 1.5 times might also be reasonable.
196
 
        recommended_min_cache_size = inv_size * 1.5
197
 
        if entry_cache.cache_size() < recommended_min_cache_size:
198
 
            recommended_cache_size = inv_size * 2
199
 
            trace.mutter('Resizing the inventory entry cache from %d to %d',
200
 
                         entry_cache.cache_size(), recommended_cache_size)
201
 
            entry_cache.resize(recommended_cache_size)
 
164
        :raises: AssertionError if an error has occured.
 
165
        """
 
166
        assert inv.revision_id is not None
 
167
        assert inv.root.revision is not None
202
168
 
203
169
    def write_inventory_to_lines(self, inv):
204
170
        """Return a list of lines with the encoded inventory."""
216
182
 
217
183
    def write_inventory(self, inv, f, working=False):
218
184
        """Write inventory to a file.
219
 
 
 
185
        
220
186
        :param inv: the inventory to write.
221
187
        :param f: the file to write. (May be None if the lines are the desired
222
188
            output).
346
312
            root.set('timezone', str(rev.timezone))
347
313
        root.text = '\n'
348
314
        msg = SubElement(root, 'message')
349
 
        msg.text = escape_invalid_chars(rev.message)[0]
 
315
        msg.text = rev.message
350
316
        msg.tail = '\n'
351
317
        if rev.parent_ids:
352
318
            pelts = SubElement(root, 'parents')
353
319
            pelts.tail = pelts.text = '\n'
354
320
            for parent_id in rev.parent_ids:
 
321
                assert isinstance(parent_id, basestring)
355
322
                _mod_revision.check_not_reserved_id(parent_id)
356
323
                p = SubElement(pelts, 'revision_ref')
357
324
                p.tail = '\n'
365
332
    def _pack_revision_properties(self, rev, under_element):
366
333
        top_elt = SubElement(under_element, 'properties')
367
334
        for prop_name, prop_value in sorted(rev.properties.items()):
 
335
            assert isinstance(prop_name, basestring) 
 
336
            assert isinstance(prop_value, basestring) 
368
337
            prop_elt = SubElement(top_elt, 'property')
369
338
            prop_elt.set('name', prop_name)
370
339
            prop_elt.text = prop_value
371
340
            prop_elt.tail = '\n'
372
341
        top_elt.tail = '\n'
373
342
 
374
 
    def _unpack_inventory(self, elt, revision_id=None, entry_cache=None,
375
 
                          return_from_cache=False):
 
343
    def _unpack_inventory(self, elt, revision_id=None):
376
344
        """Construct from XML Element"""
377
345
        if elt.tag != 'inventory':
378
346
            raise errors.UnexpectedInventoryFormat('Root tag is %r' % elt.tag)
385
353
            revision_id = cache_utf8.encode(revision_id)
386
354
        inv = inventory.Inventory(root_id=None, revision_id=revision_id)
387
355
        for e in elt:
388
 
            ie = self._unpack_entry(e, entry_cache=entry_cache,
389
 
                                    return_from_cache=return_from_cache)
 
356
            ie = self._unpack_entry(e)
390
357
            inv.add(ie)
391
 
        self._check_cache_size(len(inv), entry_cache)
 
358
        assert inv.root.revision is not None
392
359
        return inv
393
360
 
394
 
    def _unpack_entry(self, elt, entry_cache=None, return_from_cache=False):
395
 
        elt_get = elt.get
396
 
        file_id = elt_get('file_id')
397
 
        revision = elt_get('revision')
398
 
        # Check and see if we have already unpacked this exact entry
399
 
        # Some timings for "repo.revision_trees(last_100_revs)"
400
 
        #               bzr     mysql
401
 
        #   unmodified  4.1s    40.8s
402
 
        #   using lru   3.5s
403
 
        #   using fifo  2.83s   29.1s
404
 
        #   lru._cache  2.8s
405
 
        #   dict        2.75s   26.8s
406
 
        #   inv.add     2.5s    26.0s
407
 
        #   no_copy     2.00s   20.5s
408
 
        #   no_c,dict   1.95s   18.0s
409
 
        # Note that a cache of 10k nodes is more than sufficient to hold all of
410
 
        # the inventory for the last 100 revs for bzr, but not for mysql (20k
411
 
        # is enough for mysql, which saves the same 2s as using a dict)
412
 
 
413
 
        # Breakdown of mysql using time.clock()
414
 
        #   4.1s    2 calls to element.get for file_id, revision_id
415
 
        #   4.5s    cache_hit lookup
416
 
        #   7.1s    InventoryFile.copy()
417
 
        #   2.4s    InventoryDirectory.copy()
418
 
        #   0.4s    decoding unique entries
419
 
        #   1.6s    decoding entries after FIFO fills up
420
 
        #   0.8s    Adding nodes to FIFO (including flushes)
421
 
        #   0.1s    cache miss lookups
422
 
        # Using an LRU cache
423
 
        #   4.1s    2 calls to element.get for file_id, revision_id
424
 
        #   9.9s    cache_hit lookup
425
 
        #   10.8s   InventoryEntry.copy()
426
 
        #   0.3s    cache miss lookus
427
 
        #   1.2s    decoding entries
428
 
        #   1.0s    adding nodes to LRU
429
 
        if entry_cache is not None and revision is not None:
430
 
            key = (file_id, revision)
431
 
            try:
432
 
                # We copy it, because some operations may mutate it
433
 
                cached_ie = entry_cache[key]
434
 
            except KeyError:
435
 
                pass
436
 
            else:
437
 
                # Only copying directory entries drops us 2.85s => 2.35s
438
 
                if return_from_cache:
439
 
                    if cached_ie.kind == 'directory':
440
 
                        return cached_ie.copy()
441
 
                    return cached_ie
442
 
                return cached_ie.copy()
443
 
 
 
361
    def _unpack_entry(self, elt):
444
362
        kind = elt.tag
445
363
        if not InventoryEntry.versionable_kind(kind):
446
364
            raise AssertionError('unsupported entry kind %s' % kind)
447
365
 
448
366
        get_cached = _get_utf8_or_ascii
449
367
 
450
 
        file_id = get_cached(file_id)
451
 
        if revision is not None:
452
 
            revision = get_cached(revision)
453
 
        parent_id = elt_get('parent_id')
 
368
        parent_id = elt.get('parent_id')
454
369
        if parent_id is not None:
455
370
            parent_id = get_cached(parent_id)
 
371
        file_id = get_cached(elt.get('file_id'))
456
372
 
457
373
        if kind == 'directory':
458
374
            ie = inventory.InventoryDirectory(file_id,
459
 
                                              elt_get('name'),
 
375
                                              elt.get('name'),
460
376
                                              parent_id)
461
377
        elif kind == 'file':
462
378
            ie = inventory.InventoryFile(file_id,
463
 
                                         elt_get('name'),
 
379
                                         elt.get('name'),
464
380
                                         parent_id)
465
 
            ie.text_sha1 = elt_get('text_sha1')
466
 
            if elt_get('executable') == 'yes':
 
381
            ie.text_sha1 = elt.get('text_sha1')
 
382
            if elt.get('executable') == 'yes':
467
383
                ie.executable = True
468
 
            v = elt_get('text_size')
 
384
            v = elt.get('text_size')
469
385
            ie.text_size = v and int(v)
470
386
        elif kind == 'symlink':
471
387
            ie = inventory.InventoryLink(file_id,
472
 
                                         elt_get('name'),
 
388
                                         elt.get('name'),
473
389
                                         parent_id)
474
 
            ie.symlink_target = elt_get('symlink_target')
 
390
            ie.symlink_target = elt.get('symlink_target')
475
391
        else:
476
392
            raise errors.UnsupportedInventoryKind(kind)
 
393
        revision = elt.get('revision')
 
394
        if revision is not None:
 
395
            revision = get_cached(revision)
477
396
        ie.revision = revision
478
 
        if revision is not None and entry_cache is not None:
479
 
            # We cache a copy() because callers like to mutate objects, and
480
 
            # that would cause the item in cache to mutate as well.
481
 
            # This has a small effect on many-inventory performance, because
482
 
            # the majority fraction is spent in cache hits, not misses.
483
 
            entry_cache[key] = ie.copy()
484
397
 
485
398
        return ie
486
399
 
487
400
    def _unpack_revision(self, elt):
488
401
        """XML Element -> Revision object"""
 
402
        assert elt.tag == 'revision'
489
403
        format = elt.get('format')
490
404
        format_num = self.format_num
491
405
        if self.revision_format_num is not None:
502
416
                       )
503
417
        parents = elt.find('parents') or []
504
418
        for p in parents:
 
419
            assert p.tag == 'revision_ref', \
 
420
                   "bad parent node tag %r" % p.tag
505
421
            rev.parent_ids.append(get_cached(p.get('revision_id')))
506
422
        self._unpack_revision_properties(elt, rev)
507
423
        v = elt.get('timezone')
515
431
    def _unpack_revision_properties(self, elt, rev):
516
432
        """Unpack properties onto a revision."""
517
433
        props_elt = elt.find('properties')
 
434
        assert len(rev.properties) == 0
518
435
        if not props_elt:
519
436
            return
520
437
        for prop_elt in props_elt:
521
 
            if prop_elt.tag != 'property':
522
 
                raise AssertionError(
523
 
                    "bad tag under properties list: %r" % prop_elt.tag)
 
438
            assert prop_elt.tag == 'property', \
 
439
                "bad tag under properties list: %r" % prop_elt.tag
524
440
            name = prop_elt.get('name')
525
441
            value = prop_elt.text
526
442
            # If a property had an empty value ('') cElementTree reads
528
444
            # properties have string values
529
445
            if value is None:
530
446
                value = ''
531
 
            if name in rev.properties:
532
 
                raise AssertionError("repeated property %r" % name)
 
447
            assert name not in rev.properties, \
 
448
                "repeated property %r" % name
533
449
            rev.properties[name] = value
534
450
 
535
451