/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/chk_serializer.py

  • Committer: John Arbash Meinel
  • Date: 2009-06-03 14:14:31 UTC
  • mto: This revision was merged to the branch mainline in revision 4410.
  • Revision ID: john@arbash-meinel.com-20090603141431-zeurvzs2iezwzdn5
A bit of code restructuring.
Move bzrlib/_bencode_py.py back to bzrlib/util/_bencode_py.py
Leaving it as _bencode_py.py so that people don't accidentally
import the old version.
Renaming _bencode_c.pyx => _bencode_pyx.pyx to conform to new naming scheme.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/chk_serializer.py
1
 
# Copyright (C) 2008, 2009, 2010 Canonical Ltd
 
1
# Copyright (C) 2008 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
16
16
 
17
17
"""Serializer object for CHK based inventory storage."""
18
18
 
 
19
from cStringIO import (
 
20
    StringIO,
 
21
    )
 
22
 
19
23
from bzrlib import (
20
24
    bencode,
21
25
    cache_utf8,
22
26
    inventory,
 
27
    osutils,
23
28
    revision as _mod_revision,
 
29
    xml5,
24
30
    xml6,
25
 
    xml7,
26
31
    )
27
32
 
28
 
 
29
 
def _validate_properties(props, _decode=cache_utf8._utf8_decode):
30
 
    # TODO: we really want an 'isascii' check for key
31
 
    # Cast the utf8 properties into Unicode 'in place'
32
 
    for key, value in props.iteritems():
33
 
        props[key] = _decode(value)[0]
34
 
    return props
35
 
 
36
 
 
37
 
def _is_format_10(value):
38
 
    if value != 10:
39
 
        raise ValueError('Format number was not recognized, expected 10 got %d'
40
 
                         % (value,))
41
 
    return 10
42
 
 
43
 
 
44
33
class BEncodeRevisionSerializer1(object):
45
 
    """Simple revision serializer based around bencode.
 
34
    """Simple revision serializer based around bencode. 
 
35
    
46
36
    """
47
37
 
48
 
    squashes_xml_invalid_characters = False
49
 
 
50
 
    # Maps {key:(Revision attribute, bencode_type, validator)}
51
 
    # This tells us what kind we expect bdecode to create, what variable on
52
 
    # Revision we should be using, and a function to call to validate/transform
53
 
    # the type.
54
 
    # TODO: add a 'validate_utf8' for things like revision_id and file_id
55
 
    #       and a validator for parent-ids
56
 
    _schema = {'format': (None, int, _is_format_10),
57
 
               'committer': ('committer', str, cache_utf8.decode),
58
 
               'timezone': ('timezone', int, None),
59
 
               'timestamp': ('timestamp', str, float),
60
 
               'revision-id': ('revision_id', str, None),
61
 
               'parent-ids': ('parent_ids', list, None),
62
 
               'inventory-sha1': ('inventory_sha1', str, None),
63
 
               'message': ('message', str, cache_utf8.decode),
64
 
               'properties': ('properties', dict, _validate_properties),
65
 
    }
66
 
 
67
38
    def write_revision_to_string(self, rev):
68
 
        encode_utf8 = cache_utf8._utf8_encode
69
 
        # Use a list of tuples rather than a dict
70
 
        # This lets us control the ordering, so that we are able to create
71
 
        # smaller deltas
72
 
        ret = [
73
 
            ("format", 10),
74
 
            ("committer", encode_utf8(rev.committer)[0]),
75
 
        ]
76
 
        if rev.timezone is not None:
77
 
            ret.append(("timezone", rev.timezone))
78
 
        # For bzr revisions, the most common property is just 'branch-nick'
79
 
        # which changes infrequently.
 
39
        encode_utf8 = cache_utf8.encode
 
40
        ret = {
 
41
            "revision-id": rev.revision_id,
 
42
            "timestamp": "%.3f" % rev.timestamp,
 
43
            "parent-ids": rev.parent_ids,
 
44
            "inventory-sha1": rev.inventory_sha1,
 
45
            "committer": encode_utf8(rev.committer),
 
46
            "message": encode_utf8(rev.message),
 
47
            }
80
48
        revprops = {}
81
49
        for key, value in rev.properties.iteritems():
82
 
            revprops[key] = encode_utf8(value)[0]
83
 
        ret.append(('properties', revprops))
84
 
        ret.extend([
85
 
            ("timestamp", "%.3f" % rev.timestamp),
86
 
            ("revision-id", rev.revision_id),
87
 
            ("parent-ids", rev.parent_ids),
88
 
            ("inventory-sha1", rev.inventory_sha1),
89
 
            ("message", encode_utf8(rev.message)[0]),
90
 
        ])
 
50
            revprops[key] = encode_utf8(value)
 
51
        ret["properties"] = revprops
 
52
        if rev.timezone is not None:
 
53
            ret["timezone"] = rev.timezone
91
54
        return bencode.bencode(ret)
92
55
 
93
56
    def write_revision(self, rev, f):
94
57
        f.write(self.write_revision_to_string(rev))
95
58
 
96
59
    def read_revision_from_string(self, text):
97
 
        # TODO: consider writing a Revision decoder, rather than using the
98
 
        #       generic bencode decoder
99
 
        #       However, to decode all 25k revisions of bzr takes approx 1.3s
100
 
        #       If we remove all extra validation that goes down to about 1.2s.
101
 
        #       Of that time, probably 0.6s is spend in bencode.bdecode().
102
 
        #       Regardless 'time bzr log' of everything is 7+s, so 1.3s to
103
 
        #       extract revision texts isn't a majority of time.
 
60
        decode_utf8 = cache_utf8.decode
104
61
        ret = bencode.bdecode(text)
105
 
        if not isinstance(ret, list):
106
 
            raise ValueError("invalid revision text")
107
 
        schema = self._schema
108
 
        # timezone is allowed to be missing, but should be set
109
 
        bits = {'timezone': None}
110
 
        for key, value in ret:
111
 
            # Will raise KeyError if not a valid part of the schema, or an
112
 
            # entry is given 2 times.
113
 
            var_name, expected_type, validator = schema[key]
114
 
            if value.__class__ is not expected_type:
115
 
                raise ValueError('key %s did not conform to the expected type'
116
 
                                 ' %s, but was %s'
117
 
                                 % (key, expected_type, type(value)))
118
 
            if validator is not None:
119
 
                value = validator(value)
120
 
            bits[var_name] = value
121
 
        if len(bits) != len(schema):
122
 
            missing = [key for key, (var_name, _, _) in schema.iteritems()
123
 
                       if var_name not in bits]
124
 
            raise ValueError('Revision text was missing expected keys %s.'
125
 
                             ' text %r' % (missing, text))
126
 
        del bits[None]  # Get rid of 'format' since it doesn't get mapped
127
 
        rev = _mod_revision.Revision(**bits)
 
62
        rev = _mod_revision.Revision(
 
63
            committer=decode_utf8(ret["committer"]),
 
64
            revision_id=ret["revision-id"],
 
65
            parent_ids=ret["parent-ids"],
 
66
            inventory_sha1=ret["inventory-sha1"],
 
67
            timestamp=float(ret["timestamp"]),
 
68
            message=decode_utf8(ret["message"]),
 
69
            properties={})
 
70
        if "timezone" in ret:
 
71
            rev.timezone = ret["timezone"]
 
72
        else:
 
73
            rev.timezone = None
 
74
        for key, value in ret["properties"].iteritems():
 
75
            rev.properties[key] = decode_utf8(value)
128
76
        return rev
129
77
 
130
78
    def read_revision(self, f):
131
79
        return self.read_revision_from_string(f.read())
132
80
 
133
81
 
134
 
class CHKSerializerSubtree(BEncodeRevisionSerializer1, xml7.Serializer_v7):
 
82
class CHKSerializerSubtree(BEncodeRevisionSerializer1, xml6.Serializer_v6):
135
83
    """A CHKInventory based serializer that supports tree references"""
136
84
 
137
85
    supported_kinds = set(['file', 'directory', 'symlink', 'tree-reference'])
139
87
    revision_format_num = None
140
88
    support_altered_by_hack = False
141
89
 
142
 
    def _unpack_entry(self, elt, entry_cache=None, return_from_cache=False):
 
90
    def _unpack_entry(self, elt):
143
91
        kind = elt.tag
144
92
        if not kind in self.supported_kinds:
145
93
            raise AssertionError('unsupported entry kind %s' % kind)
152
100
            return inventory.TreeReference(file_id, name, parent_id, revision,
153
101
                                           reference_revision)
154
102
        else:
155
 
            return xml7.Serializer_v7._unpack_entry(self, elt,
156
 
                entry_cache=entry_cache, return_from_cache=return_from_cache)
 
103
            return xml6.Serializer_v6._unpack_entry(self, elt)
157
104
 
158
105
    def __init__(self, node_size, search_key_name):
159
106
        self.maximum_size = node_size
160
107
        self.search_key_name = search_key_name
161
108
 
162
109
 
163
 
class CHKSerializer(xml6.Serializer_v6):
 
110
class CHKSerializer(xml5.Serializer_v5):
164
111
    """A CHKInventory based serializer with 'plain' behaviour."""
165
112
 
166
113
    format_num = '9'