/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/chk_map.py

  • Committer: Robert Collins
  • Date: 2010-05-06 11:08:10 UTC
  • mto: This revision was merged to the branch mainline in revision 5223.
  • Revision ID: robertc@robertcollins.net-20100506110810-h3j07fh5gmw54s25
Cleaner matcher matching revised unlocking protocol.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2008-2011 Canonical Ltd
 
1
# Copyright (C) 2008, 2009, 2010 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
37
37
 
38
38
"""
39
39
 
40
 
from __future__ import absolute_import
41
 
 
42
40
import heapq
43
41
import threading
44
42
 
45
 
from .. import (
 
43
from bzrlib import lazy_import
 
44
lazy_import.lazy_import(globals(), """
 
45
from bzrlib import (
46
46
    errors,
 
47
    versionedfile,
 
48
    )
 
49
""")
 
50
from bzrlib import (
47
51
    lru_cache,
48
52
    osutils,
49
53
    registry,
50
54
    static_tuple,
51
55
    trace,
52
56
    )
53
 
from ..sixish import (
54
 
    viewitems,
55
 
    viewvalues,
56
 
    )
57
 
from ..static_tuple import StaticTuple
 
57
from bzrlib.static_tuple import StaticTuple
58
58
 
59
59
# approx 4MB
60
60
# If each line is 50 bytes, and you have 255 internal pages, with 255-way fan
90
90
_INTERESTING_NEW_SIZE = 50
91
91
# If a ChildNode shrinks by more than this amount, we check for a remap
92
92
_INTERESTING_SHRINKAGE_LIMIT = 20
 
93
# If we delete more than this many nodes applying a delta, we check for a remap
 
94
_INTERESTING_DELETES_LIMIT = 5
93
95
 
94
96
 
95
97
def _search_key_plain(key):
96
98
    """Map the key tuple into a search string that just uses the key bytes."""
97
 
    return b'\x00'.join(key)
 
99
    return '\x00'.join(key)
98
100
 
99
101
 
100
102
search_key_registry = registry.Registry()
101
 
search_key_registry.register(b'plain', _search_key_plain)
 
103
search_key_registry.register('plain', _search_key_plain)
102
104
 
103
105
 
104
106
class CHKMap(object):
133
135
            into the map; if old_key is not None, then the old mapping
134
136
            of old_key is removed.
135
137
        """
136
 
        has_deletes = False
 
138
        delete_count = 0
137
139
        # Check preconditions first.
138
140
        as_st = StaticTuple.from_sequence
139
 
        new_items = {as_st(key) for (old, key, value) in delta
140
 
                         if key is not None and old is None}
 
141
        new_items = set([as_st(key) for (old, key, value) in delta
 
142
                         if key is not None and old is None])
141
143
        existing_new = list(self.iteritems(key_filter=new_items))
142
144
        if existing_new:
143
145
            raise errors.InconsistentDeltaDelta(delta,
146
148
        for old, new, value in delta:
147
149
            if old is not None and old != new:
148
150
                self.unmap(old, check_remap=False)
149
 
                has_deletes = True
 
151
                delete_count += 1
150
152
        for old, new, value in delta:
151
153
            if new is not None:
152
154
                self.map(new, value)
153
 
        if has_deletes:
 
155
        if delete_count > _INTERESTING_DELETES_LIMIT:
 
156
            trace.mutter("checking remap as %d deletions", delete_count)
154
157
            self._check_remap()
155
158
        return self._save()
156
159
 
157
160
    def _ensure_root(self):
158
161
        """Ensure that the root node is an object not a key."""
159
 
        if isinstance(self._root_node, StaticTuple):
 
162
        if type(self._root_node) is StaticTuple:
160
163
            # Demand-load the root
161
164
            self._root_node = self._get_node(self._root_node)
162
165
 
170
173
        :param node: A tuple key or node object.
171
174
        :return: A node object.
172
175
        """
173
 
        if isinstance(node, StaticTuple):
 
176
        if type(node) is StaticTuple:
174
177
            bytes = self._read_bytes(node)
175
178
            return _deserialise(bytes, node,
176
179
                search_key_func=self._search_key_func)
182
185
            return _get_cache()[key]
183
186
        except KeyError:
184
187
            stream = self._store.get_record_stream([key], 'unordered', True)
185
 
            bytes = next(stream).get_bytes_as('fulltext')
 
188
            bytes = stream.next().get_bytes_as('fulltext')
186
189
            _get_cache()[key] = bytes
187
190
            return bytes
188
191
 
191
194
        self._ensure_root()
192
195
        res = self._dump_tree_node(self._root_node, prefix='', indent='',
193
196
                                   include_keys=include_keys)
194
 
        res.append(b'') # Give a trailing '\n'
195
 
        return b'\n'.join(res)
 
197
        res.append('') # Give a trailing '\n'
 
198
        return '\n'.join(res)
196
199
 
197
200
    def _dump_tree_node(self, node, prefix, indent, include_keys=True):
198
201
        """For this node and all children, generate a string representation."""
202
205
        else:
203
206
            node_key = node.key()
204
207
            if node_key is not None:
205
 
                key_str = b' %s' % (node_key[0],)
 
208
                key_str = ' %s' % (node_key[0],)
206
209
            else:
207
 
                key_str = b' None'
208
 
        result.append(b'%s%r %s%s' % (indent, prefix, node.__class__.__name__,
209
 
                                      key_str))
210
 
        if isinstance(node, InternalNode):
 
210
                key_str = ' None'
 
211
        result.append('%s%r %s%s' % (indent, prefix, node.__class__.__name__,
 
212
                                     key_str))
 
213
        if type(node) is InternalNode:
211
214
            # Trigger all child nodes to get loaded
212
215
            list(node._iter_nodes(self._store))
213
 
            for prefix, sub in sorted(viewitems(node._items)):
 
216
            for prefix, sub in sorted(node._items.iteritems()):
214
217
                result.extend(self._dump_tree_node(sub, prefix, indent + '  ',
215
218
                                                   include_keys=include_keys))
216
219
        else:
217
 
            for key, value in sorted(viewitems(node._items)):
 
220
            for key, value in sorted(node._items.iteritems()):
218
221
                # Don't use prefix nor indent here to line up when used in
219
222
                # tests in conjunction with assertEqualDiff
220
 
                result.append(b'      %r %r' % (tuple(key), value))
 
223
                result.append('      %r %r' % (tuple(key), value))
221
224
        return result
222
225
 
223
226
    @classmethod
241
244
        root_key = klass._create_directly(store, initial_value,
242
245
            maximum_size=maximum_size, key_width=key_width,
243
246
            search_key_func=search_key_func)
244
 
        if not isinstance(root_key, StaticTuple):
 
247
        if type(root_key) is not StaticTuple:
245
248
            raise AssertionError('we got a %s instead of a StaticTuple'
246
249
                                 % (type(root_key),))
247
250
        return root_key
253
256
        result._root_node.set_maximum_size(maximum_size)
254
257
        result._root_node._key_width = key_width
255
258
        delta = []
256
 
        for key, value in viewitems(initial_value):
 
259
        for key, value in initial_value.items():
257
260
            delta.append((None, key, value))
258
261
        root_key = result.apply_delta(delta)
259
262
        return root_key
265
268
        node.set_maximum_size(maximum_size)
266
269
        node._key_width = key_width
267
270
        as_st = StaticTuple.from_sequence
268
 
        node._items = dict((as_st(key), val)
269
 
            for key, val in viewitems(initial_value))
270
 
        node._raw_size = sum(node._key_value_len(key, value)
271
 
            for key, value in viewitems(node._items))
 
271
        node._items = dict([(as_st(key), val) for key, val
 
272
                                               in initial_value.iteritems()])
 
273
        node._raw_size = sum([node._key_value_len(key, value)
 
274
                              for key,value in node._items.iteritems()])
272
275
        node._len = len(node._items)
273
276
        node._compute_search_prefix()
274
277
        node._compute_serialised_prefix()
329
332
        def process_node(node, path, a_map, pending):
330
333
            # take a node and expand it
331
334
            node = a_map._get_node(node)
332
 
            if isinstance(node, LeafNode):
 
335
            if type(node) == LeafNode:
333
336
                path = (node._key, path)
334
 
                for key, value in viewitems(node._items):
 
337
                for key, value in node._items.items():
335
338
                    # For a LeafNode, the key is a serialized_key, rather than
336
339
                    # a search_key, but the heap is using search_keys
337
340
                    search_key = node._search_key_func(key)
339
342
            else:
340
343
                # type(node) == InternalNode
341
344
                path = (node._key, path)
342
 
                for prefix, child in viewitems(node._items):
 
345
                for prefix, child in node._items.items():
343
346
                    heapq.heappush(pending, (prefix, None, child, path))
344
347
        def process_common_internal_nodes(self_node, basis_node):
345
 
            self_items = set(viewitems(self_node._items))
346
 
            basis_items = set(viewitems(basis_node._items))
 
348
            self_items = set(self_node._items.items())
 
349
            basis_items = set(basis_node._items.items())
347
350
            path = (self_node._key, None)
348
351
            for prefix, child in self_items - basis_items:
349
352
                heapq.heappush(self_pending, (prefix, None, child, path))
351
354
            for prefix, child in basis_items - self_items:
352
355
                heapq.heappush(basis_pending, (prefix, None, child, path))
353
356
        def process_common_leaf_nodes(self_node, basis_node):
354
 
            self_items = set(viewitems(self_node._items))
355
 
            basis_items = set(viewitems(basis_node._items))
 
357
            self_items = set(self_node._items.items())
 
358
            basis_items = set(basis_node._items.items())
356
359
            path = (self_node._key, None)
357
360
            for key, value in self_items - basis_items:
358
361
                prefix = self._search_key_func(key)
367
370
            # time?
368
371
            self_node = self._get_node(self_node)
369
372
            basis_node = basis._get_node(basis_node)
370
 
            if (isinstance(self_node, InternalNode)
371
 
                and isinstance(basis_node, InternalNode)):
 
373
            if (type(self_node) == InternalNode
 
374
                and type(basis_node) == InternalNode):
372
375
                # Matching internal nodes
373
376
                process_common_internal_nodes(self_node, basis_node)
374
 
            elif (isinstance(self_node, LeafNode)
375
 
                  and isinstance(basis_node, LeafNode)):
 
377
            elif (type(self_node) == LeafNode
 
378
                  and type(basis_node) == LeafNode):
376
379
                process_common_leaf_nodes(self_node, basis_node)
377
380
            else:
378
381
                process_node(self_node, self_path, self, self_pending)
387
390
            # A better implementation would probably have a reverse map
388
391
            # back to the children of a node, and jump straight to it when
389
392
            # a common node is detected, the proceed to remove the already
390
 
            # pending children. breezy.graph has a searcher module with a
 
393
            # pending children. bzrlib.graph has a searcher module with a
391
394
            # similar problem.
392
395
            while key_path is not None:
393
396
                key, key_path = key_path
517
520
 
518
521
    def key(self):
519
522
        """Return the key for this map."""
520
 
        if isinstance(self._root_node, StaticTuple):
 
523
        if type(self._root_node) is StaticTuple:
521
524
            return self._root_node
522
525
        else:
523
526
            return self._root_node._key
548
551
 
549
552
    def _node_key(self, node):
550
553
        """Get the key for a node whether it's a tuple or node."""
551
 
        if isinstance(node, tuple):
 
554
        if type(node) is tuple:
552
555
            node = StaticTuple.from_sequence(node)
553
 
        if isinstance(node, StaticTuple):
 
556
        if type(node) is StaticTuple:
554
557
            return node
555
558
        else:
556
559
            return node._key
559
562
        """remove key from the map."""
560
563
        key = StaticTuple.from_sequence(key)
561
564
        self._ensure_root()
562
 
        if isinstance(self._root_node, InternalNode):
 
565
        if type(self._root_node) is InternalNode:
563
566
            unmapped = self._root_node.unmap(self._store, key,
564
567
                check_remap=check_remap)
565
568
        else:
569
572
    def _check_remap(self):
570
573
        """Check if nodes can be collapsed."""
571
574
        self._ensure_root()
572
 
        if isinstance(self._root_node, InternalNode):
573
 
            self._root_node = self._root_node._check_remap(self._store)
 
575
        if type(self._root_node) is InternalNode:
 
576
            self._root_node._check_remap(self._store)
574
577
 
575
578
    def _save(self):
576
579
        """Save the map completely.
577
580
 
578
581
        :return: The key of the root node.
579
582
        """
580
 
        if isinstance(self._root_node, StaticTuple):
 
583
        if type(self._root_node) is StaticTuple:
581
584
            # Already saved.
582
585
            return self._root_node
583
586
        keys = list(self._root_node.serialise(self._store))
674
677
            if not common_prefix:
675
678
                # if common_prefix is the empty string, then we know it won't
676
679
                # change further
677
 
                return b''
 
680
                return ''
678
681
        return common_prefix
679
682
 
680
683
 
764
767
                        pass
765
768
                else:
766
769
                    # Short items, we need to match based on a prefix
767
 
                    filters.setdefault(len(key), set()).add(key)
 
770
                    length_filter = filters.setdefault(len(key), set())
 
771
                    length_filter.add(key)
768
772
            if filters:
769
 
                filters_itemview = viewitems(filters)
770
 
                for item in viewitems(self._items):
771
 
                    for length, length_filter in filters_itemview:
 
773
                filters = filters.items()
 
774
                for item in self._items.iteritems():
 
775
                    for length, length_filter in filters:
772
776
                        if item[0][:length] in length_filter:
773
777
                            yield item
774
778
                            break
775
779
        else:
776
 
            for item in viewitems(self._items):
 
780
            for item in self._items.iteritems():
777
781
                yield item
778
782
 
779
783
    def _key_value_len(self, key, value):
780
784
        # TODO: Should probably be done without actually joining the key, but
781
785
        #       then that can be done via the C extension
782
786
        return (len(self._serialise_key(key)) + 1
783
 
                + len(str(value.count(b'\n'))) + 1
 
787
                + len(str(value.count('\n'))) + 1
784
788
                + len(value) + 1)
785
789
 
786
790
    def _search_key(self, key):
835
839
        common_prefix = self._search_prefix
836
840
        split_at = len(common_prefix) + 1
837
841
        result = {}
838
 
        for key, value in viewitems(self._items):
 
842
        for key, value in self._items.iteritems():
839
843
            search_key = self._search_key(key)
840
844
            prefix = search_key[:split_at]
841
845
            # TODO: Generally only 1 key can be exactly the right length,
847
851
            #       may get a '\00' node anywhere, but won't have keys of
848
852
            #       different lengths.
849
853
            if len(prefix) < split_at:
850
 
                prefix += b'\x00'*(split_at - len(prefix))
 
854
                prefix += '\x00'*(split_at - len(prefix))
851
855
            if prefix not in result:
852
856
                node = LeafNode(search_key_func=self._search_key_func)
853
857
                node.set_maximum_size(self._maximum_size)
868
872
                for split, node in node_details:
869
873
                    new_node.add_node(split, node)
870
874
                result[prefix] = new_node
871
 
        return common_prefix, list(viewitems(result))
 
875
        return common_prefix, result.items()
872
876
 
873
877
    def map(self, store, key, value):
874
878
        """Map key to value."""
883
887
                raise AssertionError('%r must be known' % self._search_prefix)
884
888
            return self._search_prefix, [("", self)]
885
889
 
886
 
    _serialise_key = b'\x00'.join
 
890
    _serialise_key = '\x00'.join
887
891
 
888
892
    def serialise(self, store):
889
893
        """Serialise the LeafNode to store.
891
895
        :param store: A VersionedFiles honouring the CHK extensions.
892
896
        :return: An iterable of the keys inserted by this operation.
893
897
        """
894
 
        lines = [b"chkleaf:\n"]
895
 
        lines.append(b"%d\n" % self._maximum_size)
896
 
        lines.append(b"%d\n" % self._key_width)
897
 
        lines.append(b"%d\n" % self._len)
 
898
        lines = ["chkleaf:\n"]
 
899
        lines.append("%d\n" % self._maximum_size)
 
900
        lines.append("%d\n" % self._key_width)
 
901
        lines.append("%d\n" % self._len)
898
902
        if self._common_serialised_prefix is None:
899
 
            lines.append(b'\n')
 
903
            lines.append('\n')
900
904
            if len(self._items) != 0:
901
905
                raise AssertionError('If _common_serialised_prefix is None'
902
906
                    ' we should have no items')
903
907
        else:
904
 
            lines.append(b'%s\n' % (self._common_serialised_prefix,))
 
908
            lines.append('%s\n' % (self._common_serialised_prefix,))
905
909
            prefix_len = len(self._common_serialised_prefix)
906
 
        for key, value in sorted(viewitems(self._items)):
 
910
        for key, value in sorted(self._items.items()):
907
911
            # Always add a final newline
908
 
            value_lines = osutils.chunks_to_lines([value + b'\n'])
909
 
            serialized = b"%s\x00%d\n" % (self._serialise_key(key),
 
912
            value_lines = osutils.chunks_to_lines([value + '\n'])
 
913
            serialized = "%s\x00%s\n" % (self._serialise_key(key),
910
914
                                         len(value_lines))
911
915
            if not serialized.startswith(self._common_serialised_prefix):
912
916
                raise AssertionError('We thought the common prefix was %r'
915
919
            lines.append(serialized[prefix_len:])
916
920
            lines.extend(value_lines)
917
921
        sha1, _, _ = store.add_lines((None,), (), lines)
918
 
        self._key = StaticTuple(b"sha1:" + sha1,).intern()
919
 
        data = b''.join(lines)
920
 
        if len(data) != self._current_size():
 
922
        self._key = StaticTuple("sha1:" + sha1,).intern()
 
923
        bytes = ''.join(lines)
 
924
        if len(bytes) != self._current_size():
921
925
            raise AssertionError('Invalid _current_size')
922
 
        _get_cache()[self._key] = data
 
926
        _get_cache().add(self._key, bytes)
923
927
        return [self._key]
924
928
 
925
929
    def refs(self):
1012
1016
            raise AssertionError("_search_prefix should not be None")
1013
1017
        if not prefix.startswith(self._search_prefix):
1014
1018
            raise AssertionError("prefixes mismatch: %s must start with %s"
1015
 
                % (prefix, self._search_prefix))
 
1019
                % (prefix,self._search_prefix))
1016
1020
        if len(prefix) != len(self._search_prefix) + 1:
1017
1021
            raise AssertionError("prefix wrong length: len(%s) is not %d" %
1018
1022
                (prefix, len(self._search_prefix) + 1))
1068
1072
            # yielding all nodes, yield whatever we have, and queue up a read
1069
1073
            # for whatever we are missing
1070
1074
            shortcut = True
1071
 
            for prefix, node in viewitems(self._items):
 
1075
            for prefix, node in self._items.iteritems():
1072
1076
                if node.__class__ is StaticTuple:
1073
1077
                    keys[node] = (prefix, None)
1074
1078
                else:
1144
1148
            else:
1145
1149
                # The slow way. We walk every item in self._items, and check to
1146
1150
                # see if there are any matches
1147
 
                length_filters_itemview = viewitems(length_filters)
1148
 
                for prefix, node in viewitems(self._items):
 
1151
                length_filters = length_filters.items()
 
1152
                for prefix, node in self._items.iteritems():
1149
1153
                    node_key_filter = []
1150
 
                    for length, length_filter in length_filters_itemview:
 
1154
                    for length, length_filter in length_filters:
1151
1155
                        sub_prefix = prefix[:length]
1152
1156
                        if sub_prefix in length_filter:
1153
1157
                            node_key_filter.extend(prefix_to_keys[sub_prefix])
1192
1196
                    prefix, node_key_filter = keys[record.key]
1193
1197
                    node_and_filters.append((node, node_key_filter))
1194
1198
                    self._items[prefix] = node
1195
 
                    _get_cache()[record.key] = bytes
 
1199
                    _get_cache().add(record.key, bytes)
1196
1200
                for info in node_and_filters:
1197
1201
                    yield info
1198
1202
 
1225
1229
            # new child needed:
1226
1230
            child = self._new_child(search_key, LeafNode)
1227
1231
        old_len = len(child)
1228
 
        if isinstance(child, LeafNode):
 
1232
        if type(child) is LeafNode:
1229
1233
            old_size = child._current_size()
1230
1234
        else:
1231
1235
            old_size = None
1237
1241
            self._items[search_key] = child
1238
1242
            self._key = None
1239
1243
            new_node = self
1240
 
            if isinstance(child, LeafNode):
 
1244
            if type(child) is LeafNode:
1241
1245
                if old_size is None:
1242
1246
                    # The old node was an InternalNode which means it has now
1243
1247
                    # collapsed, so we need to check if it will chain to a
1289
1293
        :param store: A VersionedFiles honouring the CHK extensions.
1290
1294
        :return: An iterable of the keys inserted by this operation.
1291
1295
        """
1292
 
        for node in viewvalues(self._items):
1293
 
            if isinstance(node, StaticTuple):
 
1296
        for node in self._items.itervalues():
 
1297
            if type(node) is StaticTuple:
1294
1298
                # Never deserialised.
1295
1299
                continue
1296
1300
            if node._key is not None:
1298
1302
                continue
1299
1303
            for key in node.serialise(store):
1300
1304
                yield key
1301
 
        lines = [b"chknode:\n"]
1302
 
        lines.append(b"%d\n" % self._maximum_size)
1303
 
        lines.append(b"%d\n" % self._key_width)
1304
 
        lines.append(b"%d\n" % self._len)
 
1305
        lines = ["chknode:\n"]
 
1306
        lines.append("%d\n" % self._maximum_size)
 
1307
        lines.append("%d\n" % self._key_width)
 
1308
        lines.append("%d\n" % self._len)
1305
1309
        if self._search_prefix is None:
1306
1310
            raise AssertionError("_search_prefix should not be None")
1307
 
        lines.append(b'%s\n' % (self._search_prefix,))
 
1311
        lines.append('%s\n' % (self._search_prefix,))
1308
1312
        prefix_len = len(self._search_prefix)
1309
 
        for prefix, node in sorted(viewitems(self._items)):
1310
 
            if isinstance(node, StaticTuple):
 
1313
        for prefix, node in sorted(self._items.items()):
 
1314
            if type(node) is StaticTuple:
1311
1315
                key = node[0]
1312
1316
            else:
1313
1317
                key = node._key[0]
1314
 
            serialised = b"%s\x00%s\n" % (prefix, key)
 
1318
            serialised = "%s\x00%s\n" % (prefix, key)
1315
1319
            if not serialised.startswith(self._search_prefix):
1316
1320
                raise AssertionError("prefixes mismatch: %s must start with %s"
1317
1321
                    % (serialised, self._search_prefix))
1318
1322
            lines.append(serialised[prefix_len:])
1319
1323
        sha1, _, _ = store.add_lines((None,), (), lines)
1320
 
        self._key = StaticTuple(b"sha1:" + sha1,).intern()
1321
 
        _get_cache()[self._key] = b''.join(lines)
 
1324
        self._key = StaticTuple("sha1:" + sha1,).intern()
 
1325
        _get_cache().add(self._key, ''.join(lines))
1322
1326
        yield self._key
1323
1327
 
1324
1328
    def _search_key(self, key):
1325
1329
        """Return the serialised key for key in this node."""
1326
1330
        # search keys are fixed width. All will be self._node_width wide, so we
1327
1331
        # pad as necessary.
1328
 
        return (self._search_key_func(key) + b'\x00'*self._node_width)[:self._node_width]
 
1332
        return (self._search_key_func(key) + '\x00'*self._node_width)[:self._node_width]
1329
1333
 
1330
1334
    def _search_prefix_filter(self, key):
1331
1335
        """Serialise key for use as a prefix filter in iteritems."""
1339
1343
            prefix for reaching node.
1340
1344
        """
1341
1345
        if offset >= self._node_width:
1342
 
            for node in valueview(self._items):
 
1346
            for node in self._items.values():
1343
1347
                for result in node._split(offset):
1344
1348
                    yield result
 
1349
            return
 
1350
        for key, node in self._items.items():
 
1351
            pass
1345
1352
 
1346
1353
    def refs(self):
1347
1354
        """Return the references to other CHK's held by this node."""
1348
1355
        if self._key is None:
1349
1356
            raise AssertionError("unserialised nodes have no refs.")
1350
1357
        refs = []
1351
 
        for value in viewvalues(self._items):
1352
 
            if isinstance(value, StaticTuple):
 
1358
        for value in self._items.itervalues():
 
1359
            if type(value) is StaticTuple:
1353
1360
                refs.append(value)
1354
1361
            else:
1355
1362
                refs.append(value.key())
1365
1372
        return self._search_prefix
1366
1373
 
1367
1374
    def unmap(self, store, key, check_remap=True):
1368
 
        """Remove key from this node and its children."""
 
1375
        """Remove key from this node and it's children."""
1369
1376
        if not len(self._items):
1370
1377
            raise AssertionError("can't unmap in an empty InternalNode.")
1371
1378
        children = [node for node, _
1387
1394
            self._items[search_key] = unmapped
1388
1395
        if len(self._items) == 1:
1389
1396
            # this node is no longer needed:
1390
 
            return list(viewvalues(self._items))[0]
1391
 
        if isinstance(unmapped, InternalNode):
 
1397
            return self._items.values()[0]
 
1398
        if type(unmapped) is InternalNode:
1392
1399
            return self
1393
1400
        if check_remap:
1394
1401
            return self._check_remap(store)
1434
1441
        #   c) With 255-way fan out, we don't want to read all 255 and destroy
1435
1442
        #      the page cache, just to determine that we really don't need it.
1436
1443
        for node, _ in self._iter_nodes(store, batch_size=16):
1437
 
            if isinstance(node, InternalNode):
 
1444
            if type(node) is InternalNode:
1438
1445
                # Without looking at any leaf nodes, we are sure
1439
1446
                return self
1440
 
            for key, value in viewitems(node._items):
 
1447
            for key, value in node._items.iteritems():
1441
1448
                if new_leaf._map_no_split(key, value):
1442
1449
                    return self
1443
1450
        trace.mutter("remap generated a new LeafNode")
1444
1451
        return new_leaf
1445
1452
 
1446
1453
 
1447
 
def _deserialise(data, key, search_key_func):
 
1454
def _deserialise(bytes, key, search_key_func):
1448
1455
    """Helper for repositorydetails - convert bytes to a node."""
1449
 
    if data.startswith(b"chkleaf:\n"):
1450
 
        node = LeafNode.deserialise(data, key, search_key_func=search_key_func)
1451
 
    elif data.startswith(b"chknode:\n"):
1452
 
        node = InternalNode.deserialise(data, key,
 
1456
    if bytes.startswith("chkleaf:\n"):
 
1457
        node = LeafNode.deserialise(bytes, key, search_key_func=search_key_func)
 
1458
    elif bytes.startswith("chknode:\n"):
 
1459
        node = InternalNode.deserialise(bytes, key,
1453
1460
            search_key_func=search_key_func)
1454
1461
    else:
1455
1462
        raise AssertionError("Unknown node type.")
1519
1526
            bytes = record.get_bytes_as('fulltext')
1520
1527
            node = _deserialise(bytes, record.key,
1521
1528
                                search_key_func=self._search_key_func)
1522
 
            if isinstance(node, InternalNode):
 
1529
            if type(node) is InternalNode:
1523
1530
                # Note we don't have to do node.refs() because we know that
1524
1531
                # there are no children that have been pushed into this node
1525
1532
                # Note: Using as_st() here seemed to save 1.2MB, which would
1526
1533
                #       indicate that we keep 100k prefix_refs around while
1527
1534
                #       processing. They *should* be shorter lived than that...
1528
1535
                #       It does cost us ~10s of processing time
1529
 
                prefix_refs = list(viewitems(node._items))
 
1536
                #prefix_refs = [as_st(item) for item in node._items.iteritems()]
 
1537
                prefix_refs = node._items.items()
1530
1538
                items = []
1531
1539
            else:
1532
1540
                prefix_refs = []
1533
1541
                # Note: We don't use a StaticTuple here. Profiling showed a
1534
1542
                #       minor memory improvement (0.8MB out of 335MB peak 0.2%)
1535
1543
                #       But a significant slowdown (15s / 145s, or 10%)
1536
 
                items = list(viewitems(node._items))
 
1544
                items = node._items.items()
1537
1545
            yield record, node, prefix_refs, items
1538
1546
 
1539
1547
    def _read_old_roots(self):
1563
1571
        # handled the interesting ones
1564
1572
        for prefix, ref in old_chks_to_enqueue:
1565
1573
            not_interesting = True
1566
 
            for i in range(len(prefix), 0, -1):
 
1574
            for i in xrange(len(prefix), 0, -1):
1567
1575
                if prefix[:i] in new_prefixes:
1568
1576
                    not_interesting = False
1569
1577
                    break
1623
1631
        # 'ab', then we also need to include 'a'.) So expand the
1624
1632
        # new_prefixes to include all shorter prefixes
1625
1633
        for prefix in list(new_prefixes):
1626
 
            new_prefixes.update([prefix[:i] for i in range(1, len(prefix))])
 
1634
            new_prefixes.update([prefix[:i] for i in xrange(1, len(prefix))])
1627
1635
        self._enqueue_old(new_prefixes, old_chks_to_enqueue)
1628
1636
 
1629
1637
    def _flush_new_queue(self):
1680
1688
        for record, _, prefix_refs, items in self._read_nodes_from_store(refs):
1681
1689
            # TODO: Use StaticTuple here?
1682
1690
            self._all_old_items.update(items)
1683
 
            refs = [r for _, r in prefix_refs if r not in all_old_chks]
 
1691
            refs = [r for _,r in prefix_refs if r not in all_old_chks]
1684
1692
            self._old_queue.extend(refs)
1685
1693
            all_old_chks.update(refs)
1686
1694
 
1718
1726
 
1719
1727
 
1720
1728
try:
1721
 
    from ._chk_map_pyx import (
1722
 
        _bytes_to_text_key,
 
1729
    from bzrlib._chk_map_pyx import (
1723
1730
        _search_key_16,
1724
1731
        _search_key_255,
1725
1732
        _deserialise_leaf_node,
1726
1733
        _deserialise_internal_node,
1727
1734
        )
1728
 
except ImportError as e:
 
1735
except ImportError, e:
1729
1736
    osutils.failed_to_load_extension(e)
1730
 
    from ._chk_map_py import (
1731
 
        _bytes_to_text_key,
 
1737
    from bzrlib._chk_map_py import (
1732
1738
        _search_key_16,
1733
1739
        _search_key_255,
1734
1740
        _deserialise_leaf_node,
1735
1741
        _deserialise_internal_node,
1736
1742
        )
1737
 
search_key_registry.register(b'hash-16-way', _search_key_16)
1738
 
search_key_registry.register(b'hash-255-way', _search_key_255)
 
1743
search_key_registry.register('hash-16-way', _search_key_16)
 
1744
search_key_registry.register('hash-255-way', _search_key_255)
1739
1745
 
1740
1746
 
1741
1747
def _check_key(key):
1744
1750
    This generally shouldn't be used in production code, but it can be helpful
1745
1751
    to debug problems.
1746
1752
    """
1747
 
    if not isinstance(key, StaticTuple):
 
1753
    if type(key) is not StaticTuple:
1748
1754
        raise TypeError('key %r is not StaticTuple but %s' % (key, type(key)))
1749
1755
    if len(key) != 1:
1750
1756
        raise ValueError('key %r should have length 1, not %d' % (key, len(key),))
1751
 
    if not isinstance(key[0], str):
 
1757
    if type(key[0]) is not str:
1752
1758
        raise TypeError('key %r should hold a str, not %r'
1753
1759
                        % (key, type(key[0])))
1754
1760
    if not key[0].startswith('sha1:'):