/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/chk_map.py

  • Committer: John Arbash Meinel
  • Date: 2010-08-05 16:27:35 UTC
  • mto: This revision was merged to the branch mainline in revision 5374.
  • Revision ID: john@arbash-meinel.com-20100805162735-172opvx34sr5gpbl
Find a case where we are wasting a bit of memory.

Specifically the 'build_details' tuple contains a lot of wasted references,
and we hold on to one of these for each record we are fetching.
And for something like 'bzr pack', that is all keys.

For just loading all text build details on my bzr+ repository, With:
locations = b.repository.texts._index.get_build_details(b.repository.texts.keys())
This drops the memory consumption from:
WorkingSize   77604KiB
 to
WorkingSize   64640KiB

Or around 10.6MB. I worked it out to a savings of about 80 bytes/record
on data that can have hundreds of thousands of records (in 32-bit).

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/chk_map.py
90
90
_INTERESTING_NEW_SIZE = 50
91
91
# If a ChildNode shrinks by more than this amount, we check for a remap
92
92
_INTERESTING_SHRINKAGE_LIMIT = 20
93
 
# If we delete more than this many nodes applying a delta, we check for a remap
94
 
_INTERESTING_DELETES_LIMIT = 5
95
93
 
96
94
 
97
95
def _search_key_plain(key):
135
133
            into the map; if old_key is not None, then the old mapping
136
134
            of old_key is removed.
137
135
        """
138
 
        delete_count = 0
 
136
        has_deletes = False
139
137
        # Check preconditions first.
140
138
        as_st = StaticTuple.from_sequence
141
139
        new_items = set([as_st(key) for (old, key, value) in delta
148
146
        for old, new, value in delta:
149
147
            if old is not None and old != new:
150
148
                self.unmap(old, check_remap=False)
151
 
                delete_count += 1
 
149
                has_deletes = True
152
150
        for old, new, value in delta:
153
151
            if new is not None:
154
152
                self.map(new, value)
155
 
        if delete_count > _INTERESTING_DELETES_LIMIT:
156
 
            trace.mutter("checking remap as %d deletions", delete_count)
 
153
        if has_deletes:
157
154
            self._check_remap()
158
155
        return self._save()
159
156
 
573
570
        """Check if nodes can be collapsed."""
574
571
        self._ensure_root()
575
572
        if type(self._root_node) is InternalNode:
576
 
            self._root_node._check_remap(self._store)
 
573
            self._root_node = self._root_node._check_remap(self._store)
577
574
 
578
575
    def _save(self):
579
576
        """Save the map completely.
1727
1724
 
1728
1725
try:
1729
1726
    from bzrlib._chk_map_pyx import (
 
1727
        _bytes_to_text_key,
1730
1728
        _search_key_16,
1731
1729
        _search_key_255,
1732
1730
        _deserialise_leaf_node,
1735
1733
except ImportError, e:
1736
1734
    osutils.failed_to_load_extension(e)
1737
1735
    from bzrlib._chk_map_py import (
 
1736
        _bytes_to_text_key,
1738
1737
        _search_key_16,
1739
1738
        _search_key_255,
1740
1739
        _deserialise_leaf_node,