/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/serializer.py

  • Committer: John Arbash Meinel
  • Date: 2009-09-09 18:52:56 UTC
  • mto: (4634.52.16 2.0)
  • mto: This revision was merged to the branch mainline in revision 4738.
  • Revision ID: john@arbash-meinel.com-20090909185256-rdaxy872xauoem46
https://launchpad.net/bugs/402623
Work around bug #402623 by allowing BTreeGraphIndex(...,unlimited_cache=True).

The basic issue is that the access pattern for chk pages is fully random,
because the keys are 'sha1' handles. As such, we have no locality of
reference, and downloading a large project over HTTP can cause us to
redownload all of the .cix pages multiple times. The bug report
noticed the pages getting downloaded 4-5 times.
This was causing a significant increase in the total bytes downloaded.
(For Launchpad, downloading the 10MB cix file 5 times was 50MB, out of
around 160MB total download.)

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/serializer.py
1
 
# Copyright (C) 2009, 2010 Canonical Ltd
 
1
# Copyright (C) 2005, 2006, 2009 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
50
50
        raise NotImplementedError(self.write_inventory_to_string)
51
51
 
52
52
    def read_inventory_from_string(self, string, revision_id=None,
53
 
                                   entry_cache=None, return_from_cache=False):
 
53
                                   entry_cache=None):
54
54
        """Read string into an inventory object.
55
55
 
56
56
        :param string: The serialized inventory to read.
64
64
        :param entry_cache: An optional cache of InventoryEntry objects. If
65
65
            supplied we will look up entries via (file_id, revision_id) which
66
66
            should map to a valid InventoryEntry (File/Directory/etc) object.
67
 
        :param return_from_cache: Return entries directly from the cache,
68
 
            rather than copying them first. This is only safe if the caller
69
 
            promises not to mutate the returned inventory entries, but it can
70
 
            make some operations significantly faster.
71
67
        """
72
68
        raise NotImplementedError(self.read_inventory_from_string)
73
69