/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/transport/chroot.py

  • Committer: John Arbash Meinel
  • Date: 2009-10-17 04:43:14 UTC
  • mto: This revision was merged to the branch mainline in revision 4756.
  • Revision ID: john@arbash-meinel.com-20091017044314-nlvrrqnz0f2wzcp4
change the GroupcompressBlock code a bit.
If the first decompress request is big enough, just decompress everything.
And when we do that, let go of the decompressobj.

After digging through the zlib code, it looks like 1 zlib stream object
contains a 5kB internal state, and another 4*64kB buffers. (about 260kB
of total state.)
That turns out to be quite a lot if you think about it.


In the case of branching a copy of 'bzr.dev' locally, this turned out
to be 383MB w/ bzr.dev and 345MB w/ only this patch. (So ~11% of peak).

Also, this was 'unreferenced' memory, because it is hidden in the
zlib internal state in working buffers. So it wasn't memory that Meliae
could find. \o/.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/transport/chroot.py
 
1
# Copyright (C) 2006-2009 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
"""Implementation of Transport that prevents access to locations above a set
 
18
root.
 
19
"""
 
20
 
 
21
from bzrlib.transport import (
 
22
    get_transport,
 
23
    pathfilter,
 
24
    register_transport,
 
25
    Server,
 
26
    Transport,
 
27
    unregister_transport,
 
28
    )
 
29
 
 
30
 
 
31
class ChrootServer(pathfilter.PathFilteringServer):
 
32
    """User space 'chroot' facility.
 
33
 
 
34
    The server's get_url returns the url for a chroot transport mapped to the
 
35
    backing transport. The url is of the form chroot-xxx:/// so parent
 
36
    directories of the backing transport are not visible. The chroot url will
 
37
    not allow '..' sequences to result in requests to the chroot affecting
 
38
    directories outside the backing transport.
 
39
 
 
40
    PathFilteringServer does all the path sanitation needed to enforce a
 
41
    chroot, so this is a simple subclass of PathFilteringServer that ignores
 
42
    filter_func.
 
43
    """
 
44
 
 
45
    def __init__(self, backing_transport):
 
46
        pathfilter.PathFilteringServer.__init__(self, backing_transport, None)
 
47
 
 
48
    def _factory(self, url):
 
49
        return ChrootTransport(self, url)
 
50
 
 
51
    def setUp(self):
 
52
        self.scheme = 'chroot-%d:///' % id(self)
 
53
        register_transport(self.scheme, self._factory)
 
54
 
 
55
 
 
56
class ChrootTransport(pathfilter.PathFilteringTransport):
 
57
    """A ChrootTransport.
 
58
 
 
59
    Please see ChrootServer for details.
 
60
    """
 
61
 
 
62
    def _filter(self, relpath):
 
63
        # A simplified version of PathFilteringTransport's _filter that omits
 
64
        # the call to self.server.filter_func.
 
65
        return self._relpath_from_server_root(relpath)
 
66
 
 
67
 
 
68
class TestingChrootServer(ChrootServer):
 
69
 
 
70
    def __init__(self):
 
71
        """TestingChrootServer is not usable until setUp is called."""
 
72
        ChrootServer.__init__(self, None)
 
73
 
 
74
    def setUp(self, backing_server=None):
 
75
        """Setup the Chroot on backing_server."""
 
76
        if backing_server is not None:
 
77
            self.backing_transport = get_transport(backing_server.get_url())
 
78
        else:
 
79
            self.backing_transport = get_transport('.')
 
80
        ChrootServer.setUp(self)
 
81
 
 
82
 
 
83
def get_test_permutations():
 
84
    """Return the permutations to be used in testing."""
 
85
    return [(ChrootTransport, TestingChrootServer)]