/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/treebuilder.py

  • Committer: John Arbash Meinel
  • Date: 2009-10-17 04:43:14 UTC
  • mto: This revision was merged to the branch mainline in revision 4756.
  • Revision ID: john@arbash-meinel.com-20091017044314-nlvrrqnz0f2wzcp4
change the GroupcompressBlock code a bit.
If the first decompress request is big enough, just decompress everything.
And when we do that, let go of the decompressobj.

After digging through the zlib code, it looks like 1 zlib stream object
contains a 5kB internal state, and another 4*64kB buffers. (about 260kB
of total state.)
That turns out to be quite a lot if you think about it.


In the case of branching a copy of 'bzr.dev' locally, this turned out
to be 383MB w/ bzr.dev and 345MB w/ only this patch. (So ~11% of peak).

Also, this was 'unreferenced' memory, because it is hidden in the
zlib internal state in working buffers. So it wasn't memory that Meliae
could find. \o/.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/treebuilder.py
 
1
# Copyright (C) 2006 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
"""TreeBuilder helper class.
 
18
 
 
19
TreeBuilders are used to build trees of various shapres or properties. This
 
20
can be extremely useful in testing for instance.
 
21
"""
 
22
 
 
23
from bzrlib import errors
 
24
 
 
25
 
 
26
class TreeBuilder(object):
 
27
    """A TreeBuilder allows the creation of specific content in one tree at a
 
28
    time.
 
29
    """
 
30
 
 
31
    def __init__(self):
 
32
        """Construct a TreeBuilder."""
 
33
        self._tree = None
 
34
        self._root_done = False
 
35
 
 
36
    def build(self, recipe):
 
37
        """Build recipe into the current tree.
 
38
 
 
39
        :param recipe: A sequence of paths. For each path, the corresponding
 
40
            path in the current tree is created and added. If the path ends in
 
41
            '/' then a directory is added, otherwise a regular file is added.
 
42
        """
 
43
        self._ensure_building()
 
44
        if not self._root_done:
 
45
            self._tree.add('', 'root-id', 'directory')
 
46
            self._root_done = True
 
47
        for name in recipe:
 
48
            if name[-1] == '/':
 
49
                self._tree.mkdir(name[:-1])
 
50
            else:
 
51
                end = '\n'
 
52
                content = "contents of %s%s" % (name.encode('utf-8'), end)
 
53
                self._tree.add(name, None, 'file')
 
54
                file_id = self._tree.path2id(name)
 
55
                self._tree.put_file_bytes_non_atomic(file_id, content)
 
56
 
 
57
    def _ensure_building(self):
 
58
        """Raise NotBuilding if there is no current tree being built."""
 
59
        if self._tree is None:
 
60
            raise errors.NotBuilding
 
61
 
 
62
    def finish_tree(self):
 
63
        """Finish building the current tree."""
 
64
        self._ensure_building()
 
65
        tree = self._tree
 
66
        self._tree = None
 
67
        tree.unlock()
 
68
 
 
69
    def start_tree(self, tree):
 
70
        """Start building on tree.
 
71
 
 
72
        :param tree: A tree to start building on. It must provide the
 
73
            MutableTree interface.
 
74
        """
 
75
        if self._tree is not None:
 
76
            raise errors.AlreadyBuilding
 
77
        self._tree = tree
 
78
        self._tree.lock_tree_write()