/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/externalcommand.py

  • Committer: John Arbash Meinel
  • Date: 2009-10-17 04:43:14 UTC
  • mto: This revision was merged to the branch mainline in revision 4756.
  • Revision ID: john@arbash-meinel.com-20091017044314-nlvrrqnz0f2wzcp4
change the GroupcompressBlock code a bit.
If the first decompress request is big enough, just decompress everything.
And when we do that, let go of the decompressobj.

After digging through the zlib code, it looks like 1 zlib stream object
contains a 5kB internal state, and another 4*64kB buffers. (about 260kB
of total state.)
That turns out to be quite a lot if you think about it.


In the case of branching a copy of 'bzr.dev' locally, this turned out
to be 383MB w/ bzr.dev and 345MB w/ only this patch. (So ~11% of peak).

Also, this was 'unreferenced' memory, because it is hidden in the
zlib internal state in working buffers. So it wasn't memory that Meliae
could find. \o/.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/externalcommand.py
 
1
# Copyright (C) 2004, 2005 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
# TODO: Perhaps rather than mapping options and arguments back and
 
18
# forth, we should just pass in the whole argv, and allow
 
19
# ExternalCommands to handle it differently to internal commands?
 
20
 
 
21
 
 
22
import os
 
23
import sys
 
24
 
 
25
from bzrlib.commands import Command
 
26
from bzrlib.osutils import pathjoin
 
27
 
 
28
 
 
29
class ExternalCommand(Command):
 
30
    """Class to wrap external commands."""
 
31
 
 
32
    @classmethod
 
33
    def find_command(cls, cmd):
 
34
        import os.path
 
35
        bzrpath = os.environ.get('BZRPATH', '')
 
36
 
 
37
        for dir in bzrpath.split(os.pathsep):
 
38
            ## Empty directories are not real paths
 
39
            if not dir:
 
40
                continue
 
41
            # This needs to be os.path.join() or windows cannot
 
42
            # find the batch file that you are wanting to execute
 
43
            path = os.path.join(dir, cmd)
 
44
            if os.path.isfile(path):
 
45
                return ExternalCommand(path)
 
46
 
 
47
        return None
 
48
 
 
49
 
 
50
    def __init__(self, path):
 
51
        self.path = path
 
52
 
 
53
    def name(self):
 
54
        return os.path.basename(self.path)
 
55
 
 
56
    def run(self, *args, **kwargs):
 
57
        raise NotImplementedError('should not be called on %r' % self)
 
58
 
 
59
    def run_argv_aliases(self, argv, alias_argv=None):
 
60
        return os.spawnv(os.P_WAIT, self.path, [self.path] + argv)
 
61
 
 
62
    def help(self):
 
63
        m = 'external command from %s\n\n' % self.path
 
64
        pipe = os.popen('%s --help' % self.path)
 
65
        return m + pipe.read()
 
66