/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to tools/weavebench.py

  • Committer: John Arbash Meinel
  • Date: 2011-04-20 14:27:19 UTC
  • mto: This revision was merged to the branch mainline in revision 5837.
  • Revision ID: john@arbash-meinel.com-20110420142719-advs1k5vztqzbrgv
https://launchpad.net/bugs/767177
Fix bug #767177. Be more agressive with file.close() calls.

Our test suite gets a number of thread leaks and failures because it happens to get async
SFTPFile.close() calls. (if an SFTPFile closes due to __del__ it is done as an async request,
while if you call SFTPFile.close() it is done as a synchronous request.)
We have a couple other cases, probably. Namely SFTPTransport.get() also does an async
prefetch of the content, so if you don't .read() you'll also leak threads that think they
are doing work that you want.

The biggest change here, though, is using a try/finally in a generator, which is not 
python2.4 compatible.

Show diffs side-by-side

added added

removed removed

Lines of Context:
tools/weavebench.py
1
 
#! /usr/bin/python
2
 
 
3
 
# Copyright (C) 2005 Canonical Ltd
4
 
#
5
 
# This program is free software; you can redistribute it and/or modify
6
 
# it under the terms of the GNU General Public License as published by
7
 
# the Free Software Foundation; either version 2 of the License, or
8
 
# (at your option) any later version.
9
 
#
10
 
# This program is distributed in the hope that it will be useful,
11
 
# but WITHOUT ANY WARRANTY; without even the implied warranty of
12
 
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13
 
# GNU General Public License for more details.
14
 
#
15
 
# You should have received a copy of the GNU General Public License
16
 
# along with this program; if not, write to the Free Software
17
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
18
 
 
19
 
 
20
 
"""Weave algorithms benchmark"""
21
 
 
22
 
import bzrlib.branch
23
 
from bzrlib.weave import Weave
24
 
from bzrlib.weavefile import write_weave
25
 
from bzrlib.progress import ProgressBar
26
 
from random import randrange, randint, seed
27
 
import tempfile
28
 
import hotshot, hotshot.stats
29
 
import sys
30
 
 
31
 
WEAVE_NAME = "bench.weave"
32
 
NUM_REVS = 2000
33
 
 
34
 
seed(0)
35
 
 
36
 
def build():
37
 
    pb = ProgressBar(show_eta=False)
38
 
 
39
 
    wf = Weave()
40
 
    lines = []
41
 
 
42
 
    parents = []
43
 
    for i in xrange(NUM_REVS):
44
 
        pb.update('building', i, NUM_REVS)
45
 
 
46
 
        for j in range(randint(0, 4)):
47
 
            o = randint(0, len(lines))
48
 
            lines.insert(o, "new in version %i\n" % i)
49
 
 
50
 
        for j in range(randint(0, 2)):
51
 
            if lines:
52
 
                del lines[randrange(0, len(lines))]
53
 
 
54
 
        rev_id = wf.add("%s" % i, parents, lines)
55
 
        parents = [rev_id]
56
 
 
57
 
    write_weave(wf, file(WEAVE_NAME, 'wb'))
58
 
 
59
 
        
60
 
#     parents = set()
61
 
#     revno = 1
62
 
#     rev_history = b.revision_history()
63
 
#     for rev_id in rev_history:
64
 
#         pb.update('converting inventory', revno, len(rev_history))
65
 
#         inv_xml = b.inventory_store[rev_id].readlines()
66
 
#         weave_id = wf.add(parents, inv_xml)
67
 
#         parents = set([weave_id])       # always just one parent
68
 
#         revno += 1
69
 
 
70
 
#     pb.update('write weave', None, None)
71
 
#     write_weave(wf, file(WEAVE_NAME, 'wb'))
72
 
 
73
 
    pb.clear()
74
 
 
75
 
 
76
 
 
77
 
def profileit(fn): 
78
 
    prof_f = tempfile.NamedTemporaryFile()
79
 
 
80
 
    prof = hotshot.Profile(prof_f.name)
81
 
 
82
 
    prof.runcall(fn) 
83
 
    prof.close()
84
 
 
85
 
    stats = hotshot.stats.load(prof_f.name)
86
 
    #stats.strip_dirs()
87
 
    stats.sort_stats('time')
88
 
    ## XXX: Might like to write to stderr or the trace file instead but
89
 
    ## print_stats seems hardcoded to stdout
90
 
    stats.print_stats(20)
91
 
            
92
 
 
93
 
if '-p' in sys.argv[1:]:
94
 
    opt_p = True
95
 
    sys.argv.remove('-p')
96
 
else:
97
 
    opt_p = False
98
 
 
99
 
if len(sys.argv) > 1:
100
 
    NUM_REVS = int(sys.argv[1])
101
 
 
102
 
if opt_p:
103
 
    profileit(build)
104
 
else:
105
 
    build()
106