/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/lsprof.py

  • Committer: Robert Collins
  • Date: 2010-05-06 11:08:10 UTC
  • mto: This revision was merged to the branch mainline in revision 5223.
  • Revision ID: robertc@robertcollins.net-20100506110810-h3j07fh5gmw54s25
Cleaner matcher matching revised unlocking protocol.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/lsprof.py
3
3
# I made one modification to profile so that it returns a pair
4
4
# instead of just the Stats object
5
5
 
6
 
from __future__ import absolute_import
7
 
 
8
 
import codecs
9
 
try:
10
 
    import cPickle as pickle
11
 
except ImportError:
12
 
    import pickle
13
 
import operator
 
6
import cPickle
14
7
import os
15
8
import sys
16
 
try:
17
 
    import _thread
18
 
except ImportError:
19
 
    import thread as _thread
 
9
import thread
20
10
import threading
21
11
from _lsprof import Profiler, profiler_entry
22
12
 
23
 
from . import errors
24
13
 
25
14
__all__ = ['profile', 'Stats']
26
15
 
31
20
    raised, pass in a closure that will catch the exceptions and transform them
32
21
    appropriately for your driver function.
33
22
 
34
 
    Important caveat: only one profile can execute at a time. See BzrProfiler
35
 
    for details.
36
 
 
37
23
    :return: The functions return value and a stats object.
38
24
    """
39
25
    profiler = BzrProfiler()
55
41
    To use it, create a BzrProfiler and call start() on it. Some arbitrary
56
42
    time later call stop() to stop profiling and retrieve the statistics
57
43
    from the code executed in the interim.
58
 
 
59
 
    Note that profiling involves a threading.Lock around the actual profiling.
60
 
    This is needed because profiling involves global manipulation of the python
61
 
    interpreter state. As such you cannot perform multiple profiles at once.
62
 
    Trying to do so will lock out the second profiler unless the global 
63
 
    breezy.lsprof.BzrProfiler.profiler_block is set to 0. Setting it to 0 will
64
 
    cause profiling to fail rather than blocking.
65
44
    """
66
45
 
67
 
    profiler_block = 1
68
 
    """Serialise rather than failing to profile concurrent profile requests."""
69
 
 
70
 
    profiler_lock = threading.Lock()
71
 
    """Global lock used to serialise profiles."""
72
 
 
73
46
    def start(self):
74
47
        """Start profiling.
75
48
        
78
51
        """
79
52
        self._g_threadmap = {}
80
53
        self.p = Profiler()
81
 
        permitted = self.__class__.profiler_lock.acquire(
82
 
            self.__class__.profiler_block)
83
 
        if not permitted:
84
 
            raise errors.InternalBzrError(msg="Already profiling something")
85
 
        try:
86
 
            self.p.enable(subcalls=True)
87
 
            threading.setprofile(self._thread_profile)
88
 
        except:
89
 
            self.__class__.profiler_lock.release()
90
 
            raise
 
54
        self.p.enable(subcalls=True)
 
55
        threading.setprofile(self._thread_profile)
91
56
 
92
57
    def stop(self):
93
58
        """Stop profiling.
95
60
        This unhooks from threading and cleans up the profiler, returning
96
61
        the gathered Stats object.
97
62
 
98
 
        :return: A breezy.lsprof.Stats object.
 
63
        :return: A bzrlib.lsprof.Stats object.
99
64
        """
100
 
        try:
101
 
            self.p.disable()
102
 
            for pp in self._g_threadmap.values():
103
 
                pp.disable()
104
 
            threading.setprofile(None)
105
 
            p = self.p
106
 
            self.p = None
107
 
            threads = {}
108
 
            for tid, pp in self._g_threadmap.items():
109
 
                threads[tid] = Stats(pp.getstats(), {})
110
 
            self._g_threadmap = None
111
 
            return Stats(p.getstats(), threads)
112
 
        finally:
113
 
            self.__class__.profiler_lock.release()
 
65
        self.p.disable()
 
66
        for pp in self._g_threadmap.values():
 
67
            pp.disable()
 
68
        threading.setprofile(None)
 
69
        p = self.p
 
70
        self.p = None
 
71
        threads = {}
 
72
        for tid, pp in self._g_threadmap.items():
 
73
            threads[tid] = Stats(pp.getstats(), {})
 
74
        self._g_threadmap = None
 
75
        return Stats(p.getstats(), threads)
114
76
 
115
77
    def _thread_profile(self, f, *args, **kwds):
116
78
        # we lose the first profile point for a new thread in order to
117
79
        # trampoline a new Profile object into place
118
 
        thr = _thread.get_ident()
 
80
        thr = thread.get_ident()
119
81
        self._g_threadmap[thr] = p = Profiler()
120
82
        # this overrides our sys.setprofile hook:
121
83
        p.enable(subcalls=True, builtins=True)
122
84
 
123
85
 
124
86
class Stats(object):
125
 
    """Wrapper around the collected data.
126
 
 
127
 
    A Stats instance is created when the profiler finishes. Normal
128
 
    usage is to use save() to write out the data to a file, or pprint()
129
 
    to write human-readable information to the command line.
130
 
    """
 
87
    """XXX docstring"""
131
88
 
132
89
    def __init__(self, data, threads):
133
90
        self.data = data
134
91
        self.threads = threads
135
92
 
136
 
    def sort(self, crit="inlinetime", reverse=True):
137
 
        """Sort the data by the supplied critera.
138
 
 
139
 
        :param crit: the data attribute used as the sort key."""
140
 
        if crit not in profiler_entry.__dict__ or crit == 'code':
141
 
            raise ValueError("Can't sort by %s" % crit)
142
 
 
143
 
        key_func = operator.attrgetter(crit)
144
 
        self.data.sort(key=key_func, reverse=reverse)
145
 
 
 
93
    def sort(self, crit="inlinetime"):
 
94
        """XXX docstring"""
 
95
        if crit not in profiler_entry.__dict__:
 
96
            raise ValueError, "Can't sort by %s" % crit
 
97
        self.data.sort(lambda b, a: cmp(getattr(a, crit),
 
98
                                        getattr(b, crit)))
146
99
        for e in self.data:
147
100
            if e.calls:
148
 
                e.calls.sort(key=key_func, reverse=reverse)
 
101
                e.calls.sort(lambda b, a: cmp(getattr(a, crit),
 
102
                                              getattr(b, crit)))
149
103
 
150
104
    def pprint(self, top=None, file=None):
151
 
        """Pretty-print the data as plain text for human consumption.
152
 
 
153
 
        :param top: only output the top n entries.
154
 
            The default value of None means output all data.
155
 
        :param file: the output file; if None, output will
156
 
            default to stdout."""
 
105
        """XXX docstring"""
157
106
        if file is None:
158
107
            file = sys.stdout
159
108
        d = self.data
213
162
                ext = os.path.splitext(filename)[1]
214
163
                if len(ext) > 1:
215
164
                    format = ext[1:]
216
 
        with open(filename, 'wb') as outfile:
 
165
        outfile = open(filename, 'wb')
 
166
        try:
217
167
            if format == "callgrind":
218
 
                # The callgrind format states it is 'ASCII based':
219
 
                # <http://valgrind.org/docs/manual/cl-format.html>
220
 
                # But includes filenames so lets ignore and use UTF-8.
221
 
                self.calltree(codecs.getwriter('utf-8')(outfile))
 
168
                self.calltree(outfile)
222
169
            elif format == "txt":
223
 
                self.pprint(file=codecs.getwriter('utf-8')(outfile))
 
170
                self.pprint(file=outfile)
224
171
            else:
225
172
                self.freeze()
226
 
                pickle.dump(self, outfile, 2)
 
173
                cPickle.dump(self, outfile, 2)
 
174
        finally:
 
175
            outfile.close()
227
176
 
228
177
 
229
178
class _CallTreeFilter(object):
286
235
        code = subentry.code
287
236
        totaltime = int(subentry.totaltime * 1000)
288
237
        #out_file.write('cob=%s\n' % (code.co_filename,))
 
238
        out_file.write('cfn=%s\n' % (label(code, True),))
289
239
        if isinstance(code, str):
290
240
            out_file.write('cfi=~\n')
291
 
            out_file.write('cfn=%s\n' % (label(code, True),))
292
241
            out_file.write('calls=%d 0\n' % (subentry.callcount,))
293
242
        else:
294
243
            out_file.write('cfi=%s\n' % (code.co_filename,))
295
 
            out_file.write('cfn=%s\n' % (label(code, True),))
296
244
            out_file.write('calls=%d %d\n' % (
297
245
                subentry.callcount, code.co_firstlineno))
298
246
        out_file.write('%d %d\n' % (lineno, totaltime))
323
271
        return '%s:%d(%s)' % (mname, code.co_firstlineno, code.co_name)
324
272
 
325
273
 
326
 
def main():
 
274
if __name__ == '__main__':
 
275
    import os
327
276
    sys.argv = sys.argv[1:]
328
277
    if not sys.argv:
329
278
        sys.stderr.write("usage: lsprof.py <script> <arguments...>\n")
330
279
        sys.exit(2)
331
 
    import runpy
332
 
    result, stats = profile(runpy.run_path, sys.argv[0], run_name='__main__')
 
280
    sys.path.insert(0, os.path.abspath(os.path.dirname(sys.argv[0])))
 
281
    stats = profile(execfile, sys.argv[0], globals(), locals())
333
282
    stats.sort()
334
283
    stats.pprint()
335
 
 
336
 
 
337
 
if __name__ == '__main__':
338
 
    main()