/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/progress.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2009-01-15 09:11:40 UTC
  • mfrom: (3939.1.1 doc)
  • Revision ID: pqm@pqm.ubuntu.com-20090115091140-d5esfq1fsbizvdem
(mbp) reorder things into the right part of NEWS

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/progress.py
1
 
# Copyright (C) 2005 Aaron Bentley <aaron.bentley@utoronto.ca>
2
 
# Copyright (C) 2005, 2006 Canonical <canonical.com>
3
 
#
4
 
#    This program is free software; you can redistribute it and/or modify
5
 
#    it under the terms of the GNU General Public License as published by
6
 
#    the Free Software Foundation; either version 2 of the License, or
7
 
#    (at your option) any later version.
8
 
#
9
 
#    This program is distributed in the hope that it will be useful,
10
 
#    but WITHOUT ANY WARRANTY; without even the implied warranty of
11
 
#    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12
 
#    GNU General Public License for more details.
13
 
#
14
 
#    You should have received a copy of the GNU General Public License
15
 
#    along with this program; if not, write to the Free Software
16
 
#    Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
17
 
 
18
 
 
19
 
"""Simple text-mode progress indicator.
20
 
 
21
 
To display an indicator, create a ProgressBar object.  Call it,
22
 
passing Progress objects indicating the current state.  When done,
23
 
call clear().
24
 
 
25
 
Progress is suppressed when output is not sent to a terminal, so as
26
 
not to clutter log files.
 
1
# Copyright (C) 2005, 2006, 2008 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
 
 
18
"""Progress indicators.
 
19
 
 
20
The usual way to use this is via bzrlib.ui.ui_factory.nested_progress_bar which
 
21
will maintain a ProgressBarStack for you.
 
22
 
 
23
For direct use, the factory ProgressBar will return an auto-detected progress
 
24
bar that should match your terminal type. You can manually create a
 
25
ProgressBarStack too if you need multiple levels of cooperating progress bars.
 
26
Note that bzrlib's internal functions use the ui module, so if you are using
 
27
bzrlib it really is best to use bzrlib.ui.ui_factory.
27
28
"""
28
29
 
29
 
# TODO: should be a global option e.g. --silent that disables progress
30
 
# indicators, preferably without needing to adjust all code that
31
 
# potentially calls them.
32
 
 
33
 
# TODO: If not on a tty perhaps just print '......' for the benefit of IDEs, etc
34
 
 
35
 
# TODO: Optionally show elapsed time instead/as well as ETA; nicer
36
 
# when the rate is unpredictable
37
 
 
38
30
 
39
31
import sys
40
32
import time
41
33
import os
42
 
from collections import deque
43
 
 
44
 
 
45
 
import bzrlib.errors as errors
46
 
from bzrlib.trace import mutter 
 
34
import warnings
 
35
 
 
36
 
 
37
from bzrlib import (
 
38
    errors,
 
39
    osutils,
 
40
    trace,
 
41
    ui,
 
42
    )
 
43
from bzrlib.trace import mutter
47
44
 
48
45
 
49
46
def _supports_progress(f):
50
 
    if not hasattr(f, 'isatty'):
 
47
    """Detect if we can use pretty progress bars on the output stream f.
 
48
 
 
49
    If this returns true we expect that a human may be looking at that 
 
50
    output, and that we can repaint a line to update it.
 
51
    """
 
52
    isatty = getattr(f, 'isatty', None)
 
53
    if isatty is None:
51
54
        return False
52
 
    if not f.isatty():
 
55
    if not isatty():
53
56
        return False
54
57
    if os.environ.get('TERM') == 'dumb':
55
58
        # e.g. emacs compile window
57
60
    return True
58
61
 
59
62
 
60
 
 
61
 
def ProgressBar(to_file=sys.stderr, **kwargs):
 
63
class ProgressTask(object):
 
64
    """Model component of a progress indicator.
 
65
 
 
66
    Most code that needs to indicate progress should update one of these, 
 
67
    and it will in turn update the display, if one is present.
 
68
 
 
69
    Code updating the task may also set fields as hints about how to display
 
70
    it: show_pct, show_spinner, show_eta, show_count, show_bar.  UIs
 
71
    will not necessarily respect all these fields.
 
72
    """
 
73
 
 
74
    def __init__(self, parent_task=None, ui_factory=None):
 
75
        self._parent_task = parent_task
 
76
        self._last_update = 0
 
77
        self.total_cnt = None
 
78
        self.current_cnt = None
 
79
        self.msg = ''
 
80
        self.ui_factory = ui_factory
 
81
        self.show_pct = False
 
82
        self.show_spinner = True
 
83
        self.show_eta = False,
 
84
        self.show_count = True
 
85
        self.show_bar = True
 
86
 
 
87
    def update(self, msg, current_cnt=None, total_cnt=None):
 
88
        self.msg = msg
 
89
        self.current_cnt = current_cnt
 
90
        if total_cnt:
 
91
            self.total_cnt = total_cnt
 
92
        self.ui_factory.show_progress(self)
 
93
 
 
94
    def tick(self):
 
95
        self.update(self.msg)
 
96
 
 
97
    def finished(self):
 
98
        self.ui_factory.progress_finished(self)
 
99
 
 
100
    def make_sub_task(self):
 
101
        return ProgressTask(self, self.ui_factory)
 
102
 
 
103
    def _overall_completion_fraction(self, child_fraction=0.0):
 
104
        """Return fractional completion of this task and its parents
 
105
        
 
106
        Returns None if no completion can be computed."""
 
107
        if self.total_cnt:
 
108
            own_fraction = (float(self.current_cnt) + child_fraction) / self.total_cnt
 
109
        else:
 
110
            own_fraction = None
 
111
        if self._parent_task is None:
 
112
            return own_fraction
 
113
        else:
 
114
            if own_fraction is None:
 
115
                own_fraction = 0.0
 
116
            return self._parent_task._overall_completion_fraction(own_fraction)
 
117
 
 
118
    def note(self, fmt_string, *args):
 
119
        """Record a note without disrupting the progress bar."""
 
120
        # XXX: shouldn't be here; put it in mutter or the ui instead
 
121
        self.ui_factory.note(fmt_string % args)
 
122
 
 
123
    def clear(self):
 
124
        # XXX: shouldn't be here; put it in mutter or the ui instead
 
125
        self.ui_factory.clear_term()
 
126
 
 
127
 
 
128
def ProgressBar(to_file=None, **kwargs):
62
129
    """Abstract factory"""
63
 
    if _supports_progress(to_file):
64
 
        return TTYProgressBar(to_file=to_file, **kwargs)
 
130
    if to_file is None:
 
131
        to_file = sys.stderr
 
132
    requested_bar_type = os.environ.get('BZR_PROGRESS_BAR')
 
133
    # An value of '' or not set reverts to standard processing
 
134
    if requested_bar_type in (None, ''):
 
135
        if _supports_progress(to_file):
 
136
            return TTYProgressBar(to_file=to_file, **kwargs)
 
137
        else:
 
138
            return DummyProgress(to_file=to_file, **kwargs)
65
139
    else:
66
 
        return DotsProgressBar(to_file=to_file, **kwargs)
67
 
    
68
 
 
 
140
        # Minor sanitation to prevent spurious errors
 
141
        requested_bar_type = requested_bar_type.lower().strip()
 
142
        # TODO: jam 20060710 Arguably we shouldn't raise an exception
 
143
        #       but should instead just disable progress bars if we
 
144
        #       don't recognize the type
 
145
        if requested_bar_type not in _progress_bar_types:
 
146
            raise errors.InvalidProgressBarType(requested_bar_type,
 
147
                                                _progress_bar_types.keys())
 
148
        return _progress_bar_types[requested_bar_type](to_file=to_file, **kwargs)
 
149
 
 
150
 
69
151
class ProgressBarStack(object):
70
152
    """A stack of progress bars."""
71
153
 
72
154
    def __init__(self,
73
 
                 to_file=sys.stderr,
 
155
                 to_file=None,
74
156
                 show_pct=False,
75
157
                 show_spinner=True,
76
158
                 show_eta=False,
77
159
                 show_bar=True,
78
160
                 show_count=True,
79
 
                 to_messages_file=sys.stdout,
 
161
                 to_messages_file=None,
80
162
                 klass=None):
81
163
        """Setup the stack with the parameters the progress bars should have."""
 
164
        if to_file is None:
 
165
            to_file = sys.stderr
 
166
        if to_messages_file is None:
 
167
            to_messages_file = sys.stdout
82
168
        self._to_file = to_file
83
169
        self._show_pct = show_pct
84
170
        self._show_spinner = show_spinner
87
173
        self._show_count = show_count
88
174
        self._to_messages_file = to_messages_file
89
175
        self._stack = []
90
 
        self._klass = klass or TTYProgressBar
 
176
        self._klass = klass or ProgressBar
91
177
 
92
178
    def top(self):
93
179
        if len(self._stack) != 0:
121
207
    def return_pb(self, bar):
122
208
        """Return bar after its been used."""
123
209
        if bar is not self._stack[-1]:
124
 
            raise errors.MissingProgressBarFinish()
125
 
        self._stack.pop()
 
210
            warnings.warn("%r is not currently active" % (bar,))
 
211
        else:
 
212
            self._stack.pop()
126
213
 
127
214
 
128
215
class _BaseProgressBar(object):
129
216
 
130
217
    def __init__(self,
131
 
                 to_file=sys.stderr,
 
218
                 to_file=None,
132
219
                 show_pct=False,
133
220
                 show_spinner=False,
134
 
                 show_eta=True,
 
221
                 show_eta=False,
135
222
                 show_bar=True,
136
223
                 show_count=True,
137
 
                 to_messages_file=sys.stdout,
 
224
                 to_messages_file=None,
138
225
                 _stack=None):
139
226
        object.__init__(self)
 
227
        if to_file is None:
 
228
            to_file = sys.stderr
 
229
        if to_messages_file is None:
 
230
            to_messages_file = sys.stdout
140
231
        self.to_file = to_file
141
232
        self.to_messages_file = to_messages_file
142
233
        self.last_msg = None
150
241
        self._stack = _stack
151
242
        # seed throttler
152
243
        self.MIN_PAUSE = 0.1 # seconds
153
 
        now = time.clock()
 
244
        now = time.time()
154
245
        # starting now
155
246
        self.start_time = now
156
247
        # next update should not throttle
159
250
    def finished(self):
160
251
        """Return this bar to its progress stack."""
161
252
        self.clear()
162
 
        assert self._stack is not None
163
253
        self._stack.return_pb(self)
164
254
 
165
255
    def note(self, fmt_string, *args, **kwargs):
177
267
 
178
268
    This can be used as the default argument for methods that
179
269
    take an optional progress indicator."""
 
270
 
180
271
    def tick(self):
181
272
        pass
182
273
 
195
286
    def child_progress(self, **kwargs):
196
287
        return DummyProgress(**kwargs)
197
288
 
 
289
 
198
290
class DotsProgressBar(_BaseProgressBar):
199
291
 
200
292
    def __init__(self, **kwargs):
209
301
        if msg and msg != self.last_msg:
210
302
            if self.need_nl:
211
303
                self.to_file.write('\n')
212
 
            
213
304
            self.to_file.write(msg + ': ')
214
305
            self.last_msg = msg
215
306
        self.need_nl = True
218
309
    def clear(self):
219
310
        if self.need_nl:
220
311
            self.to_file.write('\n')
 
312
        self.need_nl = False
221
313
        
222
314
    def child_update(self, message, current, total):
223
315
        self.tick()
 
316
 
 
317
 
 
318
 
224
319
    
225
320
class TTYProgressBar(_BaseProgressBar):
226
321
    """Progress bar display object.
250
345
        _BaseProgressBar.__init__(self, **kwargs)
251
346
        self.spin_pos = 0
252
347
        self.width = terminal_width()
253
 
        self.start_time = None
254
 
        self.last_updates = deque()
 
348
        self.last_updates = []
 
349
        self._max_last_updates = 10
255
350
        self.child_fraction = 0
 
351
        self._have_output = False
256
352
    
257
 
 
258
 
    def throttle(self):
 
353
    def throttle(self, old_msg):
259
354
        """Return True if the bar was updated too recently"""
260
355
        # time.time consistently takes 40/4000 ms = 0.01 ms.
261
 
        # but every single update to the pb invokes it.
262
 
        # so we use time.clock which takes 20/4000 ms = 0.005ms
263
 
        # on the downside, time.clock() appears to have approximately
264
 
        # 10ms granularity, so we treat a zero-time change as 'throttled.'
265
 
        
266
 
        now = time.clock()
 
356
        # time.clock() is faster, but gives us CPU time, not wall-clock time
 
357
        now = time.time()
 
358
        if self.start_time is not None and (now - self.start_time) < 1:
 
359
            return True
 
360
        if old_msg != self.last_msg:
 
361
            return False
267
362
        interval = now - self.last_update
268
363
        # if interval > 0
269
364
        if interval < self.MIN_PAUSE:
270
365
            return True
271
366
 
272
367
        self.last_updates.append(now - self.last_update)
 
368
        # Don't let the queue grow without bound
 
369
        self.last_updates = self.last_updates[-self._max_last_updates:]
273
370
        self.last_update = now
274
371
        return False
275
372
        
276
 
 
277
373
    def tick(self):
278
 
        self.update(self.last_msg, self.last_cnt, self.last_total, 
 
374
        self.update(self.last_msg, self.last_cnt, self.last_total,
279
375
                    self.child_fraction)
280
376
 
281
377
    def child_update(self, message, current, total):
285
381
                pass
286
382
            elif self.last_cnt + child_fraction <= self.last_total:
287
383
                self.child_fraction = child_fraction
288
 
            else:
289
 
                mutter('not updating child fraction')
290
384
        if self.last_msg is None:
291
385
            self.last_msg = ''
292
386
        self.tick()
293
387
 
 
388
    def update(self, msg, current_cnt=None, total_cnt=None,
 
389
            child_fraction=0):
 
390
        """Update and redraw progress bar.
 
391
        """
 
392
        if msg is None:
 
393
            msg = self.last_msg
294
394
 
295
 
    def update(self, msg, current_cnt=None, total_cnt=None, 
296
 
               child_fraction=0):
297
 
        """Update and redraw progress bar."""
 
395
        if total_cnt is None:
 
396
            total_cnt = self.last_total
298
397
 
299
398
        if current_cnt < 0:
300
399
            current_cnt = 0
315
414
        ##     self.child_fraction == child_fraction):
316
415
        ##     return
317
416
 
 
417
        if msg is None:
 
418
            msg = ''
 
419
 
318
420
        old_msg = self.last_msg
319
421
        # save these for the tick() function
320
422
        self.last_msg = msg
326
428
        # but multiple that by 4000 calls -> starts to cost.
327
429
        # so anything to make this function call faster
328
430
        # will improve base 'diff' time by up to 0.1 seconds.
329
 
        if old_msg == self.last_msg and self.throttle():
 
431
        if self.throttle(old_msg):
330
432
            return
331
433
 
332
434
        if self.show_eta and self.start_time and self.last_total:
360
462
            # make both fields the same size
361
463
            t = '%i' % (self.last_total)
362
464
            c = '%*i' % (len(t), self.last_cnt)
363
 
            count_str = ' ' + c + '/' + t 
 
465
            count_str = ' ' + c + '/' + t
364
466
 
365
467
        if self.show_bar:
366
468
            # progress bar, if present, soaks up all remaining space
384
486
        else:
385
487
            bar_str = ''
386
488
 
387
 
        m = spin_str + bar_str + self.last_msg + count_str + pct_str + eta_str
388
 
 
389
 
        assert len(m) < self.width
390
 
        self.to_file.write('\r' + m.ljust(self.width - 1))
 
489
        m = spin_str + bar_str + self.last_msg + count_str \
 
490
            + pct_str + eta_str
 
491
        self.to_file.write('\r%-*.*s' % (self.width - 1, self.width - 1, m))
 
492
        self._have_output = True
391
493
        #self.to_file.flush()
392
494
            
393
 
    def clear(self):        
394
 
        self.to_file.write('\r%s\r' % (' ' * (self.width - 1)))
 
495
    def clear(self):
 
496
        if self._have_output:
 
497
            self.to_file.write('\r%s\r' % (' ' * (self.width - 1)))
 
498
        self._have_output = False
395
499
        #self.to_file.flush()        
396
500
 
397
501
 
 
502
 
 
503
 
398
504
class ChildProgress(_BaseProgressBar):
399
505
    """A progress indicator that pushes its data to the parent"""
 
506
 
400
507
    def __init__(self, _stack, **kwargs):
401
508
        _BaseProgressBar.__init__(self, _stack=_stack, **kwargs)
402
509
        self.parent = _stack.top()
407
514
 
408
515
    def update(self, msg, current_cnt=None, total_cnt=None):
409
516
        self.current = current_cnt
410
 
        self.total = total_cnt
 
517
        if total_cnt is not None:
 
518
            self.total = total_cnt
411
519
        self.message = msg
412
520
        self.child_fraction = 0
413
521
        self.tick()
436
544
    def note(self, *args, **kwargs):
437
545
        self.parent.note(*args, **kwargs)
438
546
 
439
 
 
 
547
 
 
548
class InstrumentedProgress(TTYProgressBar):
 
549
    """TTYProgress variant that tracks outcomes"""
 
550
 
 
551
    def __init__(self, *args, **kwargs):
 
552
        self.always_throttled = True
 
553
        self.never_throttle = False
 
554
        TTYProgressBar.__init__(self, *args, **kwargs)
 
555
 
 
556
    def throttle(self, old_message):
 
557
        if self.never_throttle:
 
558
            result =  False
 
559
        else:
 
560
            result = TTYProgressBar.throttle(self, old_message)
 
561
        if result is False:
 
562
            self.always_throttled = False
 
563
 
 
564
 
440
565
def str_tdelta(delt):
441
566
    if delt is None:
442
567
        return "-:--:--"
459
584
    if current > total:
460
585
        return None                     # wtf?
461
586
 
462
 
    elapsed = time.clock() - start_time
 
587
    elapsed = time.time() - start_time
463
588
 
464
589
    if elapsed < 2.0:                   # not enough time to estimate
465
590
        return None
466
591
    
467
592
    total_duration = float(elapsed) * float(total) / float(current)
468
593
 
469
 
    assert total_duration >= elapsed
470
 
 
471
594
    if last_updates and len(last_updates) >= n_recent:
472
 
        while len(last_updates) > n_recent:
473
 
            last_updates.popleft()
474
595
        avg = sum(last_updates) / float(len(last_updates))
475
596
        time_left = avg * (total - current)
476
597
 
496
617
            self.cur_phase = 0
497
618
        else:
498
619
            self.cur_phase += 1
499
 
        assert self.cur_phase < self.total 
500
620
        self.pb.update(self.message, self.cur_phase, self.total)
501
621
 
502
622
 
503
 
def run_tests():
504
 
    import doctest
505
 
    result = doctest.testmod()
506
 
    if result[1] > 0:
507
 
        if result[0] == 0:
508
 
            print "All tests passed"
509
 
    else:
510
 
        print "No tests to run"
511
 
 
512
 
 
513
 
def demo():
514
 
    sleep = time.sleep
515
 
    
516
 
    print 'dumb-terminal test:'
517
 
    pb = DotsProgressBar()
518
 
    for i in range(100):
519
 
        pb.update('Leoparden', i, 99)
520
 
        sleep(0.1)
521
 
    sleep(1.5)
522
 
    pb.clear()
523
 
    sleep(1.5)
524
 
    
525
 
    print 'smart-terminal test:'
526
 
    pb = ProgressBar(show_pct=True, show_bar=True, show_spinner=False)
527
 
    for i in range(100):
528
 
        pb.update('Elephanten', i, 99)
529
 
        sleep(0.1)
530
 
    sleep(2)
531
 
    pb.clear()
532
 
    sleep(1)
533
 
 
534
 
    print 'done!'
535
 
 
536
 
if __name__ == "__main__":
537
 
    demo()
 
623
_progress_bar_types = {}
 
624
_progress_bar_types['dummy'] = DummyProgress
 
625
_progress_bar_types['none'] = DummyProgress
 
626
_progress_bar_types['tty'] = TTYProgressBar
 
627
_progress_bar_types['dots'] = DotsProgressBar