/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/progress.py

  • Committer: Martin Pool
  • Date: 2005-06-22 06:37:43 UTC
  • Revision ID: mbp@sourcefrog.net-20050622063743-e395f04c4db8977f
- move old blackbox code from testbzr into bzrlib.selftest.blackbox

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
1
# Copyright (C) 2005 Aaron Bentley <aaron.bentley@utoronto.ca>
2
 
# Copyright (C) 2005, 2006 Canonical <canonical.com>
 
2
# Copyright (C) 2005 Canonical <canonical.com>
3
3
#
4
4
#    This program is free software; you can redistribute it and/or modify
5
5
#    it under the terms of the GNU General Public License as published by
16
16
#    Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
17
17
 
18
18
 
19
 
"""Simple text-mode progress indicator.
 
19
"""
 
20
Simple text-mode progress indicator.
 
21
 
 
22
Everyone loves ascii art!
20
23
 
21
24
To display an indicator, create a ProgressBar object.  Call it,
22
25
passing Progress objects indicating the current state.  When done,
26
29
not to clutter log files.
27
30
"""
28
31
 
 
32
# TODO: remove functions in favour of keeping everything in one class
 
33
 
29
34
# TODO: should be a global option e.g. --silent that disables progress
30
35
# indicators, preferably without needing to adjust all code that
31
36
# potentially calls them.
32
37
 
33
 
# TODO: If not on a tty perhaps just print '......' for the benefit of IDEs, etc
34
 
 
35
 
# TODO: Optionally show elapsed time instead/as well as ETA; nicer
36
 
# when the rate is unpredictable
 
38
# TODO: Perhaps don't write updates faster than a certain rate, say
 
39
# 5/second.
37
40
 
38
41
 
39
42
import sys
40
43
import time
41
 
import os
42
 
 
43
 
import bzrlib.errors as errors
44
 
from bzrlib.trace import mutter
 
44
 
 
45
 
 
46
def _width():
 
47
    """Return estimated terminal width.
 
48
 
 
49
    TODO: Do something smart on Windows?
 
50
 
 
51
    TODO: Is there anything that gets a better update when the window
 
52
          is resized while the program is running?
 
53
    """
 
54
    import os
 
55
    try:
 
56
        return int(os.environ['COLUMNS'])
 
57
    except (IndexError, KeyError, ValueError):
 
58
        return 80
45
59
 
46
60
 
47
61
def _supports_progress(f):
48
 
    isatty = getattr(f, 'isatty', None)
49
 
    if isatty is None:
50
 
        return False
51
 
    if not isatty():
52
 
        return False
 
62
    if not hasattr(f, 'isatty'):
 
63
        return False
 
64
    if not f.isatty():
 
65
        return False
 
66
    import os
53
67
    if os.environ.get('TERM') == 'dumb':
54
68
        # e.g. emacs compile window
55
69
        return False
56
70
    return True
57
71
 
58
72
 
59
 
_progress_bar_types = {}
60
 
 
61
 
 
62
 
def ProgressBar(to_file=None, **kwargs):
63
 
    """Abstract factory"""
64
 
    if to_file is None:
65
 
        to_file = sys.stderr
66
 
    requested_bar_type = os.environ.get('BZR_PROGRESS_BAR')
67
 
    # An value of '' or not set reverts to standard processing
68
 
    if requested_bar_type in (None, ''):
69
 
        if _supports_progress(to_file):
70
 
            return TTYProgressBar(to_file=to_file, **kwargs)
71
 
        else:
72
 
            return DotsProgressBar(to_file=to_file, **kwargs)
73
 
    else:
74
 
        # Minor sanitation to prevent spurious errors
75
 
        requested_bar_type = requested_bar_type.lower().strip()
76
 
        # TODO: jam 20060710 Arguably we shouldn't raise an exception
77
 
        #       but should instead just disable progress bars if we
78
 
        #       don't recognize the type
79
 
        if requested_bar_type not in _progress_bar_types:
80
 
            raise errors.InvalidProgressBarType(requested_bar_type,
81
 
                                                _progress_bar_types.keys())
82
 
        return _progress_bar_types[requested_bar_type](to_file=to_file, **kwargs)
83
 
 
84
 
 
85
 
class ProgressBarStack(object):
86
 
    """A stack of progress bars."""
87
 
 
88
 
    def __init__(self,
89
 
                 to_file=None,
90
 
                 show_pct=False,
91
 
                 show_spinner=True,
92
 
                 show_eta=False,
93
 
                 show_bar=True,
94
 
                 show_count=True,
95
 
                 to_messages_file=None,
96
 
                 klass=None):
97
 
        """Setup the stack with the parameters the progress bars should have."""
98
 
        if to_file is None:
99
 
            to_file = sys.stderr
100
 
        if to_messages_file is None:
101
 
            to_messages_file = sys.stdout
102
 
        self._to_file = to_file
103
 
        self._show_pct = show_pct
104
 
        self._show_spinner = show_spinner
105
 
        self._show_eta = show_eta
106
 
        self._show_bar = show_bar
107
 
        self._show_count = show_count
108
 
        self._to_messages_file = to_messages_file
109
 
        self._stack = []
110
 
        self._klass = klass or ProgressBar
111
 
 
112
 
    def top(self):
113
 
        if len(self._stack) != 0:
114
 
            return self._stack[-1]
115
 
        else:
116
 
            return None
117
 
 
118
 
    def bottom(self):
119
 
        if len(self._stack) != 0:
120
 
            return self._stack[0]
121
 
        else:
122
 
            return None
123
 
 
124
 
    def get_nested(self):
125
 
        """Return a nested progress bar."""
126
 
        if len(self._stack) == 0:
127
 
            func = self._klass
128
 
        else:
129
 
            func = self.top().child_progress
130
 
        new_bar = func(to_file=self._to_file,
131
 
                       show_pct=self._show_pct,
132
 
                       show_spinner=self._show_spinner,
133
 
                       show_eta=self._show_eta,
134
 
                       show_bar=self._show_bar,
135
 
                       show_count=self._show_count,
136
 
                       to_messages_file=self._to_messages_file,
137
 
                       _stack=self)
138
 
        self._stack.append(new_bar)
139
 
        return new_bar
140
 
 
141
 
    def return_pb(self, bar):
142
 
        """Return bar after its been used."""
143
 
        if bar is not self._stack[-1]:
144
 
            raise errors.MissingProgressBarFinish()
145
 
        self._stack.pop()
146
 
 
147
 
 
148
 
class _BaseProgressBar(object):
149
 
 
150
 
    def __init__(self,
151
 
                 to_file=None,
152
 
                 show_pct=False,
153
 
                 show_spinner=False,
154
 
                 show_eta=False,
155
 
                 show_bar=True,
156
 
                 show_count=True,
157
 
                 to_messages_file=None,
158
 
                 _stack=None):
159
 
        object.__init__(self)
160
 
        if to_file is None:
161
 
            to_file = sys.stderr
162
 
        if to_messages_file is None:
163
 
            to_messages_file = sys.stdout
164
 
        self.to_file = to_file
165
 
        self.to_messages_file = to_messages_file
166
 
        self.last_msg = None
167
 
        self.last_cnt = None
168
 
        self.last_total = None
169
 
        self.show_pct = show_pct
170
 
        self.show_spinner = show_spinner
171
 
        self.show_eta = show_eta
172
 
        self.show_bar = show_bar
173
 
        self.show_count = show_count
174
 
        self._stack = _stack
175
 
        # seed throttler
176
 
        self.MIN_PAUSE = 0.1 # seconds
177
 
        now = time.clock()
178
 
        # starting now
179
 
        self.start_time = now
180
 
        # next update should not throttle
181
 
        self.last_update = now - self.MIN_PAUSE - 1
182
 
 
183
 
    def finished(self):
184
 
        """Return this bar to its progress stack."""
185
 
        self.clear()
186
 
        assert self._stack is not None
187
 
        self._stack.return_pb(self)
188
 
 
189
 
    def note(self, fmt_string, *args, **kwargs):
190
 
        """Record a note without disrupting the progress bar."""
191
 
        self.clear()
192
 
        self.to_messages_file.write(fmt_string % args)
193
 
        self.to_messages_file.write('\n')
194
 
 
195
 
    def child_progress(self, **kwargs):
196
 
        return ChildProgress(**kwargs)
197
 
 
198
 
 
199
 
class DummyProgress(_BaseProgressBar):
200
 
    """Progress-bar standin that does nothing.
201
 
 
202
 
    This can be used as the default argument for methods that
203
 
    take an optional progress indicator."""
204
 
    def tick(self):
205
 
        pass
206
 
 
207
 
    def update(self, msg=None, current=None, total=None):
208
 
        pass
209
 
 
210
 
    def child_update(self, message, current, total):
211
 
        pass
212
 
 
213
 
    def clear(self):
214
 
        pass
215
 
        
216
 
    def note(self, fmt_string, *args, **kwargs):
217
 
        """See _BaseProgressBar.note()."""
218
 
 
219
 
    def child_progress(self, **kwargs):
220
 
        return DummyProgress(**kwargs)
221
 
 
222
 
 
223
 
_progress_bar_types['dummy'] = DummyProgress
224
 
_progress_bar_types['none'] = DummyProgress
225
 
 
226
 
 
227
 
class DotsProgressBar(_BaseProgressBar):
228
 
 
229
 
    def __init__(self, **kwargs):
230
 
        _BaseProgressBar.__init__(self, **kwargs)
231
 
        self.last_msg = None
232
 
        self.need_nl = False
233
 
        
234
 
    def tick(self):
235
 
        self.update()
236
 
        
237
 
    def update(self, msg=None, current_cnt=None, total_cnt=None):
238
 
        if msg and msg != self.last_msg:
239
 
            if self.need_nl:
240
 
                self.to_file.write('\n')
241
 
            self.to_file.write(msg + ': ')
242
 
            self.last_msg = msg
243
 
        self.need_nl = True
244
 
        self.to_file.write('.')
245
 
        
246
 
    def clear(self):
247
 
        if self.need_nl:
248
 
            self.to_file.write('\n')
249
 
        self.need_nl = False
250
 
        
251
 
    def child_update(self, message, current, total):
252
 
        self.tick()
253
 
 
254
 
 
255
 
_progress_bar_types['dots'] = DotsProgressBar
256
 
 
257
 
    
258
 
class TTYProgressBar(_BaseProgressBar):
 
73
 
 
74
class ProgressBar(object):
259
75
    """Progress bar display object.
260
76
 
261
77
    Several options are available to control the display.  These can
276
92
    The output file should be in line-buffered or unbuffered mode.
277
93
    """
278
94
    SPIN_CHARS = r'/-\|'
279
 
 
280
 
 
281
 
    def __init__(self, **kwargs):
282
 
        from bzrlib.osutils import terminal_width
283
 
        _BaseProgressBar.__init__(self, **kwargs)
 
95
    MIN_PAUSE = 0.1 # seconds
 
96
 
 
97
    start_time = None
 
98
    last_update = None
 
99
    
 
100
    def __init__(self,
 
101
                 to_file=sys.stderr,
 
102
                 show_pct=False,
 
103
                 show_spinner=False,
 
104
                 show_eta=True,
 
105
                 show_bar=True,
 
106
                 show_count=True):
 
107
        object.__init__(self)
 
108
        self.to_file = to_file
 
109
        self.suppressed = not _supports_progress(self.to_file)
284
110
        self.spin_pos = 0
285
 
        self.width = terminal_width()
286
 
        self.last_updates = []
287
 
        self._max_last_updates = 10
288
 
        self.child_fraction = 0
289
 
        self._have_output = False
290
 
    
291
 
 
292
 
    def throttle(self, old_msg):
293
 
        """Return True if the bar was updated too recently"""
294
 
        # time.time consistently takes 40/4000 ms = 0.01 ms.
295
 
        # but every single update to the pb invokes it.
296
 
        # so we use time.clock which takes 20/4000 ms = 0.005ms
297
 
        # on the downside, time.clock() appears to have approximately
298
 
        # 10ms granularity, so we treat a zero-time change as 'throttled.'
299
 
        now = time.clock()
300
 
        if self.start_time is not None and (now - self.start_time) < 1:
301
 
            return True
302
 
        if old_msg != self.last_msg:
303
 
            return False
304
 
        interval = now - self.last_update
305
 
        # if interval > 0
306
 
        if interval < self.MIN_PAUSE:
307
 
            return True
308
 
 
309
 
        self.last_updates.append(now - self.last_update)
310
 
        # Don't let the queue grow without bound
311
 
        self.last_updates = self.last_updates[-self._max_last_updates:]
312
 
        self.last_update = now
313
 
        return False
314
 
        
 
111
 
 
112
        self.last_msg = None
 
113
        self.last_cnt = None
 
114
        self.last_total = None
 
115
        self.show_pct = show_pct
 
116
        self.show_spinner = show_spinner
 
117
        self.show_eta = show_eta
 
118
        self.show_bar = show_bar
 
119
        self.show_count = show_count
 
120
 
 
121
 
315
122
    def tick(self):
316
 
        self.update(self.last_msg, self.last_cnt, self.last_total, 
317
 
                    self.child_fraction)
318
 
 
319
 
    def child_update(self, message, current, total):
320
 
        if current is not None and total != 0:
321
 
            child_fraction = float(current) / total
322
 
            if self.last_cnt is None:
323
 
                pass
324
 
            elif self.last_cnt + child_fraction <= self.last_total:
325
 
                self.child_fraction = child_fraction
326
 
            else:
327
 
                mutter('not updating child fraction')
328
 
        if self.last_msg is None:
329
 
            self.last_msg = ''
330
 
        self.tick()
331
 
 
332
 
    def update(self, msg, current_cnt=None, total_cnt=None, 
333
 
               child_fraction=0):
 
123
        self.update(self.last_msg, self.last_cnt, self.last_total)
 
124
                 
 
125
 
 
126
 
 
127
    def update(self, msg, current_cnt=None, total_cnt=None):
334
128
        """Update and redraw progress bar."""
335
 
        if msg is None:
336
 
            msg = self.last_msg
337
 
 
338
 
        if total_cnt is None:
339
 
            total_cnt = self.last_total
340
 
 
341
 
        if current_cnt < 0:
342
 
            current_cnt = 0
343
 
            
344
 
        if current_cnt > total_cnt:
345
 
            total_cnt = current_cnt
346
 
        
347
 
        ## # optional corner case optimisation 
348
 
        ## # currently does not seem to fire so costs more than saved.
349
 
        ## # trivial optimal case:
350
 
        ## # NB if callers are doing a clear and restore with
351
 
        ## # the saved values, this will prevent that:
352
 
        ## # in that case add a restore method that calls
353
 
        ## # _do_update or some such
354
 
        ## if (self.last_msg == msg and
355
 
        ##     self.last_cnt == current_cnt and
356
 
        ##     self.last_total == total_cnt and
357
 
        ##     self.child_fraction == child_fraction):
358
 
        ##     return
359
 
 
360
 
        old_msg = self.last_msg
 
129
        if self.suppressed:
 
130
            return
 
131
 
361
132
        # save these for the tick() function
362
133
        self.last_msg = msg
363
134
        self.last_cnt = current_cnt
364
135
        self.last_total = total_cnt
365
 
        self.child_fraction = child_fraction
366
 
 
367
 
        # each function call takes 20ms/4000 = 0.005 ms, 
368
 
        # but multiple that by 4000 calls -> starts to cost.
369
 
        # so anything to make this function call faster
370
 
        # will improve base 'diff' time by up to 0.1 seconds.
371
 
        if self.throttle(old_msg):
372
 
            return
373
 
 
374
 
        if self.show_eta and self.start_time and self.last_total:
375
 
            eta = get_eta(self.start_time, self.last_cnt + self.child_fraction, 
376
 
                    self.last_total, last_updates = self.last_updates)
 
136
            
 
137
        now = time.time()
 
138
        if self.start_time is None:
 
139
            self.start_time = now
 
140
        else:
 
141
            interval = now - self.last_update
 
142
            if interval > 0 and interval < self.MIN_PAUSE:
 
143
                return
 
144
 
 
145
        self.last_update = now
 
146
        
 
147
        width = _width()
 
148
 
 
149
        if total_cnt:
 
150
            assert current_cnt <= total_cnt
 
151
        if current_cnt:
 
152
            assert current_cnt >= 0
 
153
        
 
154
        if self.show_eta and self.start_time and total_cnt:
 
155
            eta = get_eta(self.start_time, current_cnt, total_cnt)
377
156
            eta_str = " " + str_tdelta(eta)
378
157
        else:
379
158
            eta_str = ""
386
165
        # always update this; it's also used for the bar
387
166
        self.spin_pos += 1
388
167
 
389
 
        if self.show_pct and self.last_total and self.last_cnt:
390
 
            pct = 100.0 * ((self.last_cnt + self.child_fraction) / self.last_total)
 
168
        if self.show_pct and total_cnt and current_cnt:
 
169
            pct = 100.0 * current_cnt / total_cnt
391
170
            pct_str = ' (%5.1f%%)' % pct
392
171
        else:
393
172
            pct_str = ''
394
173
 
395
174
        if not self.show_count:
396
175
            count_str = ''
397
 
        elif self.last_cnt is None:
 
176
        elif current_cnt is None:
398
177
            count_str = ''
399
 
        elif self.last_total is None:
400
 
            count_str = ' %i' % (self.last_cnt)
 
178
        elif total_cnt is None:
 
179
            count_str = ' %i' % (current_cnt)
401
180
        else:
402
181
            # make both fields the same size
403
 
            t = '%i' % (self.last_total)
404
 
            c = '%*i' % (len(t), self.last_cnt)
 
182
            t = '%i' % (total_cnt)
 
183
            c = '%*i' % (len(t), current_cnt)
405
184
            count_str = ' ' + c + '/' + t 
406
185
 
407
186
        if self.show_bar:
408
187
            # progress bar, if present, soaks up all remaining space
409
 
            cols = self.width - 1 - len(self.last_msg) - len(spin_str) - len(pct_str) \
 
188
            cols = width - 1 - len(msg) - len(spin_str) - len(pct_str) \
410
189
                   - len(eta_str) - len(count_str) - 3
411
190
 
412
 
            if self.last_total:
 
191
            if total_cnt:
413
192
                # number of markers highlighted in bar
414
 
                markers = int(round(float(cols) * 
415
 
                              (self.last_cnt + self.child_fraction) / self.last_total))
 
193
                markers = int(round(float(cols) * current_cnt / total_cnt))
416
194
                bar_str = '[' + ('=' * markers).ljust(cols) + '] '
417
195
            elif False:
418
196
                # don't know total, so can't show completion.
426
204
        else:
427
205
            bar_str = ''
428
206
 
429
 
        m = spin_str + bar_str + self.last_msg + count_str + pct_str + eta_str
 
207
        m = spin_str + bar_str + msg + count_str + pct_str + eta_str
430
208
 
431
 
        assert len(m) < self.width
432
 
        self.to_file.write('\r' + m.ljust(self.width - 1))
433
 
        self._have_output = True
 
209
        assert len(m) < width
 
210
        self.to_file.write('\r' + m.ljust(width - 1))
434
211
        #self.to_file.flush()
435
212
            
436
 
    def clear(self):        
437
 
        if self._have_output:
438
 
            self.to_file.write('\r%s\r' % (' ' * (self.width - 1)))
439
 
        self._have_output = False
 
213
 
 
214
    def clear(self):
 
215
        if self.suppressed:
 
216
            return
 
217
        
 
218
        self.to_file.write('\r%s\r' % (' ' * (_width() - 1)))
440
219
        #self.to_file.flush()        
441
 
 
442
 
 
443
 
_progress_bar_types['tty'] = TTYProgressBar
444
 
 
445
 
 
446
 
class ChildProgress(_BaseProgressBar):
447
 
    """A progress indicator that pushes its data to the parent"""
448
 
 
449
 
    def __init__(self, _stack, **kwargs):
450
 
        _BaseProgressBar.__init__(self, _stack=_stack, **kwargs)
451
 
        self.parent = _stack.top()
452
 
        self.current = None
453
 
        self.total = None
454
 
        self.child_fraction = 0
455
 
        self.message = None
456
 
 
457
 
    def update(self, msg, current_cnt=None, total_cnt=None):
458
 
        self.current = current_cnt
459
 
        self.total = total_cnt
460
 
        self.message = msg
461
 
        self.child_fraction = 0
462
 
        self.tick()
463
 
 
464
 
    def child_update(self, message, current, total):
465
 
        if current is None or total == 0:
466
 
            self.child_fraction = 0
467
 
        else:
468
 
            self.child_fraction = float(current) / total
469
 
        self.tick()
470
 
 
471
 
    def tick(self):
472
 
        if self.current is None:
473
 
            count = None
474
 
        else:
475
 
            count = self.current+self.child_fraction
476
 
            if count > self.total:
477
 
                if __debug__:
478
 
                    mutter('clamping count of %d to %d' % (count, self.total))
479
 
                count = self.total
480
 
        self.parent.child_update(self.message, count, self.total)
481
 
 
482
 
    def clear(self):
483
 
        pass
484
 
 
485
 
    def note(self, *args, **kwargs):
486
 
        self.parent.note(*args, **kwargs)
487
 
 
488
 
 
 
220
    
 
221
 
 
222
        
489
223
def str_tdelta(delt):
490
224
    if delt is None:
491
225
        return "-:--:--"
495
229
                             delt % 60)
496
230
 
497
231
 
498
 
def get_eta(start_time, current, total, enough_samples=3, last_updates=None, n_recent=10):
 
232
def get_eta(start_time, current, total, enough_samples=3):
499
233
    if start_time is None:
500
234
        return None
501
235
 
508
242
    if current > total:
509
243
        return None                     # wtf?
510
244
 
511
 
    elapsed = time.clock() - start_time
 
245
    elapsed = time.time() - start_time
512
246
 
513
247
    if elapsed < 2.0:                   # not enough time to estimate
514
248
        return None
517
251
 
518
252
    assert total_duration >= elapsed
519
253
 
520
 
    if last_updates and len(last_updates) >= n_recent:
521
 
        avg = sum(last_updates) / float(len(last_updates))
522
 
        time_left = avg * (total - current)
523
 
 
524
 
        old_time_left = total_duration - elapsed
525
 
 
526
 
        # We could return the average, or some other value here
527
 
        return (time_left + old_time_left) / 2
528
 
 
529
254
    return total_duration - elapsed
530
255
 
531
256
 
532
 
class ProgressPhase(object):
533
 
    """Update progress object with the current phase"""
534
 
    def __init__(self, message, total, pb):
535
 
        object.__init__(self)
536
 
        self.pb = pb
537
 
        self.message = message
538
 
        self.total = total
539
 
        self.cur_phase = None
540
 
 
541
 
    def next_phase(self):
542
 
        if self.cur_phase is None:
543
 
            self.cur_phase = 0
544
 
        else:
545
 
            self.cur_phase += 1
546
 
        assert self.cur_phase < self.total 
547
 
        self.pb.update(self.message, self.cur_phase, self.total)
548
 
 
549
 
 
550
257
def run_tests():
551
258
    import doctest
552
259
    result = doctest.testmod()
558
265
 
559
266
 
560
267
def demo():
561
 
    sleep = time.sleep
562
 
    
563
 
    print 'dumb-terminal test:'
564
 
    pb = DotsProgressBar()
565
 
    for i in range(100):
566
 
        pb.update('Leoparden', i, 99)
567
 
        sleep(0.1)
568
 
    sleep(1.5)
569
 
    pb.clear()
570
 
    sleep(1.5)
571
 
    
572
 
    print 'smart-terminal test:'
 
268
    from time import sleep
573
269
    pb = ProgressBar(show_pct=True, show_bar=True, show_spinner=False)
574
270
    for i in range(100):
575
271
        pb.update('Elephanten', i, 99)
577
273
    sleep(2)
578
274
    pb.clear()
579
275
    sleep(1)
580
 
 
581
276
    print 'done!'
582
277
 
583
278
if __name__ == "__main__":