/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/progress.py

  • Committer: mbp at sourcefrog
  • Date: 2005-03-26 03:02:29 UTC
  • Revision ID: mbp@sourcefrog.net-20050326030229-4ee2b6cf67fd9a39
- more commit help

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005 Aaron Bentley <aaron.bentley@utoronto.ca>
2
 
# Copyright (C) 2005, 2006 Canonical <canonical.com>
3
 
#
4
 
#    This program is free software; you can redistribute it and/or modify
5
 
#    it under the terms of the GNU General Public License as published by
6
 
#    the Free Software Foundation; either version 2 of the License, or
7
 
#    (at your option) any later version.
8
 
#
9
 
#    This program is distributed in the hope that it will be useful,
10
 
#    but WITHOUT ANY WARRANTY; without even the implied warranty of
11
 
#    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12
 
#    GNU General Public License for more details.
13
 
#
14
 
#    You should have received a copy of the GNU General Public License
15
 
#    along with this program; if not, write to the Free Software
16
 
#    Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
17
 
 
18
 
 
19
 
"""Simple text-mode progress indicator.
20
 
 
21
 
To display an indicator, create a ProgressBar object.  Call it,
22
 
passing Progress objects indicating the current state.  When done,
23
 
call clear().
24
 
 
25
 
Progress is suppressed when output is not sent to a terminal, so as
26
 
not to clutter log files.
27
 
"""
28
 
 
29
 
# TODO: should be a global option e.g. --silent that disables progress
30
 
# indicators, preferably without needing to adjust all code that
31
 
# potentially calls them.
32
 
 
33
 
# TODO: If not on a tty perhaps just print '......' for the benefit of IDEs, etc
34
 
 
35
 
# TODO: Optionally show elapsed time instead/as well as ETA; nicer
36
 
# when the rate is unpredictable
37
 
 
38
 
 
39
 
import sys
40
 
import time
41
 
import os
42
 
from collections import deque
43
 
 
44
 
 
45
 
import bzrlib.errors as errors
46
 
from bzrlib.trace import mutter 
47
 
 
48
 
 
49
 
def _supports_progress(f):
50
 
    if not hasattr(f, 'isatty'):
51
 
        return False
52
 
    if not f.isatty():
53
 
        return False
54
 
    if os.environ.get('TERM') == 'dumb':
55
 
        # e.g. emacs compile window
56
 
        return False
57
 
    return True
58
 
 
59
 
 
60
 
 
61
 
def ProgressBar(to_file=sys.stderr, **kwargs):
62
 
    """Abstract factory"""
63
 
    if _supports_progress(to_file):
64
 
        return TTYProgressBar(to_file=to_file, **kwargs)
65
 
    else:
66
 
        return DotsProgressBar(to_file=to_file, **kwargs)
67
 
    
68
 
 
69
 
class ProgressBarStack(object):
70
 
    """A stack of progress bars."""
71
 
 
72
 
    def __init__(self,
73
 
                 to_file=sys.stderr,
74
 
                 show_pct=False,
75
 
                 show_spinner=True,
76
 
                 show_eta=False,
77
 
                 show_bar=True,
78
 
                 show_count=True,
79
 
                 to_messages_file=sys.stdout,
80
 
                 klass=None):
81
 
        """Setup the stack with the parameters the progress bars should have."""
82
 
        self._to_file = to_file
83
 
        self._show_pct = show_pct
84
 
        self._show_spinner = show_spinner
85
 
        self._show_eta = show_eta
86
 
        self._show_bar = show_bar
87
 
        self._show_count = show_count
88
 
        self._to_messages_file = to_messages_file
89
 
        self._stack = []
90
 
        self._klass = klass or TTYProgressBar
91
 
 
92
 
    def top(self):
93
 
        if len(self._stack) != 0:
94
 
            return self._stack[-1]
95
 
        else:
96
 
            return None
97
 
 
98
 
    def bottom(self):
99
 
        if len(self._stack) != 0:
100
 
            return self._stack[0]
101
 
        else:
102
 
            return None
103
 
 
104
 
    def get_nested(self):
105
 
        """Return a nested progress bar."""
106
 
        if len(self._stack) == 0:
107
 
            func = self._klass
108
 
        else:
109
 
            func = self.top().child_progress
110
 
        new_bar = func(to_file=self._to_file,
111
 
                       show_pct=self._show_pct,
112
 
                       show_spinner=self._show_spinner,
113
 
                       show_eta=self._show_eta,
114
 
                       show_bar=self._show_bar,
115
 
                       show_count=self._show_count,
116
 
                       to_messages_file=self._to_messages_file,
117
 
                       _stack=self)
118
 
        self._stack.append(new_bar)
119
 
        return new_bar
120
 
 
121
 
    def return_pb(self, bar):
122
 
        """Return bar after its been used."""
123
 
        if bar is not self._stack[-1]:
124
 
            raise errors.MissingProgressBarFinish()
125
 
        self._stack.pop()
126
 
 
127
 
 
128
 
class _BaseProgressBar(object):
129
 
 
130
 
    def __init__(self,
131
 
                 to_file=sys.stderr,
132
 
                 show_pct=False,
133
 
                 show_spinner=False,
134
 
                 show_eta=True,
135
 
                 show_bar=True,
136
 
                 show_count=True,
137
 
                 to_messages_file=sys.stdout,
138
 
                 _stack=None):
139
 
        object.__init__(self)
140
 
        self.to_file = to_file
141
 
        self.to_messages_file = to_messages_file
142
 
        self.last_msg = None
143
 
        self.last_cnt = None
144
 
        self.last_total = None
145
 
        self.show_pct = show_pct
146
 
        self.show_spinner = show_spinner
147
 
        self.show_eta = show_eta
148
 
        self.show_bar = show_bar
149
 
        self.show_count = show_count
150
 
        self._stack = _stack
151
 
        # seed throttler
152
 
        self.MIN_PAUSE = 0.1 # seconds
153
 
        now = time.clock()
154
 
        # starting now
155
 
        self.start_time = now
156
 
        # next update should not throttle
157
 
        self.last_update = now - self.MIN_PAUSE - 1
158
 
 
159
 
    def finished(self):
160
 
        """Return this bar to its progress stack."""
161
 
        self.clear()
162
 
        assert self._stack is not None
163
 
        self._stack.return_pb(self)
164
 
 
165
 
    def note(self, fmt_string, *args, **kwargs):
166
 
        """Record a note without disrupting the progress bar."""
167
 
        self.clear()
168
 
        self.to_messages_file.write(fmt_string % args)
169
 
        self.to_messages_file.write('\n')
170
 
 
171
 
    def child_progress(self, **kwargs):
172
 
        return ChildProgress(**kwargs)
173
 
 
174
 
 
175
 
class DummyProgress(_BaseProgressBar):
176
 
    """Progress-bar standin that does nothing.
177
 
 
178
 
    This can be used as the default argument for methods that
179
 
    take an optional progress indicator."""
180
 
    def tick(self):
181
 
        pass
182
 
 
183
 
    def update(self, msg=None, current=None, total=None):
184
 
        pass
185
 
 
186
 
    def child_update(self, message, current, total):
187
 
        pass
188
 
 
189
 
    def clear(self):
190
 
        pass
191
 
        
192
 
    def note(self, fmt_string, *args, **kwargs):
193
 
        """See _BaseProgressBar.note()."""
194
 
 
195
 
    def child_progress(self, **kwargs):
196
 
        return DummyProgress(**kwargs)
197
 
 
198
 
class DotsProgressBar(_BaseProgressBar):
199
 
 
200
 
    def __init__(self, **kwargs):
201
 
        _BaseProgressBar.__init__(self, **kwargs)
202
 
        self.last_msg = None
203
 
        self.need_nl = False
204
 
        
205
 
    def tick(self):
206
 
        self.update()
207
 
        
208
 
    def update(self, msg=None, current_cnt=None, total_cnt=None):
209
 
        if msg and msg != self.last_msg:
210
 
            if self.need_nl:
211
 
                self.to_file.write('\n')
212
 
            
213
 
            self.to_file.write(msg + ': ')
214
 
            self.last_msg = msg
215
 
        self.need_nl = True
216
 
        self.to_file.write('.')
217
 
        
218
 
    def clear(self):
219
 
        if self.need_nl:
220
 
            self.to_file.write('\n')
221
 
        
222
 
    def child_update(self, message, current, total):
223
 
        self.tick()
224
 
    
225
 
class TTYProgressBar(_BaseProgressBar):
226
 
    """Progress bar display object.
227
 
 
228
 
    Several options are available to control the display.  These can
229
 
    be passed as parameters to the constructor or assigned at any time:
230
 
 
231
 
    show_pct
232
 
        Show percentage complete.
233
 
    show_spinner
234
 
        Show rotating baton.  This ticks over on every update even
235
 
        if the values don't change.
236
 
    show_eta
237
 
        Show predicted time-to-completion.
238
 
    show_bar
239
 
        Show bar graph.
240
 
    show_count
241
 
        Show numerical counts.
242
 
 
243
 
    The output file should be in line-buffered or unbuffered mode.
244
 
    """
245
 
    SPIN_CHARS = r'/-\|'
246
 
 
247
 
 
248
 
    def __init__(self, **kwargs):
249
 
        from bzrlib.osutils import terminal_width
250
 
        _BaseProgressBar.__init__(self, **kwargs)
251
 
        self.spin_pos = 0
252
 
        self.width = terminal_width()
253
 
        self.start_time = None
254
 
        self.last_updates = deque()
255
 
        self.child_fraction = 0
256
 
    
257
 
 
258
 
    def throttle(self):
259
 
        """Return True if the bar was updated too recently"""
260
 
        # time.time consistently takes 40/4000 ms = 0.01 ms.
261
 
        # but every single update to the pb invokes it.
262
 
        # so we use time.clock which takes 20/4000 ms = 0.005ms
263
 
        # on the downside, time.clock() appears to have approximately
264
 
        # 10ms granularity, so we treat a zero-time change as 'throttled.'
265
 
        
266
 
        now = time.clock()
267
 
        interval = now - self.last_update
268
 
        # if interval > 0
269
 
        if interval < self.MIN_PAUSE:
270
 
            return True
271
 
 
272
 
        self.last_updates.append(now - self.last_update)
273
 
        self.last_update = now
274
 
        return False
275
 
        
276
 
 
277
 
    def tick(self):
278
 
        self.update(self.last_msg, self.last_cnt, self.last_total, 
279
 
                    self.child_fraction)
280
 
 
281
 
    def child_update(self, message, current, total):
282
 
        if current is not None and total != 0:
283
 
            child_fraction = float(current) / total
284
 
            if self.last_cnt is None:
285
 
                pass
286
 
            elif self.last_cnt + child_fraction <= self.last_total:
287
 
                self.child_fraction = child_fraction
288
 
            else:
289
 
                mutter('not updating child fraction')
290
 
        if self.last_msg is None:
291
 
            self.last_msg = ''
292
 
        self.tick()
293
 
 
294
 
 
295
 
    def update(self, msg, current_cnt=None, total_cnt=None, 
296
 
               child_fraction=0):
297
 
        """Update and redraw progress bar."""
298
 
 
299
 
        if current_cnt < 0:
300
 
            current_cnt = 0
301
 
            
302
 
        if current_cnt > total_cnt:
303
 
            total_cnt = current_cnt
304
 
        
305
 
        ## # optional corner case optimisation 
306
 
        ## # currently does not seem to fire so costs more than saved.
307
 
        ## # trivial optimal case:
308
 
        ## # NB if callers are doing a clear and restore with
309
 
        ## # the saved values, this will prevent that:
310
 
        ## # in that case add a restore method that calls
311
 
        ## # _do_update or some such
312
 
        ## if (self.last_msg == msg and
313
 
        ##     self.last_cnt == current_cnt and
314
 
        ##     self.last_total == total_cnt and
315
 
        ##     self.child_fraction == child_fraction):
316
 
        ##     return
317
 
 
318
 
        old_msg = self.last_msg
319
 
        # save these for the tick() function
320
 
        self.last_msg = msg
321
 
        self.last_cnt = current_cnt
322
 
        self.last_total = total_cnt
323
 
        self.child_fraction = child_fraction
324
 
 
325
 
        # each function call takes 20ms/4000 = 0.005 ms, 
326
 
        # but multiple that by 4000 calls -> starts to cost.
327
 
        # so anything to make this function call faster
328
 
        # will improve base 'diff' time by up to 0.1 seconds.
329
 
        if old_msg == self.last_msg and self.throttle():
330
 
            return
331
 
 
332
 
        if self.show_eta and self.start_time and self.last_total:
333
 
            eta = get_eta(self.start_time, self.last_cnt + self.child_fraction, 
334
 
                    self.last_total, last_updates = self.last_updates)
335
 
            eta_str = " " + str_tdelta(eta)
336
 
        else:
337
 
            eta_str = ""
338
 
 
339
 
        if self.show_spinner:
340
 
            spin_str = self.SPIN_CHARS[self.spin_pos % 4] + ' '            
341
 
        else:
342
 
            spin_str = ''
343
 
 
344
 
        # always update this; it's also used for the bar
345
 
        self.spin_pos += 1
346
 
 
347
 
        if self.show_pct and self.last_total and self.last_cnt:
348
 
            pct = 100.0 * ((self.last_cnt + self.child_fraction) / self.last_total)
349
 
            pct_str = ' (%5.1f%%)' % pct
350
 
        else:
351
 
            pct_str = ''
352
 
 
353
 
        if not self.show_count:
354
 
            count_str = ''
355
 
        elif self.last_cnt is None:
356
 
            count_str = ''
357
 
        elif self.last_total is None:
358
 
            count_str = ' %i' % (self.last_cnt)
359
 
        else:
360
 
            # make both fields the same size
361
 
            t = '%i' % (self.last_total)
362
 
            c = '%*i' % (len(t), self.last_cnt)
363
 
            count_str = ' ' + c + '/' + t 
364
 
 
365
 
        if self.show_bar:
366
 
            # progress bar, if present, soaks up all remaining space
367
 
            cols = self.width - 1 - len(self.last_msg) - len(spin_str) - len(pct_str) \
368
 
                   - len(eta_str) - len(count_str) - 3
369
 
 
370
 
            if self.last_total:
371
 
                # number of markers highlighted in bar
372
 
                markers = int(round(float(cols) * 
373
 
                              (self.last_cnt + self.child_fraction) / self.last_total))
374
 
                bar_str = '[' + ('=' * markers).ljust(cols) + '] '
375
 
            elif False:
376
 
                # don't know total, so can't show completion.
377
 
                # so just show an expanded spinning thingy
378
 
                m = self.spin_pos % cols
379
 
                ms = (' ' * m + '*').ljust(cols)
380
 
                
381
 
                bar_str = '[' + ms + '] '
382
 
            else:
383
 
                bar_str = ''
384
 
        else:
385
 
            bar_str = ''
386
 
 
387
 
        m = spin_str + bar_str + self.last_msg + count_str + pct_str + eta_str
388
 
 
389
 
        assert len(m) < self.width
390
 
        self.to_file.write('\r' + m.ljust(self.width - 1))
391
 
        #self.to_file.flush()
392
 
            
393
 
    def clear(self):        
394
 
        self.to_file.write('\r%s\r' % (' ' * (self.width - 1)))
395
 
        #self.to_file.flush()        
396
 
 
397
 
 
398
 
class ChildProgress(_BaseProgressBar):
399
 
    """A progress indicator that pushes its data to the parent"""
400
 
    def __init__(self, _stack, **kwargs):
401
 
        _BaseProgressBar.__init__(self, _stack=_stack, **kwargs)
402
 
        self.parent = _stack.top()
403
 
        self.current = None
404
 
        self.total = None
405
 
        self.child_fraction = 0
406
 
        self.message = None
407
 
 
408
 
    def update(self, msg, current_cnt=None, total_cnt=None):
409
 
        self.current = current_cnt
410
 
        self.total = total_cnt
411
 
        self.message = msg
412
 
        self.child_fraction = 0
413
 
        self.tick()
414
 
 
415
 
    def child_update(self, message, current, total):
416
 
        if current is None or total == 0:
417
 
            self.child_fraction = 0
418
 
        else:
419
 
            self.child_fraction = float(current) / total
420
 
        self.tick()
421
 
 
422
 
    def tick(self):
423
 
        if self.current is None:
424
 
            count = None
425
 
        else:
426
 
            count = self.current+self.child_fraction
427
 
            if count > self.total:
428
 
                if __debug__:
429
 
                    mutter('clamping count of %d to %d' % (count, self.total))
430
 
                count = self.total
431
 
        self.parent.child_update(self.message, count, self.total)
432
 
 
433
 
    def clear(self):
434
 
        pass
435
 
 
436
 
    def note(self, *args, **kwargs):
437
 
        self.parent.note(*args, **kwargs)
438
 
 
439
 
 
440
 
def str_tdelta(delt):
441
 
    if delt is None:
442
 
        return "-:--:--"
443
 
    delt = int(round(delt))
444
 
    return '%d:%02d:%02d' % (delt/3600,
445
 
                             (delt/60) % 60,
446
 
                             delt % 60)
447
 
 
448
 
 
449
 
def get_eta(start_time, current, total, enough_samples=3, last_updates=None, n_recent=10):
450
 
    if start_time is None:
451
 
        return None
452
 
 
453
 
    if not total:
454
 
        return None
455
 
 
456
 
    if current < enough_samples:
457
 
        return None
458
 
 
459
 
    if current > total:
460
 
        return None                     # wtf?
461
 
 
462
 
    elapsed = time.clock() - start_time
463
 
 
464
 
    if elapsed < 2.0:                   # not enough time to estimate
465
 
        return None
466
 
    
467
 
    total_duration = float(elapsed) * float(total) / float(current)
468
 
 
469
 
    assert total_duration >= elapsed
470
 
 
471
 
    if last_updates and len(last_updates) >= n_recent:
472
 
        while len(last_updates) > n_recent:
473
 
            last_updates.popleft()
474
 
        avg = sum(last_updates) / float(len(last_updates))
475
 
        time_left = avg * (total - current)
476
 
 
477
 
        old_time_left = total_duration - elapsed
478
 
 
479
 
        # We could return the average, or some other value here
480
 
        return (time_left + old_time_left) / 2
481
 
 
482
 
    return total_duration - elapsed
483
 
 
484
 
 
485
 
class ProgressPhase(object):
486
 
    """Update progress object with the current phase"""
487
 
    def __init__(self, message, total, pb):
488
 
        object.__init__(self)
489
 
        self.pb = pb
490
 
        self.message = message
491
 
        self.total = total
492
 
        self.cur_phase = None
493
 
 
494
 
    def next_phase(self):
495
 
        if self.cur_phase is None:
496
 
            self.cur_phase = 0
497
 
        else:
498
 
            self.cur_phase += 1
499
 
        assert self.cur_phase < self.total 
500
 
        self.pb.update(self.message, self.cur_phase, self.total)
501
 
 
502
 
 
503
 
def run_tests():
504
 
    import doctest
505
 
    result = doctest.testmod()
506
 
    if result[1] > 0:
507
 
        if result[0] == 0:
508
 
            print "All tests passed"
509
 
    else:
510
 
        print "No tests to run"
511
 
 
512
 
 
513
 
def demo():
514
 
    sleep = time.sleep
515
 
    
516
 
    print 'dumb-terminal test:'
517
 
    pb = DotsProgressBar()
518
 
    for i in range(100):
519
 
        pb.update('Leoparden', i, 99)
520
 
        sleep(0.1)
521
 
    sleep(1.5)
522
 
    pb.clear()
523
 
    sleep(1.5)
524
 
    
525
 
    print 'smart-terminal test:'
526
 
    pb = ProgressBar(show_pct=True, show_bar=True, show_spinner=False)
527
 
    for i in range(100):
528
 
        pb.update('Elephanten', i, 99)
529
 
        sleep(0.1)
530
 
    sleep(2)
531
 
    pb.clear()
532
 
    sleep(1)
533
 
 
534
 
    print 'done!'
535
 
 
536
 
if __name__ == "__main__":
537
 
    demo()