/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/progress.py

  • Committer: Robert Collins
  • Date: 2006-05-09 05:36:32 UTC
  • mto: (1704.1.1 integration)
  • mto: This revision was merged to the branch mainline in revision 1706.
  • Revision ID: robertc@robertcollins.net-20060509053632-e606e04c2e78f123
Adjust test-of-tests to accomodate the global state of TEST_ROOT.

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005 Aaron Bentley <aaron.bentley@utoronto.ca>
 
2
# Copyright (C) 2005, 2006 Canonical <canonical.com>
 
3
#
 
4
#    This program is free software; you can redistribute it and/or modify
 
5
#    it under the terms of the GNU General Public License as published by
 
6
#    the Free Software Foundation; either version 2 of the License, or
 
7
#    (at your option) any later version.
 
8
#
 
9
#    This program is distributed in the hope that it will be useful,
 
10
#    but WITHOUT ANY WARRANTY; without even the implied warranty of
 
11
#    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
12
#    GNU General Public License for more details.
 
13
#
 
14
#    You should have received a copy of the GNU General Public License
 
15
#    along with this program; if not, write to the Free Software
 
16
#    Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
17
 
 
18
 
 
19
"""Simple text-mode progress indicator.
 
20
 
 
21
To display an indicator, create a ProgressBar object.  Call it,
 
22
passing Progress objects indicating the current state.  When done,
 
23
call clear().
 
24
 
 
25
Progress is suppressed when output is not sent to a terminal, so as
 
26
not to clutter log files.
 
27
"""
 
28
 
 
29
# TODO: should be a global option e.g. --silent that disables progress
 
30
# indicators, preferably without needing to adjust all code that
 
31
# potentially calls them.
 
32
 
 
33
# TODO: If not on a tty perhaps just print '......' for the benefit of IDEs, etc
 
34
 
 
35
# TODO: Optionally show elapsed time instead/as well as ETA; nicer
 
36
# when the rate is unpredictable
 
37
 
 
38
 
 
39
import sys
 
40
import time
 
41
import os
 
42
from collections import deque
 
43
 
 
44
 
 
45
import bzrlib.errors as errors
 
46
from bzrlib.trace import mutter 
 
47
 
 
48
 
 
49
def _supports_progress(f):
 
50
    if not hasattr(f, 'isatty'):
 
51
        return False
 
52
    if not f.isatty():
 
53
        return False
 
54
    if os.environ.get('TERM') == 'dumb':
 
55
        # e.g. emacs compile window
 
56
        return False
 
57
    return True
 
58
 
 
59
 
 
60
 
 
61
def ProgressBar(to_file=None, **kwargs):
 
62
    """Abstract factory"""
 
63
    if to_file is None:
 
64
        to_file = sys.stderr
 
65
    if _supports_progress(to_file):
 
66
        return TTYProgressBar(to_file=to_file, **kwargs)
 
67
    else:
 
68
        return DotsProgressBar(to_file=to_file, **kwargs)
 
69
    
 
70
 
 
71
class ProgressBarStack(object):
 
72
    """A stack of progress bars."""
 
73
 
 
74
    def __init__(self,
 
75
                 to_file=None,
 
76
                 show_pct=False,
 
77
                 show_spinner=True,
 
78
                 show_eta=False,
 
79
                 show_bar=True,
 
80
                 show_count=True,
 
81
                 to_messages_file=None,
 
82
                 klass=None):
 
83
        """Setup the stack with the parameters the progress bars should have."""
 
84
        if to_file is None:
 
85
            to_file = sys.stderr
 
86
        if to_messages_file is None:
 
87
            to_messages_file = sys.stdout
 
88
        self._to_file = to_file
 
89
        self._show_pct = show_pct
 
90
        self._show_spinner = show_spinner
 
91
        self._show_eta = show_eta
 
92
        self._show_bar = show_bar
 
93
        self._show_count = show_count
 
94
        self._to_messages_file = to_messages_file
 
95
        self._stack = []
 
96
        self._klass = klass or TTYProgressBar
 
97
 
 
98
    def top(self):
 
99
        if len(self._stack) != 0:
 
100
            return self._stack[-1]
 
101
        else:
 
102
            return None
 
103
 
 
104
    def bottom(self):
 
105
        if len(self._stack) != 0:
 
106
            return self._stack[0]
 
107
        else:
 
108
            return None
 
109
 
 
110
    def get_nested(self):
 
111
        """Return a nested progress bar."""
 
112
        if len(self._stack) == 0:
 
113
            func = self._klass
 
114
        else:
 
115
            func = self.top().child_progress
 
116
        new_bar = func(to_file=self._to_file,
 
117
                       show_pct=self._show_pct,
 
118
                       show_spinner=self._show_spinner,
 
119
                       show_eta=self._show_eta,
 
120
                       show_bar=self._show_bar,
 
121
                       show_count=self._show_count,
 
122
                       to_messages_file=self._to_messages_file,
 
123
                       _stack=self)
 
124
        self._stack.append(new_bar)
 
125
        return new_bar
 
126
 
 
127
    def return_pb(self, bar):
 
128
        """Return bar after its been used."""
 
129
        if bar is not self._stack[-1]:
 
130
            raise errors.MissingProgressBarFinish()
 
131
        self._stack.pop()
 
132
 
 
133
 
 
134
class _BaseProgressBar(object):
 
135
 
 
136
    def __init__(self,
 
137
                 to_file=None,
 
138
                 show_pct=False,
 
139
                 show_spinner=False,
 
140
                 show_eta=True,
 
141
                 show_bar=True,
 
142
                 show_count=True,
 
143
                 to_messages_file=None,
 
144
                 _stack=None):
 
145
        object.__init__(self)
 
146
        if to_file is None:
 
147
            to_file = sys.stderr
 
148
        if to_messages_file is None:
 
149
            to_messages_file = sys.stdout
 
150
        self.to_file = to_file
 
151
        self.to_messages_file = to_messages_file
 
152
        self.last_msg = None
 
153
        self.last_cnt = None
 
154
        self.last_total = None
 
155
        self.show_pct = show_pct
 
156
        self.show_spinner = show_spinner
 
157
        self.show_eta = show_eta
 
158
        self.show_bar = show_bar
 
159
        self.show_count = show_count
 
160
        self._stack = _stack
 
161
        # seed throttler
 
162
        self.MIN_PAUSE = 0.1 # seconds
 
163
        now = time.clock()
 
164
        # starting now
 
165
        self.start_time = now
 
166
        # next update should not throttle
 
167
        self.last_update = now - self.MIN_PAUSE - 1
 
168
 
 
169
    def finished(self):
 
170
        """Return this bar to its progress stack."""
 
171
        self.clear()
 
172
        assert self._stack is not None
 
173
        self._stack.return_pb(self)
 
174
 
 
175
    def note(self, fmt_string, *args, **kwargs):
 
176
        """Record a note without disrupting the progress bar."""
 
177
        self.clear()
 
178
        self.to_messages_file.write(fmt_string % args)
 
179
        self.to_messages_file.write('\n')
 
180
 
 
181
    def child_progress(self, **kwargs):
 
182
        return ChildProgress(**kwargs)
 
183
 
 
184
class DummyProgress(_BaseProgressBar):
 
185
    """Progress-bar standin that does nothing.
 
186
 
 
187
    This can be used as the default argument for methods that
 
188
    take an optional progress indicator."""
 
189
    def tick(self):
 
190
        pass
 
191
 
 
192
    def update(self, msg=None, current=None, total=None):
 
193
        pass
 
194
 
 
195
    def child_update(self, message, current, total):
 
196
        pass
 
197
 
 
198
    def clear(self):
 
199
        pass
 
200
        
 
201
    def note(self, fmt_string, *args, **kwargs):
 
202
        """See _BaseProgressBar.note()."""
 
203
 
 
204
    def child_progress(self, **kwargs):
 
205
        return DummyProgress(**kwargs)
 
206
 
 
207
 
 
208
class DotsProgressBar(_BaseProgressBar):
 
209
 
 
210
    def __init__(self, **kwargs):
 
211
        _BaseProgressBar.__init__(self, **kwargs)
 
212
        self.last_msg = None
 
213
        self.need_nl = False
 
214
        
 
215
    def tick(self):
 
216
        self.update()
 
217
        
 
218
    def update(self, msg=None, current_cnt=None, total_cnt=None):
 
219
        if msg and msg != self.last_msg:
 
220
            if self.need_nl:
 
221
                self.to_file.write('\n')
 
222
            self.to_file.write(msg + ': ')
 
223
            self.last_msg = msg
 
224
        self.need_nl = True
 
225
        self.to_file.write('.')
 
226
        
 
227
    def clear(self):
 
228
        if self.need_nl:
 
229
            self.to_file.write('\n')
 
230
        self.need_nl = False
 
231
        
 
232
    def child_update(self, message, current, total):
 
233
        self.tick()
 
234
 
 
235
    
 
236
class TTYProgressBar(_BaseProgressBar):
 
237
    """Progress bar display object.
 
238
 
 
239
    Several options are available to control the display.  These can
 
240
    be passed as parameters to the constructor or assigned at any time:
 
241
 
 
242
    show_pct
 
243
        Show percentage complete.
 
244
    show_spinner
 
245
        Show rotating baton.  This ticks over on every update even
 
246
        if the values don't change.
 
247
    show_eta
 
248
        Show predicted time-to-completion.
 
249
    show_bar
 
250
        Show bar graph.
 
251
    show_count
 
252
        Show numerical counts.
 
253
 
 
254
    The output file should be in line-buffered or unbuffered mode.
 
255
    """
 
256
    SPIN_CHARS = r'/-\|'
 
257
 
 
258
 
 
259
    def __init__(self, **kwargs):
 
260
        from bzrlib.osutils import terminal_width
 
261
        _BaseProgressBar.__init__(self, **kwargs)
 
262
        self.spin_pos = 0
 
263
        self.width = terminal_width()
 
264
        self.start_time = None
 
265
        self.last_updates = deque()
 
266
        self.child_fraction = 0
 
267
    
 
268
 
 
269
    def throttle(self):
 
270
        """Return True if the bar was updated too recently"""
 
271
        # time.time consistently takes 40/4000 ms = 0.01 ms.
 
272
        # but every single update to the pb invokes it.
 
273
        # so we use time.clock which takes 20/4000 ms = 0.005ms
 
274
        # on the downside, time.clock() appears to have approximately
 
275
        # 10ms granularity, so we treat a zero-time change as 'throttled.'
 
276
        
 
277
        now = time.clock()
 
278
        interval = now - self.last_update
 
279
        # if interval > 0
 
280
        if interval < self.MIN_PAUSE:
 
281
            return True
 
282
 
 
283
        self.last_updates.append(now - self.last_update)
 
284
        self.last_update = now
 
285
        return False
 
286
        
 
287
    def tick(self):
 
288
        self.update(self.last_msg, self.last_cnt, self.last_total, 
 
289
                    self.child_fraction)
 
290
 
 
291
    def child_update(self, message, current, total):
 
292
        if current is not None and total != 0:
 
293
            child_fraction = float(current) / total
 
294
            if self.last_cnt is None:
 
295
                pass
 
296
            elif self.last_cnt + child_fraction <= self.last_total:
 
297
                self.child_fraction = child_fraction
 
298
            else:
 
299
                mutter('not updating child fraction')
 
300
        if self.last_msg is None:
 
301
            self.last_msg = ''
 
302
        self.tick()
 
303
 
 
304
    def update(self, msg, current_cnt=None, total_cnt=None, 
 
305
               child_fraction=0):
 
306
        """Update and redraw progress bar."""
 
307
        if msg is None:
 
308
            msg = self.last_msg
 
309
 
 
310
        if total_cnt is None:
 
311
            total_cnt = self.last_total
 
312
 
 
313
        if current_cnt < 0:
 
314
            current_cnt = 0
 
315
            
 
316
        if current_cnt > total_cnt:
 
317
            total_cnt = current_cnt
 
318
        
 
319
        ## # optional corner case optimisation 
 
320
        ## # currently does not seem to fire so costs more than saved.
 
321
        ## # trivial optimal case:
 
322
        ## # NB if callers are doing a clear and restore with
 
323
        ## # the saved values, this will prevent that:
 
324
        ## # in that case add a restore method that calls
 
325
        ## # _do_update or some such
 
326
        ## if (self.last_msg == msg and
 
327
        ##     self.last_cnt == current_cnt and
 
328
        ##     self.last_total == total_cnt and
 
329
        ##     self.child_fraction == child_fraction):
 
330
        ##     return
 
331
 
 
332
        old_msg = self.last_msg
 
333
        # save these for the tick() function
 
334
        self.last_msg = msg
 
335
        self.last_cnt = current_cnt
 
336
        self.last_total = total_cnt
 
337
        self.child_fraction = child_fraction
 
338
 
 
339
        # each function call takes 20ms/4000 = 0.005 ms, 
 
340
        # but multiple that by 4000 calls -> starts to cost.
 
341
        # so anything to make this function call faster
 
342
        # will improve base 'diff' time by up to 0.1 seconds.
 
343
        if old_msg == self.last_msg and self.throttle():
 
344
            return
 
345
 
 
346
        if self.show_eta and self.start_time and self.last_total:
 
347
            eta = get_eta(self.start_time, self.last_cnt + self.child_fraction, 
 
348
                    self.last_total, last_updates = self.last_updates)
 
349
            eta_str = " " + str_tdelta(eta)
 
350
        else:
 
351
            eta_str = ""
 
352
 
 
353
        if self.show_spinner:
 
354
            spin_str = self.SPIN_CHARS[self.spin_pos % 4] + ' '            
 
355
        else:
 
356
            spin_str = ''
 
357
 
 
358
        # always update this; it's also used for the bar
 
359
        self.spin_pos += 1
 
360
 
 
361
        if self.show_pct and self.last_total and self.last_cnt:
 
362
            pct = 100.0 * ((self.last_cnt + self.child_fraction) / self.last_total)
 
363
            pct_str = ' (%5.1f%%)' % pct
 
364
        else:
 
365
            pct_str = ''
 
366
 
 
367
        if not self.show_count:
 
368
            count_str = ''
 
369
        elif self.last_cnt is None:
 
370
            count_str = ''
 
371
        elif self.last_total is None:
 
372
            count_str = ' %i' % (self.last_cnt)
 
373
        else:
 
374
            # make both fields the same size
 
375
            t = '%i' % (self.last_total)
 
376
            c = '%*i' % (len(t), self.last_cnt)
 
377
            count_str = ' ' + c + '/' + t 
 
378
 
 
379
        if self.show_bar:
 
380
            # progress bar, if present, soaks up all remaining space
 
381
            cols = self.width - 1 - len(self.last_msg) - len(spin_str) - len(pct_str) \
 
382
                   - len(eta_str) - len(count_str) - 3
 
383
 
 
384
            if self.last_total:
 
385
                # number of markers highlighted in bar
 
386
                markers = int(round(float(cols) * 
 
387
                              (self.last_cnt + self.child_fraction) / self.last_total))
 
388
                bar_str = '[' + ('=' * markers).ljust(cols) + '] '
 
389
            elif False:
 
390
                # don't know total, so can't show completion.
 
391
                # so just show an expanded spinning thingy
 
392
                m = self.spin_pos % cols
 
393
                ms = (' ' * m + '*').ljust(cols)
 
394
                
 
395
                bar_str = '[' + ms + '] '
 
396
            else:
 
397
                bar_str = ''
 
398
        else:
 
399
            bar_str = ''
 
400
 
 
401
        m = spin_str + bar_str + self.last_msg + count_str + pct_str + eta_str
 
402
 
 
403
        assert len(m) < self.width
 
404
        self.to_file.write('\r' + m.ljust(self.width - 1))
 
405
        #self.to_file.flush()
 
406
            
 
407
    def clear(self):        
 
408
        self.to_file.write('\r%s\r' % (' ' * (self.width - 1)))
 
409
        #self.to_file.flush()        
 
410
 
 
411
 
 
412
class ChildProgress(_BaseProgressBar):
 
413
    """A progress indicator that pushes its data to the parent"""
 
414
 
 
415
    def __init__(self, _stack, **kwargs):
 
416
        _BaseProgressBar.__init__(self, _stack=_stack, **kwargs)
 
417
        self.parent = _stack.top()
 
418
        self.current = None
 
419
        self.total = None
 
420
        self.child_fraction = 0
 
421
        self.message = None
 
422
 
 
423
    def update(self, msg, current_cnt=None, total_cnt=None):
 
424
        self.current = current_cnt
 
425
        self.total = total_cnt
 
426
        self.message = msg
 
427
        self.child_fraction = 0
 
428
        self.tick()
 
429
 
 
430
    def child_update(self, message, current, total):
 
431
        if current is None or total == 0:
 
432
            self.child_fraction = 0
 
433
        else:
 
434
            self.child_fraction = float(current) / total
 
435
        self.tick()
 
436
 
 
437
    def tick(self):
 
438
        if self.current is None:
 
439
            count = None
 
440
        else:
 
441
            count = self.current+self.child_fraction
 
442
            if count > self.total:
 
443
                if __debug__:
 
444
                    mutter('clamping count of %d to %d' % (count, self.total))
 
445
                count = self.total
 
446
        self.parent.child_update(self.message, count, self.total)
 
447
 
 
448
    def clear(self):
 
449
        pass
 
450
 
 
451
    def note(self, *args, **kwargs):
 
452
        self.parent.note(*args, **kwargs)
 
453
 
 
454
 
 
455
def str_tdelta(delt):
 
456
    if delt is None:
 
457
        return "-:--:--"
 
458
    delt = int(round(delt))
 
459
    return '%d:%02d:%02d' % (delt/3600,
 
460
                             (delt/60) % 60,
 
461
                             delt % 60)
 
462
 
 
463
 
 
464
def get_eta(start_time, current, total, enough_samples=3, last_updates=None, n_recent=10):
 
465
    if start_time is None:
 
466
        return None
 
467
 
 
468
    if not total:
 
469
        return None
 
470
 
 
471
    if current < enough_samples:
 
472
        return None
 
473
 
 
474
    if current > total:
 
475
        return None                     # wtf?
 
476
 
 
477
    elapsed = time.clock() - start_time
 
478
 
 
479
    if elapsed < 2.0:                   # not enough time to estimate
 
480
        return None
 
481
    
 
482
    total_duration = float(elapsed) * float(total) / float(current)
 
483
 
 
484
    assert total_duration >= elapsed
 
485
 
 
486
    if last_updates and len(last_updates) >= n_recent:
 
487
        while len(last_updates) > n_recent:
 
488
            last_updates.popleft()
 
489
        avg = sum(last_updates) / float(len(last_updates))
 
490
        time_left = avg * (total - current)
 
491
 
 
492
        old_time_left = total_duration - elapsed
 
493
 
 
494
        # We could return the average, or some other value here
 
495
        return (time_left + old_time_left) / 2
 
496
 
 
497
    return total_duration - elapsed
 
498
 
 
499
 
 
500
class ProgressPhase(object):
 
501
    """Update progress object with the current phase"""
 
502
    def __init__(self, message, total, pb):
 
503
        object.__init__(self)
 
504
        self.pb = pb
 
505
        self.message = message
 
506
        self.total = total
 
507
        self.cur_phase = None
 
508
 
 
509
    def next_phase(self):
 
510
        if self.cur_phase is None:
 
511
            self.cur_phase = 0
 
512
        else:
 
513
            self.cur_phase += 1
 
514
        assert self.cur_phase < self.total 
 
515
        self.pb.update(self.message, self.cur_phase, self.total)
 
516
 
 
517
 
 
518
def run_tests():
 
519
    import doctest
 
520
    result = doctest.testmod()
 
521
    if result[1] > 0:
 
522
        if result[0] == 0:
 
523
            print "All tests passed"
 
524
    else:
 
525
        print "No tests to run"
 
526
 
 
527
 
 
528
def demo():
 
529
    sleep = time.sleep
 
530
    
 
531
    print 'dumb-terminal test:'
 
532
    pb = DotsProgressBar()
 
533
    for i in range(100):
 
534
        pb.update('Leoparden', i, 99)
 
535
        sleep(0.1)
 
536
    sleep(1.5)
 
537
    pb.clear()
 
538
    sleep(1.5)
 
539
    
 
540
    print 'smart-terminal test:'
 
541
    pb = ProgressBar(show_pct=True, show_bar=True, show_spinner=False)
 
542
    for i in range(100):
 
543
        pb.update('Elephanten', i, 99)
 
544
        sleep(0.1)
 
545
    sleep(2)
 
546
    pb.clear()
 
547
    sleep(1)
 
548
 
 
549
    print 'done!'
 
550
 
 
551
if __name__ == "__main__":
 
552
    demo()