/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/progress.py

  • Committer: John Arbash Meinel
  • Date: 2006-05-02 20:46:11 UTC
  • mto: This revision was merged to the branch mainline in revision 1752.
  • Revision ID: john@arbash-meinel.com-20060502204611-02caa5c20fb84ef8
Moved url functions into bzrlib.urlutils

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005 Aaron Bentley <aaron.bentley@utoronto.ca>
 
2
# Copyright (C) 2005, 2006 Canonical <canonical.com>
 
3
#
 
4
#    This program is free software; you can redistribute it and/or modify
 
5
#    it under the terms of the GNU General Public License as published by
 
6
#    the Free Software Foundation; either version 2 of the License, or
 
7
#    (at your option) any later version.
 
8
#
 
9
#    This program is distributed in the hope that it will be useful,
 
10
#    but WITHOUT ANY WARRANTY; without even the implied warranty of
 
11
#    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
12
#    GNU General Public License for more details.
 
13
#
 
14
#    You should have received a copy of the GNU General Public License
 
15
#    along with this program; if not, write to the Free Software
 
16
#    Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
17
 
 
18
 
 
19
"""Simple text-mode progress indicator.
 
20
 
 
21
To display an indicator, create a ProgressBar object.  Call it,
 
22
passing Progress objects indicating the current state.  When done,
 
23
call clear().
 
24
 
 
25
Progress is suppressed when output is not sent to a terminal, so as
 
26
not to clutter log files.
 
27
"""
 
28
 
 
29
# TODO: should be a global option e.g. --silent that disables progress
 
30
# indicators, preferably without needing to adjust all code that
 
31
# potentially calls them.
 
32
 
 
33
# TODO: If not on a tty perhaps just print '......' for the benefit of IDEs, etc
 
34
 
 
35
# TODO: Optionally show elapsed time instead/as well as ETA; nicer
 
36
# when the rate is unpredictable
 
37
 
 
38
 
 
39
import sys
 
40
import time
 
41
import os
 
42
from collections import deque
 
43
 
 
44
 
 
45
import bzrlib.errors as errors
 
46
from bzrlib.trace import mutter 
 
47
 
 
48
 
 
49
def _supports_progress(f):
 
50
    if not hasattr(f, 'isatty'):
 
51
        return False
 
52
    if not f.isatty():
 
53
        return False
 
54
    if os.environ.get('TERM') == 'dumb':
 
55
        # e.g. emacs compile window
 
56
        return False
 
57
    return True
 
58
 
 
59
 
 
60
 
 
61
def ProgressBar(to_file=None, **kwargs):
 
62
    """Abstract factory"""
 
63
    if to_file is None:
 
64
        to_file = sys.stderr
 
65
    if _supports_progress(to_file):
 
66
        return TTYProgressBar(to_file=to_file, **kwargs)
 
67
    else:
 
68
        return DotsProgressBar(to_file=to_file, **kwargs)
 
69
    
 
70
 
 
71
class ProgressBarStack(object):
 
72
    """A stack of progress bars."""
 
73
 
 
74
    def __init__(self,
 
75
                 to_file=None,
 
76
                 show_pct=False,
 
77
                 show_spinner=True,
 
78
                 show_eta=False,
 
79
                 show_bar=True,
 
80
                 show_count=True,
 
81
                 to_messages_file=None,
 
82
                 klass=None):
 
83
        """Setup the stack with the parameters the progress bars should have."""
 
84
        if to_file is None:
 
85
            to_file = sys.stderr
 
86
        if to_messages_file is None:
 
87
            to_messages_file = sys.stdout
 
88
        self._to_file = to_file
 
89
        self._show_pct = show_pct
 
90
        self._show_spinner = show_spinner
 
91
        self._show_eta = show_eta
 
92
        self._show_bar = show_bar
 
93
        self._show_count = show_count
 
94
        self._to_messages_file = to_messages_file
 
95
        self._stack = []
 
96
        self._klass = klass or TTYProgressBar
 
97
 
 
98
    def top(self):
 
99
        if len(self._stack) != 0:
 
100
            return self._stack[-1]
 
101
        else:
 
102
            return None
 
103
 
 
104
    def bottom(self):
 
105
        if len(self._stack) != 0:
 
106
            return self._stack[0]
 
107
        else:
 
108
            return None
 
109
 
 
110
    def get_nested(self):
 
111
        """Return a nested progress bar."""
 
112
        if len(self._stack) == 0:
 
113
            func = self._klass
 
114
        else:
 
115
            func = self.top().child_progress
 
116
        new_bar = func(to_file=self._to_file,
 
117
                       show_pct=self._show_pct,
 
118
                       show_spinner=self._show_spinner,
 
119
                       show_eta=self._show_eta,
 
120
                       show_bar=self._show_bar,
 
121
                       show_count=self._show_count,
 
122
                       to_messages_file=self._to_messages_file,
 
123
                       _stack=self)
 
124
        self._stack.append(new_bar)
 
125
        return new_bar
 
126
 
 
127
    def return_pb(self, bar):
 
128
        """Return bar after its been used."""
 
129
        if bar is not self._stack[-1]:
 
130
            raise errors.MissingProgressBarFinish()
 
131
        self._stack.pop()
 
132
 
 
133
 
 
134
class _BaseProgressBar(object):
 
135
 
 
136
    def __init__(self,
 
137
                 to_file=None,
 
138
                 show_pct=False,
 
139
                 show_spinner=False,
 
140
                 show_eta=True,
 
141
                 show_bar=True,
 
142
                 show_count=True,
 
143
                 to_messages_file=None,
 
144
                 _stack=None):
 
145
        object.__init__(self)
 
146
        if to_file is None:
 
147
            to_file = sys.stderr
 
148
        if to_messages_file is None:
 
149
            to_messages_file = sys.stdout
 
150
        self.to_file = to_file
 
151
        self.to_messages_file = to_messages_file
 
152
        self.last_msg = None
 
153
        self.last_cnt = None
 
154
        self.last_total = None
 
155
        self.show_pct = show_pct
 
156
        self.show_spinner = show_spinner
 
157
        self.show_eta = show_eta
 
158
        self.show_bar = show_bar
 
159
        self.show_count = show_count
 
160
        self._stack = _stack
 
161
        # seed throttler
 
162
        self.MIN_PAUSE = 0.1 # seconds
 
163
        now = time.clock()
 
164
        # starting now
 
165
        self.start_time = now
 
166
        # next update should not throttle
 
167
        self.last_update = now - self.MIN_PAUSE - 1
 
168
 
 
169
    def finished(self):
 
170
        """Return this bar to its progress stack."""
 
171
        self.clear()
 
172
        assert self._stack is not None
 
173
        self._stack.return_pb(self)
 
174
 
 
175
    def note(self, fmt_string, *args, **kwargs):
 
176
        """Record a note without disrupting the progress bar."""
 
177
        self.clear()
 
178
        self.to_messages_file.write(fmt_string % args)
 
179
        self.to_messages_file.write('\n')
 
180
 
 
181
    def child_progress(self, **kwargs):
 
182
        return ChildProgress(**kwargs)
 
183
 
 
184
 
 
185
class DummyProgress(_BaseProgressBar):
 
186
    """Progress-bar standin that does nothing.
 
187
 
 
188
    This can be used as the default argument for methods that
 
189
    take an optional progress indicator."""
 
190
    def tick(self):
 
191
        pass
 
192
 
 
193
    def update(self, msg=None, current=None, total=None):
 
194
        pass
 
195
 
 
196
    def child_update(self, message, current, total):
 
197
        pass
 
198
 
 
199
    def clear(self):
 
200
        pass
 
201
        
 
202
    def note(self, fmt_string, *args, **kwargs):
 
203
        """See _BaseProgressBar.note()."""
 
204
 
 
205
    def child_progress(self, **kwargs):
 
206
        return DummyProgress(**kwargs)
 
207
 
 
208
 
 
209
class DotsProgressBar(_BaseProgressBar):
 
210
 
 
211
    def __init__(self, **kwargs):
 
212
        _BaseProgressBar.__init__(self, **kwargs)
 
213
        self.last_msg = None
 
214
        self.need_nl = False
 
215
        
 
216
    def tick(self):
 
217
        self.update()
 
218
        
 
219
    def update(self, msg=None, current_cnt=None, total_cnt=None):
 
220
        if msg and msg != self.last_msg:
 
221
            if self.need_nl:
 
222
                self.to_file.write('\n')
 
223
            self.to_file.write(msg + ': ')
 
224
            self.last_msg = msg
 
225
        self.need_nl = True
 
226
        self.to_file.write('.')
 
227
        
 
228
    def clear(self):
 
229
        if self.need_nl:
 
230
            self.to_file.write('\n')
 
231
        self.need_nl = False
 
232
        
 
233
    def child_update(self, message, current, total):
 
234
        self.tick()
 
235
 
 
236
    
 
237
class TTYProgressBar(_BaseProgressBar):
 
238
    """Progress bar display object.
 
239
 
 
240
    Several options are available to control the display.  These can
 
241
    be passed as parameters to the constructor or assigned at any time:
 
242
 
 
243
    show_pct
 
244
        Show percentage complete.
 
245
    show_spinner
 
246
        Show rotating baton.  This ticks over on every update even
 
247
        if the values don't change.
 
248
    show_eta
 
249
        Show predicted time-to-completion.
 
250
    show_bar
 
251
        Show bar graph.
 
252
    show_count
 
253
        Show numerical counts.
 
254
 
 
255
    The output file should be in line-buffered or unbuffered mode.
 
256
    """
 
257
    SPIN_CHARS = r'/-\|'
 
258
 
 
259
 
 
260
    def __init__(self, **kwargs):
 
261
        from bzrlib.osutils import terminal_width
 
262
        _BaseProgressBar.__init__(self, **kwargs)
 
263
        self.spin_pos = 0
 
264
        self.width = terminal_width()
 
265
        self.start_time = None
 
266
        self.last_updates = deque()
 
267
        self.child_fraction = 0
 
268
    
 
269
 
 
270
    def throttle(self):
 
271
        """Return True if the bar was updated too recently"""
 
272
        # time.time consistently takes 40/4000 ms = 0.01 ms.
 
273
        # but every single update to the pb invokes it.
 
274
        # so we use time.clock which takes 20/4000 ms = 0.005ms
 
275
        # on the downside, time.clock() appears to have approximately
 
276
        # 10ms granularity, so we treat a zero-time change as 'throttled.'
 
277
        
 
278
        now = time.clock()
 
279
        interval = now - self.last_update
 
280
        # if interval > 0
 
281
        if interval < self.MIN_PAUSE:
 
282
            return True
 
283
 
 
284
        self.last_updates.append(now - self.last_update)
 
285
        self.last_update = now
 
286
        return False
 
287
        
 
288
 
 
289
    def tick(self):
 
290
        self.update(self.last_msg, self.last_cnt, self.last_total, 
 
291
                    self.child_fraction)
 
292
 
 
293
    def child_update(self, message, current, total):
 
294
        if current is not None and total != 0:
 
295
            child_fraction = float(current) / total
 
296
            if self.last_cnt is None:
 
297
                pass
 
298
            elif self.last_cnt + child_fraction <= self.last_total:
 
299
                self.child_fraction = child_fraction
 
300
            else:
 
301
                mutter('not updating child fraction')
 
302
        if self.last_msg is None:
 
303
            self.last_msg = ''
 
304
        self.tick()
 
305
 
 
306
 
 
307
    def update(self, msg, current_cnt=None, total_cnt=None, 
 
308
               child_fraction=0):
 
309
        """Update and redraw progress bar."""
 
310
 
 
311
        if current_cnt < 0:
 
312
            current_cnt = 0
 
313
            
 
314
        if current_cnt > total_cnt:
 
315
            total_cnt = current_cnt
 
316
        
 
317
        ## # optional corner case optimisation 
 
318
        ## # currently does not seem to fire so costs more than saved.
 
319
        ## # trivial optimal case:
 
320
        ## # NB if callers are doing a clear and restore with
 
321
        ## # the saved values, this will prevent that:
 
322
        ## # in that case add a restore method that calls
 
323
        ## # _do_update or some such
 
324
        ## if (self.last_msg == msg and
 
325
        ##     self.last_cnt == current_cnt and
 
326
        ##     self.last_total == total_cnt and
 
327
        ##     self.child_fraction == child_fraction):
 
328
        ##     return
 
329
 
 
330
        old_msg = self.last_msg
 
331
        # save these for the tick() function
 
332
        self.last_msg = msg
 
333
        self.last_cnt = current_cnt
 
334
        self.last_total = total_cnt
 
335
        self.child_fraction = child_fraction
 
336
 
 
337
        # each function call takes 20ms/4000 = 0.005 ms, 
 
338
        # but multiple that by 4000 calls -> starts to cost.
 
339
        # so anything to make this function call faster
 
340
        # will improve base 'diff' time by up to 0.1 seconds.
 
341
        if old_msg == self.last_msg and self.throttle():
 
342
            return
 
343
 
 
344
        if self.show_eta and self.start_time and self.last_total:
 
345
            eta = get_eta(self.start_time, self.last_cnt + self.child_fraction, 
 
346
                    self.last_total, last_updates = self.last_updates)
 
347
            eta_str = " " + str_tdelta(eta)
 
348
        else:
 
349
            eta_str = ""
 
350
 
 
351
        if self.show_spinner:
 
352
            spin_str = self.SPIN_CHARS[self.spin_pos % 4] + ' '            
 
353
        else:
 
354
            spin_str = ''
 
355
 
 
356
        # always update this; it's also used for the bar
 
357
        self.spin_pos += 1
 
358
 
 
359
        if self.show_pct and self.last_total and self.last_cnt:
 
360
            pct = 100.0 * ((self.last_cnt + self.child_fraction) / self.last_total)
 
361
            pct_str = ' (%5.1f%%)' % pct
 
362
        else:
 
363
            pct_str = ''
 
364
 
 
365
        if not self.show_count:
 
366
            count_str = ''
 
367
        elif self.last_cnt is None:
 
368
            count_str = ''
 
369
        elif self.last_total is None:
 
370
            count_str = ' %i' % (self.last_cnt)
 
371
        else:
 
372
            # make both fields the same size
 
373
            t = '%i' % (self.last_total)
 
374
            c = '%*i' % (len(t), self.last_cnt)
 
375
            count_str = ' ' + c + '/' + t 
 
376
 
 
377
        if self.show_bar:
 
378
            # progress bar, if present, soaks up all remaining space
 
379
            cols = self.width - 1 - len(self.last_msg) - len(spin_str) - len(pct_str) \
 
380
                   - len(eta_str) - len(count_str) - 3
 
381
 
 
382
            if self.last_total:
 
383
                # number of markers highlighted in bar
 
384
                markers = int(round(float(cols) * 
 
385
                              (self.last_cnt + self.child_fraction) / self.last_total))
 
386
                bar_str = '[' + ('=' * markers).ljust(cols) + '] '
 
387
            elif False:
 
388
                # don't know total, so can't show completion.
 
389
                # so just show an expanded spinning thingy
 
390
                m = self.spin_pos % cols
 
391
                ms = (' ' * m + '*').ljust(cols)
 
392
                
 
393
                bar_str = '[' + ms + '] '
 
394
            else:
 
395
                bar_str = ''
 
396
        else:
 
397
            bar_str = ''
 
398
 
 
399
        m = spin_str + bar_str + self.last_msg + count_str + pct_str + eta_str
 
400
 
 
401
        assert len(m) < self.width
 
402
        self.to_file.write('\r' + m.ljust(self.width - 1))
 
403
        #self.to_file.flush()
 
404
            
 
405
    def clear(self):        
 
406
        self.to_file.write('\r%s\r' % (' ' * (self.width - 1)))
 
407
        #self.to_file.flush()        
 
408
 
 
409
 
 
410
class ChildProgress(_BaseProgressBar):
 
411
    """A progress indicator that pushes its data to the parent"""
 
412
 
 
413
    def __init__(self, _stack, **kwargs):
 
414
        _BaseProgressBar.__init__(self, _stack=_stack, **kwargs)
 
415
        self.parent = _stack.top()
 
416
        self.current = None
 
417
        self.total = None
 
418
        self.child_fraction = 0
 
419
        self.message = None
 
420
 
 
421
    def update(self, msg, current_cnt=None, total_cnt=None):
 
422
        self.current = current_cnt
 
423
        self.total = total_cnt
 
424
        self.message = msg
 
425
        self.child_fraction = 0
 
426
        self.tick()
 
427
 
 
428
    def child_update(self, message, current, total):
 
429
        if current is None or total == 0:
 
430
            self.child_fraction = 0
 
431
        else:
 
432
            self.child_fraction = float(current) / total
 
433
        self.tick()
 
434
 
 
435
    def tick(self):
 
436
        if self.current is None:
 
437
            count = None
 
438
        else:
 
439
            count = self.current+self.child_fraction
 
440
            if count > self.total:
 
441
                if __debug__:
 
442
                    mutter('clamping count of %d to %d' % (count, self.total))
 
443
                count = self.total
 
444
        self.parent.child_update(self.message, count, self.total)
 
445
 
 
446
    def clear(self):
 
447
        pass
 
448
 
 
449
    def note(self, *args, **kwargs):
 
450
        self.parent.note(*args, **kwargs)
 
451
 
 
452
 
 
453
def str_tdelta(delt):
 
454
    if delt is None:
 
455
        return "-:--:--"
 
456
    delt = int(round(delt))
 
457
    return '%d:%02d:%02d' % (delt/3600,
 
458
                             (delt/60) % 60,
 
459
                             delt % 60)
 
460
 
 
461
 
 
462
def get_eta(start_time, current, total, enough_samples=3, last_updates=None, n_recent=10):
 
463
    if start_time is None:
 
464
        return None
 
465
 
 
466
    if not total:
 
467
        return None
 
468
 
 
469
    if current < enough_samples:
 
470
        return None
 
471
 
 
472
    if current > total:
 
473
        return None                     # wtf?
 
474
 
 
475
    elapsed = time.clock() - start_time
 
476
 
 
477
    if elapsed < 2.0:                   # not enough time to estimate
 
478
        return None
 
479
    
 
480
    total_duration = float(elapsed) * float(total) / float(current)
 
481
 
 
482
    assert total_duration >= elapsed
 
483
 
 
484
    if last_updates and len(last_updates) >= n_recent:
 
485
        while len(last_updates) > n_recent:
 
486
            last_updates.popleft()
 
487
        avg = sum(last_updates) / float(len(last_updates))
 
488
        time_left = avg * (total - current)
 
489
 
 
490
        old_time_left = total_duration - elapsed
 
491
 
 
492
        # We could return the average, or some other value here
 
493
        return (time_left + old_time_left) / 2
 
494
 
 
495
    return total_duration - elapsed
 
496
 
 
497
 
 
498
class ProgressPhase(object):
 
499
    """Update progress object with the current phase"""
 
500
    def __init__(self, message, total, pb):
 
501
        object.__init__(self)
 
502
        self.pb = pb
 
503
        self.message = message
 
504
        self.total = total
 
505
        self.cur_phase = None
 
506
 
 
507
    def next_phase(self):
 
508
        if self.cur_phase is None:
 
509
            self.cur_phase = 0
 
510
        else:
 
511
            self.cur_phase += 1
 
512
        assert self.cur_phase < self.total 
 
513
        self.pb.update(self.message, self.cur_phase, self.total)
 
514
 
 
515
 
 
516
def run_tests():
 
517
    import doctest
 
518
    result = doctest.testmod()
 
519
    if result[1] > 0:
 
520
        if result[0] == 0:
 
521
            print "All tests passed"
 
522
    else:
 
523
        print "No tests to run"
 
524
 
 
525
 
 
526
def demo():
 
527
    sleep = time.sleep
 
528
    
 
529
    print 'dumb-terminal test:'
 
530
    pb = DotsProgressBar()
 
531
    for i in range(100):
 
532
        pb.update('Leoparden', i, 99)
 
533
        sleep(0.1)
 
534
    sleep(1.5)
 
535
    pb.clear()
 
536
    sleep(1.5)
 
537
    
 
538
    print 'smart-terminal test:'
 
539
    pb = ProgressBar(show_pct=True, show_bar=True, show_spinner=False)
 
540
    for i in range(100):
 
541
        pb.update('Elephanten', i, 99)
 
542
        sleep(0.1)
 
543
    sleep(2)
 
544
    pb.clear()
 
545
    sleep(1)
 
546
 
 
547
    print 'done!'
 
548
 
 
549
if __name__ == "__main__":
 
550
    demo()