/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/progress.py

  • Committer: Robert Collins
  • Date: 2006-04-19 23:32:08 UTC
  • mto: (1711.1.1 integration)
  • mto: This revision was merged to the branch mainline in revision 1674.
  • Revision ID: robertc@robertcollins.net-20060419233208-2ed6906796994316
Make knit the default format.
Adjust affect tests to either have knit specific values or to be more generic,
as appropriate.
Disable all SFTP prefetching for known paramikos - direct readv support is now
a TODO.

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005 Aaron Bentley <aaron.bentley@utoronto.ca>
 
2
# Copyright (C) 2005, 2006 Canonical <canonical.com>
 
3
#
 
4
#    This program is free software; you can redistribute it and/or modify
 
5
#    it under the terms of the GNU General Public License as published by
 
6
#    the Free Software Foundation; either version 2 of the License, or
 
7
#    (at your option) any later version.
 
8
#
 
9
#    This program is distributed in the hope that it will be useful,
 
10
#    but WITHOUT ANY WARRANTY; without even the implied warranty of
 
11
#    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
12
#    GNU General Public License for more details.
 
13
#
 
14
#    You should have received a copy of the GNU General Public License
 
15
#    along with this program; if not, write to the Free Software
 
16
#    Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
17
 
 
18
 
 
19
"""Simple text-mode progress indicator.
 
20
 
 
21
To display an indicator, create a ProgressBar object.  Call it,
 
22
passing Progress objects indicating the current state.  When done,
 
23
call clear().
 
24
 
 
25
Progress is suppressed when output is not sent to a terminal, so as
 
26
not to clutter log files.
 
27
"""
 
28
 
 
29
# TODO: should be a global option e.g. --silent that disables progress
 
30
# indicators, preferably without needing to adjust all code that
 
31
# potentially calls them.
 
32
 
 
33
# TODO: If not on a tty perhaps just print '......' for the benefit of IDEs, etc
 
34
 
 
35
# TODO: Optionally show elapsed time instead/as well as ETA; nicer
 
36
# when the rate is unpredictable
 
37
 
 
38
 
 
39
import sys
 
40
import time
 
41
import os
 
42
from collections import deque
 
43
 
 
44
 
 
45
import bzrlib.errors as errors
 
46
from bzrlib.trace import mutter 
 
47
 
 
48
 
 
49
def _supports_progress(f):
 
50
    if not hasattr(f, 'isatty'):
 
51
        return False
 
52
    if not f.isatty():
 
53
        return False
 
54
    if os.environ.get('TERM') == 'dumb':
 
55
        # e.g. emacs compile window
 
56
        return False
 
57
    return True
 
58
 
 
59
 
 
60
 
 
61
def ProgressBar(to_file=sys.stderr, **kwargs):
 
62
    """Abstract factory"""
 
63
    if _supports_progress(to_file):
 
64
        return TTYProgressBar(to_file=to_file, **kwargs)
 
65
    else:
 
66
        return DotsProgressBar(to_file=to_file, **kwargs)
 
67
    
 
68
 
 
69
class ProgressBarStack(object):
 
70
    """A stack of progress bars."""
 
71
 
 
72
    def __init__(self,
 
73
                 to_file=sys.stderr,
 
74
                 show_pct=False,
 
75
                 show_spinner=True,
 
76
                 show_eta=False,
 
77
                 show_bar=True,
 
78
                 show_count=True,
 
79
                 to_messages_file=sys.stdout,
 
80
                 klass=None):
 
81
        """Setup the stack with the parameters the progress bars should have."""
 
82
        self._to_file = to_file
 
83
        self._show_pct = show_pct
 
84
        self._show_spinner = show_spinner
 
85
        self._show_eta = show_eta
 
86
        self._show_bar = show_bar
 
87
        self._show_count = show_count
 
88
        self._to_messages_file = to_messages_file
 
89
        self._stack = []
 
90
        self._klass = klass or TTYProgressBar
 
91
 
 
92
    def top(self):
 
93
        if len(self._stack) != 0:
 
94
            return self._stack[-1]
 
95
        else:
 
96
            return None
 
97
 
 
98
    def bottom(self):
 
99
        if len(self._stack) != 0:
 
100
            return self._stack[0]
 
101
        else:
 
102
            return None
 
103
 
 
104
    def get_nested(self):
 
105
        """Return a nested progress bar."""
 
106
        if len(self._stack) == 0:
 
107
            func = self._klass
 
108
        else:
 
109
            func = self.top().child_progress
 
110
        new_bar = func(to_file=self._to_file,
 
111
                       show_pct=self._show_pct,
 
112
                       show_spinner=self._show_spinner,
 
113
                       show_eta=self._show_eta,
 
114
                       show_bar=self._show_bar,
 
115
                       show_count=self._show_count,
 
116
                       to_messages_file=self._to_messages_file,
 
117
                       _stack=self)
 
118
        self._stack.append(new_bar)
 
119
        return new_bar
 
120
 
 
121
    def return_pb(self, bar):
 
122
        """Return bar after its been used."""
 
123
        if bar is not self._stack[-1]:
 
124
            raise errors.MissingProgressBarFinish()
 
125
        self._stack.pop()
 
126
 
 
127
 
 
128
class _BaseProgressBar(object):
 
129
 
 
130
    def __init__(self,
 
131
                 to_file=sys.stderr,
 
132
                 show_pct=False,
 
133
                 show_spinner=False,
 
134
                 show_eta=True,
 
135
                 show_bar=True,
 
136
                 show_count=True,
 
137
                 to_messages_file=sys.stdout,
 
138
                 _stack=None):
 
139
        object.__init__(self)
 
140
        self.to_file = to_file
 
141
        self.to_messages_file = to_messages_file
 
142
        self.last_msg = None
 
143
        self.last_cnt = None
 
144
        self.last_total = None
 
145
        self.show_pct = show_pct
 
146
        self.show_spinner = show_spinner
 
147
        self.show_eta = show_eta
 
148
        self.show_bar = show_bar
 
149
        self.show_count = show_count
 
150
        self._stack = _stack
 
151
        # seed throttler
 
152
        self.MIN_PAUSE = 0.1 # seconds
 
153
        now = time.clock()
 
154
        # starting now
 
155
        self.start_time = now
 
156
        # next update should not throttle
 
157
        self.last_update = now - self.MIN_PAUSE - 1
 
158
 
 
159
    def finished(self):
 
160
        """Return this bar to its progress stack."""
 
161
        self.clear()
 
162
        assert self._stack is not None
 
163
        self._stack.return_pb(self)
 
164
 
 
165
    def note(self, fmt_string, *args, **kwargs):
 
166
        """Record a note without disrupting the progress bar."""
 
167
        self.clear()
 
168
        self.to_messages_file.write(fmt_string % args)
 
169
        self.to_messages_file.write('\n')
 
170
 
 
171
    def child_progress(self, **kwargs):
 
172
        return ChildProgress(**kwargs)
 
173
 
 
174
 
 
175
class DummyProgress(_BaseProgressBar):
 
176
    """Progress-bar standin that does nothing.
 
177
 
 
178
    This can be used as the default argument for methods that
 
179
    take an optional progress indicator."""
 
180
    def tick(self):
 
181
        pass
 
182
 
 
183
    def update(self, msg=None, current=None, total=None):
 
184
        pass
 
185
 
 
186
    def child_update(self, message, current, total):
 
187
        pass
 
188
 
 
189
    def clear(self):
 
190
        pass
 
191
        
 
192
    def note(self, fmt_string, *args, **kwargs):
 
193
        """See _BaseProgressBar.note()."""
 
194
 
 
195
    def child_progress(self, **kwargs):
 
196
        return DummyProgress(**kwargs)
 
197
 
 
198
class DotsProgressBar(_BaseProgressBar):
 
199
 
 
200
    def __init__(self, **kwargs):
 
201
        _BaseProgressBar.__init__(self, **kwargs)
 
202
        self.last_msg = None
 
203
        self.need_nl = False
 
204
        
 
205
    def tick(self):
 
206
        self.update()
 
207
        
 
208
    def update(self, msg=None, current_cnt=None, total_cnt=None):
 
209
        if msg and msg != self.last_msg:
 
210
            if self.need_nl:
 
211
                self.to_file.write('\n')
 
212
            
 
213
            self.to_file.write(msg + ': ')
 
214
            self.last_msg = msg
 
215
        self.need_nl = True
 
216
        self.to_file.write('.')
 
217
        
 
218
    def clear(self):
 
219
        if self.need_nl:
 
220
            self.to_file.write('\n')
 
221
        
 
222
    def child_update(self, message, current, total):
 
223
        self.tick()
 
224
    
 
225
class TTYProgressBar(_BaseProgressBar):
 
226
    """Progress bar display object.
 
227
 
 
228
    Several options are available to control the display.  These can
 
229
    be passed as parameters to the constructor or assigned at any time:
 
230
 
 
231
    show_pct
 
232
        Show percentage complete.
 
233
    show_spinner
 
234
        Show rotating baton.  This ticks over on every update even
 
235
        if the values don't change.
 
236
    show_eta
 
237
        Show predicted time-to-completion.
 
238
    show_bar
 
239
        Show bar graph.
 
240
    show_count
 
241
        Show numerical counts.
 
242
 
 
243
    The output file should be in line-buffered or unbuffered mode.
 
244
    """
 
245
    SPIN_CHARS = r'/-\|'
 
246
 
 
247
 
 
248
    def __init__(self, **kwargs):
 
249
        from bzrlib.osutils import terminal_width
 
250
        _BaseProgressBar.__init__(self, **kwargs)
 
251
        self.spin_pos = 0
 
252
        self.width = terminal_width()
 
253
        self.start_time = None
 
254
        self.last_updates = deque()
 
255
        self.child_fraction = 0
 
256
    
 
257
 
 
258
    def throttle(self):
 
259
        """Return True if the bar was updated too recently"""
 
260
        # time.time consistently takes 40/4000 ms = 0.01 ms.
 
261
        # but every single update to the pb invokes it.
 
262
        # so we use time.clock which takes 20/4000 ms = 0.005ms
 
263
        # on the downside, time.clock() appears to have approximately
 
264
        # 10ms granularity, so we treat a zero-time change as 'throttled.'
 
265
        
 
266
        now = time.clock()
 
267
        interval = now - self.last_update
 
268
        # if interval > 0
 
269
        if interval < self.MIN_PAUSE:
 
270
            return True
 
271
 
 
272
        self.last_updates.append(now - self.last_update)
 
273
        self.last_update = now
 
274
        return False
 
275
        
 
276
 
 
277
    def tick(self):
 
278
        self.update(self.last_msg, self.last_cnt, self.last_total, 
 
279
                    self.child_fraction)
 
280
 
 
281
    def child_update(self, message, current, total):
 
282
        if current is not None and total != 0:
 
283
            child_fraction = float(current) / total
 
284
            if self.last_cnt is None:
 
285
                pass
 
286
            elif self.last_cnt + child_fraction <= self.last_total:
 
287
                self.child_fraction = child_fraction
 
288
            else:
 
289
                mutter('not updating child fraction')
 
290
        if self.last_msg is None:
 
291
            self.last_msg = ''
 
292
        self.tick()
 
293
 
 
294
 
 
295
    def update(self, msg, current_cnt=None, total_cnt=None, 
 
296
               child_fraction=0):
 
297
        """Update and redraw progress bar."""
 
298
 
 
299
        if current_cnt < 0:
 
300
            current_cnt = 0
 
301
            
 
302
        if current_cnt > total_cnt:
 
303
            total_cnt = current_cnt
 
304
        
 
305
        ## # optional corner case optimisation 
 
306
        ## # currently does not seem to fire so costs more than saved.
 
307
        ## # trivial optimal case:
 
308
        ## # NB if callers are doing a clear and restore with
 
309
        ## # the saved values, this will prevent that:
 
310
        ## # in that case add a restore method that calls
 
311
        ## # _do_update or some such
 
312
        ## if (self.last_msg == msg and
 
313
        ##     self.last_cnt == current_cnt and
 
314
        ##     self.last_total == total_cnt and
 
315
        ##     self.child_fraction == child_fraction):
 
316
        ##     return
 
317
 
 
318
        old_msg = self.last_msg
 
319
        # save these for the tick() function
 
320
        self.last_msg = msg
 
321
        self.last_cnt = current_cnt
 
322
        self.last_total = total_cnt
 
323
        self.child_fraction = child_fraction
 
324
 
 
325
        # each function call takes 20ms/4000 = 0.005 ms, 
 
326
        # but multiple that by 4000 calls -> starts to cost.
 
327
        # so anything to make this function call faster
 
328
        # will improve base 'diff' time by up to 0.1 seconds.
 
329
        if old_msg == self.last_msg and self.throttle():
 
330
            return
 
331
 
 
332
        if self.show_eta and self.start_time and self.last_total:
 
333
            eta = get_eta(self.start_time, self.last_cnt + self.child_fraction, 
 
334
                    self.last_total, last_updates = self.last_updates)
 
335
            eta_str = " " + str_tdelta(eta)
 
336
        else:
 
337
            eta_str = ""
 
338
 
 
339
        if self.show_spinner:
 
340
            spin_str = self.SPIN_CHARS[self.spin_pos % 4] + ' '            
 
341
        else:
 
342
            spin_str = ''
 
343
 
 
344
        # always update this; it's also used for the bar
 
345
        self.spin_pos += 1
 
346
 
 
347
        if self.show_pct and self.last_total and self.last_cnt:
 
348
            pct = 100.0 * ((self.last_cnt + self.child_fraction) / self.last_total)
 
349
            pct_str = ' (%5.1f%%)' % pct
 
350
        else:
 
351
            pct_str = ''
 
352
 
 
353
        if not self.show_count:
 
354
            count_str = ''
 
355
        elif self.last_cnt is None:
 
356
            count_str = ''
 
357
        elif self.last_total is None:
 
358
            count_str = ' %i' % (self.last_cnt)
 
359
        else:
 
360
            # make both fields the same size
 
361
            t = '%i' % (self.last_total)
 
362
            c = '%*i' % (len(t), self.last_cnt)
 
363
            count_str = ' ' + c + '/' + t 
 
364
 
 
365
        if self.show_bar:
 
366
            # progress bar, if present, soaks up all remaining space
 
367
            cols = self.width - 1 - len(self.last_msg) - len(spin_str) - len(pct_str) \
 
368
                   - len(eta_str) - len(count_str) - 3
 
369
 
 
370
            if self.last_total:
 
371
                # number of markers highlighted in bar
 
372
                markers = int(round(float(cols) * 
 
373
                              (self.last_cnt + self.child_fraction) / self.last_total))
 
374
                bar_str = '[' + ('=' * markers).ljust(cols) + '] '
 
375
            elif False:
 
376
                # don't know total, so can't show completion.
 
377
                # so just show an expanded spinning thingy
 
378
                m = self.spin_pos % cols
 
379
                ms = (' ' * m + '*').ljust(cols)
 
380
                
 
381
                bar_str = '[' + ms + '] '
 
382
            else:
 
383
                bar_str = ''
 
384
        else:
 
385
            bar_str = ''
 
386
 
 
387
        m = spin_str + bar_str + self.last_msg + count_str + pct_str + eta_str
 
388
 
 
389
        assert len(m) < self.width
 
390
        self.to_file.write('\r' + m.ljust(self.width - 1))
 
391
        #self.to_file.flush()
 
392
            
 
393
    def clear(self):        
 
394
        self.to_file.write('\r%s\r' % (' ' * (self.width - 1)))
 
395
        #self.to_file.flush()        
 
396
 
 
397
 
 
398
class ChildProgress(_BaseProgressBar):
 
399
    """A progress indicator that pushes its data to the parent"""
 
400
    def __init__(self, _stack, **kwargs):
 
401
        _BaseProgressBar.__init__(self, _stack=_stack, **kwargs)
 
402
        self.parent = _stack.top()
 
403
        self.current = None
 
404
        self.total = None
 
405
        self.child_fraction = 0
 
406
        self.message = None
 
407
 
 
408
    def update(self, msg, current_cnt=None, total_cnt=None):
 
409
        self.current = current_cnt
 
410
        self.total = total_cnt
 
411
        self.message = msg
 
412
        self.child_fraction = 0
 
413
        self.tick()
 
414
 
 
415
    def child_update(self, message, current, total):
 
416
        if current is None or total == 0:
 
417
            self.child_fraction = 0
 
418
        else:
 
419
            self.child_fraction = float(current) / total
 
420
        self.tick()
 
421
 
 
422
    def tick(self):
 
423
        if self.current is None:
 
424
            count = None
 
425
        else:
 
426
            count = self.current+self.child_fraction
 
427
            if count > self.total:
 
428
                if __debug__:
 
429
                    mutter('clamping count of %d to %d' % (count, self.total))
 
430
                count = self.total
 
431
        self.parent.child_update(self.message, count, self.total)
 
432
 
 
433
    def clear(self):
 
434
        pass
 
435
 
 
436
    def note(self, *args, **kwargs):
 
437
        self.parent.note(*args, **kwargs)
 
438
 
 
439
 
 
440
def str_tdelta(delt):
 
441
    if delt is None:
 
442
        return "-:--:--"
 
443
    delt = int(round(delt))
 
444
    return '%d:%02d:%02d' % (delt/3600,
 
445
                             (delt/60) % 60,
 
446
                             delt % 60)
 
447
 
 
448
 
 
449
def get_eta(start_time, current, total, enough_samples=3, last_updates=None, n_recent=10):
 
450
    if start_time is None:
 
451
        return None
 
452
 
 
453
    if not total:
 
454
        return None
 
455
 
 
456
    if current < enough_samples:
 
457
        return None
 
458
 
 
459
    if current > total:
 
460
        return None                     # wtf?
 
461
 
 
462
    elapsed = time.clock() - start_time
 
463
 
 
464
    if elapsed < 2.0:                   # not enough time to estimate
 
465
        return None
 
466
    
 
467
    total_duration = float(elapsed) * float(total) / float(current)
 
468
 
 
469
    assert total_duration >= elapsed
 
470
 
 
471
    if last_updates and len(last_updates) >= n_recent:
 
472
        while len(last_updates) > n_recent:
 
473
            last_updates.popleft()
 
474
        avg = sum(last_updates) / float(len(last_updates))
 
475
        time_left = avg * (total - current)
 
476
 
 
477
        old_time_left = total_duration - elapsed
 
478
 
 
479
        # We could return the average, or some other value here
 
480
        return (time_left + old_time_left) / 2
 
481
 
 
482
    return total_duration - elapsed
 
483
 
 
484
 
 
485
class ProgressPhase(object):
 
486
    """Update progress object with the current phase"""
 
487
    def __init__(self, message, total, pb):
 
488
        object.__init__(self)
 
489
        self.pb = pb
 
490
        self.message = message
 
491
        self.total = total
 
492
        self.cur_phase = None
 
493
 
 
494
    def next_phase(self):
 
495
        if self.cur_phase is None:
 
496
            self.cur_phase = 0
 
497
        else:
 
498
            self.cur_phase += 1
 
499
        assert self.cur_phase < self.total 
 
500
        self.pb.update(self.message, self.cur_phase, self.total)
 
501
 
 
502
 
 
503
def run_tests():
 
504
    import doctest
 
505
    result = doctest.testmod()
 
506
    if result[1] > 0:
 
507
        if result[0] == 0:
 
508
            print "All tests passed"
 
509
    else:
 
510
        print "No tests to run"
 
511
 
 
512
 
 
513
def demo():
 
514
    sleep = time.sleep
 
515
    
 
516
    print 'dumb-terminal test:'
 
517
    pb = DotsProgressBar()
 
518
    for i in range(100):
 
519
        pb.update('Leoparden', i, 99)
 
520
        sleep(0.1)
 
521
    sleep(1.5)
 
522
    pb.clear()
 
523
    sleep(1.5)
 
524
    
 
525
    print 'smart-terminal test:'
 
526
    pb = ProgressBar(show_pct=True, show_bar=True, show_spinner=False)
 
527
    for i in range(100):
 
528
        pb.update('Elephanten', i, 99)
 
529
        sleep(0.1)
 
530
    sleep(2)
 
531
    pb.clear()
 
532
    sleep(1)
 
533
 
 
534
    print 'done!'
 
535
 
 
536
if __name__ == "__main__":
 
537
    demo()