/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/progress.py

  • Committer: Martin Pool
  • Date: 2009-06-19 07:28:41 UTC
  • mto: This revision was merged to the branch mainline in revision 4558.
  • Revision ID: mbp@sourcefrog.net-20090619072841-ai67v7p1cy824mq2
ProgressTask now talks to ProgressView; easier to test

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005, 2006, 2008, 2009 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
 
 
18
"""Progress indicators.
 
19
 
 
20
The usual way to use this is via bzrlib.ui.ui_factory.nested_progress_bar which
 
21
will manage a conceptual stack of nested activities.
 
22
"""
 
23
 
 
24
 
 
25
import sys
 
26
import time
 
27
import os
 
28
import warnings
 
29
 
 
30
 
 
31
from bzrlib import (
 
32
    errors,
 
33
    osutils,
 
34
    trace,
 
35
    ui,
 
36
    )
 
37
from bzrlib.trace import mutter
 
38
from bzrlib.symbol_versioning import (
 
39
    deprecated_function,
 
40
    deprecated_in,
 
41
    deprecated_method,
 
42
    )
 
43
 
 
44
 
 
45
def _supports_progress(f):
 
46
    """Detect if we can use pretty progress bars on file F.
 
47
 
 
48
    If this returns true we expect that a human may be looking at that
 
49
    output, and that we can repaint a line to update it.
 
50
 
 
51
    This doesn't check the policy for whether we *should* use them.
 
52
    """
 
53
    isatty = getattr(f, 'isatty', None)
 
54
    if isatty is None:
 
55
        return False
 
56
    if not isatty():
 
57
        return False
 
58
    if os.environ.get('TERM') == 'dumb':
 
59
        # e.g. emacs compile window
 
60
        return False
 
61
    return True
 
62
 
 
63
 
 
64
class ProgressTask(object):
 
65
    """Model component of a progress indicator.
 
66
 
 
67
    Most code that needs to indicate progress should update one of these,
 
68
    and it will in turn update the display, if one is present.
 
69
 
 
70
    Code updating the task may also set fields as hints about how to display
 
71
    it: show_pct, show_spinner, show_eta, show_count, show_bar.  UIs
 
72
    will not necessarily respect all these fields.
 
73
    """
 
74
 
 
75
    def __init__(self, parent_task=None, ui_factory=None, progress_view=None):
 
76
        """Construct a new progress task.
 
77
 
 
78
        :param parent_task: Enclosing ProgressTask or None.
 
79
 
 
80
        :param progress_view: ProgressView to display this ProgressTask.
 
81
 
 
82
        :param ui_factory: The UI factory that will display updates; 
 
83
            deprecated in favor of passing progress_view directly.
 
84
 
 
85
        Normally you should not call this directly but rather through
 
86
        `ui_factory.nested_progress_bar`.
 
87
        """
 
88
        self._parent_task = parent_task
 
89
        self._last_update = 0
 
90
        self.total_cnt = None
 
91
        self.current_cnt = None
 
92
        self.msg = ''
 
93
        # TODO: deprecate passing ui_factory
 
94
        self.ui_factory = ui_factory
 
95
        self.progress_view = progress_view
 
96
        self.show_pct = False
 
97
        self.show_spinner = True
 
98
        self.show_eta = False,
 
99
        self.show_count = True
 
100
        self.show_bar = True
 
101
 
 
102
    def __repr__(self):
 
103
        return '%s(%r/%r, msg=%r)' % (
 
104
            self.__class__.__name__,
 
105
            self.current_cnt,
 
106
            self.total_cnt,
 
107
            self.msg)
 
108
 
 
109
    def update(self, msg, current_cnt=None, total_cnt=None):
 
110
        self.msg = msg
 
111
        self.current_cnt = current_cnt
 
112
        if total_cnt:
 
113
            self.total_cnt = total_cnt
 
114
        if self.progress_view:
 
115
            self.progress_view.show_progress(self)
 
116
        else:
 
117
            self.ui_factory._progress_updated(self)
 
118
 
 
119
    def tick(self):
 
120
        self.update(self.msg)
 
121
 
 
122
    def finished(self):
 
123
        if self.progress_view:
 
124
            self.progress_view.task_finished(self)
 
125
        else:
 
126
            self.ui_factory._progress_finished(self)
 
127
 
 
128
    def make_sub_task(self):
 
129
        return ProgressTask(self, ui_factory=self.ui_factory,
 
130
            progress_view=self.progress_view)
 
131
 
 
132
    def _overall_completion_fraction(self, child_fraction=0.0):
 
133
        """Return fractional completion of this task and its parents
 
134
 
 
135
        Returns None if no completion can be computed."""
 
136
        if self.current_cnt is not None and self.total_cnt:
 
137
            own_fraction = (float(self.current_cnt) + child_fraction) / self.total_cnt
 
138
        else:
 
139
            # if this task has no estimation, it just passes on directly
 
140
            # whatever the child has measured...
 
141
            own_fraction = child_fraction
 
142
        if self._parent_task is None:
 
143
            return own_fraction
 
144
        else:
 
145
            if own_fraction is None:
 
146
                own_fraction = 0.0
 
147
            return self._parent_task._overall_completion_fraction(own_fraction)
 
148
 
 
149
    def note(self, fmt_string, *args):
 
150
        """Record a note without disrupting the progress bar."""
 
151
        # XXX: shouldn't be here; put it in mutter or the ui instead
 
152
        if args:
 
153
            self.ui_factory.note(fmt_string % args)
 
154
        else:
 
155
            self.ui_factory.note(fmt_string)
 
156
 
 
157
    def clear(self):
 
158
        # XXX: shouldn't be here; put it in mutter or the ui instead
 
159
        if self.progress_view:
 
160
            self.progress_view.clear()
 
161
        else:
 
162
            self.ui_factory.clear_term()
 
163
 
 
164
 
 
165
@deprecated_function(deprecated_in((1, 16, 0)))
 
166
def ProgressBar(to_file=None, **kwargs):
 
167
    """Abstract factory"""
 
168
    if to_file is None:
 
169
        to_file = sys.stderr
 
170
    requested_bar_type = os.environ.get('BZR_PROGRESS_BAR')
 
171
    # An value of '' or not set reverts to standard processing
 
172
    if requested_bar_type in (None, ''):
 
173
        if _supports_progress(to_file):
 
174
            return TTYProgressBar(to_file=to_file, **kwargs)
 
175
        else:
 
176
            return DummyProgress(to_file=to_file, **kwargs)
 
177
    else:
 
178
        # Minor sanitation to prevent spurious errors
 
179
        requested_bar_type = requested_bar_type.lower().strip()
 
180
        # TODO: jam 20060710 Arguably we shouldn't raise an exception
 
181
        #       but should instead just disable progress bars if we
 
182
        #       don't recognize the type
 
183
        if requested_bar_type not in _progress_bar_types:
 
184
            raise errors.InvalidProgressBarType(requested_bar_type,
 
185
                                                _progress_bar_types.keys())
 
186
        return _progress_bar_types[requested_bar_type](to_file=to_file, **kwargs)
 
187
 
 
188
 
 
189
class _BaseProgressBar(object):
 
190
 
 
191
    def __init__(self,
 
192
                 to_file=None,
 
193
                 show_pct=False,
 
194
                 show_spinner=False,
 
195
                 show_eta=False,
 
196
                 show_bar=True,
 
197
                 show_count=True,
 
198
                 to_messages_file=None,
 
199
                 _stack=None):
 
200
        object.__init__(self)
 
201
        if to_file is None:
 
202
            to_file = sys.stderr
 
203
        if to_messages_file is None:
 
204
            to_messages_file = sys.stdout
 
205
        self.to_file = to_file
 
206
        self.to_messages_file = to_messages_file
 
207
        self.last_msg = None
 
208
        self.last_cnt = None
 
209
        self.last_total = None
 
210
        self.show_pct = show_pct
 
211
        self.show_spinner = show_spinner
 
212
        self.show_eta = show_eta
 
213
        self.show_bar = show_bar
 
214
        self.show_count = show_count
 
215
        self._stack = _stack
 
216
        # seed throttler
 
217
        self.MIN_PAUSE = 0.1 # seconds
 
218
        now = time.time()
 
219
        # starting now
 
220
        self.start_time = now
 
221
        # next update should not throttle
 
222
        self.last_update = now - self.MIN_PAUSE - 1
 
223
 
 
224
    def finished(self):
 
225
        """Return this bar to its progress stack."""
 
226
        self.clear()
 
227
        self._stack.return_pb(self)
 
228
 
 
229
    def note(self, fmt_string, *args, **kwargs):
 
230
        """Record a note without disrupting the progress bar."""
 
231
        self.clear()
 
232
        self.to_messages_file.write(fmt_string % args)
 
233
        self.to_messages_file.write('\n')
 
234
 
 
235
    @deprecated_function(deprecated_in((1, 16, 0)))
 
236
    def child_progress(self, **kwargs):
 
237
        return ChildProgress(**kwargs)
 
238
 
 
239
 
 
240
class DummyProgress(_BaseProgressBar):
 
241
    """Progress-bar standin that does nothing.
 
242
 
 
243
    This can be used as the default argument for methods that
 
244
    take an optional progress indicator."""
 
245
 
 
246
    def tick(self):
 
247
        pass
 
248
 
 
249
    def update(self, msg=None, current=None, total=None):
 
250
        pass
 
251
 
 
252
    def child_update(self, message, current, total):
 
253
        pass
 
254
 
 
255
    def clear(self):
 
256
        pass
 
257
 
 
258
    def note(self, fmt_string, *args, **kwargs):
 
259
        """See _BaseProgressBar.note()."""
 
260
 
 
261
    def child_progress(self, **kwargs):
 
262
        return DummyProgress(**kwargs)
 
263
 
 
264
 
 
265
class DotsProgressBar(_BaseProgressBar):
 
266
 
 
267
    @deprecated_function(deprecated_in((1, 16, 0)))
 
268
    def __init__(self, **kwargs):
 
269
        _BaseProgressBar.__init__(self, **kwargs)
 
270
        self.last_msg = None
 
271
        self.need_nl = False
 
272
 
 
273
    def tick(self):
 
274
        self.update()
 
275
 
 
276
    def update(self, msg=None, current_cnt=None, total_cnt=None):
 
277
        if msg and msg != self.last_msg:
 
278
            if self.need_nl:
 
279
                self.to_file.write('\n')
 
280
            self.to_file.write(msg + ': ')
 
281
            self.last_msg = msg
 
282
        self.need_nl = True
 
283
        self.to_file.write('.')
 
284
 
 
285
    def clear(self):
 
286
        if self.need_nl:
 
287
            self.to_file.write('\n')
 
288
        self.need_nl = False
 
289
 
 
290
    def child_update(self, message, current, total):
 
291
        self.tick()
 
292
 
 
293
 
 
294
class TTYProgressBar(_BaseProgressBar):
 
295
    """Progress bar display object.
 
296
 
 
297
    Several options are available to control the display.  These can
 
298
    be passed as parameters to the constructor or assigned at any time:
 
299
 
 
300
    show_pct
 
301
        Show percentage complete.
 
302
    show_spinner
 
303
        Show rotating baton.  This ticks over on every update even
 
304
        if the values don't change.
 
305
    show_eta
 
306
        Show predicted time-to-completion.
 
307
    show_bar
 
308
        Show bar graph.
 
309
    show_count
 
310
        Show numerical counts.
 
311
 
 
312
    The output file should be in line-buffered or unbuffered mode.
 
313
    """
 
314
    SPIN_CHARS = r'/-\|'
 
315
 
 
316
    @deprecated_function(deprecated_in((1, 16, 0)))
 
317
    def __init__(self, **kwargs):
 
318
        from bzrlib.osutils import terminal_width
 
319
        _BaseProgressBar.__init__(self, **kwargs)
 
320
        self.spin_pos = 0
 
321
        self.width = terminal_width()
 
322
        self.last_updates = []
 
323
        self._max_last_updates = 10
 
324
        self.child_fraction = 0
 
325
        self._have_output = False
 
326
 
 
327
    def throttle(self, old_msg):
 
328
        """Return True if the bar was updated too recently"""
 
329
        # time.time consistently takes 40/4000 ms = 0.01 ms.
 
330
        # time.clock() is faster, but gives us CPU time, not wall-clock time
 
331
        now = time.time()
 
332
        if self.start_time is not None and (now - self.start_time) < 1:
 
333
            return True
 
334
        if old_msg != self.last_msg:
 
335
            return False
 
336
        interval = now - self.last_update
 
337
        # if interval > 0
 
338
        if interval < self.MIN_PAUSE:
 
339
            return True
 
340
 
 
341
        self.last_updates.append(now - self.last_update)
 
342
        # Don't let the queue grow without bound
 
343
        self.last_updates = self.last_updates[-self._max_last_updates:]
 
344
        self.last_update = now
 
345
        return False
 
346
 
 
347
    def tick(self):
 
348
        self.update(self.last_msg, self.last_cnt, self.last_total,
 
349
                    self.child_fraction)
 
350
 
 
351
    def child_update(self, message, current, total):
 
352
        if current is not None and total != 0:
 
353
            child_fraction = float(current) / total
 
354
            if self.last_cnt is None:
 
355
                pass
 
356
            elif self.last_cnt + child_fraction <= self.last_total:
 
357
                self.child_fraction = child_fraction
 
358
        if self.last_msg is None:
 
359
            self.last_msg = ''
 
360
        self.tick()
 
361
 
 
362
    def update(self, msg, current_cnt=None, total_cnt=None,
 
363
            child_fraction=0):
 
364
        """Update and redraw progress bar.
 
365
        """
 
366
        if msg is None:
 
367
            msg = self.last_msg
 
368
 
 
369
        if total_cnt is None:
 
370
            total_cnt = self.last_total
 
371
 
 
372
        if current_cnt < 0:
 
373
            current_cnt = 0
 
374
 
 
375
        if current_cnt > total_cnt:
 
376
            total_cnt = current_cnt
 
377
 
 
378
        ## # optional corner case optimisation
 
379
        ## # currently does not seem to fire so costs more than saved.
 
380
        ## # trivial optimal case:
 
381
        ## # NB if callers are doing a clear and restore with
 
382
        ## # the saved values, this will prevent that:
 
383
        ## # in that case add a restore method that calls
 
384
        ## # _do_update or some such
 
385
        ## if (self.last_msg == msg and
 
386
        ##     self.last_cnt == current_cnt and
 
387
        ##     self.last_total == total_cnt and
 
388
        ##     self.child_fraction == child_fraction):
 
389
        ##     return
 
390
 
 
391
        if msg is None:
 
392
            msg = ''
 
393
 
 
394
        old_msg = self.last_msg
 
395
        # save these for the tick() function
 
396
        self.last_msg = msg
 
397
        self.last_cnt = current_cnt
 
398
        self.last_total = total_cnt
 
399
        self.child_fraction = child_fraction
 
400
 
 
401
        # each function call takes 20ms/4000 = 0.005 ms,
 
402
        # but multiple that by 4000 calls -> starts to cost.
 
403
        # so anything to make this function call faster
 
404
        # will improve base 'diff' time by up to 0.1 seconds.
 
405
        if self.throttle(old_msg):
 
406
            return
 
407
 
 
408
        if self.show_eta and self.start_time and self.last_total:
 
409
            eta = get_eta(self.start_time, self.last_cnt + self.child_fraction,
 
410
                    self.last_total, last_updates = self.last_updates)
 
411
            eta_str = " " + str_tdelta(eta)
 
412
        else:
 
413
            eta_str = ""
 
414
 
 
415
        if self.show_spinner:
 
416
            spin_str = self.SPIN_CHARS[self.spin_pos % 4] + ' '
 
417
        else:
 
418
            spin_str = ''
 
419
 
 
420
        # always update this; it's also used for the bar
 
421
        self.spin_pos += 1
 
422
 
 
423
        if self.show_pct and self.last_total and self.last_cnt:
 
424
            pct = 100.0 * ((self.last_cnt + self.child_fraction) / self.last_total)
 
425
            pct_str = ' (%5.1f%%)' % pct
 
426
        else:
 
427
            pct_str = ''
 
428
 
 
429
        if not self.show_count:
 
430
            count_str = ''
 
431
        elif self.last_cnt is None:
 
432
            count_str = ''
 
433
        elif self.last_total is None:
 
434
            count_str = ' %i' % (self.last_cnt)
 
435
        else:
 
436
            # make both fields the same size
 
437
            t = '%i' % (self.last_total)
 
438
            c = '%*i' % (len(t), self.last_cnt)
 
439
            count_str = ' ' + c + '/' + t
 
440
 
 
441
        if self.show_bar:
 
442
            # progress bar, if present, soaks up all remaining space
 
443
            cols = self.width - 1 - len(self.last_msg) - len(spin_str) - len(pct_str) \
 
444
                   - len(eta_str) - len(count_str) - 3
 
445
 
 
446
            if self.last_total:
 
447
                # number of markers highlighted in bar
 
448
                markers = int(round(float(cols) *
 
449
                              (self.last_cnt + self.child_fraction) / self.last_total))
 
450
                bar_str = '[' + ('=' * markers).ljust(cols) + '] '
 
451
            elif False:
 
452
                # don't know total, so can't show completion.
 
453
                # so just show an expanded spinning thingy
 
454
                m = self.spin_pos % cols
 
455
                ms = (' ' * m + '*').ljust(cols)
 
456
 
 
457
                bar_str = '[' + ms + '] '
 
458
            else:
 
459
                bar_str = ''
 
460
        else:
 
461
            bar_str = ''
 
462
 
 
463
        m = spin_str + bar_str + self.last_msg + count_str \
 
464
            + pct_str + eta_str
 
465
        self.to_file.write('\r%-*.*s' % (self.width - 1, self.width - 1, m))
 
466
        self._have_output = True
 
467
        #self.to_file.flush()
 
468
 
 
469
    def clear(self):
 
470
        if self._have_output:
 
471
            self.to_file.write('\r%s\r' % (' ' * (self.width - 1)))
 
472
        self._have_output = False
 
473
        #self.to_file.flush()
 
474
 
 
475
 
 
476
class ChildProgress(_BaseProgressBar):
 
477
    """A progress indicator that pushes its data to the parent"""
 
478
 
 
479
    @deprecated_function(deprecated_in((1, 16, 0)))
 
480
    def __init__(self, _stack, **kwargs):
 
481
        _BaseProgressBar.__init__(self, _stack=_stack, **kwargs)
 
482
        self.parent = _stack.top()
 
483
        self.current = None
 
484
        self.total = None
 
485
        self.child_fraction = 0
 
486
        self.message = None
 
487
 
 
488
    def update(self, msg, current_cnt=None, total_cnt=None):
 
489
        self.current = current_cnt
 
490
        if total_cnt is not None:
 
491
            self.total = total_cnt
 
492
        self.message = msg
 
493
        self.child_fraction = 0
 
494
        self.tick()
 
495
 
 
496
    def child_update(self, message, current, total):
 
497
        if current is None or total == 0:
 
498
            self.child_fraction = 0
 
499
        else:
 
500
            self.child_fraction = float(current) / total
 
501
        self.tick()
 
502
 
 
503
    def tick(self):
 
504
        if self.current is None:
 
505
            count = None
 
506
        else:
 
507
            count = self.current+self.child_fraction
 
508
            if count > self.total:
 
509
                if __debug__:
 
510
                    mutter('clamping count of %d to %d' % (count, self.total))
 
511
                count = self.total
 
512
        self.parent.child_update(self.message, count, self.total)
 
513
 
 
514
    def clear(self):
 
515
        pass
 
516
 
 
517
    def note(self, *args, **kwargs):
 
518
        self.parent.note(*args, **kwargs)
 
519
 
 
520
 
 
521
def str_tdelta(delt):
 
522
    if delt is None:
 
523
        return "-:--:--"
 
524
    delt = int(round(delt))
 
525
    return '%d:%02d:%02d' % (delt/3600,
 
526
                             (delt/60) % 60,
 
527
                             delt % 60)
 
528
 
 
529
 
 
530
def get_eta(start_time, current, total, enough_samples=3, last_updates=None, n_recent=10):
 
531
    if start_time is None:
 
532
        return None
 
533
 
 
534
    if not total:
 
535
        return None
 
536
 
 
537
    if current < enough_samples:
 
538
        return None
 
539
 
 
540
    if current > total:
 
541
        return None                     # wtf?
 
542
 
 
543
    elapsed = time.time() - start_time
 
544
 
 
545
    if elapsed < 2.0:                   # not enough time to estimate
 
546
        return None
 
547
 
 
548
    total_duration = float(elapsed) * float(total) / float(current)
 
549
 
 
550
    if last_updates and len(last_updates) >= n_recent:
 
551
        avg = sum(last_updates) / float(len(last_updates))
 
552
        time_left = avg * (total - current)
 
553
 
 
554
        old_time_left = total_duration - elapsed
 
555
 
 
556
        # We could return the average, or some other value here
 
557
        return (time_left + old_time_left) / 2
 
558
 
 
559
    return total_duration - elapsed
 
560
 
 
561
 
 
562
class ProgressPhase(object):
 
563
    """Update progress object with the current phase"""
 
564
    def __init__(self, message, total, pb):
 
565
        object.__init__(self)
 
566
        self.pb = pb
 
567
        self.message = message
 
568
        self.total = total
 
569
        self.cur_phase = None
 
570
 
 
571
    def next_phase(self):
 
572
        if self.cur_phase is None:
 
573
            self.cur_phase = 0
 
574
        else:
 
575
            self.cur_phase += 1
 
576
        self.pb.update(self.message, self.cur_phase, self.total)
 
577
 
 
578
 
 
579
_progress_bar_types = {}
 
580
_progress_bar_types['dummy'] = DummyProgress
 
581
_progress_bar_types['none'] = DummyProgress
 
582
_progress_bar_types['tty'] = TTYProgressBar
 
583
_progress_bar_types['dots'] = DotsProgressBar