/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/tests/__init__.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2007-09-25 09:20:14 UTC
  • mfrom: (2776.1.9 workingtree)
  • Revision ID: pqm@pqm.ubuntu.com-20070925092014-7t2piu8gmm5hvbks
(robertc) Introduce new method Tree.path_content_summary for use in commit refactoring. (Robert Collins)

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005, 2006, 2007 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
 
 
18
# TODO: Perhaps there should be an API to find out if bzr running under the
 
19
# test suite -- some plugins might want to avoid making intrusive changes if
 
20
# this is the case.  However, we want behaviour under to test to diverge as
 
21
# little as possible, so this should be used rarely if it's added at all.
 
22
# (Suggestion from j-a-meinel, 2005-11-24)
 
23
 
 
24
# NOTE: Some classes in here use camelCaseNaming() rather than
 
25
# underscore_naming().  That's for consistency with unittest; it's not the
 
26
# general style of bzrlib.  Please continue that consistency when adding e.g.
 
27
# new assertFoo() methods.
 
28
 
 
29
import atexit
 
30
import codecs
 
31
from cStringIO import StringIO
 
32
import difflib
 
33
import doctest
 
34
import errno
 
35
import logging
 
36
import os
 
37
from pprint import pformat
 
38
import random
 
39
import re
 
40
import shlex
 
41
import stat
 
42
from subprocess import Popen, PIPE
 
43
import sys
 
44
import tempfile
 
45
import unittest
 
46
import time
 
47
import warnings
 
48
 
 
49
 
 
50
from bzrlib import (
 
51
    bzrdir,
 
52
    debug,
 
53
    errors,
 
54
    memorytree,
 
55
    osutils,
 
56
    progress,
 
57
    ui,
 
58
    urlutils,
 
59
    workingtree,
 
60
    )
 
61
import bzrlib.branch
 
62
import bzrlib.commands
 
63
import bzrlib.timestamp
 
64
import bzrlib.export
 
65
import bzrlib.inventory
 
66
import bzrlib.iterablefile
 
67
import bzrlib.lockdir
 
68
try:
 
69
    import bzrlib.lsprof
 
70
except ImportError:
 
71
    # lsprof not available
 
72
    pass
 
73
from bzrlib.merge import merge_inner
 
74
import bzrlib.merge3
 
75
import bzrlib.plugin
 
76
from bzrlib.revision import common_ancestor
 
77
import bzrlib.store
 
78
from bzrlib import symbol_versioning
 
79
from bzrlib.symbol_versioning import (
 
80
    deprecated_method,
 
81
    zero_eighteen,
 
82
    zero_ninetyone,
 
83
    )
 
84
import bzrlib.trace
 
85
from bzrlib.transport import get_transport
 
86
import bzrlib.transport
 
87
from bzrlib.transport.local import LocalURLServer
 
88
from bzrlib.transport.memory import MemoryServer
 
89
from bzrlib.transport.readonly import ReadonlyServer
 
90
from bzrlib.trace import mutter, note
 
91
from bzrlib.tests import TestUtil
 
92
from bzrlib.tests.HttpServer import HttpServer
 
93
from bzrlib.tests.TestUtil import (
 
94
                          TestSuite,
 
95
                          TestLoader,
 
96
                          )
 
97
from bzrlib.tests.treeshape import build_tree_contents
 
98
from bzrlib.workingtree import WorkingTree, WorkingTreeFormat2
 
99
 
 
100
# Mark this python module as being part of the implementation
 
101
# of unittest: this gives us better tracebacks where the last
 
102
# shown frame is the test code, not our assertXYZ.
 
103
__unittest = 1
 
104
 
 
105
default_transport = LocalURLServer
 
106
 
 
107
MODULES_TO_TEST = []
 
108
MODULES_TO_DOCTEST = [
 
109
        bzrlib.timestamp,
 
110
        bzrlib.errors,
 
111
        bzrlib.export,
 
112
        bzrlib.inventory,
 
113
        bzrlib.iterablefile,
 
114
        bzrlib.lockdir,
 
115
        bzrlib.merge3,
 
116
        bzrlib.option,
 
117
        bzrlib.store,
 
118
        # quoted to avoid module-loading circularity
 
119
        'bzrlib.tests',
 
120
        ]
 
121
 
 
122
 
 
123
def packages_to_test():
 
124
    """Return a list of packages to test.
 
125
 
 
126
    The packages are not globally imported so that import failures are
 
127
    triggered when running selftest, not when importing the command.
 
128
    """
 
129
    import bzrlib.doc
 
130
    import bzrlib.tests.blackbox
 
131
    import bzrlib.tests.branch_implementations
 
132
    import bzrlib.tests.bzrdir_implementations
 
133
    import bzrlib.tests.commands
 
134
    import bzrlib.tests.interrepository_implementations
 
135
    import bzrlib.tests.interversionedfile_implementations
 
136
    import bzrlib.tests.intertree_implementations
 
137
    import bzrlib.tests.inventory_implementations
 
138
    import bzrlib.tests.per_lock
 
139
    import bzrlib.tests.repository_implementations
 
140
    import bzrlib.tests.revisionstore_implementations
 
141
    import bzrlib.tests.tree_implementations
 
142
    import bzrlib.tests.workingtree_implementations
 
143
    return [
 
144
            bzrlib.doc,
 
145
            bzrlib.tests.blackbox,
 
146
            bzrlib.tests.branch_implementations,
 
147
            bzrlib.tests.bzrdir_implementations,
 
148
            bzrlib.tests.commands,
 
149
            bzrlib.tests.interrepository_implementations,
 
150
            bzrlib.tests.interversionedfile_implementations,
 
151
            bzrlib.tests.intertree_implementations,
 
152
            bzrlib.tests.inventory_implementations,
 
153
            bzrlib.tests.per_lock,
 
154
            bzrlib.tests.repository_implementations,
 
155
            bzrlib.tests.revisionstore_implementations,
 
156
            bzrlib.tests.tree_implementations,
 
157
            bzrlib.tests.workingtree_implementations,
 
158
            ]
 
159
 
 
160
 
 
161
class ExtendedTestResult(unittest._TextTestResult):
 
162
    """Accepts, reports and accumulates the results of running tests.
 
163
 
 
164
    Compared to this unittest version this class adds support for
 
165
    profiling, benchmarking, stopping as soon as a test fails,  and
 
166
    skipping tests.  There are further-specialized subclasses for
 
167
    different types of display.
 
168
 
 
169
    When a test finishes, in whatever way, it calls one of the addSuccess,
 
170
    addFailure or addError classes.  These in turn may redirect to a more
 
171
    specific case for the special test results supported by our extended
 
172
    tests.
 
173
 
 
174
    Note that just one of these objects is fed the results from many tests.
 
175
    """
 
176
 
 
177
    stop_early = False
 
178
    
 
179
    def __init__(self, stream, descriptions, verbosity,
 
180
                 bench_history=None,
 
181
                 num_tests=None,
 
182
                 ):
 
183
        """Construct new TestResult.
 
184
 
 
185
        :param bench_history: Optionally, a writable file object to accumulate
 
186
            benchmark results.
 
187
        """
 
188
        unittest._TextTestResult.__init__(self, stream, descriptions, verbosity)
 
189
        if bench_history is not None:
 
190
            from bzrlib.version import _get_bzr_source_tree
 
191
            src_tree = _get_bzr_source_tree()
 
192
            if src_tree:
 
193
                try:
 
194
                    revision_id = src_tree.get_parent_ids()[0]
 
195
                except IndexError:
 
196
                    # XXX: if this is a brand new tree, do the same as if there
 
197
                    # is no branch.
 
198
                    revision_id = ''
 
199
            else:
 
200
                # XXX: If there's no branch, what should we do?
 
201
                revision_id = ''
 
202
            bench_history.write("--date %s %s\n" % (time.time(), revision_id))
 
203
        self._bench_history = bench_history
 
204
        self.ui = ui.ui_factory
 
205
        self.num_tests = num_tests
 
206
        self.error_count = 0
 
207
        self.failure_count = 0
 
208
        self.known_failure_count = 0
 
209
        self.skip_count = 0
 
210
        self.not_applicable_count = 0
 
211
        self.unsupported = {}
 
212
        self.count = 0
 
213
        self._overall_start_time = time.time()
 
214
    
 
215
    def _extractBenchmarkTime(self, testCase):
 
216
        """Add a benchmark time for the current test case."""
 
217
        return getattr(testCase, "_benchtime", None)
 
218
    
 
219
    def _elapsedTestTimeString(self):
 
220
        """Return a time string for the overall time the current test has taken."""
 
221
        return self._formatTime(time.time() - self._start_time)
 
222
 
 
223
    def _testTimeString(self, testCase):
 
224
        benchmark_time = self._extractBenchmarkTime(testCase)
 
225
        if benchmark_time is not None:
 
226
            return "%s/%s" % (
 
227
                self._formatTime(benchmark_time),
 
228
                self._elapsedTestTimeString())
 
229
        else:
 
230
            return "           %s" % self._elapsedTestTimeString()
 
231
 
 
232
    def _formatTime(self, seconds):
 
233
        """Format seconds as milliseconds with leading spaces."""
 
234
        # some benchmarks can take thousands of seconds to run, so we need 8
 
235
        # places
 
236
        return "%8dms" % (1000 * seconds)
 
237
 
 
238
    def _shortened_test_description(self, test):
 
239
        what = test.id()
 
240
        what = re.sub(r'^bzrlib\.(tests|benchmarks)\.', '', what)
 
241
        return what
 
242
 
 
243
    def startTest(self, test):
 
244
        unittest.TestResult.startTest(self, test)
 
245
        self.report_test_start(test)
 
246
        test.number = self.count
 
247
        self._recordTestStartTime()
 
248
 
 
249
    def _recordTestStartTime(self):
 
250
        """Record that a test has started."""
 
251
        self._start_time = time.time()
 
252
 
 
253
    def _cleanupLogFile(self, test):
 
254
        # We can only do this if we have one of our TestCases, not if
 
255
        # we have a doctest.
 
256
        setKeepLogfile = getattr(test, 'setKeepLogfile', None)
 
257
        if setKeepLogfile is not None:
 
258
            setKeepLogfile()
 
259
 
 
260
    def addError(self, test, err):
 
261
        """Tell result that test finished with an error.
 
262
 
 
263
        Called from the TestCase run() method when the test
 
264
        fails with an unexpected error.
 
265
        """
 
266
        self._testConcluded(test)
 
267
        if isinstance(err[1], TestSkipped):
 
268
            return self._addSkipped(test, err)
 
269
        elif isinstance(err[1], UnavailableFeature):
 
270
            return self.addNotSupported(test, err[1].args[0])
 
271
        else:
 
272
            unittest.TestResult.addError(self, test, err)
 
273
            self.error_count += 1
 
274
            self.report_error(test, err)
 
275
            if self.stop_early:
 
276
                self.stop()
 
277
 
 
278
    def addFailure(self, test, err):
 
279
        """Tell result that test failed.
 
280
 
 
281
        Called from the TestCase run() method when the test
 
282
        fails because e.g. an assert() method failed.
 
283
        """
 
284
        self._testConcluded(test)
 
285
        if isinstance(err[1], KnownFailure):
 
286
            return self._addKnownFailure(test, err)
 
287
        else:
 
288
            unittest.TestResult.addFailure(self, test, err)
 
289
            self.failure_count += 1
 
290
            self.report_failure(test, err)
 
291
            if self.stop_early:
 
292
                self.stop()
 
293
 
 
294
    def addSuccess(self, test):
 
295
        """Tell result that test completed successfully.
 
296
 
 
297
        Called from the TestCase run()
 
298
        """
 
299
        self._testConcluded(test)
 
300
        if self._bench_history is not None:
 
301
            benchmark_time = self._extractBenchmarkTime(test)
 
302
            if benchmark_time is not None:
 
303
                self._bench_history.write("%s %s\n" % (
 
304
                    self._formatTime(benchmark_time),
 
305
                    test.id()))
 
306
        self.report_success(test)
 
307
        unittest.TestResult.addSuccess(self, test)
 
308
 
 
309
    def _testConcluded(self, test):
 
310
        """Common code when a test has finished.
 
311
 
 
312
        Called regardless of whether it succeded, failed, etc.
 
313
        """
 
314
        self._cleanupLogFile(test)
 
315
 
 
316
    def _addKnownFailure(self, test, err):
 
317
        self.known_failure_count += 1
 
318
        self.report_known_failure(test, err)
 
319
 
 
320
    def addNotSupported(self, test, feature):
 
321
        """The test will not be run because of a missing feature.
 
322
        """
 
323
        # this can be called in two different ways: it may be that the
 
324
        # test started running, and then raised (through addError) 
 
325
        # UnavailableFeature.  Alternatively this method can be called
 
326
        # while probing for features before running the tests; in that
 
327
        # case we will see startTest and stopTest, but the test will never
 
328
        # actually run.
 
329
        self.unsupported.setdefault(str(feature), 0)
 
330
        self.unsupported[str(feature)] += 1
 
331
        self.report_unsupported(test, feature)
 
332
 
 
333
    def _addSkipped(self, test, skip_excinfo):
 
334
        if isinstance(skip_excinfo[1], TestNotApplicable):
 
335
            self.not_applicable_count += 1
 
336
            self.report_not_applicable(test, skip_excinfo)
 
337
        else:
 
338
            self.skip_count += 1
 
339
            self.report_skip(test, skip_excinfo)
 
340
        try:
 
341
            test.tearDown()
 
342
        except KeyboardInterrupt:
 
343
            raise
 
344
        except:
 
345
            self.addError(test, test.__exc_info())
 
346
        else:
 
347
            # seems best to treat this as success from point-of-view of unittest
 
348
            # -- it actually does nothing so it barely matters :)
 
349
            unittest.TestResult.addSuccess(self, test)
 
350
 
 
351
    def printErrorList(self, flavour, errors):
 
352
        for test, err in errors:
 
353
            self.stream.writeln(self.separator1)
 
354
            self.stream.write("%s: " % flavour)
 
355
            self.stream.writeln(self.getDescription(test))
 
356
            if getattr(test, '_get_log', None) is not None:
 
357
                print >>self.stream
 
358
                print >>self.stream, \
 
359
                        ('vvvv[log from %s]' % test.id()).ljust(78,'-')
 
360
                print >>self.stream, test._get_log()
 
361
                print >>self.stream, \
 
362
                        ('^^^^[log from %s]' % test.id()).ljust(78,'-')
 
363
            self.stream.writeln(self.separator2)
 
364
            self.stream.writeln("%s" % err)
 
365
 
 
366
    def finished(self):
 
367
        pass
 
368
 
 
369
    def report_cleaning_up(self):
 
370
        pass
 
371
 
 
372
    def report_success(self, test):
 
373
        pass
 
374
 
 
375
    def wasStrictlySuccessful(self):
 
376
        if self.unsupported or self.known_failure_count:
 
377
            return False
 
378
        return self.wasSuccessful()
 
379
 
 
380
 
 
381
class TextTestResult(ExtendedTestResult):
 
382
    """Displays progress and results of tests in text form"""
 
383
 
 
384
    def __init__(self, stream, descriptions, verbosity,
 
385
                 bench_history=None,
 
386
                 num_tests=None,
 
387
                 pb=None,
 
388
                 ):
 
389
        ExtendedTestResult.__init__(self, stream, descriptions, verbosity,
 
390
            bench_history, num_tests)
 
391
        if pb is None:
 
392
            self.pb = self.ui.nested_progress_bar()
 
393
            self._supplied_pb = False
 
394
        else:
 
395
            self.pb = pb
 
396
            self._supplied_pb = True
 
397
        self.pb.show_pct = False
 
398
        self.pb.show_spinner = False
 
399
        self.pb.show_eta = False,
 
400
        self.pb.show_count = False
 
401
        self.pb.show_bar = False
 
402
 
 
403
    def report_starting(self):
 
404
        self.pb.update('[test 0/%d] starting...' % (self.num_tests))
 
405
 
 
406
    def _progress_prefix_text(self):
 
407
        a = '[%d' % self.count
 
408
        if self.num_tests is not None:
 
409
            a +='/%d' % self.num_tests
 
410
        a += ' in %ds' % (time.time() - self._overall_start_time)
 
411
        if self.error_count:
 
412
            a += ', %d errors' % self.error_count
 
413
        if self.failure_count:
 
414
            a += ', %d failed' % self.failure_count
 
415
        if self.known_failure_count:
 
416
            a += ', %d known failures' % self.known_failure_count
 
417
        if self.skip_count:
 
418
            a += ', %d skipped' % self.skip_count
 
419
        if self.unsupported:
 
420
            a += ', %d missing features' % len(self.unsupported)
 
421
        a += ']'
 
422
        return a
 
423
 
 
424
    def report_test_start(self, test):
 
425
        self.count += 1
 
426
        self.pb.update(
 
427
                self._progress_prefix_text()
 
428
                + ' ' 
 
429
                + self._shortened_test_description(test))
 
430
 
 
431
    def _test_description(self, test):
 
432
        return self._shortened_test_description(test)
 
433
 
 
434
    def report_error(self, test, err):
 
435
        self.pb.note('ERROR: %s\n    %s\n', 
 
436
            self._test_description(test),
 
437
            err[1],
 
438
            )
 
439
 
 
440
    def report_failure(self, test, err):
 
441
        self.pb.note('FAIL: %s\n    %s\n', 
 
442
            self._test_description(test),
 
443
            err[1],
 
444
            )
 
445
 
 
446
    def report_known_failure(self, test, err):
 
447
        self.pb.note('XFAIL: %s\n%s\n',
 
448
            self._test_description(test), err[1])
 
449
 
 
450
    def report_skip(self, test, skip_excinfo):
 
451
        pass
 
452
 
 
453
    def report_not_applicable(self, test, skip_excinfo):
 
454
        pass
 
455
 
 
456
    def report_unsupported(self, test, feature):
 
457
        """test cannot be run because feature is missing."""
 
458
                  
 
459
    def report_cleaning_up(self):
 
460
        self.pb.update('cleaning up...')
 
461
 
 
462
    def finished(self):
 
463
        if not self._supplied_pb:
 
464
            self.pb.finished()
 
465
 
 
466
 
 
467
class VerboseTestResult(ExtendedTestResult):
 
468
    """Produce long output, with one line per test run plus times"""
 
469
 
 
470
    def _ellipsize_to_right(self, a_string, final_width):
 
471
        """Truncate and pad a string, keeping the right hand side"""
 
472
        if len(a_string) > final_width:
 
473
            result = '...' + a_string[3-final_width:]
 
474
        else:
 
475
            result = a_string
 
476
        return result.ljust(final_width)
 
477
 
 
478
    def report_starting(self):
 
479
        self.stream.write('running %d tests...\n' % self.num_tests)
 
480
 
 
481
    def report_test_start(self, test):
 
482
        self.count += 1
 
483
        name = self._shortened_test_description(test)
 
484
        # width needs space for 6 char status, plus 1 for slash, plus 2 10-char
 
485
        # numbers, plus a trailing blank
 
486
        # when NUMBERED_DIRS: plus 5 chars on test number, plus 1 char on space
 
487
        self.stream.write(self._ellipsize_to_right(name,
 
488
                          osutils.terminal_width()-30))
 
489
        self.stream.flush()
 
490
 
 
491
    def _error_summary(self, err):
 
492
        indent = ' ' * 4
 
493
        return '%s%s' % (indent, err[1])
 
494
 
 
495
    def report_error(self, test, err):
 
496
        self.stream.writeln('ERROR %s\n%s'
 
497
                % (self._testTimeString(test),
 
498
                   self._error_summary(err)))
 
499
 
 
500
    def report_failure(self, test, err):
 
501
        self.stream.writeln(' FAIL %s\n%s'
 
502
                % (self._testTimeString(test),
 
503
                   self._error_summary(err)))
 
504
 
 
505
    def report_known_failure(self, test, err):
 
506
        self.stream.writeln('XFAIL %s\n%s'
 
507
                % (self._testTimeString(test),
 
508
                   self._error_summary(err)))
 
509
 
 
510
    def report_success(self, test):
 
511
        self.stream.writeln('   OK %s' % self._testTimeString(test))
 
512
        for bench_called, stats in getattr(test, '_benchcalls', []):
 
513
            self.stream.writeln('LSProf output for %s(%s, %s)' % bench_called)
 
514
            stats.pprint(file=self.stream)
 
515
        # flush the stream so that we get smooth output. This verbose mode is
 
516
        # used to show the output in PQM.
 
517
        self.stream.flush()
 
518
 
 
519
    def report_skip(self, test, skip_excinfo):
 
520
        self.stream.writeln(' SKIP %s\n%s'
 
521
                % (self._testTimeString(test),
 
522
                   self._error_summary(skip_excinfo)))
 
523
 
 
524
    def report_not_applicable(self, test, skip_excinfo):
 
525
        self.stream.writeln('  N/A %s\n%s'
 
526
                % (self._testTimeString(test),
 
527
                   self._error_summary(skip_excinfo)))
 
528
 
 
529
    def report_unsupported(self, test, feature):
 
530
        """test cannot be run because feature is missing."""
 
531
        self.stream.writeln("NODEP %s\n    The feature '%s' is not available."
 
532
                %(self._testTimeString(test), feature))
 
533
 
 
534
 
 
535
class TextTestRunner(object):
 
536
    stop_on_failure = False
 
537
 
 
538
    def __init__(self,
 
539
                 stream=sys.stderr,
 
540
                 descriptions=0,
 
541
                 verbosity=1,
 
542
                 bench_history=None,
 
543
                 list_only=False
 
544
                 ):
 
545
        self.stream = unittest._WritelnDecorator(stream)
 
546
        self.descriptions = descriptions
 
547
        self.verbosity = verbosity
 
548
        self._bench_history = bench_history
 
549
        self.list_only = list_only
 
550
 
 
551
    def run(self, test):
 
552
        "Run the given test case or test suite."
 
553
        startTime = time.time()
 
554
        if self.verbosity == 1:
 
555
            result_class = TextTestResult
 
556
        elif self.verbosity >= 2:
 
557
            result_class = VerboseTestResult
 
558
        result = result_class(self.stream,
 
559
                              self.descriptions,
 
560
                              self.verbosity,
 
561
                              bench_history=self._bench_history,
 
562
                              num_tests=test.countTestCases(),
 
563
                              )
 
564
        result.stop_early = self.stop_on_failure
 
565
        result.report_starting()
 
566
        if self.list_only:
 
567
            if self.verbosity >= 2:
 
568
                self.stream.writeln("Listing tests only ...\n")
 
569
            run = 0
 
570
            for t in iter_suite_tests(test):
 
571
                self.stream.writeln("%s" % (t.id()))
 
572
                run += 1
 
573
            actionTaken = "Listed"
 
574
        else: 
 
575
            test.run(result)
 
576
            run = result.testsRun
 
577
            actionTaken = "Ran"
 
578
        stopTime = time.time()
 
579
        timeTaken = stopTime - startTime
 
580
        result.printErrors()
 
581
        self.stream.writeln(result.separator2)
 
582
        self.stream.writeln("%s %d test%s in %.3fs" % (actionTaken,
 
583
                            run, run != 1 and "s" or "", timeTaken))
 
584
        self.stream.writeln()
 
585
        if not result.wasSuccessful():
 
586
            self.stream.write("FAILED (")
 
587
            failed, errored = map(len, (result.failures, result.errors))
 
588
            if failed:
 
589
                self.stream.write("failures=%d" % failed)
 
590
            if errored:
 
591
                if failed: self.stream.write(", ")
 
592
                self.stream.write("errors=%d" % errored)
 
593
            if result.known_failure_count:
 
594
                if failed or errored: self.stream.write(", ")
 
595
                self.stream.write("known_failure_count=%d" %
 
596
                    result.known_failure_count)
 
597
            self.stream.writeln(")")
 
598
        else:
 
599
            if result.known_failure_count:
 
600
                self.stream.writeln("OK (known_failures=%d)" %
 
601
                    result.known_failure_count)
 
602
            else:
 
603
                self.stream.writeln("OK")
 
604
        if result.skip_count > 0:
 
605
            skipped = result.skip_count
 
606
            self.stream.writeln('%d test%s skipped' %
 
607
                                (skipped, skipped != 1 and "s" or ""))
 
608
        if result.unsupported:
 
609
            for feature, count in sorted(result.unsupported.items()):
 
610
                self.stream.writeln("Missing feature '%s' skipped %d tests." %
 
611
                    (feature, count))
 
612
        result.finished()
 
613
        return result
 
614
 
 
615
 
 
616
def iter_suite_tests(suite):
 
617
    """Return all tests in a suite, recursing through nested suites"""
 
618
    for item in suite._tests:
 
619
        if isinstance(item, unittest.TestCase):
 
620
            yield item
 
621
        elif isinstance(item, unittest.TestSuite):
 
622
            for r in iter_suite_tests(item):
 
623
                yield r
 
624
        else:
 
625
            raise Exception('unknown object %r inside test suite %r'
 
626
                            % (item, suite))
 
627
 
 
628
 
 
629
class TestSkipped(Exception):
 
630
    """Indicates that a test was intentionally skipped, rather than failing."""
 
631
 
 
632
 
 
633
class TestNotApplicable(TestSkipped):
 
634
    """A test is not applicable to the situation where it was run.
 
635
 
 
636
    This is only normally raised by parameterized tests, if they find that 
 
637
    the instance they're constructed upon does not support one aspect 
 
638
    of its interface.
 
639
    """
 
640
 
 
641
 
 
642
class KnownFailure(AssertionError):
 
643
    """Indicates that a test failed in a precisely expected manner.
 
644
 
 
645
    Such failures dont block the whole test suite from passing because they are
 
646
    indicators of partially completed code or of future work. We have an
 
647
    explicit error for them so that we can ensure that they are always visible:
 
648
    KnownFailures are always shown in the output of bzr selftest.
 
649
    """
 
650
 
 
651
 
 
652
class UnavailableFeature(Exception):
 
653
    """A feature required for this test was not available.
 
654
 
 
655
    The feature should be used to construct the exception.
 
656
    """
 
657
 
 
658
 
 
659
class CommandFailed(Exception):
 
660
    pass
 
661
 
 
662
 
 
663
class StringIOWrapper(object):
 
664
    """A wrapper around cStringIO which just adds an encoding attribute.
 
665
    
 
666
    Internally we can check sys.stdout to see what the output encoding
 
667
    should be. However, cStringIO has no encoding attribute that we can
 
668
    set. So we wrap it instead.
 
669
    """
 
670
    encoding='ascii'
 
671
    _cstring = None
 
672
 
 
673
    def __init__(self, s=None):
 
674
        if s is not None:
 
675
            self.__dict__['_cstring'] = StringIO(s)
 
676
        else:
 
677
            self.__dict__['_cstring'] = StringIO()
 
678
 
 
679
    def __getattr__(self, name, getattr=getattr):
 
680
        return getattr(self.__dict__['_cstring'], name)
 
681
 
 
682
    def __setattr__(self, name, val):
 
683
        if name == 'encoding':
 
684
            self.__dict__['encoding'] = val
 
685
        else:
 
686
            return setattr(self._cstring, name, val)
 
687
 
 
688
 
 
689
class TestUIFactory(ui.CLIUIFactory):
 
690
    """A UI Factory for testing.
 
691
 
 
692
    Hide the progress bar but emit note()s.
 
693
    Redirect stdin.
 
694
    Allows get_password to be tested without real tty attached.
 
695
    """
 
696
 
 
697
    def __init__(self,
 
698
                 stdout=None,
 
699
                 stderr=None,
 
700
                 stdin=None):
 
701
        super(TestUIFactory, self).__init__()
 
702
        if stdin is not None:
 
703
            # We use a StringIOWrapper to be able to test various
 
704
            # encodings, but the user is still responsible to
 
705
            # encode the string and to set the encoding attribute
 
706
            # of StringIOWrapper.
 
707
            self.stdin = StringIOWrapper(stdin)
 
708
        if stdout is None:
 
709
            self.stdout = sys.stdout
 
710
        else:
 
711
            self.stdout = stdout
 
712
        if stderr is None:
 
713
            self.stderr = sys.stderr
 
714
        else:
 
715
            self.stderr = stderr
 
716
 
 
717
    def clear(self):
 
718
        """See progress.ProgressBar.clear()."""
 
719
 
 
720
    def clear_term(self):
 
721
        """See progress.ProgressBar.clear_term()."""
 
722
 
 
723
    def clear_term(self):
 
724
        """See progress.ProgressBar.clear_term()."""
 
725
 
 
726
    def finished(self):
 
727
        """See progress.ProgressBar.finished()."""
 
728
 
 
729
    def note(self, fmt_string, *args, **kwargs):
 
730
        """See progress.ProgressBar.note()."""
 
731
        self.stdout.write((fmt_string + "\n") % args)
 
732
 
 
733
    def progress_bar(self):
 
734
        return self
 
735
 
 
736
    def nested_progress_bar(self):
 
737
        return self
 
738
 
 
739
    def update(self, message, count=None, total=None):
 
740
        """See progress.ProgressBar.update()."""
 
741
 
 
742
    def get_non_echoed_password(self, prompt):
 
743
        """Get password from stdin without trying to handle the echo mode"""
 
744
        if prompt:
 
745
            self.stdout.write(prompt.encode(self.stdout.encoding, 'replace'))
 
746
        password = self.stdin.readline()
 
747
        if not password:
 
748
            raise EOFError
 
749
        if password[-1] == '\n':
 
750
            password = password[:-1]
 
751
        return password
 
752
 
 
753
 
 
754
class TestCase(unittest.TestCase):
 
755
    """Base class for bzr unit tests.
 
756
    
 
757
    Tests that need access to disk resources should subclass 
 
758
    TestCaseInTempDir not TestCase.
 
759
 
 
760
    Error and debug log messages are redirected from their usual
 
761
    location into a temporary file, the contents of which can be
 
762
    retrieved by _get_log().  We use a real OS file, not an in-memory object,
 
763
    so that it can also capture file IO.  When the test completes this file
 
764
    is read into memory and removed from disk.
 
765
       
 
766
    There are also convenience functions to invoke bzr's command-line
 
767
    routine, and to build and check bzr trees.
 
768
   
 
769
    In addition to the usual method of overriding tearDown(), this class also
 
770
    allows subclasses to register functions into the _cleanups list, which is
 
771
    run in order as the object is torn down.  It's less likely this will be
 
772
    accidentally overlooked.
 
773
    """
 
774
 
 
775
    _log_file_name = None
 
776
    _log_contents = ''
 
777
    _keep_log_file = False
 
778
    # record lsprof data when performing benchmark calls.
 
779
    _gather_lsprof_in_benchmarks = False
 
780
 
 
781
    def __init__(self, methodName='testMethod'):
 
782
        super(TestCase, self).__init__(methodName)
 
783
        self._cleanups = []
 
784
 
 
785
    def setUp(self):
 
786
        unittest.TestCase.setUp(self)
 
787
        self._cleanEnvironment()
 
788
        bzrlib.trace.disable_default_logging()
 
789
        self._silenceUI()
 
790
        self._startLogFile()
 
791
        self._benchcalls = []
 
792
        self._benchtime = None
 
793
        self._clear_hooks()
 
794
        self._clear_debug_flags()
 
795
 
 
796
    def _clear_debug_flags(self):
 
797
        """Prevent externally set debug flags affecting tests.
 
798
        
 
799
        Tests that want to use debug flags can just set them in the
 
800
        debug_flags set during setup/teardown.
 
801
        """
 
802
        self._preserved_debug_flags = set(debug.debug_flags)
 
803
        debug.debug_flags.clear()
 
804
        self.addCleanup(self._restore_debug_flags)
 
805
 
 
806
    def _clear_hooks(self):
 
807
        # prevent hooks affecting tests
 
808
        import bzrlib.branch
 
809
        import bzrlib.smart.server
 
810
        self._preserved_hooks = {
 
811
            bzrlib.branch.Branch: bzrlib.branch.Branch.hooks,
 
812
            bzrlib.smart.server.SmartTCPServer: bzrlib.smart.server.SmartTCPServer.hooks,
 
813
            }
 
814
        self.addCleanup(self._restoreHooks)
 
815
        # reset all hooks to an empty instance of the appropriate type
 
816
        bzrlib.branch.Branch.hooks = bzrlib.branch.BranchHooks()
 
817
        bzrlib.smart.server.SmartTCPServer.hooks = bzrlib.smart.server.SmartServerHooks()
 
818
 
 
819
    def _silenceUI(self):
 
820
        """Turn off UI for duration of test"""
 
821
        # by default the UI is off; tests can turn it on if they want it.
 
822
        saved = ui.ui_factory
 
823
        def _restore():
 
824
            ui.ui_factory = saved
 
825
        ui.ui_factory = ui.SilentUIFactory()
 
826
        self.addCleanup(_restore)
 
827
 
 
828
    def _ndiff_strings(self, a, b):
 
829
        """Return ndiff between two strings containing lines.
 
830
        
 
831
        A trailing newline is added if missing to make the strings
 
832
        print properly."""
 
833
        if b and b[-1] != '\n':
 
834
            b += '\n'
 
835
        if a and a[-1] != '\n':
 
836
            a += '\n'
 
837
        difflines = difflib.ndiff(a.splitlines(True),
 
838
                                  b.splitlines(True),
 
839
                                  linejunk=lambda x: False,
 
840
                                  charjunk=lambda x: False)
 
841
        return ''.join(difflines)
 
842
 
 
843
    def assertEqual(self, a, b, message=''):
 
844
        try:
 
845
            if a == b:
 
846
                return
 
847
        except UnicodeError, e:
 
848
            # If we can't compare without getting a UnicodeError, then
 
849
            # obviously they are different
 
850
            mutter('UnicodeError: %s', e)
 
851
        if message:
 
852
            message += '\n'
 
853
        raise AssertionError("%snot equal:\na = %s\nb = %s\n"
 
854
            % (message,
 
855
               pformat(a), pformat(b)))
 
856
 
 
857
    assertEquals = assertEqual
 
858
 
 
859
    def assertEqualDiff(self, a, b, message=None):
 
860
        """Assert two texts are equal, if not raise an exception.
 
861
        
 
862
        This is intended for use with multi-line strings where it can 
 
863
        be hard to find the differences by eye.
 
864
        """
 
865
        # TODO: perhaps override assertEquals to call this for strings?
 
866
        if a == b:
 
867
            return
 
868
        if message is None:
 
869
            message = "texts not equal:\n"
 
870
        raise AssertionError(message +
 
871
                             self._ndiff_strings(a, b))
 
872
        
 
873
    def assertEqualMode(self, mode, mode_test):
 
874
        self.assertEqual(mode, mode_test,
 
875
                         'mode mismatch %o != %o' % (mode, mode_test))
 
876
 
 
877
    def assertPositive(self, val):
 
878
        """Assert that val is greater than 0."""
 
879
        self.assertTrue(val > 0, 'expected a positive value, but got %s' % val)
 
880
 
 
881
    def assertNegative(self, val):
 
882
        """Assert that val is less than 0."""
 
883
        self.assertTrue(val < 0, 'expected a negative value, but got %s' % val)
 
884
 
 
885
    def assertStartsWith(self, s, prefix):
 
886
        if not s.startswith(prefix):
 
887
            raise AssertionError('string %r does not start with %r' % (s, prefix))
 
888
 
 
889
    def assertEndsWith(self, s, suffix):
 
890
        """Asserts that s ends with suffix."""
 
891
        if not s.endswith(suffix):
 
892
            raise AssertionError('string %r does not end with %r' % (s, suffix))
 
893
 
 
894
    def assertContainsRe(self, haystack, needle_re):
 
895
        """Assert that a contains something matching a regular expression."""
 
896
        if not re.search(needle_re, haystack):
 
897
            if '\n' in haystack or len(haystack) > 60:
 
898
                # a long string, format it in a more readable way
 
899
                raise AssertionError(
 
900
                        'pattern "%s" not found in\n"""\\\n%s"""\n'
 
901
                        % (needle_re, haystack))
 
902
            else:
 
903
                raise AssertionError('pattern "%s" not found in "%s"'
 
904
                        % (needle_re, haystack))
 
905
 
 
906
    def assertNotContainsRe(self, haystack, needle_re):
 
907
        """Assert that a does not match a regular expression"""
 
908
        if re.search(needle_re, haystack):
 
909
            raise AssertionError('pattern "%s" found in "%s"'
 
910
                    % (needle_re, haystack))
 
911
 
 
912
    def assertSubset(self, sublist, superlist):
 
913
        """Assert that every entry in sublist is present in superlist."""
 
914
        missing = set(sublist) - set(superlist)
 
915
        if len(missing) > 0:
 
916
            raise AssertionError("value(s) %r not present in container %r" %
 
917
                                 (missing, superlist))
 
918
 
 
919
    def assertListRaises(self, excClass, func, *args, **kwargs):
 
920
        """Fail unless excClass is raised when the iterator from func is used.
 
921
        
 
922
        Many functions can return generators this makes sure
 
923
        to wrap them in a list() call to make sure the whole generator
 
924
        is run, and that the proper exception is raised.
 
925
        """
 
926
        try:
 
927
            list(func(*args, **kwargs))
 
928
        except excClass:
 
929
            return
 
930
        else:
 
931
            if getattr(excClass,'__name__', None) is not None:
 
932
                excName = excClass.__name__
 
933
            else:
 
934
                excName = str(excClass)
 
935
            raise self.failureException, "%s not raised" % excName
 
936
 
 
937
    def assertRaises(self, excClass, callableObj, *args, **kwargs):
 
938
        """Assert that a callable raises a particular exception.
 
939
 
 
940
        :param excClass: As for the except statement, this may be either an
 
941
            exception class, or a tuple of classes.
 
942
        :param callableObj: A callable, will be passed ``*args`` and
 
943
            ``**kwargs``.
 
944
 
 
945
        Returns the exception so that you can examine it.
 
946
        """
 
947
        try:
 
948
            callableObj(*args, **kwargs)
 
949
        except excClass, e:
 
950
            return e
 
951
        else:
 
952
            if getattr(excClass,'__name__', None) is not None:
 
953
                excName = excClass.__name__
 
954
            else:
 
955
                # probably a tuple
 
956
                excName = str(excClass)
 
957
            raise self.failureException, "%s not raised" % excName
 
958
 
 
959
    def assertIs(self, left, right, message=None):
 
960
        if not (left is right):
 
961
            if message is not None:
 
962
                raise AssertionError(message)
 
963
            else:
 
964
                raise AssertionError("%r is not %r." % (left, right))
 
965
 
 
966
    def assertIsNot(self, left, right, message=None):
 
967
        if (left is right):
 
968
            if message is not None:
 
969
                raise AssertionError(message)
 
970
            else:
 
971
                raise AssertionError("%r is %r." % (left, right))
 
972
 
 
973
    def assertTransportMode(self, transport, path, mode):
 
974
        """Fail if a path does not have mode mode.
 
975
        
 
976
        If modes are not supported on this transport, the assertion is ignored.
 
977
        """
 
978
        if not transport._can_roundtrip_unix_modebits():
 
979
            return
 
980
        path_stat = transport.stat(path)
 
981
        actual_mode = stat.S_IMODE(path_stat.st_mode)
 
982
        self.assertEqual(mode, actual_mode,
 
983
            'mode of %r incorrect (%o != %o)' % (path, mode, actual_mode))
 
984
 
 
985
    def assertIsSameRealPath(self, path1, path2):
 
986
        """Fail if path1 and path2 points to different files"""
 
987
        self.assertEqual(osutils.realpath(path1),
 
988
                         osutils.realpath(path2),
 
989
                         "apparent paths:\na = %s\nb = %s\n," % (path1, path2))
 
990
 
 
991
    def assertIsInstance(self, obj, kls):
 
992
        """Fail if obj is not an instance of kls"""
 
993
        if not isinstance(obj, kls):
 
994
            self.fail("%r is an instance of %s rather than %s" % (
 
995
                obj, obj.__class__, kls))
 
996
 
 
997
    def expectFailure(self, reason, assertion, *args, **kwargs):
 
998
        """Invoke a test, expecting it to fail for the given reason.
 
999
 
 
1000
        This is for assertions that ought to succeed, but currently fail.
 
1001
        (The failure is *expected* but not *wanted*.)  Please be very precise
 
1002
        about the failure you're expecting.  If a new bug is introduced,
 
1003
        AssertionError should be raised, not KnownFailure.
 
1004
 
 
1005
        Frequently, expectFailure should be followed by an opposite assertion.
 
1006
        See example below.
 
1007
 
 
1008
        Intended to be used with a callable that raises AssertionError as the
 
1009
        'assertion' parameter.  args and kwargs are passed to the 'assertion'.
 
1010
 
 
1011
        Raises KnownFailure if the test fails.  Raises AssertionError if the
 
1012
        test succeeds.
 
1013
 
 
1014
        example usage::
 
1015
 
 
1016
          self.expectFailure('Math is broken', self.assertNotEqual, 54,
 
1017
                             dynamic_val)
 
1018
          self.assertEqual(42, dynamic_val)
 
1019
 
 
1020
          This means that a dynamic_val of 54 will cause the test to raise
 
1021
          a KnownFailure.  Once math is fixed and the expectFailure is removed,
 
1022
          only a dynamic_val of 42 will allow the test to pass.  Anything other
 
1023
          than 54 or 42 will cause an AssertionError.
 
1024
        """
 
1025
        try:
 
1026
            assertion(*args, **kwargs)
 
1027
        except AssertionError:
 
1028
            raise KnownFailure(reason)
 
1029
        else:
 
1030
            self.fail('Unexpected success.  Should have failed: %s' % reason)
 
1031
 
 
1032
    def _capture_warnings(self, a_callable, *args, **kwargs):
 
1033
        """A helper for callDeprecated and applyDeprecated.
 
1034
 
 
1035
        :param a_callable: A callable to call.
 
1036
        :param args: The positional arguments for the callable
 
1037
        :param kwargs: The keyword arguments for the callable
 
1038
        :return: A tuple (warnings, result). result is the result of calling
 
1039
            a_callable(``*args``, ``**kwargs``).
 
1040
        """
 
1041
        local_warnings = []
 
1042
        def capture_warnings(msg, cls=None, stacklevel=None):
 
1043
            # we've hooked into a deprecation specific callpath,
 
1044
            # only deprecations should getting sent via it.
 
1045
            self.assertEqual(cls, DeprecationWarning)
 
1046
            local_warnings.append(msg)
 
1047
        original_warning_method = symbol_versioning.warn
 
1048
        symbol_versioning.set_warning_method(capture_warnings)
 
1049
        try:
 
1050
            result = a_callable(*args, **kwargs)
 
1051
        finally:
 
1052
            symbol_versioning.set_warning_method(original_warning_method)
 
1053
        return (local_warnings, result)
 
1054
 
 
1055
    def applyDeprecated(self, deprecation_format, a_callable, *args, **kwargs):
 
1056
        """Call a deprecated callable without warning the user.
 
1057
 
 
1058
        Note that this only captures warnings raised by symbol_versioning.warn,
 
1059
        not other callers that go direct to the warning module.
 
1060
 
 
1061
        To test that a deprecated method raises an error, do something like
 
1062
        this::
 
1063
 
 
1064
        self.assertRaises(errors.ReservedId,
 
1065
            self.applyDeprecated, zero_ninetyone,
 
1066
                br.append_revision, 'current:')
 
1067
 
 
1068
        :param deprecation_format: The deprecation format that the callable
 
1069
            should have been deprecated with. This is the same type as the
 
1070
            parameter to deprecated_method/deprecated_function. If the
 
1071
            callable is not deprecated with this format, an assertion error
 
1072
            will be raised.
 
1073
        :param a_callable: A callable to call. This may be a bound method or
 
1074
            a regular function. It will be called with ``*args`` and
 
1075
            ``**kwargs``.
 
1076
        :param args: The positional arguments for the callable
 
1077
        :param kwargs: The keyword arguments for the callable
 
1078
        :return: The result of a_callable(``*args``, ``**kwargs``)
 
1079
        """
 
1080
        call_warnings, result = self._capture_warnings(a_callable,
 
1081
            *args, **kwargs)
 
1082
        expected_first_warning = symbol_versioning.deprecation_string(
 
1083
            a_callable, deprecation_format)
 
1084
        if len(call_warnings) == 0:
 
1085
            self.fail("No deprecation warning generated by call to %s" %
 
1086
                a_callable)
 
1087
        self.assertEqual(expected_first_warning, call_warnings[0])
 
1088
        return result
 
1089
 
 
1090
    def callDeprecated(self, expected, callable, *args, **kwargs):
 
1091
        """Assert that a callable is deprecated in a particular way.
 
1092
 
 
1093
        This is a very precise test for unusual requirements. The 
 
1094
        applyDeprecated helper function is probably more suited for most tests
 
1095
        as it allows you to simply specify the deprecation format being used
 
1096
        and will ensure that that is issued for the function being called.
 
1097
 
 
1098
        Note that this only captures warnings raised by symbol_versioning.warn,
 
1099
        not other callers that go direct to the warning module.
 
1100
 
 
1101
        :param expected: a list of the deprecation warnings expected, in order
 
1102
        :param callable: The callable to call
 
1103
        :param args: The positional arguments for the callable
 
1104
        :param kwargs: The keyword arguments for the callable
 
1105
        """
 
1106
        call_warnings, result = self._capture_warnings(callable,
 
1107
            *args, **kwargs)
 
1108
        self.assertEqual(expected, call_warnings)
 
1109
        return result
 
1110
 
 
1111
    def _startLogFile(self):
 
1112
        """Send bzr and test log messages to a temporary file.
 
1113
 
 
1114
        The file is removed as the test is torn down.
 
1115
        """
 
1116
        fileno, name = tempfile.mkstemp(suffix='.log', prefix='testbzr')
 
1117
        self._log_file = os.fdopen(fileno, 'w+')
 
1118
        self._log_nonce = bzrlib.trace.enable_test_log(self._log_file)
 
1119
        self._log_file_name = name
 
1120
        self.addCleanup(self._finishLogFile)
 
1121
 
 
1122
    def _finishLogFile(self):
 
1123
        """Finished with the log file.
 
1124
 
 
1125
        Close the file and delete it, unless setKeepLogfile was called.
 
1126
        """
 
1127
        if self._log_file is None:
 
1128
            return
 
1129
        bzrlib.trace.disable_test_log(self._log_nonce)
 
1130
        self._log_file.close()
 
1131
        self._log_file = None
 
1132
        if not self._keep_log_file:
 
1133
            os.remove(self._log_file_name)
 
1134
            self._log_file_name = None
 
1135
 
 
1136
    def setKeepLogfile(self):
 
1137
        """Make the logfile not be deleted when _finishLogFile is called."""
 
1138
        self._keep_log_file = True
 
1139
 
 
1140
    def addCleanup(self, callable):
 
1141
        """Arrange to run a callable when this case is torn down.
 
1142
 
 
1143
        Callables are run in the reverse of the order they are registered, 
 
1144
        ie last-in first-out.
 
1145
        """
 
1146
        if callable in self._cleanups:
 
1147
            raise ValueError("cleanup function %r already registered on %s" 
 
1148
                    % (callable, self))
 
1149
        self._cleanups.append(callable)
 
1150
 
 
1151
    def _cleanEnvironment(self):
 
1152
        new_env = {
 
1153
            'BZR_HOME': None, # Don't inherit BZR_HOME to all the tests.
 
1154
            'HOME': os.getcwd(),
 
1155
            'APPDATA': None,  # bzr now use Win32 API and don't rely on APPDATA
 
1156
            'BZR_EMAIL': None,
 
1157
            'BZREMAIL': None, # may still be present in the environment
 
1158
            'EMAIL': None,
 
1159
            'BZR_PROGRESS_BAR': None,
 
1160
            # SSH Agent
 
1161
            'SSH_AUTH_SOCK': None,
 
1162
            # Proxies
 
1163
            'http_proxy': None,
 
1164
            'HTTP_PROXY': None,
 
1165
            'https_proxy': None,
 
1166
            'HTTPS_PROXY': None,
 
1167
            'no_proxy': None,
 
1168
            'NO_PROXY': None,
 
1169
            'all_proxy': None,
 
1170
            'ALL_PROXY': None,
 
1171
            # Nobody cares about these ones AFAIK. So far at
 
1172
            # least. If you do (care), please update this comment
 
1173
            # -- vila 20061212
 
1174
            'ftp_proxy': None,
 
1175
            'FTP_PROXY': None,
 
1176
            'BZR_REMOTE_PATH': None,
 
1177
        }
 
1178
        self.__old_env = {}
 
1179
        self.addCleanup(self._restoreEnvironment)
 
1180
        for name, value in new_env.iteritems():
 
1181
            self._captureVar(name, value)
 
1182
 
 
1183
    def _captureVar(self, name, newvalue):
 
1184
        """Set an environment variable, and reset it when finished."""
 
1185
        self.__old_env[name] = osutils.set_or_unset_env(name, newvalue)
 
1186
 
 
1187
    def _restore_debug_flags(self):
 
1188
        debug.debug_flags.clear()
 
1189
        debug.debug_flags.update(self._preserved_debug_flags)
 
1190
 
 
1191
    def _restoreEnvironment(self):
 
1192
        for name, value in self.__old_env.iteritems():
 
1193
            osutils.set_or_unset_env(name, value)
 
1194
 
 
1195
    def _restoreHooks(self):
 
1196
        for klass, hooks in self._preserved_hooks.items():
 
1197
            setattr(klass, 'hooks', hooks)
 
1198
 
 
1199
    def knownFailure(self, reason):
 
1200
        """This test has failed for some known reason."""
 
1201
        raise KnownFailure(reason)
 
1202
 
 
1203
    def run(self, result=None):
 
1204
        if result is None: result = self.defaultTestResult()
 
1205
        for feature in getattr(self, '_test_needs_features', []):
 
1206
            if not feature.available():
 
1207
                result.startTest(self)
 
1208
                if getattr(result, 'addNotSupported', None):
 
1209
                    result.addNotSupported(self, feature)
 
1210
                else:
 
1211
                    result.addSuccess(self)
 
1212
                result.stopTest(self)
 
1213
                return
 
1214
        return unittest.TestCase.run(self, result)
 
1215
 
 
1216
    def tearDown(self):
 
1217
        self._runCleanups()
 
1218
        unittest.TestCase.tearDown(self)
 
1219
 
 
1220
    def time(self, callable, *args, **kwargs):
 
1221
        """Run callable and accrue the time it takes to the benchmark time.
 
1222
        
 
1223
        If lsprofiling is enabled (i.e. by --lsprof-time to bzr selftest) then
 
1224
        this will cause lsprofile statistics to be gathered and stored in
 
1225
        self._benchcalls.
 
1226
        """
 
1227
        if self._benchtime is None:
 
1228
            self._benchtime = 0
 
1229
        start = time.time()
 
1230
        try:
 
1231
            if not self._gather_lsprof_in_benchmarks:
 
1232
                return callable(*args, **kwargs)
 
1233
            else:
 
1234
                # record this benchmark
 
1235
                ret, stats = bzrlib.lsprof.profile(callable, *args, **kwargs)
 
1236
                stats.sort()
 
1237
                self._benchcalls.append(((callable, args, kwargs), stats))
 
1238
                return ret
 
1239
        finally:
 
1240
            self._benchtime += time.time() - start
 
1241
 
 
1242
    def _runCleanups(self):
 
1243
        """Run registered cleanup functions. 
 
1244
 
 
1245
        This should only be called from TestCase.tearDown.
 
1246
        """
 
1247
        # TODO: Perhaps this should keep running cleanups even if 
 
1248
        # one of them fails?
 
1249
 
 
1250
        # Actually pop the cleanups from the list so tearDown running
 
1251
        # twice is safe (this happens for skipped tests).
 
1252
        while self._cleanups:
 
1253
            self._cleanups.pop()()
 
1254
 
 
1255
    def log(self, *args):
 
1256
        mutter(*args)
 
1257
 
 
1258
    def _get_log(self, keep_log_file=False):
 
1259
        """Get the log from bzrlib.trace calls from this test.
 
1260
 
 
1261
        :param keep_log_file: When True, if the log is still a file on disk
 
1262
            leave it as a file on disk. When False, if the log is still a file
 
1263
            on disk, the log file is deleted and the log preserved as
 
1264
            self._log_contents.
 
1265
        :return: A string containing the log.
 
1266
        """
 
1267
        # flush the log file, to get all content
 
1268
        import bzrlib.trace
 
1269
        bzrlib.trace._trace_file.flush()
 
1270
        if self._log_contents:
 
1271
            return self._log_contents
 
1272
        if self._log_file_name is not None:
 
1273
            logfile = open(self._log_file_name)
 
1274
            try:
 
1275
                log_contents = logfile.read()
 
1276
            finally:
 
1277
                logfile.close()
 
1278
            if not keep_log_file:
 
1279
                self._log_contents = log_contents
 
1280
                try:
 
1281
                    os.remove(self._log_file_name)
 
1282
                except OSError, e:
 
1283
                    if sys.platform == 'win32' and e.errno == errno.EACCES:
 
1284
                        print >>sys.stderr, ('Unable to delete log file '
 
1285
                                             ' %r' % self._log_file_name)
 
1286
                    else:
 
1287
                        raise
 
1288
            return log_contents
 
1289
        else:
 
1290
            return "DELETED log file to reduce memory footprint"
 
1291
 
 
1292
    @deprecated_method(zero_eighteen)
 
1293
    def capture(self, cmd, retcode=0):
 
1294
        """Shortcut that splits cmd into words, runs, and returns stdout"""
 
1295
        return self.run_bzr_captured(cmd.split(), retcode=retcode)[0]
 
1296
 
 
1297
    def requireFeature(self, feature):
 
1298
        """This test requires a specific feature is available.
 
1299
 
 
1300
        :raises UnavailableFeature: When feature is not available.
 
1301
        """
 
1302
        if not feature.available():
 
1303
            raise UnavailableFeature(feature)
 
1304
 
 
1305
    @deprecated_method(zero_eighteen)
 
1306
    def run_bzr_captured(self, argv, retcode=0, encoding=None, stdin=None,
 
1307
                         working_dir=None):
 
1308
        """Invoke bzr and return (stdout, stderr).
 
1309
 
 
1310
        Don't call this method, just use run_bzr() which is equivalent.
 
1311
 
 
1312
        :param argv: Arguments to invoke bzr.  This may be either a 
 
1313
            single string, in which case it is split by shlex into words, 
 
1314
            or a list of arguments.
 
1315
        :param retcode: Expected return code, or None for don't-care.
 
1316
        :param encoding: Encoding for sys.stdout and sys.stderr
 
1317
        :param stdin: A string to be used as stdin for the command.
 
1318
        :param working_dir: Change to this directory before running
 
1319
        """
 
1320
        return self._run_bzr_autosplit(argv, retcode=retcode,
 
1321
                encoding=encoding, stdin=stdin, working_dir=working_dir,
 
1322
                )
 
1323
 
 
1324
    def _run_bzr_autosplit(self, args, retcode, encoding, stdin,
 
1325
            working_dir):
 
1326
        """Run bazaar command line, splitting up a string command line."""
 
1327
        if isinstance(args, basestring):
 
1328
            args = list(shlex.split(args))
 
1329
        return self._run_bzr_core(args, retcode=retcode,
 
1330
                encoding=encoding, stdin=stdin, working_dir=working_dir,
 
1331
                )
 
1332
 
 
1333
    def _run_bzr_core(self, args, retcode, encoding, stdin,
 
1334
            working_dir):
 
1335
        if encoding is None:
 
1336
            encoding = bzrlib.user_encoding
 
1337
        stdout = StringIOWrapper()
 
1338
        stderr = StringIOWrapper()
 
1339
        stdout.encoding = encoding
 
1340
        stderr.encoding = encoding
 
1341
 
 
1342
        self.log('run bzr: %r', args)
 
1343
        # FIXME: don't call into logging here
 
1344
        handler = logging.StreamHandler(stderr)
 
1345
        handler.setLevel(logging.INFO)
 
1346
        logger = logging.getLogger('')
 
1347
        logger.addHandler(handler)
 
1348
        old_ui_factory = ui.ui_factory
 
1349
        ui.ui_factory = TestUIFactory(stdin=stdin, stdout=stdout, stderr=stderr)
 
1350
 
 
1351
        cwd = None
 
1352
        if working_dir is not None:
 
1353
            cwd = osutils.getcwd()
 
1354
            os.chdir(working_dir)
 
1355
 
 
1356
        try:
 
1357
            result = self.apply_redirected(ui.ui_factory.stdin,
 
1358
                stdout, stderr,
 
1359
                bzrlib.commands.run_bzr_catch_errors,
 
1360
                args)
 
1361
        finally:
 
1362
            logger.removeHandler(handler)
 
1363
            ui.ui_factory = old_ui_factory
 
1364
            if cwd is not None:
 
1365
                os.chdir(cwd)
 
1366
 
 
1367
        out = stdout.getvalue()
 
1368
        err = stderr.getvalue()
 
1369
        if out:
 
1370
            self.log('output:\n%r', out)
 
1371
        if err:
 
1372
            self.log('errors:\n%r', err)
 
1373
        if retcode is not None:
 
1374
            self.assertEquals(retcode, result,
 
1375
                              message='Unexpected return code')
 
1376
        return out, err
 
1377
 
 
1378
    def run_bzr(self, *args, **kwargs):
 
1379
        """Invoke bzr, as if it were run from the command line.
 
1380
 
 
1381
        The argument list should not include the bzr program name - the
 
1382
        first argument is normally the bzr command.  Arguments may be
 
1383
        passed in three ways:
 
1384
 
 
1385
        1- A list of strings, eg ["commit", "a"].  This is recommended
 
1386
        when the command contains whitespace or metacharacters, or 
 
1387
        is built up at run time.
 
1388
 
 
1389
        2- A single string, eg "add a".  This is the most convenient 
 
1390
        for hardcoded commands.
 
1391
 
 
1392
        3- Several varargs parameters, eg run_bzr("add", "a").  
 
1393
        This is not recommended for new code.
 
1394
 
 
1395
        This runs bzr through the interface that catches and reports
 
1396
        errors, and with logging set to something approximating the
 
1397
        default, so that error reporting can be checked.
 
1398
 
 
1399
        This should be the main method for tests that want to exercise the
 
1400
        overall behavior of the bzr application (rather than a unit test
 
1401
        or a functional test of the library.)
 
1402
 
 
1403
        This sends the stdout/stderr results into the test's log,
 
1404
        where it may be useful for debugging.  See also run_captured.
 
1405
 
 
1406
        :keyword stdin: A string to be used as stdin for the command.
 
1407
        :keyword retcode: The status code the command should return;
 
1408
            default 0.
 
1409
        :keyword working_dir: The directory to run the command in
 
1410
        :keyword error_regexes: A list of expected error messages.  If
 
1411
            specified they must be seen in the error output of the command.
 
1412
        """
 
1413
        retcode = kwargs.pop('retcode', 0)
 
1414
        encoding = kwargs.pop('encoding', None)
 
1415
        stdin = kwargs.pop('stdin', None)
 
1416
        working_dir = kwargs.pop('working_dir', None)
 
1417
        error_regexes = kwargs.pop('error_regexes', [])
 
1418
 
 
1419
        if kwargs:
 
1420
            raise TypeError("run_bzr() got unexpected keyword arguments '%s'"
 
1421
                            % kwargs.keys())
 
1422
 
 
1423
        if len(args) == 1:
 
1424
            if isinstance(args[0], (list, basestring)):
 
1425
                args = args[0]
 
1426
        else:
 
1427
            symbol_versioning.warn(zero_eighteen % "passing varargs to run_bzr",
 
1428
                                   DeprecationWarning, stacklevel=3)
 
1429
 
 
1430
        out, err = self._run_bzr_autosplit(args=args,
 
1431
            retcode=retcode,
 
1432
            encoding=encoding, stdin=stdin, working_dir=working_dir,
 
1433
            )
 
1434
 
 
1435
        for regex in error_regexes:
 
1436
            self.assertContainsRe(err, regex)
 
1437
        return out, err
 
1438
 
 
1439
    def run_bzr_decode(self, *args, **kwargs):
 
1440
        if 'encoding' in kwargs:
 
1441
            encoding = kwargs['encoding']
 
1442
        else:
 
1443
            encoding = bzrlib.user_encoding
 
1444
        return self.run_bzr(*args, **kwargs)[0].decode(encoding)
 
1445
 
 
1446
    def run_bzr_error(self, error_regexes, *args, **kwargs):
 
1447
        """Run bzr, and check that stderr contains the supplied regexes
 
1448
 
 
1449
        :param error_regexes: Sequence of regular expressions which
 
1450
            must each be found in the error output. The relative ordering
 
1451
            is not enforced.
 
1452
        :param args: command-line arguments for bzr
 
1453
        :param kwargs: Keyword arguments which are interpreted by run_bzr
 
1454
            This function changes the default value of retcode to be 3,
 
1455
            since in most cases this is run when you expect bzr to fail.
 
1456
 
 
1457
        :return: (out, err) The actual output of running the command (in case
 
1458
            you want to do more inspection)
 
1459
 
 
1460
        Examples of use::
 
1461
 
 
1462
            # Make sure that commit is failing because there is nothing to do
 
1463
            self.run_bzr_error(['no changes to commit'],
 
1464
                               ['commit', '-m', 'my commit comment'])
 
1465
            # Make sure --strict is handling an unknown file, rather than
 
1466
            # giving us the 'nothing to do' error
 
1467
            self.build_tree(['unknown'])
 
1468
            self.run_bzr_error(['Commit refused because there are unknown files'],
 
1469
                               ['commit', --strict', '-m', 'my commit comment'])
 
1470
        """
 
1471
        kwargs.setdefault('retcode', 3)
 
1472
        kwargs['error_regexes'] = error_regexes
 
1473
        out, err = self.run_bzr(*args, **kwargs)
 
1474
        return out, err
 
1475
 
 
1476
    def run_bzr_subprocess(self, *args, **kwargs):
 
1477
        """Run bzr in a subprocess for testing.
 
1478
 
 
1479
        This starts a new Python interpreter and runs bzr in there. 
 
1480
        This should only be used for tests that have a justifiable need for
 
1481
        this isolation: e.g. they are testing startup time, or signal
 
1482
        handling, or early startup code, etc.  Subprocess code can't be 
 
1483
        profiled or debugged so easily.
 
1484
 
 
1485
        :keyword retcode: The status code that is expected.  Defaults to 0.  If
 
1486
            None is supplied, the status code is not checked.
 
1487
        :keyword env_changes: A dictionary which lists changes to environment
 
1488
            variables. A value of None will unset the env variable.
 
1489
            The values must be strings. The change will only occur in the
 
1490
            child, so you don't need to fix the environment after running.
 
1491
        :keyword universal_newlines: Convert CRLF => LF
 
1492
        :keyword allow_plugins: By default the subprocess is run with
 
1493
            --no-plugins to ensure test reproducibility. Also, it is possible
 
1494
            for system-wide plugins to create unexpected output on stderr,
 
1495
            which can cause unnecessary test failures.
 
1496
        """
 
1497
        env_changes = kwargs.get('env_changes', {})
 
1498
        working_dir = kwargs.get('working_dir', None)
 
1499
        allow_plugins = kwargs.get('allow_plugins', False)
 
1500
        if len(args) == 1:
 
1501
            if isinstance(args[0], list):
 
1502
                args = args[0]
 
1503
            elif isinstance(args[0], basestring):
 
1504
                args = list(shlex.split(args[0]))
 
1505
        else:
 
1506
            symbol_versioning.warn(zero_ninetyone %
 
1507
                                   "passing varargs to run_bzr_subprocess",
 
1508
                                   DeprecationWarning, stacklevel=3)
 
1509
        process = self.start_bzr_subprocess(args, env_changes=env_changes,
 
1510
                                            working_dir=working_dir,
 
1511
                                            allow_plugins=allow_plugins)
 
1512
        # We distinguish between retcode=None and retcode not passed.
 
1513
        supplied_retcode = kwargs.get('retcode', 0)
 
1514
        return self.finish_bzr_subprocess(process, retcode=supplied_retcode,
 
1515
            universal_newlines=kwargs.get('universal_newlines', False),
 
1516
            process_args=args)
 
1517
 
 
1518
    def start_bzr_subprocess(self, process_args, env_changes=None,
 
1519
                             skip_if_plan_to_signal=False,
 
1520
                             working_dir=None,
 
1521
                             allow_plugins=False):
 
1522
        """Start bzr in a subprocess for testing.
 
1523
 
 
1524
        This starts a new Python interpreter and runs bzr in there.
 
1525
        This should only be used for tests that have a justifiable need for
 
1526
        this isolation: e.g. they are testing startup time, or signal
 
1527
        handling, or early startup code, etc.  Subprocess code can't be
 
1528
        profiled or debugged so easily.
 
1529
 
 
1530
        :param process_args: a list of arguments to pass to the bzr executable,
 
1531
            for example ``['--version']``.
 
1532
        :param env_changes: A dictionary which lists changes to environment
 
1533
            variables. A value of None will unset the env variable.
 
1534
            The values must be strings. The change will only occur in the
 
1535
            child, so you don't need to fix the environment after running.
 
1536
        :param skip_if_plan_to_signal: raise TestSkipped when true and os.kill
 
1537
            is not available.
 
1538
        :param allow_plugins: If False (default) pass --no-plugins to bzr.
 
1539
 
 
1540
        :returns: Popen object for the started process.
 
1541
        """
 
1542
        if skip_if_plan_to_signal:
 
1543
            if not getattr(os, 'kill', None):
 
1544
                raise TestSkipped("os.kill not available.")
 
1545
 
 
1546
        if env_changes is None:
 
1547
            env_changes = {}
 
1548
        old_env = {}
 
1549
 
 
1550
        def cleanup_environment():
 
1551
            for env_var, value in env_changes.iteritems():
 
1552
                old_env[env_var] = osutils.set_or_unset_env(env_var, value)
 
1553
 
 
1554
        def restore_environment():
 
1555
            for env_var, value in old_env.iteritems():
 
1556
                osutils.set_or_unset_env(env_var, value)
 
1557
 
 
1558
        bzr_path = self.get_bzr_path()
 
1559
 
 
1560
        cwd = None
 
1561
        if working_dir is not None:
 
1562
            cwd = osutils.getcwd()
 
1563
            os.chdir(working_dir)
 
1564
 
 
1565
        try:
 
1566
            # win32 subprocess doesn't support preexec_fn
 
1567
            # so we will avoid using it on all platforms, just to
 
1568
            # make sure the code path is used, and we don't break on win32
 
1569
            cleanup_environment()
 
1570
            command = [sys.executable, bzr_path]
 
1571
            if not allow_plugins:
 
1572
                command.append('--no-plugins')
 
1573
            command.extend(process_args)
 
1574
            process = self._popen(command, stdin=PIPE, stdout=PIPE, stderr=PIPE)
 
1575
        finally:
 
1576
            restore_environment()
 
1577
            if cwd is not None:
 
1578
                os.chdir(cwd)
 
1579
 
 
1580
        return process
 
1581
 
 
1582
    def _popen(self, *args, **kwargs):
 
1583
        """Place a call to Popen.
 
1584
 
 
1585
        Allows tests to override this method to intercept the calls made to
 
1586
        Popen for introspection.
 
1587
        """
 
1588
        return Popen(*args, **kwargs)
 
1589
 
 
1590
    def get_bzr_path(self):
 
1591
        """Return the path of the 'bzr' executable for this test suite."""
 
1592
        bzr_path = os.path.dirname(os.path.dirname(bzrlib.__file__))+'/bzr'
 
1593
        if not os.path.isfile(bzr_path):
 
1594
            # We are probably installed. Assume sys.argv is the right file
 
1595
            bzr_path = sys.argv[0]
 
1596
        return bzr_path
 
1597
 
 
1598
    def finish_bzr_subprocess(self, process, retcode=0, send_signal=None,
 
1599
                              universal_newlines=False, process_args=None):
 
1600
        """Finish the execution of process.
 
1601
 
 
1602
        :param process: the Popen object returned from start_bzr_subprocess.
 
1603
        :param retcode: The status code that is expected.  Defaults to 0.  If
 
1604
            None is supplied, the status code is not checked.
 
1605
        :param send_signal: an optional signal to send to the process.
 
1606
        :param universal_newlines: Convert CRLF => LF
 
1607
        :returns: (stdout, stderr)
 
1608
        """
 
1609
        if send_signal is not None:
 
1610
            os.kill(process.pid, send_signal)
 
1611
        out, err = process.communicate()
 
1612
 
 
1613
        if universal_newlines:
 
1614
            out = out.replace('\r\n', '\n')
 
1615
            err = err.replace('\r\n', '\n')
 
1616
 
 
1617
        if retcode is not None and retcode != process.returncode:
 
1618
            if process_args is None:
 
1619
                process_args = "(unknown args)"
 
1620
            mutter('Output of bzr %s:\n%s', process_args, out)
 
1621
            mutter('Error for bzr %s:\n%s', process_args, err)
 
1622
            self.fail('Command bzr %s failed with retcode %s != %s'
 
1623
                      % (process_args, retcode, process.returncode))
 
1624
        return [out, err]
 
1625
 
 
1626
    def check_inventory_shape(self, inv, shape):
 
1627
        """Compare an inventory to a list of expected names.
 
1628
 
 
1629
        Fail if they are not precisely equal.
 
1630
        """
 
1631
        extras = []
 
1632
        shape = list(shape)             # copy
 
1633
        for path, ie in inv.entries():
 
1634
            name = path.replace('\\', '/')
 
1635
            if ie.kind == 'directory':
 
1636
                name = name + '/'
 
1637
            if name in shape:
 
1638
                shape.remove(name)
 
1639
            else:
 
1640
                extras.append(name)
 
1641
        if shape:
 
1642
            self.fail("expected paths not found in inventory: %r" % shape)
 
1643
        if extras:
 
1644
            self.fail("unexpected paths found in inventory: %r" % extras)
 
1645
 
 
1646
    def apply_redirected(self, stdin=None, stdout=None, stderr=None,
 
1647
                         a_callable=None, *args, **kwargs):
 
1648
        """Call callable with redirected std io pipes.
 
1649
 
 
1650
        Returns the return code."""
 
1651
        if not callable(a_callable):
 
1652
            raise ValueError("a_callable must be callable.")
 
1653
        if stdin is None:
 
1654
            stdin = StringIO("")
 
1655
        if stdout is None:
 
1656
            if getattr(self, "_log_file", None) is not None:
 
1657
                stdout = self._log_file
 
1658
            else:
 
1659
                stdout = StringIO()
 
1660
        if stderr is None:
 
1661
            if getattr(self, "_log_file", None is not None):
 
1662
                stderr = self._log_file
 
1663
            else:
 
1664
                stderr = StringIO()
 
1665
        real_stdin = sys.stdin
 
1666
        real_stdout = sys.stdout
 
1667
        real_stderr = sys.stderr
 
1668
        try:
 
1669
            sys.stdout = stdout
 
1670
            sys.stderr = stderr
 
1671
            sys.stdin = stdin
 
1672
            return a_callable(*args, **kwargs)
 
1673
        finally:
 
1674
            sys.stdout = real_stdout
 
1675
            sys.stderr = real_stderr
 
1676
            sys.stdin = real_stdin
 
1677
 
 
1678
    def reduceLockdirTimeout(self):
 
1679
        """Reduce the default lock timeout for the duration of the test, so that
 
1680
        if LockContention occurs during a test, it does so quickly.
 
1681
 
 
1682
        Tests that expect to provoke LockContention errors should call this.
 
1683
        """
 
1684
        orig_timeout = bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS
 
1685
        def resetTimeout():
 
1686
            bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS = orig_timeout
 
1687
        self.addCleanup(resetTimeout)
 
1688
        bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS = 0
 
1689
 
 
1690
    def make_utf8_encoded_stringio(self, encoding_type=None):
 
1691
        """Return a StringIOWrapper instance, that will encode Unicode
 
1692
        input to UTF-8.
 
1693
        """
 
1694
        if encoding_type is None:
 
1695
            encoding_type = 'strict'
 
1696
        sio = StringIO()
 
1697
        output_encoding = 'utf-8'
 
1698
        sio = codecs.getwriter(output_encoding)(sio, errors=encoding_type)
 
1699
        sio.encoding = output_encoding
 
1700
        return sio
 
1701
 
 
1702
 
 
1703
class TestCaseWithMemoryTransport(TestCase):
 
1704
    """Common test class for tests that do not need disk resources.
 
1705
 
 
1706
    Tests that need disk resources should derive from TestCaseWithTransport.
 
1707
 
 
1708
    TestCaseWithMemoryTransport sets the TEST_ROOT variable for all bzr tests.
 
1709
 
 
1710
    For TestCaseWithMemoryTransport the test_home_dir is set to the name of
 
1711
    a directory which does not exist. This serves to help ensure test isolation
 
1712
    is preserved. test_dir is set to the TEST_ROOT, as is cwd, because they
 
1713
    must exist. However, TestCaseWithMemoryTransport does not offer local
 
1714
    file defaults for the transport in tests, nor does it obey the command line
 
1715
    override, so tests that accidentally write to the common directory should
 
1716
    be rare.
 
1717
 
 
1718
    :cvar TEST_ROOT: Directory containing all temporary directories, plus
 
1719
    a .bzr directory that stops us ascending higher into the filesystem.
 
1720
    """
 
1721
 
 
1722
    TEST_ROOT = None
 
1723
    _TEST_NAME = 'test'
 
1724
 
 
1725
    def __init__(self, methodName='runTest'):
 
1726
        # allow test parameterisation after test construction and before test
 
1727
        # execution. Variables that the parameteriser sets need to be 
 
1728
        # ones that are not set by setUp, or setUp will trash them.
 
1729
        super(TestCaseWithMemoryTransport, self).__init__(methodName)
 
1730
        self.vfs_transport_factory = default_transport
 
1731
        self.transport_server = None
 
1732
        self.transport_readonly_server = None
 
1733
        self.__vfs_server = None
 
1734
 
 
1735
    def get_transport(self, relpath=None):
 
1736
        """Return a writeable transport.
 
1737
 
 
1738
        This transport is for the test scratch space relative to
 
1739
        "self._test_root"
 
1740
        
 
1741
        :param relpath: a path relative to the base url.
 
1742
        """
 
1743
        t = get_transport(self.get_url(relpath))
 
1744
        self.assertFalse(t.is_readonly())
 
1745
        return t
 
1746
 
 
1747
    def get_readonly_transport(self, relpath=None):
 
1748
        """Return a readonly transport for the test scratch space
 
1749
        
 
1750
        This can be used to test that operations which should only need
 
1751
        readonly access in fact do not try to write.
 
1752
 
 
1753
        :param relpath: a path relative to the base url.
 
1754
        """
 
1755
        t = get_transport(self.get_readonly_url(relpath))
 
1756
        self.assertTrue(t.is_readonly())
 
1757
        return t
 
1758
 
 
1759
    def create_transport_readonly_server(self):
 
1760
        """Create a transport server from class defined at init.
 
1761
 
 
1762
        This is mostly a hook for daughter classes.
 
1763
        """
 
1764
        return self.transport_readonly_server()
 
1765
 
 
1766
    def get_readonly_server(self):
 
1767
        """Get the server instance for the readonly transport
 
1768
 
 
1769
        This is useful for some tests with specific servers to do diagnostics.
 
1770
        """
 
1771
        if self.__readonly_server is None:
 
1772
            if self.transport_readonly_server is None:
 
1773
                # readonly decorator requested
 
1774
                # bring up the server
 
1775
                self.__readonly_server = ReadonlyServer()
 
1776
                self.__readonly_server.setUp(self.get_vfs_only_server())
 
1777
            else:
 
1778
                self.__readonly_server = self.create_transport_readonly_server()
 
1779
                self.__readonly_server.setUp(self.get_vfs_only_server())
 
1780
            self.addCleanup(self.__readonly_server.tearDown)
 
1781
        return self.__readonly_server
 
1782
 
 
1783
    def get_readonly_url(self, relpath=None):
 
1784
        """Get a URL for the readonly transport.
 
1785
 
 
1786
        This will either be backed by '.' or a decorator to the transport 
 
1787
        used by self.get_url()
 
1788
        relpath provides for clients to get a path relative to the base url.
 
1789
        These should only be downwards relative, not upwards.
 
1790
        """
 
1791
        base = self.get_readonly_server().get_url()
 
1792
        return self._adjust_url(base, relpath)
 
1793
 
 
1794
    def get_vfs_only_server(self):
 
1795
        """Get the vfs only read/write server instance.
 
1796
 
 
1797
        This is useful for some tests with specific servers that need
 
1798
        diagnostics.
 
1799
 
 
1800
        For TestCaseWithMemoryTransport this is always a MemoryServer, and there
 
1801
        is no means to override it.
 
1802
        """
 
1803
        if self.__vfs_server is None:
 
1804
            self.__vfs_server = MemoryServer()
 
1805
            self.__vfs_server.setUp()
 
1806
            self.addCleanup(self.__vfs_server.tearDown)
 
1807
        return self.__vfs_server
 
1808
 
 
1809
    def get_server(self):
 
1810
        """Get the read/write server instance.
 
1811
 
 
1812
        This is useful for some tests with specific servers that need
 
1813
        diagnostics.
 
1814
 
 
1815
        This is built from the self.transport_server factory. If that is None,
 
1816
        then the self.get_vfs_server is returned.
 
1817
        """
 
1818
        if self.__server is None:
 
1819
            if self.transport_server is None or self.transport_server is self.vfs_transport_factory:
 
1820
                return self.get_vfs_only_server()
 
1821
            else:
 
1822
                # bring up a decorated means of access to the vfs only server.
 
1823
                self.__server = self.transport_server()
 
1824
                try:
 
1825
                    self.__server.setUp(self.get_vfs_only_server())
 
1826
                except TypeError, e:
 
1827
                    # This should never happen; the try:Except here is to assist
 
1828
                    # developers having to update code rather than seeing an
 
1829
                    # uninformative TypeError.
 
1830
                    raise Exception, "Old server API in use: %s, %s" % (self.__server, e)
 
1831
            self.addCleanup(self.__server.tearDown)
 
1832
        return self.__server
 
1833
 
 
1834
    def _adjust_url(self, base, relpath):
 
1835
        """Get a URL (or maybe a path) for the readwrite transport.
 
1836
 
 
1837
        This will either be backed by '.' or to an equivalent non-file based
 
1838
        facility.
 
1839
        relpath provides for clients to get a path relative to the base url.
 
1840
        These should only be downwards relative, not upwards.
 
1841
        """
 
1842
        if relpath is not None and relpath != '.':
 
1843
            if not base.endswith('/'):
 
1844
                base = base + '/'
 
1845
            # XXX: Really base should be a url; we did after all call
 
1846
            # get_url()!  But sometimes it's just a path (from
 
1847
            # LocalAbspathServer), and it'd be wrong to append urlescaped data
 
1848
            # to a non-escaped local path.
 
1849
            if base.startswith('./') or base.startswith('/'):
 
1850
                base += relpath
 
1851
            else:
 
1852
                base += urlutils.escape(relpath)
 
1853
        return base
 
1854
 
 
1855
    def get_url(self, relpath=None):
 
1856
        """Get a URL (or maybe a path) for the readwrite transport.
 
1857
 
 
1858
        This will either be backed by '.' or to an equivalent non-file based
 
1859
        facility.
 
1860
        relpath provides for clients to get a path relative to the base url.
 
1861
        These should only be downwards relative, not upwards.
 
1862
        """
 
1863
        base = self.get_server().get_url()
 
1864
        return self._adjust_url(base, relpath)
 
1865
 
 
1866
    def get_vfs_only_url(self, relpath=None):
 
1867
        """Get a URL (or maybe a path for the plain old vfs transport.
 
1868
 
 
1869
        This will never be a smart protocol.  It always has all the
 
1870
        capabilities of the local filesystem, but it might actually be a
 
1871
        MemoryTransport or some other similar virtual filesystem.
 
1872
 
 
1873
        This is the backing transport (if any) of the server returned by
 
1874
        get_url and get_readonly_url.
 
1875
 
 
1876
        :param relpath: provides for clients to get a path relative to the base
 
1877
            url.  These should only be downwards relative, not upwards.
 
1878
        :return: A URL
 
1879
        """
 
1880
        base = self.get_vfs_only_server().get_url()
 
1881
        return self._adjust_url(base, relpath)
 
1882
 
 
1883
    def _make_test_root(self):
 
1884
        if TestCaseWithMemoryTransport.TEST_ROOT is not None:
 
1885
            return
 
1886
        root = osutils.mkdtemp(prefix='testbzr-', suffix='.tmp')
 
1887
        TestCaseWithMemoryTransport.TEST_ROOT = root
 
1888
        
 
1889
        # make a fake bzr directory there to prevent any tests propagating
 
1890
        # up onto the source directory's real branch
 
1891
        bzrdir.BzrDir.create_standalone_workingtree(root)
 
1892
 
 
1893
        # The same directory is used by all tests, and we're not specifically
 
1894
        # told when all tests are finished.  This will do.
 
1895
        atexit.register(_rmtree_temp_dir, root)
 
1896
 
 
1897
    def makeAndChdirToTestDir(self):
 
1898
        """Create a temporary directories for this one test.
 
1899
        
 
1900
        This must set self.test_home_dir and self.test_dir and chdir to
 
1901
        self.test_dir.
 
1902
        
 
1903
        For TestCaseWithMemoryTransport we chdir to the TEST_ROOT for this test.
 
1904
        """
 
1905
        os.chdir(TestCaseWithMemoryTransport.TEST_ROOT)
 
1906
        self.test_dir = TestCaseWithMemoryTransport.TEST_ROOT
 
1907
        self.test_home_dir = self.test_dir + "/MemoryTransportMissingHomeDir"
 
1908
        
 
1909
    def make_branch(self, relpath, format=None):
 
1910
        """Create a branch on the transport at relpath."""
 
1911
        repo = self.make_repository(relpath, format=format)
 
1912
        return repo.bzrdir.create_branch()
 
1913
 
 
1914
    def make_bzrdir(self, relpath, format=None):
 
1915
        try:
 
1916
            # might be a relative or absolute path
 
1917
            maybe_a_url = self.get_url(relpath)
 
1918
            segments = maybe_a_url.rsplit('/', 1)
 
1919
            t = get_transport(maybe_a_url)
 
1920
            if len(segments) > 1 and segments[-1] not in ('', '.'):
 
1921
                t.ensure_base()
 
1922
            if format is None:
 
1923
                format = 'default'
 
1924
            if isinstance(format, basestring):
 
1925
                format = bzrdir.format_registry.make_bzrdir(format)
 
1926
            return format.initialize_on_transport(t)
 
1927
        except errors.UninitializableFormat:
 
1928
            raise TestSkipped("Format %s is not initializable." % format)
 
1929
 
 
1930
    def make_repository(self, relpath, shared=False, format=None):
 
1931
        """Create a repository on our default transport at relpath.
 
1932
        
 
1933
        Note that relpath must be a relative path, not a full url.
 
1934
        """
 
1935
        # FIXME: If you create a remoterepository this returns the underlying
 
1936
        # real format, which is incorrect.  Actually we should make sure that 
 
1937
        # RemoteBzrDir returns a RemoteRepository.
 
1938
        # maybe  mbp 20070410
 
1939
        made_control = self.make_bzrdir(relpath, format=format)
 
1940
        return made_control.create_repository(shared=shared)
 
1941
 
 
1942
    def make_branch_and_memory_tree(self, relpath, format=None):
 
1943
        """Create a branch on the default transport and a MemoryTree for it."""
 
1944
        b = self.make_branch(relpath, format=format)
 
1945
        return memorytree.MemoryTree.create_on_branch(b)
 
1946
 
 
1947
    def overrideEnvironmentForTesting(self):
 
1948
        os.environ['HOME'] = self.test_home_dir
 
1949
        os.environ['BZR_HOME'] = self.test_home_dir
 
1950
        
 
1951
    def setUp(self):
 
1952
        super(TestCaseWithMemoryTransport, self).setUp()
 
1953
        self._make_test_root()
 
1954
        _currentdir = os.getcwdu()
 
1955
        def _leaveDirectory():
 
1956
            os.chdir(_currentdir)
 
1957
        self.addCleanup(_leaveDirectory)
 
1958
        self.makeAndChdirToTestDir()
 
1959
        self.overrideEnvironmentForTesting()
 
1960
        self.__readonly_server = None
 
1961
        self.__server = None
 
1962
        self.reduceLockdirTimeout()
 
1963
 
 
1964
     
 
1965
class TestCaseInTempDir(TestCaseWithMemoryTransport):
 
1966
    """Derived class that runs a test within a temporary directory.
 
1967
 
 
1968
    This is useful for tests that need to create a branch, etc.
 
1969
 
 
1970
    The directory is created in a slightly complex way: for each
 
1971
    Python invocation, a new temporary top-level directory is created.
 
1972
    All test cases create their own directory within that.  If the
 
1973
    tests complete successfully, the directory is removed.
 
1974
 
 
1975
    :ivar test_base_dir: The path of the top-level directory for this 
 
1976
    test, which contains a home directory and a work directory.
 
1977
 
 
1978
    :ivar test_home_dir: An initially empty directory under test_base_dir
 
1979
    which is used as $HOME for this test.
 
1980
 
 
1981
    :ivar test_dir: A directory under test_base_dir used as the current
 
1982
    directory when the test proper is run.
 
1983
    """
 
1984
 
 
1985
    OVERRIDE_PYTHON = 'python'
 
1986
 
 
1987
    def check_file_contents(self, filename, expect):
 
1988
        self.log("check contents of file %s" % filename)
 
1989
        contents = file(filename, 'r').read()
 
1990
        if contents != expect:
 
1991
            self.log("expected: %r" % expect)
 
1992
            self.log("actually: %r" % contents)
 
1993
            self.fail("contents of %s not as expected" % filename)
 
1994
 
 
1995
    def makeAndChdirToTestDir(self):
 
1996
        """See TestCaseWithMemoryTransport.makeAndChdirToTestDir().
 
1997
        
 
1998
        For TestCaseInTempDir we create a temporary directory based on the test
 
1999
        name and then create two subdirs - test and home under it.
 
2000
        """
 
2001
        # create a directory within the top level test directory
 
2002
        candidate_dir = osutils.mkdtemp(dir=self.TEST_ROOT)
 
2003
        # now create test and home directories within this dir
 
2004
        self.test_base_dir = candidate_dir
 
2005
        self.test_home_dir = self.test_base_dir + '/home'
 
2006
        os.mkdir(self.test_home_dir)
 
2007
        self.test_dir = self.test_base_dir + '/work'
 
2008
        os.mkdir(self.test_dir)
 
2009
        os.chdir(self.test_dir)
 
2010
        # put name of test inside
 
2011
        f = file(self.test_base_dir + '/name', 'w')
 
2012
        try:
 
2013
            f.write(self.id())
 
2014
        finally:
 
2015
            f.close()
 
2016
        self.addCleanup(self.deleteTestDir)
 
2017
 
 
2018
    def deleteTestDir(self):
 
2019
        os.chdir(self.TEST_ROOT)
 
2020
        _rmtree_temp_dir(self.test_base_dir)
 
2021
 
 
2022
    def build_tree(self, shape, line_endings='binary', transport=None):
 
2023
        """Build a test tree according to a pattern.
 
2024
 
 
2025
        shape is a sequence of file specifications.  If the final
 
2026
        character is '/', a directory is created.
 
2027
 
 
2028
        This assumes that all the elements in the tree being built are new.
 
2029
 
 
2030
        This doesn't add anything to a branch.
 
2031
 
 
2032
        :param line_endings: Either 'binary' or 'native'
 
2033
            in binary mode, exact contents are written in native mode, the
 
2034
            line endings match the default platform endings.
 
2035
        :param transport: A transport to write to, for building trees on VFS's.
 
2036
            If the transport is readonly or None, "." is opened automatically.
 
2037
        :return: None
 
2038
        """
 
2039
        # It's OK to just create them using forward slashes on windows.
 
2040
        if transport is None or transport.is_readonly():
 
2041
            transport = get_transport(".")
 
2042
        for name in shape:
 
2043
            self.assert_(isinstance(name, basestring))
 
2044
            if name[-1] == '/':
 
2045
                transport.mkdir(urlutils.escape(name[:-1]))
 
2046
            else:
 
2047
                if line_endings == 'binary':
 
2048
                    end = '\n'
 
2049
                elif line_endings == 'native':
 
2050
                    end = os.linesep
 
2051
                else:
 
2052
                    raise errors.BzrError(
 
2053
                        'Invalid line ending request %r' % line_endings)
 
2054
                content = "contents of %s%s" % (name.encode('utf-8'), end)
 
2055
                transport.put_bytes_non_atomic(urlutils.escape(name), content)
 
2056
 
 
2057
    def build_tree_contents(self, shape):
 
2058
        build_tree_contents(shape)
 
2059
 
 
2060
    def assertFileEqual(self, content, path):
 
2061
        """Fail if path does not contain 'content'."""
 
2062
        self.failUnlessExists(path)
 
2063
        f = file(path, 'rb')
 
2064
        try:
 
2065
            s = f.read()
 
2066
        finally:
 
2067
            f.close()
 
2068
        self.assertEqualDiff(content, s)
 
2069
 
 
2070
    def failUnlessExists(self, path):
 
2071
        """Fail unless path or paths, which may be abs or relative, exist."""
 
2072
        if not isinstance(path, basestring):
 
2073
            for p in path:
 
2074
                self.failUnlessExists(p)
 
2075
        else:
 
2076
            self.failUnless(osutils.lexists(path),path+" does not exist")
 
2077
 
 
2078
    def failIfExists(self, path):
 
2079
        """Fail if path or paths, which may be abs or relative, exist."""
 
2080
        if not isinstance(path, basestring):
 
2081
            for p in path:
 
2082
                self.failIfExists(p)
 
2083
        else:
 
2084
            self.failIf(osutils.lexists(path),path+" exists")
 
2085
 
 
2086
    def assertInWorkingTree(self, path, root_path='.', tree=None):
 
2087
        """Assert whether path or paths are in the WorkingTree"""
 
2088
        if tree is None:
 
2089
            tree = workingtree.WorkingTree.open(root_path)
 
2090
        if not isinstance(path, basestring):
 
2091
            for p in path:
 
2092
                self.assertInWorkingTree(p,tree=tree)
 
2093
        else:
 
2094
            self.assertIsNot(tree.path2id(path), None,
 
2095
                path+' not in working tree.')
 
2096
 
 
2097
    def assertNotInWorkingTree(self, path, root_path='.', tree=None):
 
2098
        """Assert whether path or paths are not in the WorkingTree"""
 
2099
        if tree is None:
 
2100
            tree = workingtree.WorkingTree.open(root_path)
 
2101
        if not isinstance(path, basestring):
 
2102
            for p in path:
 
2103
                self.assertNotInWorkingTree(p,tree=tree)
 
2104
        else:
 
2105
            self.assertIs(tree.path2id(path), None, path+' in working tree.')
 
2106
 
 
2107
 
 
2108
class TestCaseWithTransport(TestCaseInTempDir):
 
2109
    """A test case that provides get_url and get_readonly_url facilities.
 
2110
 
 
2111
    These back onto two transport servers, one for readonly access and one for
 
2112
    read write access.
 
2113
 
 
2114
    If no explicit class is provided for readonly access, a
 
2115
    ReadonlyTransportDecorator is used instead which allows the use of non disk
 
2116
    based read write transports.
 
2117
 
 
2118
    If an explicit class is provided for readonly access, that server and the 
 
2119
    readwrite one must both define get_url() as resolving to os.getcwd().
 
2120
    """
 
2121
 
 
2122
    def get_vfs_only_server(self):
 
2123
        """See TestCaseWithMemoryTransport.
 
2124
 
 
2125
        This is useful for some tests with specific servers that need
 
2126
        diagnostics.
 
2127
        """
 
2128
        if self.__vfs_server is None:
 
2129
            self.__vfs_server = self.vfs_transport_factory()
 
2130
            self.__vfs_server.setUp()
 
2131
            self.addCleanup(self.__vfs_server.tearDown)
 
2132
        return self.__vfs_server
 
2133
 
 
2134
    def make_branch_and_tree(self, relpath, format=None):
 
2135
        """Create a branch on the transport and a tree locally.
 
2136
 
 
2137
        If the transport is not a LocalTransport, the Tree can't be created on
 
2138
        the transport.  In that case if the vfs_transport_factory is
 
2139
        LocalURLServer the working tree is created in the local
 
2140
        directory backing the transport, and the returned tree's branch and
 
2141
        repository will also be accessed locally. Otherwise a lightweight
 
2142
        checkout is created and returned.
 
2143
 
 
2144
        :param format: The BzrDirFormat.
 
2145
        :returns: the WorkingTree.
 
2146
        """
 
2147
        # TODO: always use the local disk path for the working tree,
 
2148
        # this obviously requires a format that supports branch references
 
2149
        # so check for that by checking bzrdir.BzrDirFormat.get_default_format()
 
2150
        # RBC 20060208
 
2151
        b = self.make_branch(relpath, format=format)
 
2152
        try:
 
2153
            return b.bzrdir.create_workingtree()
 
2154
        except errors.NotLocalUrl:
 
2155
            # We can only make working trees locally at the moment.  If the
 
2156
            # transport can't support them, then we keep the non-disk-backed
 
2157
            # branch and create a local checkout.
 
2158
            if self.vfs_transport_factory is LocalURLServer:
 
2159
                # the branch is colocated on disk, we cannot create a checkout.
 
2160
                # hopefully callers will expect this.
 
2161
                local_controldir= bzrdir.BzrDir.open(self.get_vfs_only_url(relpath))
 
2162
                return local_controldir.create_workingtree()
 
2163
            else:
 
2164
                return b.create_checkout(relpath, lightweight=True)
 
2165
 
 
2166
    def assertIsDirectory(self, relpath, transport):
 
2167
        """Assert that relpath within transport is a directory.
 
2168
 
 
2169
        This may not be possible on all transports; in that case it propagates
 
2170
        a TransportNotPossible.
 
2171
        """
 
2172
        try:
 
2173
            mode = transport.stat(relpath).st_mode
 
2174
        except errors.NoSuchFile:
 
2175
            self.fail("path %s is not a directory; no such file"
 
2176
                      % (relpath))
 
2177
        if not stat.S_ISDIR(mode):
 
2178
            self.fail("path %s is not a directory; has mode %#o"
 
2179
                      % (relpath, mode))
 
2180
 
 
2181
    def assertTreesEqual(self, left, right):
 
2182
        """Check that left and right have the same content and properties."""
 
2183
        # we use a tree delta to check for equality of the content, and we
 
2184
        # manually check for equality of other things such as the parents list.
 
2185
        self.assertEqual(left.get_parent_ids(), right.get_parent_ids())
 
2186
        differences = left.changes_from(right)
 
2187
        self.assertFalse(differences.has_changed(),
 
2188
            "Trees %r and %r are different: %r" % (left, right, differences))
 
2189
 
 
2190
    def setUp(self):
 
2191
        super(TestCaseWithTransport, self).setUp()
 
2192
        self.__vfs_server = None
 
2193
 
 
2194
 
 
2195
class ChrootedTestCase(TestCaseWithTransport):
 
2196
    """A support class that provides readonly urls outside the local namespace.
 
2197
 
 
2198
    This is done by checking if self.transport_server is a MemoryServer. if it
 
2199
    is then we are chrooted already, if it is not then an HttpServer is used
 
2200
    for readonly urls.
 
2201
 
 
2202
    TODO RBC 20060127: make this an option to TestCaseWithTransport so it can
 
2203
                       be used without needed to redo it when a different 
 
2204
                       subclass is in use ?
 
2205
    """
 
2206
 
 
2207
    def setUp(self):
 
2208
        super(ChrootedTestCase, self).setUp()
 
2209
        if not self.vfs_transport_factory == MemoryServer:
 
2210
            self.transport_readonly_server = HttpServer
 
2211
 
 
2212
 
 
2213
def filter_suite_by_re(suite, pattern, exclude_pattern=None,
 
2214
                       random_order=False):
 
2215
    """Create a test suite by filtering another one.
 
2216
    
 
2217
    :param suite:           the source suite
 
2218
    :param pattern:         pattern that names must match
 
2219
    :param exclude_pattern: pattern that names must not match, if any
 
2220
    :param random_order:    if True, tests in the new suite will be put in
 
2221
                            random order
 
2222
    :returns: the newly created suite
 
2223
    """ 
 
2224
    return sort_suite_by_re(suite, pattern, exclude_pattern,
 
2225
        random_order, False)
 
2226
 
 
2227
 
 
2228
def sort_suite_by_re(suite, pattern, exclude_pattern=None,
 
2229
                     random_order=False, append_rest=True):
 
2230
    """Create a test suite by sorting another one.
 
2231
    
 
2232
    :param suite:           the source suite
 
2233
    :param pattern:         pattern that names must match in order to go
 
2234
                            first in the new suite
 
2235
    :param exclude_pattern: pattern that names must not match, if any
 
2236
    :param random_order:    if True, tests in the new suite will be put in
 
2237
                            random order
 
2238
    :param append_rest:     if False, pattern is a strict filter and not
 
2239
                            just an ordering directive
 
2240
    :returns: the newly created suite
 
2241
    """ 
 
2242
    first = []
 
2243
    second = []
 
2244
    filter_re = re.compile(pattern)
 
2245
    if exclude_pattern is not None:
 
2246
        exclude_re = re.compile(exclude_pattern)
 
2247
    for test in iter_suite_tests(suite):
 
2248
        test_id = test.id()
 
2249
        if exclude_pattern is None or not exclude_re.search(test_id):
 
2250
            if filter_re.search(test_id):
 
2251
                first.append(test)
 
2252
            elif append_rest:
 
2253
                second.append(test)
 
2254
    if random_order:
 
2255
        random.shuffle(first)
 
2256
        random.shuffle(second)
 
2257
    return TestUtil.TestSuite(first + second)
 
2258
 
 
2259
 
 
2260
def run_suite(suite, name='test', verbose=False, pattern=".*",
 
2261
              stop_on_failure=False,
 
2262
              transport=None, lsprof_timed=None, bench_history=None,
 
2263
              matching_tests_first=None,
 
2264
              list_only=False,
 
2265
              random_seed=None,
 
2266
              exclude_pattern=None,
 
2267
              strict=False,
 
2268
              ):
 
2269
    TestCase._gather_lsprof_in_benchmarks = lsprof_timed
 
2270
    if verbose:
 
2271
        verbosity = 2
 
2272
    else:
 
2273
        verbosity = 1
 
2274
    runner = TextTestRunner(stream=sys.stdout,
 
2275
                            descriptions=0,
 
2276
                            verbosity=verbosity,
 
2277
                            bench_history=bench_history,
 
2278
                            list_only=list_only,
 
2279
                            )
 
2280
    runner.stop_on_failure=stop_on_failure
 
2281
    # Initialise the random number generator and display the seed used.
 
2282
    # We convert the seed to a long to make it reuseable across invocations.
 
2283
    random_order = False
 
2284
    if random_seed is not None:
 
2285
        random_order = True
 
2286
        if random_seed == "now":
 
2287
            random_seed = long(time.time())
 
2288
        else:
 
2289
            # Convert the seed to a long if we can
 
2290
            try:
 
2291
                random_seed = long(random_seed)
 
2292
            except:
 
2293
                pass
 
2294
        runner.stream.writeln("Randomizing test order using seed %s\n" %
 
2295
            (random_seed))
 
2296
        random.seed(random_seed)
 
2297
    # Customise the list of tests if requested
 
2298
    if pattern != '.*' or exclude_pattern is not None or random_order:
 
2299
        if matching_tests_first:
 
2300
            suite = sort_suite_by_re(suite, pattern, exclude_pattern,
 
2301
                random_order)
 
2302
        else:
 
2303
            suite = filter_suite_by_re(suite, pattern, exclude_pattern,
 
2304
                random_order)
 
2305
    result = runner.run(suite)
 
2306
 
 
2307
    if strict:
 
2308
        return result.wasStrictlySuccessful()
 
2309
 
 
2310
    return result.wasSuccessful()
 
2311
 
 
2312
 
 
2313
def selftest(verbose=False, pattern=".*", stop_on_failure=True,
 
2314
             transport=None,
 
2315
             test_suite_factory=None,
 
2316
             lsprof_timed=None,
 
2317
             bench_history=None,
 
2318
             matching_tests_first=None,
 
2319
             list_only=False,
 
2320
             random_seed=None,
 
2321
             exclude_pattern=None,
 
2322
             strict=False,
 
2323
             ):
 
2324
    """Run the whole test suite under the enhanced runner"""
 
2325
    # XXX: Very ugly way to do this...
 
2326
    # Disable warning about old formats because we don't want it to disturb
 
2327
    # any blackbox tests.
 
2328
    from bzrlib import repository
 
2329
    repository._deprecation_warning_done = True
 
2330
 
 
2331
    global default_transport
 
2332
    if transport is None:
 
2333
        transport = default_transport
 
2334
    old_transport = default_transport
 
2335
    default_transport = transport
 
2336
    try:
 
2337
        if test_suite_factory is None:
 
2338
            suite = test_suite()
 
2339
        else:
 
2340
            suite = test_suite_factory()
 
2341
        return run_suite(suite, 'testbzr', verbose=verbose, pattern=pattern,
 
2342
                     stop_on_failure=stop_on_failure,
 
2343
                     transport=transport,
 
2344
                     lsprof_timed=lsprof_timed,
 
2345
                     bench_history=bench_history,
 
2346
                     matching_tests_first=matching_tests_first,
 
2347
                     list_only=list_only,
 
2348
                     random_seed=random_seed,
 
2349
                     exclude_pattern=exclude_pattern,
 
2350
                     strict=strict)
 
2351
    finally:
 
2352
        default_transport = old_transport
 
2353
 
 
2354
 
 
2355
def test_suite():
 
2356
    """Build and return TestSuite for the whole of bzrlib.
 
2357
    
 
2358
    This function can be replaced if you need to change the default test
 
2359
    suite on a global basis, but it is not encouraged.
 
2360
    """
 
2361
    testmod_names = [
 
2362
                   'bzrlib.util.tests.test_bencode',
 
2363
                   'bzrlib.tests.test__dirstate_helpers',
 
2364
                   'bzrlib.tests.test_ancestry',
 
2365
                   'bzrlib.tests.test_annotate',
 
2366
                   'bzrlib.tests.test_api',
 
2367
                   'bzrlib.tests.test_atomicfile',
 
2368
                   'bzrlib.tests.test_bad_files',
 
2369
                   'bzrlib.tests.test_branch',
 
2370
                   'bzrlib.tests.test_branchbuilder',
 
2371
                   'bzrlib.tests.test_bugtracker',
 
2372
                   'bzrlib.tests.test_bundle',
 
2373
                   'bzrlib.tests.test_bzrdir',
 
2374
                   'bzrlib.tests.test_cache_utf8',
 
2375
                   'bzrlib.tests.test_commands',
 
2376
                   'bzrlib.tests.test_commit',
 
2377
                   'bzrlib.tests.test_commit_merge',
 
2378
                   'bzrlib.tests.test_config',
 
2379
                   'bzrlib.tests.test_conflicts',
 
2380
                   'bzrlib.tests.test_counted_lock',
 
2381
                   'bzrlib.tests.test_decorators',
 
2382
                   'bzrlib.tests.test_delta',
 
2383
                   'bzrlib.tests.test_deprecated_graph',
 
2384
                   'bzrlib.tests.test_diff',
 
2385
                   'bzrlib.tests.test_dirstate',
 
2386
                   'bzrlib.tests.test_email_message',
 
2387
                   'bzrlib.tests.test_errors',
 
2388
                   'bzrlib.tests.test_escaped_store',
 
2389
                   'bzrlib.tests.test_extract',
 
2390
                   'bzrlib.tests.test_fetch',
 
2391
                   'bzrlib.tests.test_ftp_transport',
 
2392
                   'bzrlib.tests.test_generate_docs',
 
2393
                   'bzrlib.tests.test_generate_ids',
 
2394
                   'bzrlib.tests.test_globbing',
 
2395
                   'bzrlib.tests.test_gpg',
 
2396
                   'bzrlib.tests.test_graph',
 
2397
                   'bzrlib.tests.test_hashcache',
 
2398
                   'bzrlib.tests.test_help',
 
2399
                   'bzrlib.tests.test_hooks',
 
2400
                   'bzrlib.tests.test_http',
 
2401
                   'bzrlib.tests.test_http_response',
 
2402
                   'bzrlib.tests.test_https_ca_bundle',
 
2403
                   'bzrlib.tests.test_identitymap',
 
2404
                   'bzrlib.tests.test_ignores',
 
2405
                   'bzrlib.tests.test_index',
 
2406
                   'bzrlib.tests.test_info',
 
2407
                   'bzrlib.tests.test_inv',
 
2408
                   'bzrlib.tests.test_knit',
 
2409
                   'bzrlib.tests.test_lazy_import',
 
2410
                   'bzrlib.tests.test_lazy_regex',
 
2411
                   'bzrlib.tests.test_lockdir',
 
2412
                   'bzrlib.tests.test_lockable_files',
 
2413
                   'bzrlib.tests.test_log',
 
2414
                   'bzrlib.tests.test_lsprof',
 
2415
                   'bzrlib.tests.test_mail_client',
 
2416
                   'bzrlib.tests.test_memorytree',
 
2417
                   'bzrlib.tests.test_merge',
 
2418
                   'bzrlib.tests.test_merge3',
 
2419
                   'bzrlib.tests.test_merge_core',
 
2420
                   'bzrlib.tests.test_merge_directive',
 
2421
                   'bzrlib.tests.test_missing',
 
2422
                   'bzrlib.tests.test_msgeditor',
 
2423
                   'bzrlib.tests.test_multiparent',
 
2424
                   'bzrlib.tests.test_nonascii',
 
2425
                   'bzrlib.tests.test_options',
 
2426
                   'bzrlib.tests.test_osutils',
 
2427
                   'bzrlib.tests.test_osutils_encodings',
 
2428
                   'bzrlib.tests.test_pack',
 
2429
                   'bzrlib.tests.test_patch',
 
2430
                   'bzrlib.tests.test_patches',
 
2431
                   'bzrlib.tests.test_permissions',
 
2432
                   'bzrlib.tests.test_plugins',
 
2433
                   'bzrlib.tests.test_progress',
 
2434
                   'bzrlib.tests.test_reconfigure',
 
2435
                   'bzrlib.tests.test_reconcile',
 
2436
                   'bzrlib.tests.test_registry',
 
2437
                   'bzrlib.tests.test_remote',
 
2438
                   'bzrlib.tests.test_repository',
 
2439
                   'bzrlib.tests.test_revert',
 
2440
                   'bzrlib.tests.test_revision',
 
2441
                   'bzrlib.tests.test_revisionnamespaces',
 
2442
                   'bzrlib.tests.test_revisiontree',
 
2443
                   'bzrlib.tests.test_rio',
 
2444
                   'bzrlib.tests.test_sampler',
 
2445
                   'bzrlib.tests.test_selftest',
 
2446
                   'bzrlib.tests.test_setup',
 
2447
                   'bzrlib.tests.test_sftp_transport',
 
2448
                   'bzrlib.tests.test_smart',
 
2449
                   'bzrlib.tests.test_smart_add',
 
2450
                   'bzrlib.tests.test_smart_transport',
 
2451
                   'bzrlib.tests.test_smtp_connection',
 
2452
                   'bzrlib.tests.test_source',
 
2453
                   'bzrlib.tests.test_ssh_transport',
 
2454
                   'bzrlib.tests.test_status',
 
2455
                   'bzrlib.tests.test_store',
 
2456
                   'bzrlib.tests.test_strace',
 
2457
                   'bzrlib.tests.test_subsume',
 
2458
                   'bzrlib.tests.test_symbol_versioning',
 
2459
                   'bzrlib.tests.test_tag',
 
2460
                   'bzrlib.tests.test_testament',
 
2461
                   'bzrlib.tests.test_textfile',
 
2462
                   'bzrlib.tests.test_textmerge',
 
2463
                   'bzrlib.tests.test_timestamp',
 
2464
                   'bzrlib.tests.test_trace',
 
2465
                   'bzrlib.tests.test_transactions',
 
2466
                   'bzrlib.tests.test_transform',
 
2467
                   'bzrlib.tests.test_transport',
 
2468
                   'bzrlib.tests.test_tree',
 
2469
                   'bzrlib.tests.test_treebuilder',
 
2470
                   'bzrlib.tests.test_tsort',
 
2471
                   'bzrlib.tests.test_tuned_gzip',
 
2472
                   'bzrlib.tests.test_ui',
 
2473
                   'bzrlib.tests.test_upgrade',
 
2474
                   'bzrlib.tests.test_urlutils',
 
2475
                   'bzrlib.tests.test_versionedfile',
 
2476
                   'bzrlib.tests.test_version',
 
2477
                   'bzrlib.tests.test_version_info',
 
2478
                   'bzrlib.tests.test_weave',
 
2479
                   'bzrlib.tests.test_whitebox',
 
2480
                   'bzrlib.tests.test_win32utils',
 
2481
                   'bzrlib.tests.test_workingtree',
 
2482
                   'bzrlib.tests.test_workingtree_4',
 
2483
                   'bzrlib.tests.test_wsgi',
 
2484
                   'bzrlib.tests.test_xml',
 
2485
                   ]
 
2486
    test_transport_implementations = [
 
2487
        'bzrlib.tests.test_transport_implementations',
 
2488
        'bzrlib.tests.test_read_bundle',
 
2489
        ]
 
2490
    suite = TestUtil.TestSuite()
 
2491
    loader = TestUtil.TestLoader()
 
2492
    suite.addTest(loader.loadTestsFromModuleNames(testmod_names))
 
2493
    from bzrlib.tests.test_transport_implementations import TransportTestProviderAdapter
 
2494
    adapter = TransportTestProviderAdapter()
 
2495
    adapt_modules(test_transport_implementations, adapter, loader, suite)
 
2496
    for package in packages_to_test():
 
2497
        suite.addTest(package.test_suite())
 
2498
    for m in MODULES_TO_TEST:
 
2499
        suite.addTest(loader.loadTestsFromModule(m))
 
2500
    for m in MODULES_TO_DOCTEST:
 
2501
        try:
 
2502
            suite.addTest(doctest.DocTestSuite(m))
 
2503
        except ValueError, e:
 
2504
            print '**failed to get doctest for: %s\n%s' %(m,e)
 
2505
            raise
 
2506
    default_encoding = sys.getdefaultencoding()
 
2507
    for name, plugin in bzrlib.plugin.plugins().items():
 
2508
        try:
 
2509
            plugin_suite = plugin.test_suite()
 
2510
        except ImportError, e:
 
2511
            bzrlib.trace.warning(
 
2512
                'Unable to test plugin "%s": %s', name, e)
 
2513
        else:
 
2514
            if plugin_suite is not None:
 
2515
                suite.addTest(plugin_suite)
 
2516
        if default_encoding != sys.getdefaultencoding():
 
2517
            bzrlib.trace.warning(
 
2518
                'Plugin "%s" tried to reset default encoding to: %s', name,
 
2519
                sys.getdefaultencoding())
 
2520
            reload(sys)
 
2521
            sys.setdefaultencoding(default_encoding)
 
2522
    return suite
 
2523
 
 
2524
 
 
2525
def multiply_tests_from_modules(module_name_list, scenario_iter):
 
2526
    """Adapt all tests in some given modules to given scenarios.
 
2527
 
 
2528
    This is the recommended public interface for test parameterization.
 
2529
    Typically the test_suite() method for a per-implementation test
 
2530
    suite will call multiply_tests_from_modules and return the 
 
2531
    result.
 
2532
 
 
2533
    :param module_name_list: List of fully-qualified names of test
 
2534
        modules.
 
2535
    :param scenario_iter: Iterable of pairs of (scenario_name, 
 
2536
        scenario_param_dict).
 
2537
 
 
2538
    This returns a new TestSuite containing the cross product of
 
2539
    all the tests in all the modules, each repeated for each scenario.
 
2540
    Each test is adapted by adding the scenario name at the end 
 
2541
    of its name, and updating the test object's __dict__ with the
 
2542
    scenario_param_dict.
 
2543
 
 
2544
    >>> r = multiply_tests_from_modules(
 
2545
    ...     ['bzrlib.tests.test_sampler'],
 
2546
    ...     [('one', dict(param=1)), 
 
2547
    ...      ('two', dict(param=2))])
 
2548
    >>> tests = list(iter_suite_tests(r))
 
2549
    >>> len(tests)
 
2550
    2
 
2551
    >>> tests[0].id()
 
2552
    'bzrlib.tests.test_sampler.DemoTest.test_nothing(one)'
 
2553
    >>> tests[0].param
 
2554
    1
 
2555
    >>> tests[1].param
 
2556
    2
 
2557
    """
 
2558
    loader = TestLoader()
 
2559
    suite = TestSuite()
 
2560
    adapter = TestScenarioApplier()
 
2561
    adapter.scenarios = list(scenario_iter)
 
2562
    adapt_modules(module_name_list, adapter, loader, suite)
 
2563
    return suite
 
2564
 
 
2565
 
 
2566
def adapt_modules(mods_list, adapter, loader, suite):
 
2567
    """Adapt the modules in mods_list using adapter and add to suite."""
 
2568
    for test in iter_suite_tests(loader.loadTestsFromModuleNames(mods_list)):
 
2569
        suite.addTests(adapter.adapt(test))
 
2570
 
 
2571
 
 
2572
def _rmtree_temp_dir(dirname):
 
2573
    # If LANG=C we probably have created some bogus paths
 
2574
    # which rmtree(unicode) will fail to delete
 
2575
    # so make sure we are using rmtree(str) to delete everything
 
2576
    # except on win32, where rmtree(str) will fail
 
2577
    # since it doesn't have the property of byte-stream paths
 
2578
    # (they are either ascii or mbcs)
 
2579
    if sys.platform == 'win32':
 
2580
        # make sure we are using the unicode win32 api
 
2581
        dirname = unicode(dirname)
 
2582
    else:
 
2583
        dirname = dirname.encode(sys.getfilesystemencoding())
 
2584
    try:
 
2585
        osutils.rmtree(dirname)
 
2586
    except OSError, e:
 
2587
        if sys.platform == 'win32' and e.errno == errno.EACCES:
 
2588
            print >>sys.stderr, ('Permission denied: '
 
2589
                                 'unable to remove testing dir '
 
2590
                                 '%s' % os.path.basename(dirname))
 
2591
        else:
 
2592
            raise
 
2593
 
 
2594
 
 
2595
class Feature(object):
 
2596
    """An operating system Feature."""
 
2597
 
 
2598
    def __init__(self):
 
2599
        self._available = None
 
2600
 
 
2601
    def available(self):
 
2602
        """Is the feature available?
 
2603
 
 
2604
        :return: True if the feature is available.
 
2605
        """
 
2606
        if self._available is None:
 
2607
            self._available = self._probe()
 
2608
        return self._available
 
2609
 
 
2610
    def _probe(self):
 
2611
        """Implement this method in concrete features.
 
2612
 
 
2613
        :return: True if the feature is available.
 
2614
        """
 
2615
        raise NotImplementedError
 
2616
 
 
2617
    def __str__(self):
 
2618
        if getattr(self, 'feature_name', None):
 
2619
            return self.feature_name()
 
2620
        return self.__class__.__name__
 
2621
 
 
2622
 
 
2623
class _SymlinkFeature(Feature):
 
2624
 
 
2625
    def _probe(self):
 
2626
        return osutils.has_symlinks()
 
2627
 
 
2628
    def feature_name(self):
 
2629
        return 'symlinks'
 
2630
 
 
2631
SymlinkFeature = _SymlinkFeature()
 
2632
 
 
2633
 
 
2634
class TestScenarioApplier(object):
 
2635
    """A tool to apply scenarios to tests."""
 
2636
 
 
2637
    def adapt(self, test):
 
2638
        """Return a TestSuite containing a copy of test for each scenario."""
 
2639
        result = unittest.TestSuite()
 
2640
        for scenario in self.scenarios:
 
2641
            result.addTest(self.adapt_test_to_scenario(test, scenario))
 
2642
        return result
 
2643
 
 
2644
    def adapt_test_to_scenario(self, test, scenario):
 
2645
        """Copy test and apply scenario to it.
 
2646
 
 
2647
        :param test: A test to adapt.
 
2648
        :param scenario: A tuple describing the scenarion.
 
2649
            The first element of the tuple is the new test id.
 
2650
            The second element is a dict containing attributes to set on the
 
2651
            test.
 
2652
        :return: The adapted test.
 
2653
        """
 
2654
        from copy import deepcopy
 
2655
        new_test = deepcopy(test)
 
2656
        for name, value in scenario[1].items():
 
2657
            setattr(new_test, name, value)
 
2658
        new_id = "%s(%s)" % (new_test.id(), scenario[0])
 
2659
        new_test.id = lambda: new_id
 
2660
        return new_test
 
2661
 
 
2662
 
 
2663
def probe_unicode_in_user_encoding():
 
2664
    """Try to encode several unicode strings to use in unicode-aware tests.
 
2665
    Return first successfull match.
 
2666
 
 
2667
    :return:  (unicode value, encoded plain string value) or (None, None)
 
2668
    """
 
2669
    possible_vals = [u'm\xb5', u'\xe1', u'\u0410']
 
2670
    for uni_val in possible_vals:
 
2671
        try:
 
2672
            str_val = uni_val.encode(bzrlib.user_encoding)
 
2673
        except UnicodeEncodeError:
 
2674
            # Try a different character
 
2675
            pass
 
2676
        else:
 
2677
            return uni_val, str_val
 
2678
    return None, None