/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/tests/__init__.py

  • Committer: Vincent Ladeuil
  • Date: 2009-10-08 16:32:43 UTC
  • mto: This revision was merged to the branch mainline in revision 4733.
  • Revision ID: v.ladeuil+lp@free.fr-20091008163243-ub35bqc4k53d3ihp
(trivial) Fix some PEP8 issues

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005-2010 Canonical Ltd
 
1
# Copyright (C) 2005, 2006, 2007, 2008, 2009 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
 
"""Testing framework extensions"""
18
17
 
19
18
# TODO: Perhaps there should be an API to find out if bzr running under the
20
19
# test suite -- some plugins might want to avoid making intrusive changes if
47
46
import tempfile
48
47
import threading
49
48
import time
50
 
import traceback
51
49
import unittest
52
50
import warnings
53
51
 
54
 
import testtools
55
 
# nb: check this before importing anything else from within it
56
 
_testtools_version = getattr(testtools, '__version__', ())
57
 
if _testtools_version < (0, 9, 2):
58
 
    raise ImportError("need at least testtools 0.9.2: %s is %r"
59
 
        % (testtools.__file__, _testtools_version))
60
 
from testtools import content
61
52
 
62
53
from bzrlib import (
63
54
    branchbuilder,
64
55
    bzrdir,
65
 
    chk_map,
66
56
    config,
67
57
    debug,
68
58
    errors,
97
87
from bzrlib.symbol_versioning import (
98
88
    DEPRECATED_PARAMETER,
99
89
    deprecated_function,
100
 
    deprecated_in,
101
90
    deprecated_method,
102
91
    deprecated_passed,
103
92
    )
104
93
import bzrlib.trace
105
 
from bzrlib.transport import (
106
 
    get_transport,
107
 
    memory,
108
 
    pathfilter,
109
 
    )
 
94
from bzrlib.transport import get_transport, pathfilter
110
95
import bzrlib.transport
 
96
from bzrlib.transport.local import LocalURLServer
 
97
from bzrlib.transport.memory import MemoryServer
 
98
from bzrlib.transport.readonly import ReadonlyServer
111
99
from bzrlib.trace import mutter, note
112
 
from bzrlib.tests import (
113
 
    test_server,
114
 
    TestUtil,
115
 
    )
 
100
from bzrlib.tests import TestUtil
116
101
from bzrlib.tests.http_server import HttpServer
117
102
from bzrlib.tests.TestUtil import (
118
103
                          TestSuite,
129
114
# shown frame is the test code, not our assertXYZ.
130
115
__unittest = 1
131
116
 
132
 
default_transport = test_server.LocalURLServer
133
 
 
134
 
 
135
 
_unitialized_attr = object()
136
 
"""A sentinel needed to act as a default value in a method signature."""
137
 
 
 
117
default_transport = LocalURLServer
138
118
 
139
119
# Subunit result codes, defined here to prevent a hard dependency on subunit.
140
120
SUBUNIT_SEEK_SET = 0
242
222
                '%s is leaking threads among %d leaking tests.\n' % (
243
223
                TestCase._first_thread_leaker_id,
244
224
                TestCase._leaking_threads_tests))
245
 
            # We don't report the main thread as an active one.
246
 
            self.stream.write(
247
 
                '%d non-main threads were left active in the end.\n'
248
 
                % (TestCase._active_threads - 1))
249
 
 
250
 
    def getDescription(self, test):
251
 
        return test.id()
252
 
 
253
 
    def _extractBenchmarkTime(self, testCase, details=None):
 
225
 
 
226
    def _extractBenchmarkTime(self, testCase):
254
227
        """Add a benchmark time for the current test case."""
255
 
        if details and 'benchtime' in details:
256
 
            return float(''.join(details['benchtime'].iter_bytes()))
257
228
        return getattr(testCase, "_benchtime", None)
258
229
 
259
230
    def _elapsedTestTimeString(self):
293
264
        else:
294
265
            bzr_path = sys.executable
295
266
        self.stream.write(
296
 
            'bzr selftest: %s\n' % (bzr_path,))
 
267
            'testing: %s\n' % (bzr_path,))
297
268
        self.stream.write(
298
269
            '   %s\n' % (
299
270
                    bzrlib.__path__[0],))
322
293
        Called from the TestCase run() method when the test
323
294
        fails with an unexpected error.
324
295
        """
325
 
        self._post_mortem()
326
 
        unittest.TestResult.addError(self, test, err)
327
 
        self.error_count += 1
328
 
        self.report_error(test, err)
329
 
        if self.stop_early:
330
 
            self.stop()
331
 
        self._cleanupLogFile(test)
 
296
        self._testConcluded(test)
 
297
        if isinstance(err[1], TestNotApplicable):
 
298
            return self._addNotApplicable(test, err)
 
299
        elif isinstance(err[1], UnavailableFeature):
 
300
            return self.addNotSupported(test, err[1].args[0])
 
301
        else:
 
302
            self._post_mortem()
 
303
            unittest.TestResult.addError(self, test, err)
 
304
            self.error_count += 1
 
305
            self.report_error(test, err)
 
306
            if self.stop_early:
 
307
                self.stop()
 
308
            self._cleanupLogFile(test)
332
309
 
333
310
    def addFailure(self, test, err):
334
311
        """Tell result that test failed.
336
313
        Called from the TestCase run() method when the test
337
314
        fails because e.g. an assert() method failed.
338
315
        """
339
 
        self._post_mortem()
340
 
        unittest.TestResult.addFailure(self, test, err)
341
 
        self.failure_count += 1
342
 
        self.report_failure(test, err)
343
 
        if self.stop_early:
344
 
            self.stop()
345
 
        self._cleanupLogFile(test)
 
316
        self._testConcluded(test)
 
317
        if isinstance(err[1], KnownFailure):
 
318
            return self._addKnownFailure(test, err)
 
319
        else:
 
320
            self._post_mortem()
 
321
            unittest.TestResult.addFailure(self, test, err)
 
322
            self.failure_count += 1
 
323
            self.report_failure(test, err)
 
324
            if self.stop_early:
 
325
                self.stop()
 
326
            self._cleanupLogFile(test)
346
327
 
347
 
    def addSuccess(self, test, details=None):
 
328
    def addSuccess(self, test):
348
329
        """Tell result that test completed successfully.
349
330
 
350
331
        Called from the TestCase run()
351
332
        """
 
333
        self._testConcluded(test)
352
334
        if self._bench_history is not None:
353
 
            benchmark_time = self._extractBenchmarkTime(test, details)
 
335
            benchmark_time = self._extractBenchmarkTime(test)
354
336
            if benchmark_time is not None:
355
337
                self._bench_history.write("%s %s\n" % (
356
338
                    self._formatTime(benchmark_time),
360
342
        unittest.TestResult.addSuccess(self, test)
361
343
        test._log_contents = ''
362
344
 
363
 
    def addExpectedFailure(self, test, err):
 
345
    def _testConcluded(self, test):
 
346
        """Common code when a test has finished.
 
347
 
 
348
        Called regardless of whether it succeded, failed, etc.
 
349
        """
 
350
        pass
 
351
 
 
352
    def _addKnownFailure(self, test, err):
364
353
        self.known_failure_count += 1
365
354
        self.report_known_failure(test, err)
366
355
 
368
357
        """The test will not be run because of a missing feature.
369
358
        """
370
359
        # this can be called in two different ways: it may be that the
371
 
        # test started running, and then raised (through requireFeature)
 
360
        # test started running, and then raised (through addError)
372
361
        # UnavailableFeature.  Alternatively this method can be called
373
 
        # while probing for features before running the test code proper; in
374
 
        # that case we will see startTest and stopTest, but the test will
375
 
        # never actually run.
 
362
        # while probing for features before running the tests; in that
 
363
        # case we will see startTest and stopTest, but the test will never
 
364
        # actually run.
376
365
        self.unsupported.setdefault(str(feature), 0)
377
366
        self.unsupported[str(feature)] += 1
378
367
        self.report_unsupported(test, feature)
382
371
        self.skip_count += 1
383
372
        self.report_skip(test, reason)
384
373
 
385
 
    def addNotApplicable(self, test, reason):
386
 
        self.not_applicable_count += 1
387
 
        self.report_not_applicable(test, reason)
 
374
    def _addNotApplicable(self, test, skip_excinfo):
 
375
        if isinstance(skip_excinfo[1], TestNotApplicable):
 
376
            self.not_applicable_count += 1
 
377
            self.report_not_applicable(test, skip_excinfo)
 
378
        try:
 
379
            test.tearDown()
 
380
        except KeyboardInterrupt:
 
381
            raise
 
382
        except:
 
383
            self.addError(test, test.exc_info())
 
384
        else:
 
385
            # seems best to treat this as success from point-of-view of unittest
 
386
            # -- it actually does nothing so it barely matters :)
 
387
            unittest.TestResult.addSuccess(self, test)
 
388
            test._log_contents = ''
 
389
 
 
390
    def printErrorList(self, flavour, errors):
 
391
        for test, err in errors:
 
392
            self.stream.writeln(self.separator1)
 
393
            self.stream.write("%s: " % flavour)
 
394
            self.stream.writeln(self.getDescription(test))
 
395
            if getattr(test, '_get_log', None) is not None:
 
396
                log_contents = test._get_log()
 
397
                if log_contents:
 
398
                    self.stream.write('\n')
 
399
                    self.stream.write(
 
400
                            ('vvvv[log from %s]' % test.id()).ljust(78,'-'))
 
401
                    self.stream.write('\n')
 
402
                    self.stream.write(log_contents)
 
403
                    self.stream.write('\n')
 
404
                    self.stream.write(
 
405
                            ('^^^^[log from %s]' % test.id()).ljust(78,'-'))
 
406
                    self.stream.write('\n')
 
407
            self.stream.writeln(self.separator2)
 
408
            self.stream.writeln("%s" % err)
388
409
 
389
410
    def _post_mortem(self):
390
411
        """Start a PDB post mortem session."""
471
492
            a += '%dm%ds' % (runtime / 60, runtime % 60)
472
493
        else:
473
494
            a += '%ds' % runtime
474
 
        total_fail_count = self.error_count + self.failure_count
475
 
        if total_fail_count:
476
 
            a += ', %d failed' % total_fail_count
 
495
        if self.error_count:
 
496
            a += ', %d err' % self.error_count
 
497
        if self.failure_count:
 
498
            a += ', %d fail' % self.failure_count
477
499
        # if self.unsupported:
478
500
        #     a += ', %d missing' % len(self.unsupported)
479
501
        a += ']'
490
512
        return self._shortened_test_description(test)
491
513
 
492
514
    def report_error(self, test, err):
493
 
        self.stream.write('ERROR: %s\n    %s\n' % (
 
515
        ui.ui_factory.note('ERROR: %s\n    %s\n' % (
494
516
            self._test_description(test),
495
517
            err[1],
496
518
            ))
497
519
 
498
520
    def report_failure(self, test, err):
499
 
        self.stream.write('FAIL: %s\n    %s\n' % (
 
521
        ui.ui_factory.note('FAIL: %s\n    %s\n' % (
500
522
            self._test_description(test),
501
523
            err[1],
502
524
            ))
503
525
 
504
526
    def report_known_failure(self, test, err):
505
 
        pass
 
527
        ui.ui_factory.note('XFAIL: %s\n%s\n' % (
 
528
            self._test_description(test), err[1]))
506
529
 
507
530
    def report_skip(self, test, reason):
508
531
        pass
509
532
 
510
 
    def report_not_applicable(self, test, reason):
 
533
    def report_not_applicable(self, test, skip_excinfo):
511
534
        pass
512
535
 
513
536
    def report_unsupported(self, test, feature):
535
558
    def report_test_start(self, test):
536
559
        self.count += 1
537
560
        name = self._shortened_test_description(test)
538
 
        width = osutils.terminal_width()
539
 
        if width is not None:
540
 
            # width needs space for 6 char status, plus 1 for slash, plus an
541
 
            # 11-char time string, plus a trailing blank
542
 
            # when NUMBERED_DIRS: plus 5 chars on test number, plus 1 char on
543
 
            # space
544
 
            self.stream.write(self._ellipsize_to_right(name, width-18))
545
 
        else:
546
 
            self.stream.write(name)
 
561
        # width needs space for 6 char status, plus 1 for slash, plus an
 
562
        # 11-char time string, plus a trailing blank
 
563
        # when NUMBERED_DIRS: plus 5 chars on test number, plus 1 char on space
 
564
        self.stream.write(self._ellipsize_to_right(name,
 
565
                          osutils.terminal_width()-18))
547
566
        self.stream.flush()
548
567
 
549
568
    def _error_summary(self, err):
578
597
        self.stream.writeln(' SKIP %s\n%s'
579
598
                % (self._testTimeString(test), reason))
580
599
 
581
 
    def report_not_applicable(self, test, reason):
582
 
        self.stream.writeln('  N/A %s\n    %s'
583
 
                % (self._testTimeString(test), reason))
 
600
    def report_not_applicable(self, test, skip_excinfo):
 
601
        self.stream.writeln('  N/A %s\n%s'
 
602
                % (self._testTimeString(test),
 
603
                   self._error_summary(skip_excinfo)))
584
604
 
585
605
    def report_unsupported(self, test, feature):
586
606
        """test cannot be run because feature is missing."""
606
626
            applied left to right - the first element in the list is the 
607
627
            innermost decorator.
608
628
        """
609
 
        # stream may know claim to know to write unicode strings, but in older
610
 
        # pythons this goes sufficiently wrong that it is a bad idea. (
611
 
        # specifically a built in file with encoding 'UTF-8' will still try
612
 
        # to encode using ascii.
613
 
        new_encoding = osutils.get_terminal_encoding()
614
 
        codec = codecs.lookup(new_encoding)
615
 
        if type(codec) is tuple:
616
 
            # Python 2.4
617
 
            encode = codec[0]
618
 
        else:
619
 
            encode = codec.encode
620
 
        stream = osutils.UnicodeOrBytesToBytesWriter(encode, stream)
621
 
        stream.encoding = new_encoding
622
629
        self.stream = unittest._WritelnDecorator(stream)
623
630
        self.descriptions = descriptions
624
631
        self.verbosity = verbosity
644
651
        for decorator in self._result_decorators:
645
652
            result = decorator(result)
646
653
            result.stop_early = self.stop_on_failure
 
654
        try:
 
655
            import testtools
 
656
        except ImportError:
 
657
            pass
 
658
        else:
 
659
            if isinstance(test, testtools.ConcurrentTestSuite):
 
660
                # We need to catch bzr specific behaviors
 
661
                result = BZRTransformingResult(result)
647
662
        result.startTestRun()
648
663
        try:
649
664
            test.run(result)
667
682
                        % (type(suite), suite))
668
683
 
669
684
 
670
 
TestSkipped = testtools.testcase.TestSkipped
 
685
class TestSkipped(Exception):
 
686
    """Indicates that a test was intentionally skipped, rather than failing."""
671
687
 
672
688
 
673
689
class TestNotApplicable(TestSkipped):
679
695
    """
680
696
 
681
697
 
682
 
# traceback._some_str fails to format exceptions that have the default
683
 
# __str__ which does an implicit ascii conversion. However, repr() on those
684
 
# objects works, for all that its not quite what the doctor may have ordered.
685
 
def _clever_some_str(value):
686
 
    try:
687
 
        return str(value)
688
 
    except:
689
 
        try:
690
 
            return repr(value).replace('\\n', '\n')
691
 
        except:
692
 
            return '<unprintable %s object>' % type(value).__name__
693
 
 
694
 
traceback._some_str = _clever_some_str
695
 
 
696
 
 
697
 
# deprecated - use self.knownFailure(), or self.expectFailure.
698
 
KnownFailure = testtools.testcase._ExpectedFailure
 
698
class KnownFailure(AssertionError):
 
699
    """Indicates that a test failed in a precisely expected manner.
 
700
 
 
701
    Such failures dont block the whole test suite from passing because they are
 
702
    indicators of partially completed code or of future work. We have an
 
703
    explicit error for them so that we can ensure that they are always visible:
 
704
    KnownFailures are always shown in the output of bzr selftest.
 
705
    """
699
706
 
700
707
 
701
708
class UnavailableFeature(Exception):
702
709
    """A feature required for this test was not available.
703
710
 
704
 
    This can be considered a specialised form of SkippedTest.
705
 
 
706
711
    The feature should be used to construct the exception.
707
712
    """
708
713
 
709
714
 
 
715
class CommandFailed(Exception):
 
716
    pass
 
717
 
 
718
 
710
719
class StringIOWrapper(object):
711
720
    """A wrapper around cStringIO which just adds an encoding attribute.
712
721
 
773
782
        return NullProgressView()
774
783
 
775
784
 
776
 
class TestCase(testtools.TestCase):
 
785
class TestCase(unittest.TestCase):
777
786
    """Base class for bzr unit tests.
778
787
 
779
788
    Tests that need access to disk resources should subclass
798
807
    _leaking_threads_tests = 0
799
808
    _first_thread_leaker_id = None
800
809
    _log_file_name = None
 
810
    _log_contents = ''
 
811
    _keep_log_file = False
801
812
    # record lsprof data when performing benchmark calls.
802
813
    _gather_lsprof_in_benchmarks = False
 
814
    attrs_to_keep = ('id', '_testMethodName', '_testMethodDoc',
 
815
                     '_log_contents', '_log_file_name', '_benchtime',
 
816
                     '_TestCase__testMethodName', '_TestCase__testMethodDoc',)
803
817
 
804
818
    def __init__(self, methodName='testMethod'):
805
819
        super(TestCase, self).__init__(methodName)
806
820
        self._cleanups = []
 
821
        self._bzr_test_setUp_run = False
 
822
        self._bzr_test_tearDown_run = False
807
823
        self._directory_isolation = True
808
 
        self.exception_handlers.insert(0,
809
 
            (UnavailableFeature, self._do_unsupported_or_skip))
810
 
        self.exception_handlers.insert(0,
811
 
            (TestNotApplicable, self._do_not_applicable))
812
824
 
813
825
    def setUp(self):
814
 
        super(TestCase, self).setUp()
815
 
        for feature in getattr(self, '_test_needs_features', []):
816
 
            self.requireFeature(feature)
817
 
        self._log_contents = None
818
 
        self.addDetail("log", content.Content(content.ContentType("text",
819
 
            "plain", {"charset": "utf8"}),
820
 
            lambda:[self._get_log(keep_log_file=True)]))
 
826
        unittest.TestCase.setUp(self)
 
827
        self._bzr_test_setUp_run = True
821
828
        self._cleanEnvironment()
822
829
        self._silenceUI()
823
830
        self._startLogFile()
839
846
        active = threading.activeCount()
840
847
        leaked_threads = active - TestCase._active_threads
841
848
        TestCase._active_threads = active
842
 
        # If some tests make the number of threads *decrease*, we'll consider
843
 
        # that they are just observing old threads dieing, not agressively kill
844
 
        # random threads. So we don't report these tests as leaking. The risk
845
 
        # is that we have false positives that way (the test see 2 threads
846
 
        # going away but leak one) but it seems less likely than the actual
847
 
        # false positives (the test see threads going away and does not leak).
848
 
        if leaked_threads > 0:
 
849
        if leaked_threads:
849
850
            TestCase._leaking_threads_tests += 1
850
851
            if TestCase._first_thread_leaker_id is None:
851
852
                TestCase._first_thread_leaker_id = self.id()
856
857
        Tests that want to use debug flags can just set them in the
857
858
        debug_flags set during setup/teardown.
858
859
        """
859
 
        # Start with a copy of the current debug flags we can safely modify.
860
 
        self.overrideAttr(debug, 'debug_flags', set(debug.debug_flags))
 
860
        self._preserved_debug_flags = set(debug.debug_flags)
861
861
        if 'allow_debug' not in selftest_debug_flags:
862
862
            debug.debug_flags.clear()
863
863
        if 'disable_lock_checks' not in selftest_debug_flags:
864
864
            debug.debug_flags.add('strict_locks')
 
865
        self.addCleanup(self._restore_debug_flags)
865
866
 
866
867
    def _clear_hooks(self):
867
868
        # prevent hooks affecting tests
888
889
    def _silenceUI(self):
889
890
        """Turn off UI for duration of test"""
890
891
        # by default the UI is off; tests can turn it on if they want it.
891
 
        self.overrideAttr(ui, 'ui_factory', ui.SilentUIFactory())
 
892
        saved = ui.ui_factory
 
893
        def _restore():
 
894
            ui.ui_factory = saved
 
895
        ui.ui_factory = ui.SilentUIFactory()
 
896
        self.addCleanup(_restore)
892
897
 
893
898
    def _check_locks(self):
894
899
        """Check that all lock take/release actions have been paired."""
923
928
            self._lock_check_thorough = False
924
929
        else:
925
930
            self._lock_check_thorough = True
926
 
 
 
931
            
927
932
        self.addCleanup(self._check_locks)
928
933
        _mod_lock.Lock.hooks.install_named_hook('lock_acquired',
929
934
                                                self._lock_acquired, None)
1022
1027
        server's urls to be used.
1023
1028
        """
1024
1029
        if backing_server is None:
1025
 
            transport_server.start_server()
 
1030
            transport_server.setUp()
1026
1031
        else:
1027
 
            transport_server.start_server(backing_server)
1028
 
        self.addCleanup(transport_server.stop_server)
 
1032
            transport_server.setUp(backing_server)
 
1033
        self.addCleanup(transport_server.tearDown)
1029
1034
        # Obtain a real transport because if the server supplies a password, it
1030
1035
        # will be hidden from the base on the client side.
1031
1036
        t = get_transport(transport_server.get_url())
1045
1050
        if t.base.endswith('/work/'):
1046
1051
            # we have safety net/test root/work
1047
1052
            t = t.clone('../..')
1048
 
        elif isinstance(transport_server,
1049
 
                        test_server.SmartTCPServer_for_testing):
 
1053
        elif isinstance(transport_server, server.SmartTCPServer_for_testing):
1050
1054
            # The smart server adds a path similar to work, which is traversed
1051
1055
            # up from by the client. But the server is chrooted - the actual
1052
1056
            # backing transport is not escaped from, and VFS requests to the
1129
1133
        :raises AssertionError: If the expected and actual stat values differ
1130
1134
            other than by atime.
1131
1135
        """
1132
 
        self.assertEqual(expected.st_size, actual.st_size,
1133
 
                         'st_size did not match')
1134
 
        self.assertEqual(expected.st_mtime, actual.st_mtime,
1135
 
                         'st_mtime did not match')
1136
 
        self.assertEqual(expected.st_ctime, actual.st_ctime,
1137
 
                         'st_ctime did not match')
1138
 
        if sys.platform != 'win32':
1139
 
            # On Win32 both 'dev' and 'ino' cannot be trusted. In python2.4 it
1140
 
            # is 'dev' that varies, in python 2.5 (6?) it is st_ino that is
1141
 
            # odd. Regardless we shouldn't actually try to assert anything
1142
 
            # about their values
1143
 
            self.assertEqual(expected.st_dev, actual.st_dev,
1144
 
                             'st_dev did not match')
1145
 
            self.assertEqual(expected.st_ino, actual.st_ino,
1146
 
                             'st_ino did not match')
1147
 
        self.assertEqual(expected.st_mode, actual.st_mode,
1148
 
                         'st_mode did not match')
 
1136
        self.assertEqual(expected.st_size, actual.st_size)
 
1137
        self.assertEqual(expected.st_mtime, actual.st_mtime)
 
1138
        self.assertEqual(expected.st_ctime, actual.st_ctime)
 
1139
        self.assertEqual(expected.st_dev, actual.st_dev)
 
1140
        self.assertEqual(expected.st_ino, actual.st_ino)
 
1141
        self.assertEqual(expected.st_mode, actual.st_mode)
1149
1142
 
1150
1143
    def assertLength(self, length, obj_with_len):
1151
1144
        """Assert that obj_with_len is of length length."""
1207
1200
            raise AssertionError('pattern "%s" found in "%s"'
1208
1201
                    % (needle_re, haystack))
1209
1202
 
1210
 
    def assertContainsString(self, haystack, needle):
1211
 
        if haystack.find(needle) == -1:
1212
 
            self.fail("string %r not found in '''%s'''" % (needle, haystack))
1213
 
 
1214
1203
    def assertSubset(self, sublist, superlist):
1215
1204
        """Assert that every entry in sublist is present in superlist."""
1216
1205
        missing = set(sublist) - set(superlist)
1303
1292
                m += ": " + msg
1304
1293
            self.fail(m)
1305
1294
 
 
1295
    def expectFailure(self, reason, assertion, *args, **kwargs):
 
1296
        """Invoke a test, expecting it to fail for the given reason.
 
1297
 
 
1298
        This is for assertions that ought to succeed, but currently fail.
 
1299
        (The failure is *expected* but not *wanted*.)  Please be very precise
 
1300
        about the failure you're expecting.  If a new bug is introduced,
 
1301
        AssertionError should be raised, not KnownFailure.
 
1302
 
 
1303
        Frequently, expectFailure should be followed by an opposite assertion.
 
1304
        See example below.
 
1305
 
 
1306
        Intended to be used with a callable that raises AssertionError as the
 
1307
        'assertion' parameter.  args and kwargs are passed to the 'assertion'.
 
1308
 
 
1309
        Raises KnownFailure if the test fails.  Raises AssertionError if the
 
1310
        test succeeds.
 
1311
 
 
1312
        example usage::
 
1313
 
 
1314
          self.expectFailure('Math is broken', self.assertNotEqual, 54,
 
1315
                             dynamic_val)
 
1316
          self.assertEqual(42, dynamic_val)
 
1317
 
 
1318
          This means that a dynamic_val of 54 will cause the test to raise
 
1319
          a KnownFailure.  Once math is fixed and the expectFailure is removed,
 
1320
          only a dynamic_val of 42 will allow the test to pass.  Anything other
 
1321
          than 54 or 42 will cause an AssertionError.
 
1322
        """
 
1323
        try:
 
1324
            assertion(*args, **kwargs)
 
1325
        except AssertionError:
 
1326
            raise KnownFailure(reason)
 
1327
        else:
 
1328
            self.fail('Unexpected success.  Should have failed: %s' % reason)
 
1329
 
1306
1330
    def assertFileEqual(self, content, path):
1307
1331
        """Fail if path does not contain 'content'."""
1308
1332
        self.failUnlessExists(path)
1313
1337
            f.close()
1314
1338
        self.assertEqualDiff(content, s)
1315
1339
 
1316
 
    def assertDocstring(self, expected_docstring, obj):
1317
 
        """Fail if obj does not have expected_docstring"""
1318
 
        if __doc__ is None:
1319
 
            # With -OO the docstring should be None instead
1320
 
            self.assertIs(obj.__doc__, None)
1321
 
        else:
1322
 
            self.assertEqual(expected_docstring, obj.__doc__)
1323
 
 
1324
1340
    def failUnlessExists(self, path):
1325
1341
        """Fail unless path or paths, which may be abs or relative, exist."""
1326
1342
        if not isinstance(path, basestring):
1466
1482
 
1467
1483
        Close the file and delete it, unless setKeepLogfile was called.
1468
1484
        """
1469
 
        if bzrlib.trace._trace_file:
1470
 
            # flush the log file, to get all content
1471
 
            bzrlib.trace._trace_file.flush()
 
1485
        if self._log_file is None:
 
1486
            return
1472
1487
        bzrlib.trace.pop_log_file(self._log_memento)
1473
 
        # Cache the log result and delete the file on disk
1474
 
        self._get_log(False)
 
1488
        self._log_file.close()
 
1489
        self._log_file = None
 
1490
        if not self._keep_log_file:
 
1491
            os.remove(self._log_file_name)
 
1492
            self._log_file_name = None
 
1493
 
 
1494
    def setKeepLogfile(self):
 
1495
        """Make the logfile not be deleted when _finishLogFile is called."""
 
1496
        self._keep_log_file = True
1475
1497
 
1476
1498
    def thisFailsStrictLockCheck(self):
1477
1499
        """It is known that this test would fail with -Dstrict_locks.
1494
1516
        """
1495
1517
        self._cleanups.append((callable, args, kwargs))
1496
1518
 
1497
 
    def overrideAttr(self, obj, attr_name, new=_unitialized_attr):
1498
 
        """Overrides an object attribute restoring it after the test.
1499
 
 
1500
 
        :param obj: The object that will be mutated.
1501
 
 
1502
 
        :param attr_name: The attribute name we want to preserve/override in
1503
 
            the object.
1504
 
 
1505
 
        :param new: The optional value we want to set the attribute to.
1506
 
 
1507
 
        :returns: The actual attr value.
1508
 
        """
1509
 
        value = getattr(obj, attr_name)
1510
 
        # The actual value is captured by the call below
1511
 
        self.addCleanup(setattr, obj, attr_name, value)
1512
 
        if new is not _unitialized_attr:
1513
 
            setattr(obj, attr_name, new)
1514
 
        return value
1515
 
 
1516
1519
    def _cleanEnvironment(self):
1517
1520
        new_env = {
1518
1521
            'BZR_HOME': None, # Don't inherit BZR_HOME to all the tests.
1528
1531
            'BZR_PROGRESS_BAR': None,
1529
1532
            'BZR_LOG': None,
1530
1533
            'BZR_PLUGIN_PATH': None,
1531
 
            'BZR_DISABLE_PLUGINS': None,
1532
 
            'BZR_PLUGINS_AT': None,
1533
 
            'BZR_CONCURRENCY': None,
1534
1534
            # Make sure that any text ui tests are consistent regardless of
1535
1535
            # the environment the test case is run in; you may want tests that
1536
1536
            # test other combinations.  'dumb' is a reasonable guess for tests
1538
1538
            'TERM': 'dumb',
1539
1539
            'LINES': '25',
1540
1540
            'COLUMNS': '80',
1541
 
            'BZR_COLUMNS': '80',
1542
1541
            # SSH Agent
1543
1542
            'SSH_AUTH_SOCK': None,
1544
1543
            # Proxies
1556
1555
            'ftp_proxy': None,
1557
1556
            'FTP_PROXY': None,
1558
1557
            'BZR_REMOTE_PATH': None,
1559
 
            # Generally speaking, we don't want apport reporting on crashes in
1560
 
            # the test envirnoment unless we're specifically testing apport,
1561
 
            # so that it doesn't leak into the real system environment.  We
1562
 
            # use an env var so it propagates to subprocesses.
1563
 
            'APPORT_DISABLE': '1',
1564
1558
        }
1565
 
        self._old_env = {}
 
1559
        self.__old_env = {}
1566
1560
        self.addCleanup(self._restoreEnvironment)
1567
1561
        for name, value in new_env.iteritems():
1568
1562
            self._captureVar(name, value)
1569
1563
 
1570
1564
    def _captureVar(self, name, newvalue):
1571
1565
        """Set an environment variable, and reset it when finished."""
1572
 
        self._old_env[name] = osutils.set_or_unset_env(name, newvalue)
 
1566
        self.__old_env[name] = osutils.set_or_unset_env(name, newvalue)
 
1567
 
 
1568
    def _restore_debug_flags(self):
 
1569
        debug.debug_flags.clear()
 
1570
        debug.debug_flags.update(self._preserved_debug_flags)
1573
1571
 
1574
1572
    def _restoreEnvironment(self):
1575
 
        for name, value in self._old_env.iteritems():
 
1573
        for name, value in self.__old_env.iteritems():
1576
1574
            osutils.set_or_unset_env(name, value)
1577
1575
 
1578
1576
    def _restoreHooks(self):
1586
1584
    def _do_skip(self, result, reason):
1587
1585
        addSkip = getattr(result, 'addSkip', None)
1588
1586
        if not callable(addSkip):
1589
 
            result.addSuccess(result)
 
1587
            result.addError(self, sys.exc_info())
1590
1588
        else:
1591
1589
            addSkip(self, reason)
1592
1590
 
1593
 
    @staticmethod
1594
 
    def _do_known_failure(self, result, e):
1595
 
        err = sys.exc_info()
1596
 
        addExpectedFailure = getattr(result, 'addExpectedFailure', None)
1597
 
        if addExpectedFailure is not None:
1598
 
            addExpectedFailure(self, err)
1599
 
        else:
1600
 
            result.addSuccess(self)
1601
 
 
1602
 
    @staticmethod
1603
 
    def _do_not_applicable(self, result, e):
1604
 
        if not e.args:
1605
 
            reason = 'No reason given'
1606
 
        else:
1607
 
            reason = e.args[0]
1608
 
        addNotApplicable = getattr(result, 'addNotApplicable', None)
1609
 
        if addNotApplicable is not None:
1610
 
            result.addNotApplicable(self, reason)
1611
 
        else:
1612
 
            self._do_skip(result, reason)
1613
 
 
1614
 
    @staticmethod
1615
 
    def _do_unsupported_or_skip(self, result, e):
1616
 
        reason = e.args[0]
1617
 
        addNotSupported = getattr(result, 'addNotSupported', None)
1618
 
        if addNotSupported is not None:
1619
 
            result.addNotSupported(self, reason)
1620
 
        else:
1621
 
            self._do_skip(result, reason)
 
1591
    def run(self, result=None):
 
1592
        if result is None: result = self.defaultTestResult()
 
1593
        for feature in getattr(self, '_test_needs_features', []):
 
1594
            if not feature.available():
 
1595
                result.startTest(self)
 
1596
                if getattr(result, 'addNotSupported', None):
 
1597
                    result.addNotSupported(self, feature)
 
1598
                else:
 
1599
                    result.addSuccess(self)
 
1600
                result.stopTest(self)
 
1601
                return result
 
1602
        try:
 
1603
            try:
 
1604
                result.startTest(self)
 
1605
                absent_attr = object()
 
1606
                # Python 2.5
 
1607
                method_name = getattr(self, '_testMethodName', absent_attr)
 
1608
                if method_name is absent_attr:
 
1609
                    # Python 2.4
 
1610
                    method_name = getattr(self, '_TestCase__testMethodName')
 
1611
                testMethod = getattr(self, method_name)
 
1612
                try:
 
1613
                    try:
 
1614
                        self.setUp()
 
1615
                        if not self._bzr_test_setUp_run:
 
1616
                            self.fail(
 
1617
                                "test setUp did not invoke "
 
1618
                                "bzrlib.tests.TestCase's setUp")
 
1619
                    except KeyboardInterrupt:
 
1620
                        self._runCleanups()
 
1621
                        raise
 
1622
                    except TestSkipped, e:
 
1623
                        self._do_skip(result, e.args[0])
 
1624
                        self.tearDown()
 
1625
                        return result
 
1626
                    except:
 
1627
                        result.addError(self, sys.exc_info())
 
1628
                        self._runCleanups()
 
1629
                        return result
 
1630
 
 
1631
                    ok = False
 
1632
                    try:
 
1633
                        testMethod()
 
1634
                        ok = True
 
1635
                    except self.failureException:
 
1636
                        result.addFailure(self, sys.exc_info())
 
1637
                    except TestSkipped, e:
 
1638
                        if not e.args:
 
1639
                            reason = "No reason given."
 
1640
                        else:
 
1641
                            reason = e.args[0]
 
1642
                        self._do_skip(result, reason)
 
1643
                    except KeyboardInterrupt:
 
1644
                        self._runCleanups()
 
1645
                        raise
 
1646
                    except:
 
1647
                        result.addError(self, sys.exc_info())
 
1648
 
 
1649
                    try:
 
1650
                        self.tearDown()
 
1651
                        if not self._bzr_test_tearDown_run:
 
1652
                            self.fail(
 
1653
                                "test tearDown did not invoke "
 
1654
                                "bzrlib.tests.TestCase's tearDown")
 
1655
                    except KeyboardInterrupt:
 
1656
                        self._runCleanups()
 
1657
                        raise
 
1658
                    except:
 
1659
                        result.addError(self, sys.exc_info())
 
1660
                        self._runCleanups()
 
1661
                        ok = False
 
1662
                    if ok: result.addSuccess(self)
 
1663
                finally:
 
1664
                    result.stopTest(self)
 
1665
                return result
 
1666
            except TestNotApplicable:
 
1667
                # Not moved from the result [yet].
 
1668
                self._runCleanups()
 
1669
                raise
 
1670
            except KeyboardInterrupt:
 
1671
                self._runCleanups()
 
1672
                raise
 
1673
        finally:
 
1674
            saved_attrs = {}
 
1675
            for attr_name in self.attrs_to_keep:
 
1676
                if attr_name in self.__dict__:
 
1677
                    saved_attrs[attr_name] = self.__dict__[attr_name]
 
1678
            self.__dict__ = saved_attrs
 
1679
 
 
1680
    def tearDown(self):
 
1681
        self._runCleanups()
 
1682
        self._log_contents = ''
 
1683
        self._bzr_test_tearDown_run = True
 
1684
        unittest.TestCase.tearDown(self)
1622
1685
 
1623
1686
    def time(self, callable, *args, **kwargs):
1624
1687
        """Run callable and accrue the time it takes to the benchmark time.
1628
1691
        self._benchcalls.
1629
1692
        """
1630
1693
        if self._benchtime is None:
1631
 
            self.addDetail('benchtime', content.Content(content.ContentType(
1632
 
                "text", "plain"), lambda:[str(self._benchtime)]))
1633
1694
            self._benchtime = 0
1634
1695
        start = time.time()
1635
1696
        try:
1644
1705
        finally:
1645
1706
            self._benchtime += time.time() - start
1646
1707
 
 
1708
    def _runCleanups(self):
 
1709
        """Run registered cleanup functions.
 
1710
 
 
1711
        This should only be called from TestCase.tearDown.
 
1712
        """
 
1713
        # TODO: Perhaps this should keep running cleanups even if
 
1714
        # one of them fails?
 
1715
 
 
1716
        # Actually pop the cleanups from the list so tearDown running
 
1717
        # twice is safe (this happens for skipped tests).
 
1718
        while self._cleanups:
 
1719
            cleanup, args, kwargs = self._cleanups.pop()
 
1720
            cleanup(*args, **kwargs)
 
1721
 
1647
1722
    def log(self, *args):
1648
1723
        mutter(*args)
1649
1724
 
1650
1725
    def _get_log(self, keep_log_file=False):
1651
 
        """Internal helper to get the log from bzrlib.trace for this test.
1652
 
 
1653
 
        Please use self.getDetails, or self.get_log to access this in test case
1654
 
        code.
 
1726
        """Get the log from bzrlib.trace calls from this test.
1655
1727
 
1656
1728
        :param keep_log_file: When True, if the log is still a file on disk
1657
1729
            leave it as a file on disk. When False, if the log is still a file
1659
1731
            self._log_contents.
1660
1732
        :return: A string containing the log.
1661
1733
        """
1662
 
        if self._log_contents is not None:
1663
 
            try:
1664
 
                self._log_contents.decode('utf8')
1665
 
            except UnicodeDecodeError:
1666
 
                unicodestr = self._log_contents.decode('utf8', 'replace')
1667
 
                self._log_contents = unicodestr.encode('utf8')
 
1734
        # flush the log file, to get all content
 
1735
        import bzrlib.trace
 
1736
        if bzrlib.trace._trace_file:
 
1737
            bzrlib.trace._trace_file.flush()
 
1738
        if self._log_contents:
 
1739
            # XXX: this can hardly contain the content flushed above --vila
 
1740
            # 20080128
1668
1741
            return self._log_contents
1669
 
        import bzrlib.trace
1670
 
        if bzrlib.trace._trace_file:
1671
 
            # flush the log file, to get all content
1672
 
            bzrlib.trace._trace_file.flush()
1673
1742
        if self._log_file_name is not None:
1674
1743
            logfile = open(self._log_file_name)
1675
1744
            try:
1676
1745
                log_contents = logfile.read()
1677
1746
            finally:
1678
1747
                logfile.close()
1679
 
            try:
1680
 
                log_contents.decode('utf8')
1681
 
            except UnicodeDecodeError:
1682
 
                unicodestr = log_contents.decode('utf8', 'replace')
1683
 
                log_contents = unicodestr.encode('utf8')
1684
1748
            if not keep_log_file:
1685
 
                close_attempts = 0
1686
 
                max_close_attempts = 100
1687
 
                first_close_error = None
1688
 
                while close_attempts < max_close_attempts:
1689
 
                    close_attempts += 1
1690
 
                    try:
1691
 
                        self._log_file.close()
1692
 
                    except IOError, ioe:
1693
 
                        if ioe.errno is None:
1694
 
                            # No errno implies 'close() called during
1695
 
                            # concurrent operation on the same file object', so
1696
 
                            # retry.  Probably a thread is trying to write to
1697
 
                            # the log file.
1698
 
                            if first_close_error is None:
1699
 
                                first_close_error = ioe
1700
 
                            continue
1701
 
                        raise
1702
 
                    else:
1703
 
                        break
1704
 
                if close_attempts > 1:
1705
 
                    sys.stderr.write(
1706
 
                        'Unable to close log file on first attempt, '
1707
 
                        'will retry: %s\n' % (first_close_error,))
1708
 
                    if close_attempts == max_close_attempts:
1709
 
                        sys.stderr.write(
1710
 
                            'Unable to close log file after %d attempts.\n'
1711
 
                            % (max_close_attempts,))
1712
 
                self._log_file = None
1713
 
                # Permit multiple calls to get_log until we clean it up in
1714
 
                # finishLogFile
1715
1749
                self._log_contents = log_contents
1716
1750
                try:
1717
1751
                    os.remove(self._log_file_name)
1721
1755
                                             ' %r\n' % self._log_file_name))
1722
1756
                    else:
1723
1757
                        raise
1724
 
                self._log_file_name = None
1725
1758
            return log_contents
1726
1759
        else:
1727
 
            return "No log file content and no log file name."
1728
 
 
1729
 
    def get_log(self):
1730
 
        """Get a unicode string containing the log from bzrlib.trace.
1731
 
 
1732
 
        Undecodable characters are replaced.
1733
 
        """
1734
 
        return u"".join(self.getDetails()['log'].iter_text())
 
1760
            return "DELETED log file to reduce memory footprint"
1735
1761
 
1736
1762
    def requireFeature(self, feature):
1737
1763
        """This test requires a specific feature is available.
1754
1780
 
1755
1781
    def _run_bzr_core(self, args, retcode, encoding, stdin,
1756
1782
            working_dir):
1757
 
        # Clear chk_map page cache, because the contents are likely to mask
1758
 
        # locking errors.
1759
 
        chk_map.clear_cache()
1760
1783
        if encoding is None:
1761
1784
            encoding = osutils.get_user_encoding()
1762
1785
        stdout = StringIOWrapper()
1779
1802
            os.chdir(working_dir)
1780
1803
 
1781
1804
        try:
1782
 
            try:
1783
 
                result = self.apply_redirected(ui.ui_factory.stdin,
1784
 
                    stdout, stderr,
1785
 
                    bzrlib.commands.run_bzr_catch_user_errors,
1786
 
                    args)
1787
 
            except KeyboardInterrupt:
1788
 
                # Reraise KeyboardInterrupt with contents of redirected stdout
1789
 
                # and stderr as arguments, for tests which are interested in
1790
 
                # stdout and stderr and are expecting the exception.
1791
 
                out = stdout.getvalue()
1792
 
                err = stderr.getvalue()
1793
 
                if out:
1794
 
                    self.log('output:\n%r', out)
1795
 
                if err:
1796
 
                    self.log('errors:\n%r', err)
1797
 
                raise KeyboardInterrupt(out, err)
 
1805
            result = self.apply_redirected(ui.ui_factory.stdin,
 
1806
                stdout, stderr,
 
1807
                bzrlib.commands.run_bzr_catch_user_errors,
 
1808
                args)
1798
1809
        finally:
1799
1810
            logger.removeHandler(handler)
1800
1811
            ui.ui_factory = old_ui_factory
2100
2111
 
2101
2112
        Tests that expect to provoke LockContention errors should call this.
2102
2113
        """
2103
 
        self.overrideAttr(bzrlib.lockdir, '_DEFAULT_TIMEOUT_SECONDS', 0)
 
2114
        orig_timeout = bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS
 
2115
        def resetTimeout():
 
2116
            bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS = orig_timeout
 
2117
        self.addCleanup(resetTimeout)
 
2118
        bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS = 0
2104
2119
 
2105
2120
    def make_utf8_encoded_stringio(self, encoding_type=None):
2106
2121
        """Return a StringIOWrapper instance, that will encode Unicode
2120
2135
        request_handlers = request.request_handlers
2121
2136
        orig_method = request_handlers.get(verb)
2122
2137
        request_handlers.remove(verb)
2123
 
        self.addCleanup(request_handlers.register, verb, orig_method)
 
2138
        def restoreVerb():
 
2139
            request_handlers.register(verb, orig_method)
 
2140
        self.addCleanup(restoreVerb)
2124
2141
 
2125
2142
 
2126
2143
class CapturedCall(object):
2217
2234
        if self.__readonly_server is None:
2218
2235
            if self.transport_readonly_server is None:
2219
2236
                # readonly decorator requested
2220
 
                self.__readonly_server = test_server.ReadonlyServer()
 
2237
                self.__readonly_server = ReadonlyServer()
2221
2238
            else:
2222
2239
                # explicit readonly transport.
2223
2240
                self.__readonly_server = self.create_transport_readonly_server()
2246
2263
        is no means to override it.
2247
2264
        """
2248
2265
        if self.__vfs_server is None:
2249
 
            self.__vfs_server = memory.MemoryServer()
 
2266
            self.__vfs_server = MemoryServer()
2250
2267
            self.start_server(self.__vfs_server)
2251
2268
        return self.__vfs_server
2252
2269
 
2342
2359
            # recreate a new one or all the followng tests will fail.
2343
2360
            # If you need to inspect its content uncomment the following line
2344
2361
            # import pdb; pdb.set_trace()
2345
 
            _rmtree_temp_dir(root + '/.bzr', test_id=self.id())
 
2362
            _rmtree_temp_dir(root + '/.bzr')
2346
2363
            self._create_safety_net()
2347
2364
            raise AssertionError('%s/.bzr should not be modified' % root)
2348
2365
 
2409
2426
        return made_control.create_repository(shared=shared)
2410
2427
 
2411
2428
    def make_smart_server(self, path):
2412
 
        smart_server = test_server.SmartTCPServer_for_testing()
 
2429
        smart_server = server.SmartTCPServer_for_testing()
2413
2430
        self.start_server(smart_server, self.get_server())
2414
2431
        remote_transport = get_transport(smart_server.get_url()).clone(path)
2415
2432
        return remote_transport
2424
2441
        return branchbuilder.BranchBuilder(branch=branch)
2425
2442
 
2426
2443
    def overrideEnvironmentForTesting(self):
2427
 
        test_home_dir = self.test_home_dir
2428
 
        if isinstance(test_home_dir, unicode):
2429
 
            test_home_dir = test_home_dir.encode(sys.getfilesystemencoding())
2430
 
        os.environ['HOME'] = test_home_dir
2431
 
        os.environ['BZR_HOME'] = test_home_dir
 
2444
        os.environ['HOME'] = self.test_home_dir
 
2445
        os.environ['BZR_HOME'] = self.test_home_dir
2432
2446
 
2433
2447
    def setUp(self):
2434
2448
        super(TestCaseWithMemoryTransport, self).setUp()
2435
2449
        self._make_test_root()
2436
 
        self.addCleanup(os.chdir, os.getcwdu())
 
2450
        _currentdir = os.getcwdu()
 
2451
        def _leaveDirectory():
 
2452
            os.chdir(_currentdir)
 
2453
        self.addCleanup(_leaveDirectory)
2437
2454
        self.makeAndChdirToTestDir()
2438
2455
        self.overrideEnvironmentForTesting()
2439
2456
        self.__readonly_server = None
2442
2459
 
2443
2460
    def setup_smart_server_with_call_log(self):
2444
2461
        """Sets up a smart server as the transport server with a call log."""
2445
 
        self.transport_server = test_server.SmartTCPServer_for_testing
 
2462
        self.transport_server = server.SmartTCPServer_for_testing
2446
2463
        self.hpss_calls = []
2447
2464
        import traceback
2448
2465
        # Skip the current stack down to the caller of
2537
2554
 
2538
2555
    def deleteTestDir(self):
2539
2556
        os.chdir(TestCaseWithMemoryTransport.TEST_ROOT)
2540
 
        _rmtree_temp_dir(self.test_base_dir, test_id=self.id())
 
2557
        _rmtree_temp_dir(self.test_base_dir)
2541
2558
 
2542
2559
    def build_tree(self, shape, line_endings='binary', transport=None):
2543
2560
        """Build a test tree according to a pattern.
2661
2678
            # We can only make working trees locally at the moment.  If the
2662
2679
            # transport can't support them, then we keep the non-disk-backed
2663
2680
            # branch and create a local checkout.
2664
 
            if self.vfs_transport_factory is test_server.LocalURLServer:
 
2681
            if self.vfs_transport_factory is LocalURLServer:
2665
2682
                # the branch is colocated on disk, we cannot create a checkout.
2666
2683
                # hopefully callers will expect this.
2667
2684
                local_controldir= bzrdir.BzrDir.open(self.get_vfs_only_url(relpath))
2727
2744
 
2728
2745
    def setUp(self):
2729
2746
        super(ChrootedTestCase, self).setUp()
2730
 
        if not self.vfs_transport_factory == memory.MemoryServer:
 
2747
        if not self.vfs_transport_factory == MemoryServer:
2731
2748
            self.transport_readonly_server = HttpServer
2732
2749
 
2733
2750
 
3147
3164
        if self.randomised:
3148
3165
            return iter(self._tests)
3149
3166
        self.randomised = True
3150
 
        self.stream.write("Randomizing test order using seed %s\n\n" %
 
3167
        self.stream.writeln("Randomizing test order using seed %s\n" %
3151
3168
            (self.actual_seed()))
3152
3169
        # Initialise the random number generator.
3153
3170
        random.seed(self.actual_seed())
3201
3218
    return result
3202
3219
 
3203
3220
 
3204
 
def workaround_zealous_crypto_random():
3205
 
    """Crypto.Random want to help us being secure, but we don't care here.
3206
 
 
3207
 
    This workaround some test failure related to the sftp server. Once paramiko
3208
 
    stop using the controversial API in Crypto.Random, we may get rid of it.
3209
 
    """
3210
 
    try:
3211
 
        from Crypto.Random import atfork
3212
 
        atfork()
3213
 
    except ImportError:
3214
 
        pass
3215
 
 
3216
 
 
3217
3221
def fork_for_tests(suite):
3218
3222
    """Take suite and start up one runner per CPU by forking()
3219
3223
 
3223
3227
    concurrency = osutils.local_concurrency()
3224
3228
    result = []
3225
3229
    from subunit import TestProtocolClient, ProtocolTestCase
3226
 
    from subunit.test_results import AutoTimingTestResultDecorator
 
3230
    try:
 
3231
        from subunit.test_results import AutoTimingTestResultDecorator
 
3232
    except ImportError:
 
3233
        AutoTimingTestResultDecorator = lambda x:x
3227
3234
    class TestInOtherProcess(ProtocolTestCase):
3228
3235
        # Should be in subunit, I think. RBC.
3229
3236
        def __init__(self, stream, pid):
3234
3241
            try:
3235
3242
                ProtocolTestCase.run(self, result)
3236
3243
            finally:
3237
 
                os.waitpid(self.pid, 0)
 
3244
                os.waitpid(self.pid, os.WNOHANG)
3238
3245
 
3239
3246
    test_blocks = partition_tests(suite, concurrency)
3240
3247
    for process_tests in test_blocks:
3243
3250
        c2pread, c2pwrite = os.pipe()
3244
3251
        pid = os.fork()
3245
3252
        if pid == 0:
3246
 
            workaround_zealous_crypto_random()
3247
3253
            try:
3248
3254
                os.close(c2pread)
3249
3255
                # Leave stderr and stdout open so we can see test noise
3296
3302
        if not os.path.isfile(bzr_path):
3297
3303
            # We are probably installed. Assume sys.argv is the right file
3298
3304
            bzr_path = sys.argv[0]
3299
 
        bzr_path = [bzr_path]
3300
 
        if sys.platform == "win32":
3301
 
            # if we're on windows, we can't execute the bzr script directly
3302
 
            bzr_path = [sys.executable] + bzr_path
3303
3305
        fd, test_list_file_name = tempfile.mkstemp()
3304
3306
        test_list_file = os.fdopen(fd, 'wb', 1)
3305
3307
        for test in process_tests:
3306
3308
            test_list_file.write(test.id() + '\n')
3307
3309
        test_list_file.close()
3308
3310
        try:
3309
 
            argv = bzr_path + ['selftest', '--load-list', test_list_file_name,
 
3311
            argv = [bzr_path, 'selftest', '--load-list', test_list_file_name,
3310
3312
                '--subunit']
3311
3313
            if '--no-plugins' in sys.argv:
3312
3314
                argv.append('--no-plugins')
3351
3353
 
3352
3354
    def addFailure(self, test, err):
3353
3355
        self.result.addFailure(test, err)
3354
 
ForwardingResult = testtools.ExtendedToOriginalDecorator
 
3356
 
 
3357
 
 
3358
class BZRTransformingResult(ForwardingResult):
 
3359
 
 
3360
    def addError(self, test, err):
 
3361
        feature = self._error_looks_like('UnavailableFeature: ', err)
 
3362
        if feature is not None:
 
3363
            self.result.addNotSupported(test, feature)
 
3364
        else:
 
3365
            self.result.addError(test, err)
 
3366
 
 
3367
    def addFailure(self, test, err):
 
3368
        known = self._error_looks_like('KnownFailure: ', err)
 
3369
        if known is not None:
 
3370
            self.result._addKnownFailure(test, [KnownFailure,
 
3371
                                                KnownFailure(known), None])
 
3372
        else:
 
3373
            self.result.addFailure(test, err)
 
3374
 
 
3375
    def _error_looks_like(self, prefix, err):
 
3376
        """Deserialize exception and returns the stringify value."""
 
3377
        import subunit
 
3378
        value = None
 
3379
        typ, exc, _ = err
 
3380
        if isinstance(exc, subunit.RemoteException):
 
3381
            # stringify the exception gives access to the remote traceback
 
3382
            # We search the last line for 'prefix'
 
3383
            lines = str(exc).split('\n')
 
3384
            while lines and not lines[-1]:
 
3385
                lines.pop(-1)
 
3386
            if lines:
 
3387
                if lines[-1].startswith(prefix):
 
3388
                    value = lines[-1][len(prefix):]
 
3389
        return value
3355
3390
 
3356
3391
 
3357
3392
class ProfileResult(ForwardingResult):
3618
3653
# appear prefixed ('bzrlib.' is "replaced" by 'bzrlib.').
3619
3654
test_prefix_alias_registry.register('bzrlib', 'bzrlib')
3620
3655
 
3621
 
# Obvious highest levels prefixes, feel free to add your own via a plugin
 
3656
# Obvious higest levels prefixes, feel free to add your own via a plugin
3622
3657
test_prefix_alias_registry.register('bd', 'bzrlib.doc')
3623
3658
test_prefix_alias_registry.register('bu', 'bzrlib.utils')
3624
3659
test_prefix_alias_registry.register('bt', 'bzrlib.tests')
3634
3669
        'bzrlib.tests.commands',
3635
3670
        'bzrlib.tests.per_branch',
3636
3671
        'bzrlib.tests.per_bzrdir',
3637
 
        'bzrlib.tests.per_bzrdir_colo',
3638
 
        'bzrlib.tests.per_foreign_vcs',
3639
3672
        'bzrlib.tests.per_interrepository',
3640
3673
        'bzrlib.tests.per_intertree',
3641
3674
        'bzrlib.tests.per_inventory',
3642
3675
        'bzrlib.tests.per_interbranch',
3643
3676
        'bzrlib.tests.per_lock',
3644
 
        'bzrlib.tests.per_merger',
3645
3677
        'bzrlib.tests.per_transport',
3646
3678
        'bzrlib.tests.per_tree',
3647
3679
        'bzrlib.tests.per_pack_repository',
3648
3680
        'bzrlib.tests.per_repository',
3649
3681
        'bzrlib.tests.per_repository_chk',
3650
3682
        'bzrlib.tests.per_repository_reference',
3651
 
        'bzrlib.tests.per_uifactory',
3652
3683
        'bzrlib.tests.per_versionedfile',
3653
3684
        'bzrlib.tests.per_workingtree',
3654
3685
        'bzrlib.tests.test__annotator',
3655
 
        'bzrlib.tests.test__bencode',
3656
3686
        'bzrlib.tests.test__chk_map',
3657
3687
        'bzrlib.tests.test__dirstate_helpers',
3658
3688
        'bzrlib.tests.test__groupcompress',
3659
3689
        'bzrlib.tests.test__known_graph',
3660
3690
        'bzrlib.tests.test__rio',
3661
 
        'bzrlib.tests.test__simple_set',
3662
 
        'bzrlib.tests.test__static_tuple',
3663
3691
        'bzrlib.tests.test__walkdirs_win32',
3664
3692
        'bzrlib.tests.test_ancestry',
3665
3693
        'bzrlib.tests.test_annotate',
3666
3694
        'bzrlib.tests.test_api',
3667
3695
        'bzrlib.tests.test_atomicfile',
3668
3696
        'bzrlib.tests.test_bad_files',
 
3697
        'bzrlib.tests.test_bencode',
3669
3698
        'bzrlib.tests.test_bisect_multi',
3670
3699
        'bzrlib.tests.test_branch',
3671
3700
        'bzrlib.tests.test_branchbuilder',
3679
3708
        'bzrlib.tests.test_chk_serializer',
3680
3709
        'bzrlib.tests.test_chunk_writer',
3681
3710
        'bzrlib.tests.test_clean_tree',
3682
 
        'bzrlib.tests.test_cleanup',
3683
 
        'bzrlib.tests.test_cmdline',
3684
3711
        'bzrlib.tests.test_commands',
3685
3712
        'bzrlib.tests.test_commit',
3686
3713
        'bzrlib.tests.test_commit_merge',
3720
3747
        'bzrlib.tests.test_identitymap',
3721
3748
        'bzrlib.tests.test_ignores',
3722
3749
        'bzrlib.tests.test_index',
3723
 
        'bzrlib.tests.test_import_tariff',
3724
3750
        'bzrlib.tests.test_info',
3725
3751
        'bzrlib.tests.test_inv',
3726
3752
        'bzrlib.tests.test_inventory_delta',
3734
3760
        'bzrlib.tests.test_lru_cache',
3735
3761
        'bzrlib.tests.test_lsprof',
3736
3762
        'bzrlib.tests.test_mail_client',
3737
 
        'bzrlib.tests.test_matchers',
3738
3763
        'bzrlib.tests.test_memorytree',
3739
3764
        'bzrlib.tests.test_merge',
3740
3765
        'bzrlib.tests.test_merge3',
3820
3845
 
3821
3846
 
3822
3847
def _test_suite_modules_to_doctest():
3823
 
    """Return the list of modules to doctest."""
3824
 
    if __doc__ is None:
3825
 
        # GZ 2009-03-31: No docstrings with -OO so there's nothing to doctest
3826
 
        return []
 
3848
    """Return the list of modules to doctest."""   
3827
3849
    return [
3828
3850
        'bzrlib',
3829
3851
        'bzrlib.branchbuilder',
3830
 
        'bzrlib.decorators',
3831
3852
        'bzrlib.export',
3832
3853
        'bzrlib.inventory',
3833
3854
        'bzrlib.iterablefile',
4040
4061
    return new_test
4041
4062
 
4042
4063
 
4043
 
def permute_tests_for_extension(standard_tests, loader, py_module_name,
4044
 
                                ext_module_name):
4045
 
    """Helper for permutating tests against an extension module.
4046
 
 
4047
 
    This is meant to be used inside a modules 'load_tests()' function. It will
4048
 
    create 2 scenarios, and cause all tests in the 'standard_tests' to be run
4049
 
    against both implementations. Setting 'test.module' to the appropriate
4050
 
    module. See bzrlib.tests.test__chk_map.load_tests as an example.
4051
 
 
4052
 
    :param standard_tests: A test suite to permute
4053
 
    :param loader: A TestLoader
4054
 
    :param py_module_name: The python path to a python module that can always
4055
 
        be loaded, and will be considered the 'python' implementation. (eg
4056
 
        'bzrlib._chk_map_py')
4057
 
    :param ext_module_name: The python path to an extension module. If the
4058
 
        module cannot be loaded, a single test will be added, which notes that
4059
 
        the module is not available. If it can be loaded, all standard_tests
4060
 
        will be run against that module.
4061
 
    :return: (suite, feature) suite is a test-suite that has all the permuted
4062
 
        tests. feature is the Feature object that can be used to determine if
4063
 
        the module is available.
4064
 
    """
4065
 
 
4066
 
    py_module = __import__(py_module_name, {}, {}, ['NO_SUCH_ATTRIB'])
4067
 
    scenarios = [
4068
 
        ('python', {'module': py_module}),
4069
 
    ]
4070
 
    suite = loader.suiteClass()
4071
 
    feature = ModuleAvailableFeature(ext_module_name)
4072
 
    if feature.available():
4073
 
        scenarios.append(('C', {'module': feature.module}))
4074
 
    else:
4075
 
        # the compiled module isn't available, so we add a failing test
4076
 
        class FailWithoutFeature(TestCase):
4077
 
            def test_fail(self):
4078
 
                self.requireFeature(feature)
4079
 
        suite.addTest(loader.loadTestsFromTestCase(FailWithoutFeature))
4080
 
    result = multiply_tests(standard_tests, scenarios, suite)
4081
 
    return result, feature
4082
 
 
4083
 
 
4084
 
def _rmtree_temp_dir(dirname, test_id=None):
 
4064
def _rmtree_temp_dir(dirname):
4085
4065
    # If LANG=C we probably have created some bogus paths
4086
4066
    # which rmtree(unicode) will fail to delete
4087
4067
    # so make sure we are using rmtree(str) to delete everything
4099
4079
        # We don't want to fail here because some useful display will be lost
4100
4080
        # otherwise. Polluting the tmp dir is bad, but not giving all the
4101
4081
        # possible info to the test runner is even worse.
4102
 
        if test_id != None:
4103
 
            ui.ui_factory.clear_term()
4104
 
            sys.stderr.write('\nWhile running: %s\n' % (test_id,))
4105
4082
        sys.stderr.write('Unable to remove testing dir %s\n%s'
4106
4083
                         % (os.path.basename(dirname), e))
4107
4084
 
4191
4168
UnicodeFilenameFeature = _UnicodeFilenameFeature()
4192
4169
 
4193
4170
 
4194
 
class _CompatabilityThunkFeature(Feature):
4195
 
    """This feature is just a thunk to another feature.
4196
 
 
4197
 
    It issues a deprecation warning if it is accessed, to let you know that you
4198
 
    should really use a different feature.
4199
 
    """
4200
 
 
4201
 
    def __init__(self, dep_version, module, name,
4202
 
                 replacement_name, replacement_module=None):
4203
 
        super(_CompatabilityThunkFeature, self).__init__()
4204
 
        self._module = module
4205
 
        if replacement_module is None:
4206
 
            replacement_module = module
4207
 
        self._replacement_module = replacement_module
4208
 
        self._name = name
4209
 
        self._replacement_name = replacement_name
4210
 
        self._dep_version = dep_version
4211
 
        self._feature = None
4212
 
 
4213
 
    def _ensure(self):
4214
 
        if self._feature is None:
4215
 
            depr_msg = self._dep_version % ('%s.%s'
4216
 
                                            % (self._module, self._name))
4217
 
            use_msg = ' Use %s.%s instead.' % (self._replacement_module,
4218
 
                                               self._replacement_name)
4219
 
            symbol_versioning.warn(depr_msg + use_msg, DeprecationWarning)
4220
 
            # Import the new feature and use it as a replacement for the
4221
 
            # deprecated one.
4222
 
            mod = __import__(self._replacement_module, {}, {},
4223
 
                             [self._replacement_name])
4224
 
            self._feature = getattr(mod, self._replacement_name)
4225
 
 
4226
 
    def _probe(self):
4227
 
        self._ensure()
4228
 
        return self._feature._probe()
4229
 
 
4230
 
 
4231
 
class ModuleAvailableFeature(Feature):
4232
 
    """This is a feature than describes a module we want to be available.
4233
 
 
4234
 
    Declare the name of the module in __init__(), and then after probing, the
4235
 
    module will be available as 'self.module'.
4236
 
 
4237
 
    :ivar module: The module if it is available, else None.
4238
 
    """
4239
 
 
4240
 
    def __init__(self, module_name):
4241
 
        super(ModuleAvailableFeature, self).__init__()
4242
 
        self.module_name = module_name
4243
 
 
4244
 
    def _probe(self):
4245
 
        try:
4246
 
            self._module = __import__(self.module_name, {}, {}, [''])
4247
 
            return True
4248
 
        except ImportError:
4249
 
            return False
4250
 
 
4251
 
    @property
4252
 
    def module(self):
4253
 
        if self.available(): # Make sure the probe has been done
4254
 
            return self._module
4255
 
        return None
4256
 
 
4257
 
    def feature_name(self):
4258
 
        return self.module_name
4259
 
 
4260
 
 
4261
 
# This is kept here for compatibility, it is recommended to use
4262
 
# 'bzrlib.tests.feature.paramiko' instead
4263
 
ParamikoFeature = _CompatabilityThunkFeature(
4264
 
    deprecated_in((2,1,0)),
4265
 
    'bzrlib.tests.features', 'ParamikoFeature', 'paramiko')
4266
 
 
4267
 
 
4268
4171
def probe_unicode_in_user_encoding():
4269
4172
    """Try to encode several unicode strings to use in unicode-aware tests.
4270
4173
    Return first successfull match.
4319
4222
HTTPSServerFeature = _HTTPSServerFeature()
4320
4223
 
4321
4224
 
 
4225
class _ParamikoFeature(Feature):
 
4226
    """Is paramiko available?"""
 
4227
 
 
4228
    def _probe(self):
 
4229
        try:
 
4230
            from bzrlib.transport.sftp import SFTPAbsoluteServer
 
4231
            return True
 
4232
        except errors.ParamikoNotPresent:
 
4233
            return False
 
4234
 
 
4235
    def feature_name(self):
 
4236
        return "Paramiko"
 
4237
 
 
4238
 
 
4239
ParamikoFeature = _ParamikoFeature()
 
4240
 
 
4241
 
4322
4242
class _UnicodeFilename(Feature):
4323
4243
    """Does the filesystem support Unicode filenames?"""
4324
4244
 
4361
4281
            # Windows doesn't have os.kill, and we catch the SIGBREAK signal.
4362
4282
            # We trigger SIGBREAK via a Console api so we need ctypes to
4363
4283
            # access the function
4364
 
            try:
4365
 
                import ctypes
4366
 
            except OSError:
 
4284
            if not have_ctypes:
4367
4285
                return False
4368
4286
        return True
4369
4287
 
4429
4347
CaseInsensitiveFilesystemFeature = _CaseInsensitiveFilesystemFeature()
4430
4348
 
4431
4349
 
4432
 
class _CaseSensitiveFilesystemFeature(Feature):
 
4350
class _SubUnitFeature(Feature):
 
4351
    """Check if subunit is available."""
4433
4352
 
4434
4353
    def _probe(self):
4435
 
        if CaseInsCasePresFilenameFeature.available():
4436
 
            return False
4437
 
        elif CaseInsensitiveFilesystemFeature.available():
4438
 
            return False
4439
 
        else:
 
4354
        try:
 
4355
            import subunit
4440
4356
            return True
 
4357
        except ImportError:
 
4358
            return False
4441
4359
 
4442
4360
    def feature_name(self):
4443
 
        return 'case-sensitive filesystem'
4444
 
 
4445
 
# new coding style is for feature instances to be lowercase
4446
 
case_sensitive_filesystem_feature = _CaseSensitiveFilesystemFeature()
4447
 
 
4448
 
 
4449
 
# Kept for compatibility, use bzrlib.tests.features.subunit instead
4450
 
SubUnitFeature = _CompatabilityThunkFeature(
4451
 
    deprecated_in((2,1,0)),
4452
 
    'bzrlib.tests.features', 'SubUnitFeature', 'subunit')
 
4361
        return 'subunit'
 
4362
 
 
4363
SubUnitFeature = _SubUnitFeature()
4453
4364
# Only define SubUnitBzrRunner if subunit is available.
4454
4365
try:
4455
4366
    from subunit import TestProtocolClient
4456
 
    from subunit.test_results import AutoTimingTestResultDecorator
 
4367
    try:
 
4368
        from subunit.test_results import AutoTimingTestResultDecorator
 
4369
    except ImportError:
 
4370
        AutoTimingTestResultDecorator = lambda x:x
4457
4371
    class SubUnitBzrRunner(TextTestRunner):
4458
4372
        def run(self, test):
4459
4373
            result = AutoTimingTestResultDecorator(
4462
4376
            return result
4463
4377
except ImportError:
4464
4378
    pass
4465
 
 
4466
 
class _PosixPermissionsFeature(Feature):
4467
 
 
4468
 
    def _probe(self):
4469
 
        def has_perms():
4470
 
            # create temporary file and check if specified perms are maintained.
4471
 
            import tempfile
4472
 
 
4473
 
            write_perms = stat.S_IRUSR | stat.S_IWUSR | stat.S_IXUSR
4474
 
            f = tempfile.mkstemp(prefix='bzr_perms_chk_')
4475
 
            fd, name = f
4476
 
            os.close(fd)
4477
 
            os.chmod(name, write_perms)
4478
 
 
4479
 
            read_perms = os.stat(name).st_mode & 0777
4480
 
            os.unlink(name)
4481
 
            return (write_perms == read_perms)
4482
 
 
4483
 
        return (os.name == 'posix') and has_perms()
4484
 
 
4485
 
    def feature_name(self):
4486
 
        return 'POSIX permissions support'
4487
 
 
4488
 
posix_permissions_feature = _PosixPermissionsFeature()