/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/tests/__init__.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2009-11-08 03:00:11 UTC
  • mfrom: (4789.2.1 bzrdirvfswarning)
  • Revision ID: pqm@pqm.ubuntu.com-20091108030011-4ifz210jwrd3ewkv
(robertc) Extend -Dhpssvfs debugging support to BzrDir._ensure_real.
        (Robert Collins)

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005-2010 Canonical Ltd
 
1
# Copyright (C) 2005, 2006, 2007, 2008, 2009 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
 
"""Testing framework extensions"""
18
17
 
19
18
# TODO: Perhaps there should be an API to find out if bzr running under the
20
19
# test suite -- some plugins might want to avoid making intrusive changes if
47
46
import tempfile
48
47
import threading
49
48
import time
50
 
import traceback
51
49
import unittest
52
50
import warnings
53
51
 
54
 
import testtools
55
 
# nb: check this before importing anything else from within it
56
 
_testtools_version = getattr(testtools, '__version__', ())
57
 
if _testtools_version < (0, 9, 2):
58
 
    raise ImportError("need at least testtools 0.9.2: %s is %r"
59
 
        % (testtools.__file__, _testtools_version))
60
 
from testtools import content
61
52
 
62
53
from bzrlib import (
63
54
    branchbuilder,
97
88
from bzrlib.symbol_versioning import (
98
89
    DEPRECATED_PARAMETER,
99
90
    deprecated_function,
100
 
    deprecated_in,
101
91
    deprecated_method,
102
92
    deprecated_passed,
103
93
    )
104
94
import bzrlib.trace
105
 
from bzrlib.transport import (
106
 
    get_transport,
107
 
    memory,
108
 
    pathfilter,
109
 
    )
 
95
from bzrlib.transport import get_transport, pathfilter
110
96
import bzrlib.transport
 
97
from bzrlib.transport.local import LocalURLServer
 
98
from bzrlib.transport.memory import MemoryServer
 
99
from bzrlib.transport.readonly import ReadonlyServer
111
100
from bzrlib.trace import mutter, note
112
 
from bzrlib.tests import (
113
 
    test_server,
114
 
    TestUtil,
115
 
    treeshape,
116
 
    )
 
101
from bzrlib.tests import TestUtil
117
102
from bzrlib.tests.http_server import HttpServer
118
103
from bzrlib.tests.TestUtil import (
119
104
                          TestSuite,
120
105
                          TestLoader,
121
106
                          )
 
107
from bzrlib.tests.treeshape import build_tree_contents
122
108
from bzrlib.ui import NullProgressView
123
109
from bzrlib.ui.text import TextUIFactory
124
110
import bzrlib.version_info_formats.format_custom
129
115
# shown frame is the test code, not our assertXYZ.
130
116
__unittest = 1
131
117
 
132
 
default_transport = test_server.LocalURLServer
133
 
 
134
 
 
135
 
_unitialized_attr = object()
136
 
"""A sentinel needed to act as a default value in a method signature."""
137
 
 
 
118
default_transport = LocalURLServer
138
119
 
139
120
# Subunit result codes, defined here to prevent a hard dependency on subunit.
140
121
SUBUNIT_SEEK_SET = 0
247
228
                '%d non-main threads were left active in the end.\n'
248
229
                % (TestCase._active_threads - 1))
249
230
 
250
 
    def getDescription(self, test):
251
 
        return test.id()
252
 
 
253
 
    def _extractBenchmarkTime(self, testCase, details=None):
 
231
    def _extractBenchmarkTime(self, testCase):
254
232
        """Add a benchmark time for the current test case."""
255
 
        if details and 'benchtime' in details:
256
 
            return float(''.join(details['benchtime'].iter_bytes()))
257
233
        return getattr(testCase, "_benchtime", None)
258
234
 
259
235
    def _elapsedTestTimeString(self):
293
269
        else:
294
270
            bzr_path = sys.executable
295
271
        self.stream.write(
296
 
            'bzr selftest: %s\n' % (bzr_path,))
 
272
            'testing: %s\n' % (bzr_path,))
297
273
        self.stream.write(
298
274
            '   %s\n' % (
299
275
                    bzrlib.__path__[0],))
344
320
            self.stop()
345
321
        self._cleanupLogFile(test)
346
322
 
347
 
    def addSuccess(self, test, details=None):
 
323
    def addSuccess(self, test):
348
324
        """Tell result that test completed successfully.
349
325
 
350
326
        Called from the TestCase run()
351
327
        """
352
328
        if self._bench_history is not None:
353
 
            benchmark_time = self._extractBenchmarkTime(test, details)
 
329
            benchmark_time = self._extractBenchmarkTime(test)
354
330
            if benchmark_time is not None:
355
331
                self._bench_history.write("%s %s\n" % (
356
332
                    self._formatTime(benchmark_time),
386
362
        self.not_applicable_count += 1
387
363
        self.report_not_applicable(test, reason)
388
364
 
 
365
    def printErrorList(self, flavour, errors):
 
366
        for test, err in errors:
 
367
            self.stream.writeln(self.separator1)
 
368
            self.stream.write("%s: " % flavour)
 
369
            self.stream.writeln(self.getDescription(test))
 
370
            if getattr(test, '_get_log', None) is not None:
 
371
                log_contents = test._get_log()
 
372
                if log_contents:
 
373
                    self.stream.write('\n')
 
374
                    self.stream.write(
 
375
                            ('vvvv[log from %s]' % test.id()).ljust(78,'-'))
 
376
                    self.stream.write('\n')
 
377
                    self.stream.write(log_contents)
 
378
                    self.stream.write('\n')
 
379
                    self.stream.write(
 
380
                            ('^^^^[log from %s]' % test.id()).ljust(78,'-'))
 
381
                    self.stream.write('\n')
 
382
            self.stream.writeln(self.separator2)
 
383
            self.stream.writeln("%s" % err)
 
384
 
389
385
    def _post_mortem(self):
390
386
        """Start a PDB post mortem session."""
391
387
        if os.environ.get('BZR_TEST_PDB', None):
471
467
            a += '%dm%ds' % (runtime / 60, runtime % 60)
472
468
        else:
473
469
            a += '%ds' % runtime
474
 
        total_fail_count = self.error_count + self.failure_count
475
 
        if total_fail_count:
476
 
            a += ', %d failed' % total_fail_count
 
470
        if self.error_count:
 
471
            a += ', %d err' % self.error_count
 
472
        if self.failure_count:
 
473
            a += ', %d fail' % self.failure_count
477
474
        # if self.unsupported:
478
475
        #     a += ', %d missing' % len(self.unsupported)
479
476
        a += ']'
490
487
        return self._shortened_test_description(test)
491
488
 
492
489
    def report_error(self, test, err):
493
 
        self.stream.write('ERROR: %s\n    %s\n' % (
 
490
        ui.ui_factory.note('ERROR: %s\n    %s\n' % (
494
491
            self._test_description(test),
495
492
            err[1],
496
493
            ))
497
494
 
498
495
    def report_failure(self, test, err):
499
 
        self.stream.write('FAIL: %s\n    %s\n' % (
 
496
        ui.ui_factory.note('FAIL: %s\n    %s\n' % (
500
497
            self._test_description(test),
501
498
            err[1],
502
499
            ))
503
500
 
504
501
    def report_known_failure(self, test, err):
505
 
        pass
 
502
        ui.ui_factory.note('XFAIL: %s\n%s\n' % (
 
503
            self._test_description(test), err[1]))
506
504
 
507
505
    def report_skip(self, test, reason):
508
506
        pass
535
533
    def report_test_start(self, test):
536
534
        self.count += 1
537
535
        name = self._shortened_test_description(test)
538
 
        width = osutils.terminal_width()
539
 
        if width is not None:
540
 
            # width needs space for 6 char status, plus 1 for slash, plus an
541
 
            # 11-char time string, plus a trailing blank
542
 
            # when NUMBERED_DIRS: plus 5 chars on test number, plus 1 char on
543
 
            # space
544
 
            self.stream.write(self._ellipsize_to_right(name, width-18))
545
 
        else:
546
 
            self.stream.write(name)
 
536
        # width needs space for 6 char status, plus 1 for slash, plus an
 
537
        # 11-char time string, plus a trailing blank
 
538
        # when NUMBERED_DIRS: plus 5 chars on test number, plus 1 char on space
 
539
        self.stream.write(self._ellipsize_to_right(name,
 
540
                          osutils.terminal_width()-18))
547
541
        self.stream.flush()
548
542
 
549
543
    def _error_summary(self, err):
606
600
            applied left to right - the first element in the list is the 
607
601
            innermost decorator.
608
602
        """
609
 
        # stream may know claim to know to write unicode strings, but in older
610
 
        # pythons this goes sufficiently wrong that it is a bad idea. (
611
 
        # specifically a built in file with encoding 'UTF-8' will still try
612
 
        # to encode using ascii.
613
 
        new_encoding = osutils.get_terminal_encoding()
614
 
        codec = codecs.lookup(new_encoding)
615
 
        if type(codec) is tuple:
616
 
            # Python 2.4
617
 
            encode = codec[0]
618
 
        else:
619
 
            encode = codec.encode
620
 
        stream = osutils.UnicodeOrBytesToBytesWriter(encode, stream)
621
 
        stream.encoding = new_encoding
622
603
        self.stream = unittest._WritelnDecorator(stream)
623
604
        self.descriptions = descriptions
624
605
        self.verbosity = verbosity
644
625
        for decorator in self._result_decorators:
645
626
            result = decorator(result)
646
627
            result.stop_early = self.stop_on_failure
 
628
        try:
 
629
            import testtools
 
630
        except ImportError:
 
631
            pass
 
632
        else:
 
633
            if isinstance(test, testtools.ConcurrentTestSuite):
 
634
                # We need to catch bzr specific behaviors
 
635
                result = BZRTransformingResult(result)
647
636
        result.startTestRun()
648
637
        try:
649
638
            test.run(result)
667
656
                        % (type(suite), suite))
668
657
 
669
658
 
670
 
TestSkipped = testtools.testcase.TestSkipped
 
659
class TestSkipped(Exception):
 
660
    """Indicates that a test was intentionally skipped, rather than failing."""
671
661
 
672
662
 
673
663
class TestNotApplicable(TestSkipped):
679
669
    """
680
670
 
681
671
 
682
 
# traceback._some_str fails to format exceptions that have the default
683
 
# __str__ which does an implicit ascii conversion. However, repr() on those
684
 
# objects works, for all that its not quite what the doctor may have ordered.
685
 
def _clever_some_str(value):
686
 
    try:
687
 
        return str(value)
688
 
    except:
689
 
        try:
690
 
            return repr(value).replace('\\n', '\n')
691
 
        except:
692
 
            return '<unprintable %s object>' % type(value).__name__
693
 
 
694
 
traceback._some_str = _clever_some_str
695
 
 
696
 
 
697
 
# deprecated - use self.knownFailure(), or self.expectFailure.
698
 
KnownFailure = testtools.testcase._ExpectedFailure
 
672
class KnownFailure(AssertionError):
 
673
    """Indicates that a test failed in a precisely expected manner.
 
674
 
 
675
    Such failures dont block the whole test suite from passing because they are
 
676
    indicators of partially completed code or of future work. We have an
 
677
    explicit error for them so that we can ensure that they are always visible:
 
678
    KnownFailures are always shown in the output of bzr selftest.
 
679
    """
699
680
 
700
681
 
701
682
class UnavailableFeature(Exception):
707
688
    """
708
689
 
709
690
 
 
691
class CommandFailed(Exception):
 
692
    pass
 
693
 
 
694
 
710
695
class StringIOWrapper(object):
711
696
    """A wrapper around cStringIO which just adds an encoding attribute.
712
697
 
773
758
        return NullProgressView()
774
759
 
775
760
 
776
 
class TestCase(testtools.TestCase):
 
761
class TestCase(unittest.TestCase):
777
762
    """Base class for bzr unit tests.
778
763
 
779
764
    Tests that need access to disk resources should subclass
798
783
    _leaking_threads_tests = 0
799
784
    _first_thread_leaker_id = None
800
785
    _log_file_name = None
 
786
    _log_contents = ''
 
787
    _keep_log_file = False
801
788
    # record lsprof data when performing benchmark calls.
802
789
    _gather_lsprof_in_benchmarks = False
 
790
    attrs_to_keep = ('id', '_testMethodName', '_testMethodDoc',
 
791
                     '_log_contents', '_log_file_name', '_benchtime',
 
792
                     '_TestCase__testMethodName', '_TestCase__testMethodDoc',)
803
793
 
804
794
    def __init__(self, methodName='testMethod'):
805
795
        super(TestCase, self).__init__(methodName)
806
796
        self._cleanups = []
 
797
        self._bzr_test_setUp_run = False
 
798
        self._bzr_test_tearDown_run = False
807
799
        self._directory_isolation = True
808
 
        self.exception_handlers.insert(0,
809
 
            (UnavailableFeature, self._do_unsupported_or_skip))
810
 
        self.exception_handlers.insert(0,
811
 
            (TestNotApplicable, self._do_not_applicable))
812
800
 
813
801
    def setUp(self):
814
 
        super(TestCase, self).setUp()
815
 
        for feature in getattr(self, '_test_needs_features', []):
816
 
            self.requireFeature(feature)
817
 
        self._log_contents = None
818
 
        self.addDetail("log", content.Content(content.ContentType("text",
819
 
            "plain", {"charset": "utf8"}),
820
 
            lambda:[self._get_log(keep_log_file=True)]))
 
802
        unittest.TestCase.setUp(self)
 
803
        self._bzr_test_setUp_run = True
821
804
        self._cleanEnvironment()
822
805
        self._silenceUI()
823
806
        self._startLogFile()
856
839
        Tests that want to use debug flags can just set them in the
857
840
        debug_flags set during setup/teardown.
858
841
        """
859
 
        # Start with a copy of the current debug flags we can safely modify.
860
 
        self.overrideAttr(debug, 'debug_flags', set(debug.debug_flags))
 
842
        self._preserved_debug_flags = set(debug.debug_flags)
861
843
        if 'allow_debug' not in selftest_debug_flags:
862
844
            debug.debug_flags.clear()
863
845
        if 'disable_lock_checks' not in selftest_debug_flags:
864
846
            debug.debug_flags.add('strict_locks')
 
847
        self.addCleanup(self._restore_debug_flags)
865
848
 
866
849
    def _clear_hooks(self):
867
850
        # prevent hooks affecting tests
888
871
    def _silenceUI(self):
889
872
        """Turn off UI for duration of test"""
890
873
        # by default the UI is off; tests can turn it on if they want it.
891
 
        self.overrideAttr(ui, 'ui_factory', ui.SilentUIFactory())
 
874
        saved = ui.ui_factory
 
875
        def _restore():
 
876
            ui.ui_factory = saved
 
877
        ui.ui_factory = ui.SilentUIFactory()
 
878
        self.addCleanup(_restore)
892
879
 
893
880
    def _check_locks(self):
894
881
        """Check that all lock take/release actions have been paired."""
923
910
            self._lock_check_thorough = False
924
911
        else:
925
912
            self._lock_check_thorough = True
926
 
 
 
913
            
927
914
        self.addCleanup(self._check_locks)
928
915
        _mod_lock.Lock.hooks.install_named_hook('lock_acquired',
929
916
                                                self._lock_acquired, None)
1022
1009
        server's urls to be used.
1023
1010
        """
1024
1011
        if backing_server is None:
1025
 
            transport_server.start_server()
 
1012
            transport_server.setUp()
1026
1013
        else:
1027
 
            transport_server.start_server(backing_server)
1028
 
        self.addCleanup(transport_server.stop_server)
 
1014
            transport_server.setUp(backing_server)
 
1015
        self.addCleanup(transport_server.tearDown)
1029
1016
        # Obtain a real transport because if the server supplies a password, it
1030
1017
        # will be hidden from the base on the client side.
1031
1018
        t = get_transport(transport_server.get_url())
1045
1032
        if t.base.endswith('/work/'):
1046
1033
            # we have safety net/test root/work
1047
1034
            t = t.clone('../..')
1048
 
        elif isinstance(transport_server,
1049
 
                        test_server.SmartTCPServer_for_testing):
 
1035
        elif isinstance(transport_server, server.SmartTCPServer_for_testing):
1050
1036
            # The smart server adds a path similar to work, which is traversed
1051
1037
            # up from by the client. But the server is chrooted - the actual
1052
1038
            # backing transport is not escaped from, and VFS requests to the
1129
1115
        :raises AssertionError: If the expected and actual stat values differ
1130
1116
            other than by atime.
1131
1117
        """
1132
 
        self.assertEqual(expected.st_size, actual.st_size,
1133
 
                         'st_size did not match')
1134
 
        self.assertEqual(expected.st_mtime, actual.st_mtime,
1135
 
                         'st_mtime did not match')
1136
 
        self.assertEqual(expected.st_ctime, actual.st_ctime,
1137
 
                         'st_ctime did not match')
1138
 
        if sys.platform != 'win32':
1139
 
            # On Win32 both 'dev' and 'ino' cannot be trusted. In python2.4 it
1140
 
            # is 'dev' that varies, in python 2.5 (6?) it is st_ino that is
1141
 
            # odd. Regardless we shouldn't actually try to assert anything
1142
 
            # about their values
1143
 
            self.assertEqual(expected.st_dev, actual.st_dev,
1144
 
                             'st_dev did not match')
1145
 
            self.assertEqual(expected.st_ino, actual.st_ino,
1146
 
                             'st_ino did not match')
1147
 
        self.assertEqual(expected.st_mode, actual.st_mode,
1148
 
                         'st_mode did not match')
 
1118
        self.assertEqual(expected.st_size, actual.st_size)
 
1119
        self.assertEqual(expected.st_mtime, actual.st_mtime)
 
1120
        self.assertEqual(expected.st_ctime, actual.st_ctime)
 
1121
        self.assertEqual(expected.st_dev, actual.st_dev)
 
1122
        self.assertEqual(expected.st_ino, actual.st_ino)
 
1123
        self.assertEqual(expected.st_mode, actual.st_mode)
1149
1124
 
1150
1125
    def assertLength(self, length, obj_with_len):
1151
1126
        """Assert that obj_with_len is of length length."""
1207
1182
            raise AssertionError('pattern "%s" found in "%s"'
1208
1183
                    % (needle_re, haystack))
1209
1184
 
1210
 
    def assertContainsString(self, haystack, needle):
1211
 
        if haystack.find(needle) == -1:
1212
 
            self.fail("string %r not found in '''%s'''" % (needle, haystack))
1213
 
 
1214
1185
    def assertSubset(self, sublist, superlist):
1215
1186
        """Assert that every entry in sublist is present in superlist."""
1216
1187
        missing = set(sublist) - set(superlist)
1303
1274
                m += ": " + msg
1304
1275
            self.fail(m)
1305
1276
 
 
1277
    def expectFailure(self, reason, assertion, *args, **kwargs):
 
1278
        """Invoke a test, expecting it to fail for the given reason.
 
1279
 
 
1280
        This is for assertions that ought to succeed, but currently fail.
 
1281
        (The failure is *expected* but not *wanted*.)  Please be very precise
 
1282
        about the failure you're expecting.  If a new bug is introduced,
 
1283
        AssertionError should be raised, not KnownFailure.
 
1284
 
 
1285
        Frequently, expectFailure should be followed by an opposite assertion.
 
1286
        See example below.
 
1287
 
 
1288
        Intended to be used with a callable that raises AssertionError as the
 
1289
        'assertion' parameter.  args and kwargs are passed to the 'assertion'.
 
1290
 
 
1291
        Raises KnownFailure if the test fails.  Raises AssertionError if the
 
1292
        test succeeds.
 
1293
 
 
1294
        example usage::
 
1295
 
 
1296
          self.expectFailure('Math is broken', self.assertNotEqual, 54,
 
1297
                             dynamic_val)
 
1298
          self.assertEqual(42, dynamic_val)
 
1299
 
 
1300
          This means that a dynamic_val of 54 will cause the test to raise
 
1301
          a KnownFailure.  Once math is fixed and the expectFailure is removed,
 
1302
          only a dynamic_val of 42 will allow the test to pass.  Anything other
 
1303
          than 54 or 42 will cause an AssertionError.
 
1304
        """
 
1305
        try:
 
1306
            assertion(*args, **kwargs)
 
1307
        except AssertionError:
 
1308
            raise KnownFailure(reason)
 
1309
        else:
 
1310
            self.fail('Unexpected success.  Should have failed: %s' % reason)
 
1311
 
1306
1312
    def assertFileEqual(self, content, path):
1307
1313
        """Fail if path does not contain 'content'."""
1308
1314
        self.failUnlessExists(path)
1313
1319
            f.close()
1314
1320
        self.assertEqualDiff(content, s)
1315
1321
 
1316
 
    def assertDocstring(self, expected_docstring, obj):
1317
 
        """Fail if obj does not have expected_docstring"""
1318
 
        if __doc__ is None:
1319
 
            # With -OO the docstring should be None instead
1320
 
            self.assertIs(obj.__doc__, None)
1321
 
        else:
1322
 
            self.assertEqual(expected_docstring, obj.__doc__)
1323
 
 
1324
1322
    def failUnlessExists(self, path):
1325
1323
        """Fail unless path or paths, which may be abs or relative, exist."""
1326
1324
        if not isinstance(path, basestring):
1466
1464
 
1467
1465
        Close the file and delete it, unless setKeepLogfile was called.
1468
1466
        """
1469
 
        if bzrlib.trace._trace_file:
1470
 
            # flush the log file, to get all content
1471
 
            bzrlib.trace._trace_file.flush()
 
1467
        if self._log_file is None:
 
1468
            return
1472
1469
        bzrlib.trace.pop_log_file(self._log_memento)
1473
 
        # Cache the log result and delete the file on disk
1474
 
        self._get_log(False)
 
1470
        self._log_file.close()
 
1471
        self._log_file = None
 
1472
        if not self._keep_log_file:
 
1473
            os.remove(self._log_file_name)
 
1474
            self._log_file_name = None
 
1475
 
 
1476
    def setKeepLogfile(self):
 
1477
        """Make the logfile not be deleted when _finishLogFile is called."""
 
1478
        self._keep_log_file = True
1475
1479
 
1476
1480
    def thisFailsStrictLockCheck(self):
1477
1481
        """It is known that this test would fail with -Dstrict_locks.
1494
1498
        """
1495
1499
        self._cleanups.append((callable, args, kwargs))
1496
1500
 
1497
 
    def overrideAttr(self, obj, attr_name, new=_unitialized_attr):
1498
 
        """Overrides an object attribute restoring it after the test.
1499
 
 
1500
 
        :param obj: The object that will be mutated.
1501
 
 
1502
 
        :param attr_name: The attribute name we want to preserve/override in
1503
 
            the object.
1504
 
 
1505
 
        :param new: The optional value we want to set the attribute to.
1506
 
 
1507
 
        :returns: The actual attr value.
1508
 
        """
1509
 
        value = getattr(obj, attr_name)
1510
 
        # The actual value is captured by the call below
1511
 
        self.addCleanup(setattr, obj, attr_name, value)
1512
 
        if new is not _unitialized_attr:
1513
 
            setattr(obj, attr_name, new)
1514
 
        return value
1515
 
 
1516
1501
    def _cleanEnvironment(self):
1517
1502
        new_env = {
1518
1503
            'BZR_HOME': None, # Don't inherit BZR_HOME to all the tests.
1528
1513
            'BZR_PROGRESS_BAR': None,
1529
1514
            'BZR_LOG': None,
1530
1515
            'BZR_PLUGIN_PATH': None,
1531
 
            'BZR_DISABLE_PLUGINS': None,
1532
 
            'BZR_PLUGINS_AT': None,
1533
 
            'BZR_CONCURRENCY': None,
1534
1516
            # Make sure that any text ui tests are consistent regardless of
1535
1517
            # the environment the test case is run in; you may want tests that
1536
1518
            # test other combinations.  'dumb' is a reasonable guess for tests
1538
1520
            'TERM': 'dumb',
1539
1521
            'LINES': '25',
1540
1522
            'COLUMNS': '80',
1541
 
            'BZR_COLUMNS': '80',
1542
1523
            # SSH Agent
1543
1524
            'SSH_AUTH_SOCK': None,
1544
1525
            # Proxies
1556
1537
            'ftp_proxy': None,
1557
1538
            'FTP_PROXY': None,
1558
1539
            'BZR_REMOTE_PATH': None,
1559
 
            # Generally speaking, we don't want apport reporting on crashes in
1560
 
            # the test envirnoment unless we're specifically testing apport,
1561
 
            # so that it doesn't leak into the real system environment.  We
1562
 
            # use an env var so it propagates to subprocesses.
1563
 
            'APPORT_DISABLE': '1',
1564
1540
        }
1565
 
        self._old_env = {}
 
1541
        self.__old_env = {}
1566
1542
        self.addCleanup(self._restoreEnvironment)
1567
1543
        for name, value in new_env.iteritems():
1568
1544
            self._captureVar(name, value)
1569
1545
 
1570
1546
    def _captureVar(self, name, newvalue):
1571
1547
        """Set an environment variable, and reset it when finished."""
1572
 
        self._old_env[name] = osutils.set_or_unset_env(name, newvalue)
 
1548
        self.__old_env[name] = osutils.set_or_unset_env(name, newvalue)
 
1549
 
 
1550
    def _restore_debug_flags(self):
 
1551
        debug.debug_flags.clear()
 
1552
        debug.debug_flags.update(self._preserved_debug_flags)
1573
1553
 
1574
1554
    def _restoreEnvironment(self):
1575
 
        for name, value in self._old_env.iteritems():
 
1555
        for name, value in self.__old_env.iteritems():
1576
1556
            osutils.set_or_unset_env(name, value)
1577
1557
 
1578
1558
    def _restoreHooks(self):
1590
1570
        else:
1591
1571
            addSkip(self, reason)
1592
1572
 
1593
 
    @staticmethod
1594
 
    def _do_known_failure(self, result, e):
 
1573
    def _do_known_failure(self, result):
1595
1574
        err = sys.exc_info()
1596
1575
        addExpectedFailure = getattr(result, 'addExpectedFailure', None)
1597
1576
        if addExpectedFailure is not None:
1599
1578
        else:
1600
1579
            result.addSuccess(self)
1601
1580
 
1602
 
    @staticmethod
1603
1581
    def _do_not_applicable(self, result, e):
1604
1582
        if not e.args:
1605
1583
            reason = 'No reason given'
1611
1589
        else:
1612
1590
            self._do_skip(result, reason)
1613
1591
 
1614
 
    @staticmethod
1615
 
    def _do_unsupported_or_skip(self, result, e):
1616
 
        reason = e.args[0]
 
1592
    def _do_unsupported_or_skip(self, result, reason):
1617
1593
        addNotSupported = getattr(result, 'addNotSupported', None)
1618
1594
        if addNotSupported is not None:
1619
1595
            result.addNotSupported(self, reason)
1620
1596
        else:
1621
1597
            self._do_skip(result, reason)
1622
1598
 
 
1599
    def run(self, result=None):
 
1600
        if result is None: result = self.defaultTestResult()
 
1601
        result.startTest(self)
 
1602
        try:
 
1603
            self._run(result)
 
1604
            return result
 
1605
        finally:
 
1606
            result.stopTest(self)
 
1607
 
 
1608
    def _run(self, result):
 
1609
        for feature in getattr(self, '_test_needs_features', []):
 
1610
            if not feature.available():
 
1611
                return self._do_unsupported_or_skip(result, feature)
 
1612
        try:
 
1613
            absent_attr = object()
 
1614
            # Python 2.5
 
1615
            method_name = getattr(self, '_testMethodName', absent_attr)
 
1616
            if method_name is absent_attr:
 
1617
                # Python 2.4
 
1618
                method_name = getattr(self, '_TestCase__testMethodName')
 
1619
            testMethod = getattr(self, method_name)
 
1620
            try:
 
1621
                try:
 
1622
                    self.setUp()
 
1623
                    if not self._bzr_test_setUp_run:
 
1624
                        self.fail(
 
1625
                            "test setUp did not invoke "
 
1626
                            "bzrlib.tests.TestCase's setUp")
 
1627
                except KeyboardInterrupt:
 
1628
                    self._runCleanups()
 
1629
                    raise
 
1630
                except KnownFailure:
 
1631
                    self._do_known_failure(result)
 
1632
                    self.tearDown()
 
1633
                    return
 
1634
                except TestNotApplicable, e:
 
1635
                    self._do_not_applicable(result, e)
 
1636
                    self.tearDown()
 
1637
                    return
 
1638
                except TestSkipped, e:
 
1639
                    self._do_skip(result, e.args[0])
 
1640
                    self.tearDown()
 
1641
                    return result
 
1642
                except UnavailableFeature, e:
 
1643
                    self._do_unsupported_or_skip(result, e.args[0])
 
1644
                    self.tearDown()
 
1645
                    return
 
1646
                except:
 
1647
                    result.addError(self, sys.exc_info())
 
1648
                    self._runCleanups()
 
1649
                    return result
 
1650
 
 
1651
                ok = False
 
1652
                try:
 
1653
                    testMethod()
 
1654
                    ok = True
 
1655
                except KnownFailure:
 
1656
                    self._do_known_failure(result)
 
1657
                except self.failureException:
 
1658
                    result.addFailure(self, sys.exc_info())
 
1659
                except TestNotApplicable, e:
 
1660
                    self._do_not_applicable(result, e)
 
1661
                except TestSkipped, e:
 
1662
                    if not e.args:
 
1663
                        reason = "No reason given."
 
1664
                    else:
 
1665
                        reason = e.args[0]
 
1666
                    self._do_skip(result, reason)
 
1667
                except UnavailableFeature, e:
 
1668
                    self._do_unsupported_or_skip(result, e.args[0])
 
1669
                except KeyboardInterrupt:
 
1670
                    self._runCleanups()
 
1671
                    raise
 
1672
                except:
 
1673
                    result.addError(self, sys.exc_info())
 
1674
 
 
1675
                try:
 
1676
                    self.tearDown()
 
1677
                    if not self._bzr_test_tearDown_run:
 
1678
                        self.fail(
 
1679
                            "test tearDown did not invoke "
 
1680
                            "bzrlib.tests.TestCase's tearDown")
 
1681
                except KeyboardInterrupt:
 
1682
                    self._runCleanups()
 
1683
                    raise
 
1684
                except:
 
1685
                    result.addError(self, sys.exc_info())
 
1686
                    self._runCleanups()
 
1687
                    ok = False
 
1688
                if ok: result.addSuccess(self)
 
1689
                return result
 
1690
            except KeyboardInterrupt:
 
1691
                self._runCleanups()
 
1692
                raise
 
1693
        finally:
 
1694
            saved_attrs = {}
 
1695
            for attr_name in self.attrs_to_keep:
 
1696
                if attr_name in self.__dict__:
 
1697
                    saved_attrs[attr_name] = self.__dict__[attr_name]
 
1698
            self.__dict__ = saved_attrs
 
1699
 
 
1700
    def tearDown(self):
 
1701
        self._runCleanups()
 
1702
        self._log_contents = ''
 
1703
        self._bzr_test_tearDown_run = True
 
1704
        unittest.TestCase.tearDown(self)
 
1705
 
1623
1706
    def time(self, callable, *args, **kwargs):
1624
1707
        """Run callable and accrue the time it takes to the benchmark time.
1625
1708
 
1628
1711
        self._benchcalls.
1629
1712
        """
1630
1713
        if self._benchtime is None:
1631
 
            self.addDetail('benchtime', content.Content(content.ContentType(
1632
 
                "text", "plain"), lambda:[str(self._benchtime)]))
1633
1714
            self._benchtime = 0
1634
1715
        start = time.time()
1635
1716
        try:
1644
1725
        finally:
1645
1726
            self._benchtime += time.time() - start
1646
1727
 
 
1728
    def _runCleanups(self):
 
1729
        """Run registered cleanup functions.
 
1730
 
 
1731
        This should only be called from TestCase.tearDown.
 
1732
        """
 
1733
        # TODO: Perhaps this should keep running cleanups even if
 
1734
        # one of them fails?
 
1735
 
 
1736
        # Actually pop the cleanups from the list so tearDown running
 
1737
        # twice is safe (this happens for skipped tests).
 
1738
        while self._cleanups:
 
1739
            cleanup, args, kwargs = self._cleanups.pop()
 
1740
            cleanup(*args, **kwargs)
 
1741
 
1647
1742
    def log(self, *args):
1648
1743
        mutter(*args)
1649
1744
 
1650
1745
    def _get_log(self, keep_log_file=False):
1651
 
        """Internal helper to get the log from bzrlib.trace for this test.
1652
 
 
1653
 
        Please use self.getDetails, or self.get_log to access this in test case
1654
 
        code.
 
1746
        """Get the log from bzrlib.trace calls from this test.
1655
1747
 
1656
1748
        :param keep_log_file: When True, if the log is still a file on disk
1657
1749
            leave it as a file on disk. When False, if the log is still a file
1659
1751
            self._log_contents.
1660
1752
        :return: A string containing the log.
1661
1753
        """
1662
 
        if self._log_contents is not None:
1663
 
            try:
1664
 
                self._log_contents.decode('utf8')
1665
 
            except UnicodeDecodeError:
1666
 
                unicodestr = self._log_contents.decode('utf8', 'replace')
1667
 
                self._log_contents = unicodestr.encode('utf8')
 
1754
        # flush the log file, to get all content
 
1755
        import bzrlib.trace
 
1756
        if bzrlib.trace._trace_file:
 
1757
            bzrlib.trace._trace_file.flush()
 
1758
        if self._log_contents:
 
1759
            # XXX: this can hardly contain the content flushed above --vila
 
1760
            # 20080128
1668
1761
            return self._log_contents
1669
 
        import bzrlib.trace
1670
 
        if bzrlib.trace._trace_file:
1671
 
            # flush the log file, to get all content
1672
 
            bzrlib.trace._trace_file.flush()
1673
1762
        if self._log_file_name is not None:
1674
1763
            logfile = open(self._log_file_name)
1675
1764
            try:
1676
1765
                log_contents = logfile.read()
1677
1766
            finally:
1678
1767
                logfile.close()
1679
 
            try:
1680
 
                log_contents.decode('utf8')
1681
 
            except UnicodeDecodeError:
1682
 
                unicodestr = log_contents.decode('utf8', 'replace')
1683
 
                log_contents = unicodestr.encode('utf8')
1684
1768
            if not keep_log_file:
1685
 
                close_attempts = 0
1686
 
                max_close_attempts = 100
1687
 
                first_close_error = None
1688
 
                while close_attempts < max_close_attempts:
1689
 
                    close_attempts += 1
1690
 
                    try:
1691
 
                        self._log_file.close()
1692
 
                    except IOError, ioe:
1693
 
                        if ioe.errno is None:
1694
 
                            # No errno implies 'close() called during
1695
 
                            # concurrent operation on the same file object', so
1696
 
                            # retry.  Probably a thread is trying to write to
1697
 
                            # the log file.
1698
 
                            if first_close_error is None:
1699
 
                                first_close_error = ioe
1700
 
                            continue
1701
 
                        raise
1702
 
                    else:
1703
 
                        break
1704
 
                if close_attempts > 1:
1705
 
                    sys.stderr.write(
1706
 
                        'Unable to close log file on first attempt, '
1707
 
                        'will retry: %s\n' % (first_close_error,))
1708
 
                    if close_attempts == max_close_attempts:
1709
 
                        sys.stderr.write(
1710
 
                            'Unable to close log file after %d attempts.\n'
1711
 
                            % (max_close_attempts,))
1712
 
                self._log_file = None
1713
 
                # Permit multiple calls to get_log until we clean it up in
1714
 
                # finishLogFile
1715
1769
                self._log_contents = log_contents
1716
1770
                try:
1717
1771
                    os.remove(self._log_file_name)
1721
1775
                                             ' %r\n' % self._log_file_name))
1722
1776
                    else:
1723
1777
                        raise
1724
 
                self._log_file_name = None
1725
1778
            return log_contents
1726
1779
        else:
1727
 
            return "No log file content and no log file name."
1728
 
 
1729
 
    def get_log(self):
1730
 
        """Get a unicode string containing the log from bzrlib.trace.
1731
 
 
1732
 
        Undecodable characters are replaced.
1733
 
        """
1734
 
        return u"".join(self.getDetails()['log'].iter_text())
 
1780
            return "DELETED log file to reduce memory footprint"
1735
1781
 
1736
1782
    def requireFeature(self, feature):
1737
1783
        """This test requires a specific feature is available.
1779
1825
            os.chdir(working_dir)
1780
1826
 
1781
1827
        try:
1782
 
            try:
1783
 
                result = self.apply_redirected(ui.ui_factory.stdin,
1784
 
                    stdout, stderr,
1785
 
                    bzrlib.commands.run_bzr_catch_user_errors,
1786
 
                    args)
1787
 
            except KeyboardInterrupt:
1788
 
                # Reraise KeyboardInterrupt with contents of redirected stdout
1789
 
                # and stderr as arguments, for tests which are interested in
1790
 
                # stdout and stderr and are expecting the exception.
1791
 
                out = stdout.getvalue()
1792
 
                err = stderr.getvalue()
1793
 
                if out:
1794
 
                    self.log('output:\n%r', out)
1795
 
                if err:
1796
 
                    self.log('errors:\n%r', err)
1797
 
                raise KeyboardInterrupt(out, err)
 
1828
            result = self.apply_redirected(ui.ui_factory.stdin,
 
1829
                stdout, stderr,
 
1830
                bzrlib.commands.run_bzr_catch_user_errors,
 
1831
                args)
1798
1832
        finally:
1799
1833
            logger.removeHandler(handler)
1800
1834
            ui.ui_factory = old_ui_factory
2100
2134
 
2101
2135
        Tests that expect to provoke LockContention errors should call this.
2102
2136
        """
2103
 
        self.overrideAttr(bzrlib.lockdir, '_DEFAULT_TIMEOUT_SECONDS', 0)
 
2137
        orig_timeout = bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS
 
2138
        def resetTimeout():
 
2139
            bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS = orig_timeout
 
2140
        self.addCleanup(resetTimeout)
 
2141
        bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS = 0
2104
2142
 
2105
2143
    def make_utf8_encoded_stringio(self, encoding_type=None):
2106
2144
        """Return a StringIOWrapper instance, that will encode Unicode
2120
2158
        request_handlers = request.request_handlers
2121
2159
        orig_method = request_handlers.get(verb)
2122
2160
        request_handlers.remove(verb)
2123
 
        self.addCleanup(request_handlers.register, verb, orig_method)
 
2161
        def restoreVerb():
 
2162
            request_handlers.register(verb, orig_method)
 
2163
        self.addCleanup(restoreVerb)
2124
2164
 
2125
2165
 
2126
2166
class CapturedCall(object):
2217
2257
        if self.__readonly_server is None:
2218
2258
            if self.transport_readonly_server is None:
2219
2259
                # readonly decorator requested
2220
 
                self.__readonly_server = test_server.ReadonlyServer()
 
2260
                self.__readonly_server = ReadonlyServer()
2221
2261
            else:
2222
2262
                # explicit readonly transport.
2223
2263
                self.__readonly_server = self.create_transport_readonly_server()
2246
2286
        is no means to override it.
2247
2287
        """
2248
2288
        if self.__vfs_server is None:
2249
 
            self.__vfs_server = memory.MemoryServer()
 
2289
            self.__vfs_server = MemoryServer()
2250
2290
            self.start_server(self.__vfs_server)
2251
2291
        return self.__vfs_server
2252
2292
 
2342
2382
            # recreate a new one or all the followng tests will fail.
2343
2383
            # If you need to inspect its content uncomment the following line
2344
2384
            # import pdb; pdb.set_trace()
2345
 
            _rmtree_temp_dir(root + '/.bzr', test_id=self.id())
 
2385
            _rmtree_temp_dir(root + '/.bzr')
2346
2386
            self._create_safety_net()
2347
2387
            raise AssertionError('%s/.bzr should not be modified' % root)
2348
2388
 
2409
2449
        return made_control.create_repository(shared=shared)
2410
2450
 
2411
2451
    def make_smart_server(self, path):
2412
 
        smart_server = test_server.SmartTCPServer_for_testing()
 
2452
        smart_server = server.SmartTCPServer_for_testing()
2413
2453
        self.start_server(smart_server, self.get_server())
2414
2454
        remote_transport = get_transport(smart_server.get_url()).clone(path)
2415
2455
        return remote_transport
2424
2464
        return branchbuilder.BranchBuilder(branch=branch)
2425
2465
 
2426
2466
    def overrideEnvironmentForTesting(self):
2427
 
        test_home_dir = self.test_home_dir
2428
 
        if isinstance(test_home_dir, unicode):
2429
 
            test_home_dir = test_home_dir.encode(sys.getfilesystemencoding())
2430
 
        os.environ['HOME'] = test_home_dir
2431
 
        os.environ['BZR_HOME'] = test_home_dir
 
2467
        os.environ['HOME'] = self.test_home_dir
 
2468
        os.environ['BZR_HOME'] = self.test_home_dir
2432
2469
 
2433
2470
    def setUp(self):
2434
2471
        super(TestCaseWithMemoryTransport, self).setUp()
2435
2472
        self._make_test_root()
2436
 
        self.addCleanup(os.chdir, os.getcwdu())
 
2473
        _currentdir = os.getcwdu()
 
2474
        def _leaveDirectory():
 
2475
            os.chdir(_currentdir)
 
2476
        self.addCleanup(_leaveDirectory)
2437
2477
        self.makeAndChdirToTestDir()
2438
2478
        self.overrideEnvironmentForTesting()
2439
2479
        self.__readonly_server = None
2442
2482
 
2443
2483
    def setup_smart_server_with_call_log(self):
2444
2484
        """Sets up a smart server as the transport server with a call log."""
2445
 
        self.transport_server = test_server.SmartTCPServer_for_testing
 
2485
        self.transport_server = server.SmartTCPServer_for_testing
2446
2486
        self.hpss_calls = []
2447
2487
        import traceback
2448
2488
        # Skip the current stack down to the caller of
2537
2577
 
2538
2578
    def deleteTestDir(self):
2539
2579
        os.chdir(TestCaseWithMemoryTransport.TEST_ROOT)
2540
 
        _rmtree_temp_dir(self.test_base_dir, test_id=self.id())
 
2580
        _rmtree_temp_dir(self.test_base_dir)
2541
2581
 
2542
2582
    def build_tree(self, shape, line_endings='binary', transport=None):
2543
2583
        """Build a test tree according to a pattern.
2578
2618
                content = "contents of %s%s" % (name.encode('utf-8'), end)
2579
2619
                transport.put_bytes_non_atomic(urlutils.escape(name), content)
2580
2620
 
2581
 
    build_tree_contents = treeshape.build_tree_contents
 
2621
    def build_tree_contents(self, shape):
 
2622
        build_tree_contents(shape)
2582
2623
 
2583
2624
    def assertInWorkingTree(self, path, root_path='.', tree=None):
2584
2625
        """Assert whether path or paths are in the WorkingTree"""
2660
2701
            # We can only make working trees locally at the moment.  If the
2661
2702
            # transport can't support them, then we keep the non-disk-backed
2662
2703
            # branch and create a local checkout.
2663
 
            if self.vfs_transport_factory is test_server.LocalURLServer:
 
2704
            if self.vfs_transport_factory is LocalURLServer:
2664
2705
                # the branch is colocated on disk, we cannot create a checkout.
2665
2706
                # hopefully callers will expect this.
2666
2707
                local_controldir= bzrdir.BzrDir.open(self.get_vfs_only_url(relpath))
2726
2767
 
2727
2768
    def setUp(self):
2728
2769
        super(ChrootedTestCase, self).setUp()
2729
 
        if not self.vfs_transport_factory == memory.MemoryServer:
 
2770
        if not self.vfs_transport_factory == MemoryServer:
2730
2771
            self.transport_readonly_server = HttpServer
2731
2772
 
2732
2773
 
3146
3187
        if self.randomised:
3147
3188
            return iter(self._tests)
3148
3189
        self.randomised = True
3149
 
        self.stream.write("Randomizing test order using seed %s\n\n" %
 
3190
        self.stream.writeln("Randomizing test order using seed %s\n" %
3150
3191
            (self.actual_seed()))
3151
3192
        # Initialise the random number generator.
3152
3193
        random.seed(self.actual_seed())
3200
3241
    return result
3201
3242
 
3202
3243
 
3203
 
def workaround_zealous_crypto_random():
3204
 
    """Crypto.Random want to help us being secure, but we don't care here.
3205
 
 
3206
 
    This workaround some test failure related to the sftp server. Once paramiko
3207
 
    stop using the controversial API in Crypto.Random, we may get rid of it.
3208
 
    """
3209
 
    try:
3210
 
        from Crypto.Random import atfork
3211
 
        atfork()
3212
 
    except ImportError:
3213
 
        pass
3214
 
 
3215
 
 
3216
3244
def fork_for_tests(suite):
3217
3245
    """Take suite and start up one runner per CPU by forking()
3218
3246
 
3222
3250
    concurrency = osutils.local_concurrency()
3223
3251
    result = []
3224
3252
    from subunit import TestProtocolClient, ProtocolTestCase
3225
 
    from subunit.test_results import AutoTimingTestResultDecorator
3226
3253
    class TestInOtherProcess(ProtocolTestCase):
3227
3254
        # Should be in subunit, I think. RBC.
3228
3255
        def __init__(self, stream, pid):
3233
3260
            try:
3234
3261
                ProtocolTestCase.run(self, result)
3235
3262
            finally:
3236
 
                os.waitpid(self.pid, 0)
 
3263
                os.waitpid(self.pid, os.WNOHANG)
3237
3264
 
3238
3265
    test_blocks = partition_tests(suite, concurrency)
3239
3266
    for process_tests in test_blocks:
3242
3269
        c2pread, c2pwrite = os.pipe()
3243
3270
        pid = os.fork()
3244
3271
        if pid == 0:
3245
 
            workaround_zealous_crypto_random()
3246
3272
            try:
3247
3273
                os.close(c2pread)
3248
3274
                # Leave stderr and stdout open so we can see test noise
3252
3278
                sys.stdin.close()
3253
3279
                sys.stdin = None
3254
3280
                stream = os.fdopen(c2pwrite, 'wb', 1)
3255
 
                subunit_result = AutoTimingTestResultDecorator(
 
3281
                subunit_result = BzrAutoTimingTestResultDecorator(
3256
3282
                    TestProtocolClient(stream))
3257
3283
                process_suite.run(subunit_result)
3258
3284
            finally:
3295
3321
        if not os.path.isfile(bzr_path):
3296
3322
            # We are probably installed. Assume sys.argv is the right file
3297
3323
            bzr_path = sys.argv[0]
3298
 
        bzr_path = [bzr_path]
3299
 
        if sys.platform == "win32":
3300
 
            # if we're on windows, we can't execute the bzr script directly
3301
 
            bzr_path = [sys.executable] + bzr_path
3302
3324
        fd, test_list_file_name = tempfile.mkstemp()
3303
3325
        test_list_file = os.fdopen(fd, 'wb', 1)
3304
3326
        for test in process_tests:
3305
3327
            test_list_file.write(test.id() + '\n')
3306
3328
        test_list_file.close()
3307
3329
        try:
3308
 
            argv = bzr_path + ['selftest', '--load-list', test_list_file_name,
 
3330
            argv = [bzr_path, 'selftest', '--load-list', test_list_file_name,
3309
3331
                '--subunit']
3310
3332
            if '--no-plugins' in sys.argv:
3311
3333
                argv.append('--no-plugins')
3350
3372
 
3351
3373
    def addFailure(self, test, err):
3352
3374
        self.result.addFailure(test, err)
3353
 
ForwardingResult = testtools.ExtendedToOriginalDecorator
 
3375
 
 
3376
 
 
3377
class BZRTransformingResult(ForwardingResult):
 
3378
 
 
3379
    def addError(self, test, err):
 
3380
        feature = self._error_looks_like('UnavailableFeature: ', err)
 
3381
        if feature is not None:
 
3382
            self.result.addNotSupported(test, feature)
 
3383
        else:
 
3384
            self.result.addError(test, err)
 
3385
 
 
3386
    def addFailure(self, test, err):
 
3387
        known = self._error_looks_like('KnownFailure: ', err)
 
3388
        if known is not None:
 
3389
            self.result.addExpectedFailure(test,
 
3390
                [KnownFailure, KnownFailure(known), None])
 
3391
        else:
 
3392
            self.result.addFailure(test, err)
 
3393
 
 
3394
    def _error_looks_like(self, prefix, err):
 
3395
        """Deserialize exception and returns the stringify value."""
 
3396
        import subunit
 
3397
        value = None
 
3398
        typ, exc, _ = err
 
3399
        if isinstance(exc, subunit.RemoteException):
 
3400
            # stringify the exception gives access to the remote traceback
 
3401
            # We search the last line for 'prefix'
 
3402
            lines = str(exc).split('\n')
 
3403
            while lines and not lines[-1]:
 
3404
                lines.pop(-1)
 
3405
            if lines:
 
3406
                if lines[-1].startswith(prefix):
 
3407
                    value = lines[-1][len(prefix):]
 
3408
        return value
 
3409
 
 
3410
 
 
3411
try:
 
3412
    from subunit.test_results import AutoTimingTestResultDecorator
 
3413
    # Expected failure should be seen as a success not a failure Once subunit
 
3414
    # provide native support for that, BZRTransformingResult and this class
 
3415
    # will become useless.
 
3416
    class BzrAutoTimingTestResultDecorator(AutoTimingTestResultDecorator):
 
3417
 
 
3418
        def addExpectedFailure(self, test, err):
 
3419
            self._before_event()
 
3420
            return self._call_maybe("addExpectedFailure", self._degrade_skip,
 
3421
                                    test, err)
 
3422
except ImportError:
 
3423
    # Let's just define a no-op decorator
 
3424
    BzrAutoTimingTestResultDecorator = lambda x:x
3354
3425
 
3355
3426
 
3356
3427
class ProfileResult(ForwardingResult):
3617
3688
# appear prefixed ('bzrlib.' is "replaced" by 'bzrlib.').
3618
3689
test_prefix_alias_registry.register('bzrlib', 'bzrlib')
3619
3690
 
3620
 
# Obvious highest levels prefixes, feel free to add your own via a plugin
 
3691
# Obvious higest levels prefixes, feel free to add your own via a plugin
3621
3692
test_prefix_alias_registry.register('bd', 'bzrlib.doc')
3622
3693
test_prefix_alias_registry.register('bu', 'bzrlib.utils')
3623
3694
test_prefix_alias_registry.register('bt', 'bzrlib.tests')
3633
3704
        'bzrlib.tests.commands',
3634
3705
        'bzrlib.tests.per_branch',
3635
3706
        'bzrlib.tests.per_bzrdir',
3636
 
        'bzrlib.tests.per_bzrdir_colo',
3637
3707
        'bzrlib.tests.per_foreign_vcs',
3638
3708
        'bzrlib.tests.per_interrepository',
3639
3709
        'bzrlib.tests.per_intertree',
3640
3710
        'bzrlib.tests.per_inventory',
3641
3711
        'bzrlib.tests.per_interbranch',
3642
3712
        'bzrlib.tests.per_lock',
3643
 
        'bzrlib.tests.per_merger',
3644
3713
        'bzrlib.tests.per_transport',
3645
3714
        'bzrlib.tests.per_tree',
3646
3715
        'bzrlib.tests.per_pack_repository',
3651
3720
        'bzrlib.tests.per_versionedfile',
3652
3721
        'bzrlib.tests.per_workingtree',
3653
3722
        'bzrlib.tests.test__annotator',
3654
 
        'bzrlib.tests.test__bencode',
3655
3723
        'bzrlib.tests.test__chk_map',
3656
3724
        'bzrlib.tests.test__dirstate_helpers',
3657
3725
        'bzrlib.tests.test__groupcompress',
3665
3733
        'bzrlib.tests.test_api',
3666
3734
        'bzrlib.tests.test_atomicfile',
3667
3735
        'bzrlib.tests.test_bad_files',
 
3736
        'bzrlib.tests.test_bencode',
3668
3737
        'bzrlib.tests.test_bisect_multi',
3669
3738
        'bzrlib.tests.test_branch',
3670
3739
        'bzrlib.tests.test_branchbuilder',
3679
3748
        'bzrlib.tests.test_chunk_writer',
3680
3749
        'bzrlib.tests.test_clean_tree',
3681
3750
        'bzrlib.tests.test_cleanup',
3682
 
        'bzrlib.tests.test_cmdline',
3683
3751
        'bzrlib.tests.test_commands',
3684
3752
        'bzrlib.tests.test_commit',
3685
3753
        'bzrlib.tests.test_commit_merge',
3719
3787
        'bzrlib.tests.test_identitymap',
3720
3788
        'bzrlib.tests.test_ignores',
3721
3789
        'bzrlib.tests.test_index',
3722
 
        'bzrlib.tests.test_import_tariff',
3723
3790
        'bzrlib.tests.test_info',
3724
3791
        'bzrlib.tests.test_inv',
3725
3792
        'bzrlib.tests.test_inventory_delta',
3818
3885
 
3819
3886
 
3820
3887
def _test_suite_modules_to_doctest():
3821
 
    """Return the list of modules to doctest."""
3822
 
    if __doc__ is None:
3823
 
        # GZ 2009-03-31: No docstrings with -OO so there's nothing to doctest
3824
 
        return []
 
3888
    """Return the list of modules to doctest."""   
3825
3889
    return [
3826
3890
        'bzrlib',
3827
3891
        'bzrlib.branchbuilder',
3828
 
        'bzrlib.decorators',
3829
3892
        'bzrlib.export',
3830
3893
        'bzrlib.inventory',
3831
3894
        'bzrlib.iterablefile',
4038
4101
    return new_test
4039
4102
 
4040
4103
 
4041
 
def permute_tests_for_extension(standard_tests, loader, py_module_name,
4042
 
                                ext_module_name):
4043
 
    """Helper for permutating tests against an extension module.
4044
 
 
4045
 
    This is meant to be used inside a modules 'load_tests()' function. It will
4046
 
    create 2 scenarios, and cause all tests in the 'standard_tests' to be run
4047
 
    against both implementations. Setting 'test.module' to the appropriate
4048
 
    module. See bzrlib.tests.test__chk_map.load_tests as an example.
4049
 
 
4050
 
    :param standard_tests: A test suite to permute
4051
 
    :param loader: A TestLoader
4052
 
    :param py_module_name: The python path to a python module that can always
4053
 
        be loaded, and will be considered the 'python' implementation. (eg
4054
 
        'bzrlib._chk_map_py')
4055
 
    :param ext_module_name: The python path to an extension module. If the
4056
 
        module cannot be loaded, a single test will be added, which notes that
4057
 
        the module is not available. If it can be loaded, all standard_tests
4058
 
        will be run against that module.
4059
 
    :return: (suite, feature) suite is a test-suite that has all the permuted
4060
 
        tests. feature is the Feature object that can be used to determine if
4061
 
        the module is available.
4062
 
    """
4063
 
 
4064
 
    py_module = __import__(py_module_name, {}, {}, ['NO_SUCH_ATTRIB'])
4065
 
    scenarios = [
4066
 
        ('python', {'module': py_module}),
4067
 
    ]
4068
 
    suite = loader.suiteClass()
4069
 
    feature = ModuleAvailableFeature(ext_module_name)
4070
 
    if feature.available():
4071
 
        scenarios.append(('C', {'module': feature.module}))
4072
 
    else:
4073
 
        # the compiled module isn't available, so we add a failing test
4074
 
        class FailWithoutFeature(TestCase):
4075
 
            def test_fail(self):
4076
 
                self.requireFeature(feature)
4077
 
        suite.addTest(loader.loadTestsFromTestCase(FailWithoutFeature))
4078
 
    result = multiply_tests(standard_tests, scenarios, suite)
4079
 
    return result, feature
4080
 
 
4081
 
 
4082
 
def _rmtree_temp_dir(dirname, test_id=None):
 
4104
def _rmtree_temp_dir(dirname):
4083
4105
    # If LANG=C we probably have created some bogus paths
4084
4106
    # which rmtree(unicode) will fail to delete
4085
4107
    # so make sure we are using rmtree(str) to delete everything
4097
4119
        # We don't want to fail here because some useful display will be lost
4098
4120
        # otherwise. Polluting the tmp dir is bad, but not giving all the
4099
4121
        # possible info to the test runner is even worse.
4100
 
        if test_id != None:
4101
 
            ui.ui_factory.clear_term()
4102
 
            sys.stderr.write('\nWhile running: %s\n' % (test_id,))
4103
4122
        sys.stderr.write('Unable to remove testing dir %s\n%s'
4104
4123
                         % (os.path.basename(dirname), e))
4105
4124
 
4189
4208
UnicodeFilenameFeature = _UnicodeFilenameFeature()
4190
4209
 
4191
4210
 
4192
 
class _CompatabilityThunkFeature(Feature):
4193
 
    """This feature is just a thunk to another feature.
4194
 
 
4195
 
    It issues a deprecation warning if it is accessed, to let you know that you
4196
 
    should really use a different feature.
4197
 
    """
4198
 
 
4199
 
    def __init__(self, dep_version, module, name,
4200
 
                 replacement_name, replacement_module=None):
4201
 
        super(_CompatabilityThunkFeature, self).__init__()
4202
 
        self._module = module
4203
 
        if replacement_module is None:
4204
 
            replacement_module = module
4205
 
        self._replacement_module = replacement_module
4206
 
        self._name = name
4207
 
        self._replacement_name = replacement_name
4208
 
        self._dep_version = dep_version
4209
 
        self._feature = None
4210
 
 
4211
 
    def _ensure(self):
4212
 
        if self._feature is None:
4213
 
            depr_msg = self._dep_version % ('%s.%s'
4214
 
                                            % (self._module, self._name))
4215
 
            use_msg = ' Use %s.%s instead.' % (self._replacement_module,
4216
 
                                               self._replacement_name)
4217
 
            symbol_versioning.warn(depr_msg + use_msg, DeprecationWarning)
4218
 
            # Import the new feature and use it as a replacement for the
4219
 
            # deprecated one.
4220
 
            mod = __import__(self._replacement_module, {}, {},
4221
 
                             [self._replacement_name])
4222
 
            self._feature = getattr(mod, self._replacement_name)
4223
 
 
4224
 
    def _probe(self):
4225
 
        self._ensure()
4226
 
        return self._feature._probe()
4227
 
 
4228
 
 
4229
 
class ModuleAvailableFeature(Feature):
4230
 
    """This is a feature than describes a module we want to be available.
4231
 
 
4232
 
    Declare the name of the module in __init__(), and then after probing, the
4233
 
    module will be available as 'self.module'.
4234
 
 
4235
 
    :ivar module: The module if it is available, else None.
4236
 
    """
4237
 
 
4238
 
    def __init__(self, module_name):
4239
 
        super(ModuleAvailableFeature, self).__init__()
4240
 
        self.module_name = module_name
4241
 
 
4242
 
    def _probe(self):
4243
 
        try:
4244
 
            self._module = __import__(self.module_name, {}, {}, [''])
4245
 
            return True
4246
 
        except ImportError:
4247
 
            return False
4248
 
 
4249
 
    @property
4250
 
    def module(self):
4251
 
        if self.available(): # Make sure the probe has been done
4252
 
            return self._module
4253
 
        return None
4254
 
 
4255
 
    def feature_name(self):
4256
 
        return self.module_name
4257
 
 
4258
 
 
4259
 
# This is kept here for compatibility, it is recommended to use
4260
 
# 'bzrlib.tests.feature.paramiko' instead
4261
 
ParamikoFeature = _CompatabilityThunkFeature(
4262
 
    deprecated_in((2,1,0)),
4263
 
    'bzrlib.tests.features', 'ParamikoFeature', 'paramiko')
4264
 
 
4265
 
 
4266
4211
def probe_unicode_in_user_encoding():
4267
4212
    """Try to encode several unicode strings to use in unicode-aware tests.
4268
4213
    Return first successfull match.
4317
4262
HTTPSServerFeature = _HTTPSServerFeature()
4318
4263
 
4319
4264
 
 
4265
class _ParamikoFeature(Feature):
 
4266
    """Is paramiko available?"""
 
4267
 
 
4268
    def _probe(self):
 
4269
        try:
 
4270
            from bzrlib.transport.sftp import SFTPAbsoluteServer
 
4271
            return True
 
4272
        except errors.ParamikoNotPresent:
 
4273
            return False
 
4274
 
 
4275
    def feature_name(self):
 
4276
        return "Paramiko"
 
4277
 
 
4278
 
 
4279
ParamikoFeature = _ParamikoFeature()
 
4280
 
 
4281
 
4320
4282
class _UnicodeFilename(Feature):
4321
4283
    """Does the filesystem support Unicode filenames?"""
4322
4284
 
4359
4321
            # Windows doesn't have os.kill, and we catch the SIGBREAK signal.
4360
4322
            # We trigger SIGBREAK via a Console api so we need ctypes to
4361
4323
            # access the function
4362
 
            try:
4363
 
                import ctypes
4364
 
            except OSError:
 
4324
            if not have_ctypes:
4365
4325
                return False
4366
4326
        return True
4367
4327
 
4427
4387
CaseInsensitiveFilesystemFeature = _CaseInsensitiveFilesystemFeature()
4428
4388
 
4429
4389
 
4430
 
class _CaseSensitiveFilesystemFeature(Feature):
 
4390
class _SubUnitFeature(Feature):
 
4391
    """Check if subunit is available."""
4431
4392
 
4432
4393
    def _probe(self):
4433
 
        if CaseInsCasePresFilenameFeature.available():
4434
 
            return False
4435
 
        elif CaseInsensitiveFilesystemFeature.available():
4436
 
            return False
4437
 
        else:
 
4394
        try:
 
4395
            import subunit
4438
4396
            return True
 
4397
        except ImportError:
 
4398
            return False
4439
4399
 
4440
4400
    def feature_name(self):
4441
 
        return 'case-sensitive filesystem'
4442
 
 
4443
 
# new coding style is for feature instances to be lowercase
4444
 
case_sensitive_filesystem_feature = _CaseSensitiveFilesystemFeature()
4445
 
 
4446
 
 
4447
 
# Kept for compatibility, use bzrlib.tests.features.subunit instead
4448
 
SubUnitFeature = _CompatabilityThunkFeature(
4449
 
    deprecated_in((2,1,0)),
4450
 
    'bzrlib.tests.features', 'SubUnitFeature', 'subunit')
 
4401
        return 'subunit'
 
4402
 
 
4403
SubUnitFeature = _SubUnitFeature()
4451
4404
# Only define SubUnitBzrRunner if subunit is available.
4452
4405
try:
4453
4406
    from subunit import TestProtocolClient
4454
 
    from subunit.test_results import AutoTimingTestResultDecorator
4455
4407
    class SubUnitBzrRunner(TextTestRunner):
4456
4408
        def run(self, test):
4457
 
            result = AutoTimingTestResultDecorator(
 
4409
            result = BzrAutoTimingTestResultDecorator(
4458
4410
                TestProtocolClient(self.stream))
4459
4411
            test.run(result)
4460
4412
            return result
4461
4413
except ImportError:
4462
4414
    pass
4463
 
 
4464
 
class _PosixPermissionsFeature(Feature):
4465
 
 
4466
 
    def _probe(self):
4467
 
        def has_perms():
4468
 
            # create temporary file and check if specified perms are maintained.
4469
 
            import tempfile
4470
 
 
4471
 
            write_perms = stat.S_IRUSR | stat.S_IWUSR | stat.S_IXUSR
4472
 
            f = tempfile.mkstemp(prefix='bzr_perms_chk_')
4473
 
            fd, name = f
4474
 
            os.close(fd)
4475
 
            os.chmod(name, write_perms)
4476
 
 
4477
 
            read_perms = os.stat(name).st_mode & 0777
4478
 
            os.unlink(name)
4479
 
            return (write_perms == read_perms)
4480
 
 
4481
 
        return (os.name == 'posix') and has_perms()
4482
 
 
4483
 
    def feature_name(self):
4484
 
        return 'POSIX permissions support'
4485
 
 
4486
 
posix_permissions_feature = _PosixPermissionsFeature()