/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/tests/__init__.py

  • Committer: Vincent Ladeuil
  • Date: 2009-09-02 08:26:27 UTC
  • mto: (4669.1.1 integration)
  • mto: This revision was merged to the branch mainline in revision 4670.
  • Revision ID: v.ladeuil+lp@free.fr-20090902082627-cit8vm6tefu9hwk2
Cleanup emacs-bzr-send-XXXXXX.el leaks in /tmp during selftest.

* tests/test_mail_client.py:
(TestEmacsMail.test_commandline,
TestEmacsMail.test_commandline_is_8bit): Cleanup the generated tmp
file.

* mail_client.py:
(EmacsMail.__init__, EmacsMail._get_compose_commandline): Keep
track of the tmp file to ease cleanup during testing.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005-2010 Canonical Ltd
 
1
# Copyright (C) 2005, 2006, 2007, 2008, 2009 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
 
"""Testing framework extensions"""
18
17
 
19
18
# TODO: Perhaps there should be an API to find out if bzr running under the
20
19
# test suite -- some plugins might want to avoid making intrusive changes if
47
46
import tempfile
48
47
import threading
49
48
import time
50
 
import traceback
51
49
import unittest
52
50
import warnings
53
51
 
54
 
import testtools
55
 
# nb: check this before importing anything else from within it
56
 
_testtools_version = getattr(testtools, '__version__', ())
57
 
if _testtools_version < (0, 9, 2):
58
 
    raise ImportError("need at least testtools 0.9.2: %s is %r"
59
 
        % (testtools.__file__, _testtools_version))
60
 
from testtools import content
61
52
 
62
53
from bzrlib import (
63
54
    branchbuilder,
64
55
    bzrdir,
65
 
    chk_map,
66
 
    config,
67
56
    debug,
68
57
    errors,
69
58
    hooks,
97
86
from bzrlib.symbol_versioning import (
98
87
    DEPRECATED_PARAMETER,
99
88
    deprecated_function,
100
 
    deprecated_in,
101
89
    deprecated_method,
102
90
    deprecated_passed,
103
91
    )
104
92
import bzrlib.trace
105
 
from bzrlib.transport import (
106
 
    get_transport,
107
 
    memory,
108
 
    pathfilter,
109
 
    )
 
93
from bzrlib.transport import get_transport
110
94
import bzrlib.transport
 
95
from bzrlib.transport.local import LocalURLServer
 
96
from bzrlib.transport.memory import MemoryServer
 
97
from bzrlib.transport.readonly import ReadonlyServer
111
98
from bzrlib.trace import mutter, note
112
 
from bzrlib.tests import (
113
 
    test_server,
114
 
    TestUtil,
115
 
    )
 
99
from bzrlib.tests import TestUtil
116
100
from bzrlib.tests.http_server import HttpServer
117
101
from bzrlib.tests.TestUtil import (
118
102
                          TestSuite,
129
113
# shown frame is the test code, not our assertXYZ.
130
114
__unittest = 1
131
115
 
132
 
default_transport = test_server.LocalURLServer
133
 
 
134
 
 
135
 
_unitialized_attr = object()
136
 
"""A sentinel needed to act as a default value in a method signature."""
137
 
 
 
116
default_transport = LocalURLServer
138
117
 
139
118
# Subunit result codes, defined here to prevent a hard dependency on subunit.
140
119
SUBUNIT_SEEK_SET = 0
242
221
                '%s is leaking threads among %d leaking tests.\n' % (
243
222
                TestCase._first_thread_leaker_id,
244
223
                TestCase._leaking_threads_tests))
245
 
            # We don't report the main thread as an active one.
246
 
            self.stream.write(
247
 
                '%d non-main threads were left active in the end.\n'
248
 
                % (TestCase._active_threads - 1))
249
 
 
250
 
    def getDescription(self, test):
251
 
        return test.id()
252
 
 
253
 
    def _extractBenchmarkTime(self, testCase, details=None):
 
224
 
 
225
    def _extractBenchmarkTime(self, testCase):
254
226
        """Add a benchmark time for the current test case."""
255
 
        if details and 'benchtime' in details:
256
 
            return float(''.join(details['benchtime'].iter_bytes()))
257
227
        return getattr(testCase, "_benchtime", None)
258
228
 
259
229
    def _elapsedTestTimeString(self):
293
263
        else:
294
264
            bzr_path = sys.executable
295
265
        self.stream.write(
296
 
            'bzr selftest: %s\n' % (bzr_path,))
 
266
            'testing: %s\n' % (bzr_path,))
297
267
        self.stream.write(
298
268
            '   %s\n' % (
299
269
                    bzrlib.__path__[0],))
322
292
        Called from the TestCase run() method when the test
323
293
        fails with an unexpected error.
324
294
        """
325
 
        self._post_mortem()
326
 
        unittest.TestResult.addError(self, test, err)
327
 
        self.error_count += 1
328
 
        self.report_error(test, err)
329
 
        if self.stop_early:
330
 
            self.stop()
331
 
        self._cleanupLogFile(test)
 
295
        self._testConcluded(test)
 
296
        if isinstance(err[1], TestNotApplicable):
 
297
            return self._addNotApplicable(test, err)
 
298
        elif isinstance(err[1], UnavailableFeature):
 
299
            return self.addNotSupported(test, err[1].args[0])
 
300
        else:
 
301
            unittest.TestResult.addError(self, test, err)
 
302
            self.error_count += 1
 
303
            self.report_error(test, err)
 
304
            if self.stop_early:
 
305
                self.stop()
 
306
            self._cleanupLogFile(test)
332
307
 
333
308
    def addFailure(self, test, err):
334
309
        """Tell result that test failed.
336
311
        Called from the TestCase run() method when the test
337
312
        fails because e.g. an assert() method failed.
338
313
        """
339
 
        self._post_mortem()
340
 
        unittest.TestResult.addFailure(self, test, err)
341
 
        self.failure_count += 1
342
 
        self.report_failure(test, err)
343
 
        if self.stop_early:
344
 
            self.stop()
345
 
        self._cleanupLogFile(test)
 
314
        self._testConcluded(test)
 
315
        if isinstance(err[1], KnownFailure):
 
316
            return self._addKnownFailure(test, err)
 
317
        else:
 
318
            unittest.TestResult.addFailure(self, test, err)
 
319
            self.failure_count += 1
 
320
            self.report_failure(test, err)
 
321
            if self.stop_early:
 
322
                self.stop()
 
323
            self._cleanupLogFile(test)
346
324
 
347
 
    def addSuccess(self, test, details=None):
 
325
    def addSuccess(self, test):
348
326
        """Tell result that test completed successfully.
349
327
 
350
328
        Called from the TestCase run()
351
329
        """
 
330
        self._testConcluded(test)
352
331
        if self._bench_history is not None:
353
 
            benchmark_time = self._extractBenchmarkTime(test, details)
 
332
            benchmark_time = self._extractBenchmarkTime(test)
354
333
            if benchmark_time is not None:
355
334
                self._bench_history.write("%s %s\n" % (
356
335
                    self._formatTime(benchmark_time),
360
339
        unittest.TestResult.addSuccess(self, test)
361
340
        test._log_contents = ''
362
341
 
363
 
    def addExpectedFailure(self, test, err):
 
342
    def _testConcluded(self, test):
 
343
        """Common code when a test has finished.
 
344
 
 
345
        Called regardless of whether it succeded, failed, etc.
 
346
        """
 
347
        pass
 
348
 
 
349
    def _addKnownFailure(self, test, err):
364
350
        self.known_failure_count += 1
365
351
        self.report_known_failure(test, err)
366
352
 
368
354
        """The test will not be run because of a missing feature.
369
355
        """
370
356
        # this can be called in two different ways: it may be that the
371
 
        # test started running, and then raised (through requireFeature)
 
357
        # test started running, and then raised (through addError)
372
358
        # UnavailableFeature.  Alternatively this method can be called
373
 
        # while probing for features before running the test code proper; in
374
 
        # that case we will see startTest and stopTest, but the test will
375
 
        # never actually run.
 
359
        # while probing for features before running the tests; in that
 
360
        # case we will see startTest and stopTest, but the test will never
 
361
        # actually run.
376
362
        self.unsupported.setdefault(str(feature), 0)
377
363
        self.unsupported[str(feature)] += 1
378
364
        self.report_unsupported(test, feature)
382
368
        self.skip_count += 1
383
369
        self.report_skip(test, reason)
384
370
 
385
 
    def addNotApplicable(self, test, reason):
386
 
        self.not_applicable_count += 1
387
 
        self.report_not_applicable(test, reason)
 
371
    def _addNotApplicable(self, test, skip_excinfo):
 
372
        if isinstance(skip_excinfo[1], TestNotApplicable):
 
373
            self.not_applicable_count += 1
 
374
            self.report_not_applicable(test, skip_excinfo)
 
375
        try:
 
376
            test.tearDown()
 
377
        except KeyboardInterrupt:
 
378
            raise
 
379
        except:
 
380
            self.addError(test, test.exc_info())
 
381
        else:
 
382
            # seems best to treat this as success from point-of-view of unittest
 
383
            # -- it actually does nothing so it barely matters :)
 
384
            unittest.TestResult.addSuccess(self, test)
 
385
            test._log_contents = ''
388
386
 
389
 
    def _post_mortem(self):
390
 
        """Start a PDB post mortem session."""
391
 
        if os.environ.get('BZR_TEST_PDB', None):
392
 
            import pdb;pdb.post_mortem()
 
387
    def printErrorList(self, flavour, errors):
 
388
        for test, err in errors:
 
389
            self.stream.writeln(self.separator1)
 
390
            self.stream.write("%s: " % flavour)
 
391
            self.stream.writeln(self.getDescription(test))
 
392
            if getattr(test, '_get_log', None) is not None:
 
393
                log_contents = test._get_log()
 
394
                if log_contents:
 
395
                    self.stream.write('\n')
 
396
                    self.stream.write(
 
397
                            ('vvvv[log from %s]' % test.id()).ljust(78,'-'))
 
398
                    self.stream.write('\n')
 
399
                    self.stream.write(log_contents)
 
400
                    self.stream.write('\n')
 
401
                    self.stream.write(
 
402
                            ('^^^^[log from %s]' % test.id()).ljust(78,'-'))
 
403
                    self.stream.write('\n')
 
404
            self.stream.writeln(self.separator2)
 
405
            self.stream.writeln("%s" % err)
393
406
 
394
407
    def progress(self, offset, whence):
395
408
        """The test is adjusting the count of tests to run."""
471
484
            a += '%dm%ds' % (runtime / 60, runtime % 60)
472
485
        else:
473
486
            a += '%ds' % runtime
474
 
        total_fail_count = self.error_count + self.failure_count
475
 
        if total_fail_count:
476
 
            a += ', %d failed' % total_fail_count
477
 
        # if self.unsupported:
478
 
        #     a += ', %d missing' % len(self.unsupported)
 
487
        if self.error_count:
 
488
            a += ', %d err' % self.error_count
 
489
        if self.failure_count:
 
490
            a += ', %d fail' % self.failure_count
 
491
        if self.unsupported:
 
492
            a += ', %d missing' % len(self.unsupported)
479
493
        a += ']'
480
494
        return a
481
495
 
490
504
        return self._shortened_test_description(test)
491
505
 
492
506
    def report_error(self, test, err):
493
 
        self.stream.write('ERROR: %s\n    %s\n' % (
 
507
        self.pb.note('ERROR: %s\n    %s\n',
494
508
            self._test_description(test),
495
509
            err[1],
496
 
            ))
 
510
            )
497
511
 
498
512
    def report_failure(self, test, err):
499
 
        self.stream.write('FAIL: %s\n    %s\n' % (
 
513
        self.pb.note('FAIL: %s\n    %s\n',
500
514
            self._test_description(test),
501
515
            err[1],
502
 
            ))
 
516
            )
503
517
 
504
518
    def report_known_failure(self, test, err):
505
 
        pass
 
519
        self.pb.note('XFAIL: %s\n%s\n',
 
520
            self._test_description(test), err[1])
506
521
 
507
522
    def report_skip(self, test, reason):
508
523
        pass
509
524
 
510
 
    def report_not_applicable(self, test, reason):
 
525
    def report_not_applicable(self, test, skip_excinfo):
511
526
        pass
512
527
 
513
528
    def report_unsupported(self, test, feature):
535
550
    def report_test_start(self, test):
536
551
        self.count += 1
537
552
        name = self._shortened_test_description(test)
538
 
        width = osutils.terminal_width()
539
 
        if width is not None:
540
 
            # width needs space for 6 char status, plus 1 for slash, plus an
541
 
            # 11-char time string, plus a trailing blank
542
 
            # when NUMBERED_DIRS: plus 5 chars on test number, plus 1 char on
543
 
            # space
544
 
            self.stream.write(self._ellipsize_to_right(name, width-18))
545
 
        else:
546
 
            self.stream.write(name)
 
553
        # width needs space for 6 char status, plus 1 for slash, plus an
 
554
        # 11-char time string, plus a trailing blank
 
555
        # when NUMBERED_DIRS: plus 5 chars on test number, plus 1 char on space
 
556
        self.stream.write(self._ellipsize_to_right(name,
 
557
                          osutils.terminal_width()-18))
547
558
        self.stream.flush()
548
559
 
549
560
    def _error_summary(self, err):
578
589
        self.stream.writeln(' SKIP %s\n%s'
579
590
                % (self._testTimeString(test), reason))
580
591
 
581
 
    def report_not_applicable(self, test, reason):
582
 
        self.stream.writeln('  N/A %s\n    %s'
583
 
                % (self._testTimeString(test), reason))
 
592
    def report_not_applicable(self, test, skip_excinfo):
 
593
        self.stream.writeln('  N/A %s\n%s'
 
594
                % (self._testTimeString(test),
 
595
                   self._error_summary(skip_excinfo)))
584
596
 
585
597
    def report_unsupported(self, test, feature):
586
598
        """test cannot be run because feature is missing."""
606
618
            applied left to right - the first element in the list is the 
607
619
            innermost decorator.
608
620
        """
609
 
        # stream may know claim to know to write unicode strings, but in older
610
 
        # pythons this goes sufficiently wrong that it is a bad idea. (
611
 
        # specifically a built in file with encoding 'UTF-8' will still try
612
 
        # to encode using ascii.
613
 
        new_encoding = osutils.get_terminal_encoding()
614
 
        codec = codecs.lookup(new_encoding)
615
 
        if type(codec) is tuple:
616
 
            # Python 2.4
617
 
            encode = codec[0]
618
 
        else:
619
 
            encode = codec.encode
620
 
        stream = osutils.UnicodeOrBytesToBytesWriter(encode, stream)
621
 
        stream.encoding = new_encoding
622
621
        self.stream = unittest._WritelnDecorator(stream)
623
622
        self.descriptions = descriptions
624
623
        self.verbosity = verbosity
644
643
        for decorator in self._result_decorators:
645
644
            result = decorator(result)
646
645
            result.stop_early = self.stop_on_failure
 
646
        try:
 
647
            import testtools
 
648
        except ImportError:
 
649
            pass
 
650
        else:
 
651
            if isinstance(test, testtools.ConcurrentTestSuite):
 
652
                # We need to catch bzr specific behaviors
 
653
                result = BZRTransformingResult(result)
647
654
        result.startTestRun()
648
655
        try:
649
656
            test.run(result)
667
674
                        % (type(suite), suite))
668
675
 
669
676
 
670
 
TestSkipped = testtools.testcase.TestSkipped
 
677
class TestSkipped(Exception):
 
678
    """Indicates that a test was intentionally skipped, rather than failing."""
671
679
 
672
680
 
673
681
class TestNotApplicable(TestSkipped):
679
687
    """
680
688
 
681
689
 
682
 
# traceback._some_str fails to format exceptions that have the default
683
 
# __str__ which does an implicit ascii conversion. However, repr() on those
684
 
# objects works, for all that its not quite what the doctor may have ordered.
685
 
def _clever_some_str(value):
686
 
    try:
687
 
        return str(value)
688
 
    except:
689
 
        try:
690
 
            return repr(value).replace('\\n', '\n')
691
 
        except:
692
 
            return '<unprintable %s object>' % type(value).__name__
693
 
 
694
 
traceback._some_str = _clever_some_str
695
 
 
696
 
 
697
 
# deprecated - use self.knownFailure(), or self.expectFailure.
698
 
KnownFailure = testtools.testcase._ExpectedFailure
 
690
class KnownFailure(AssertionError):
 
691
    """Indicates that a test failed in a precisely expected manner.
 
692
 
 
693
    Such failures dont block the whole test suite from passing because they are
 
694
    indicators of partially completed code or of future work. We have an
 
695
    explicit error for them so that we can ensure that they are always visible:
 
696
    KnownFailures are always shown in the output of bzr selftest.
 
697
    """
699
698
 
700
699
 
701
700
class UnavailableFeature(Exception):
702
701
    """A feature required for this test was not available.
703
702
 
704
 
    This can be considered a specialised form of SkippedTest.
705
 
 
706
703
    The feature should be used to construct the exception.
707
704
    """
708
705
 
709
706
 
 
707
class CommandFailed(Exception):
 
708
    pass
 
709
 
 
710
 
710
711
class StringIOWrapper(object):
711
712
    """A wrapper around cStringIO which just adds an encoding attribute.
712
713
 
773
774
        return NullProgressView()
774
775
 
775
776
 
776
 
class TestCase(testtools.TestCase):
 
777
class TestCase(unittest.TestCase):
777
778
    """Base class for bzr unit tests.
778
779
 
779
780
    Tests that need access to disk resources should subclass
798
799
    _leaking_threads_tests = 0
799
800
    _first_thread_leaker_id = None
800
801
    _log_file_name = None
 
802
    _log_contents = ''
 
803
    _keep_log_file = False
801
804
    # record lsprof data when performing benchmark calls.
802
805
    _gather_lsprof_in_benchmarks = False
 
806
    attrs_to_keep = ('id', '_testMethodName', '_testMethodDoc',
 
807
                     '_log_contents', '_log_file_name', '_benchtime',
 
808
                     '_TestCase__testMethodName', '_TestCase__testMethodDoc',)
803
809
 
804
810
    def __init__(self, methodName='testMethod'):
805
811
        super(TestCase, self).__init__(methodName)
806
812
        self._cleanups = []
807
 
        self._directory_isolation = True
808
 
        self.exception_handlers.insert(0,
809
 
            (UnavailableFeature, self._do_unsupported_or_skip))
810
 
        self.exception_handlers.insert(0,
811
 
            (TestNotApplicable, self._do_not_applicable))
 
813
        self._bzr_test_setUp_run = False
 
814
        self._bzr_test_tearDown_run = False
812
815
 
813
816
    def setUp(self):
814
 
        super(TestCase, self).setUp()
815
 
        for feature in getattr(self, '_test_needs_features', []):
816
 
            self.requireFeature(feature)
817
 
        self._log_contents = None
818
 
        self.addDetail("log", content.Content(content.ContentType("text",
819
 
            "plain", {"charset": "utf8"}),
820
 
            lambda:[self._get_log(keep_log_file=True)]))
 
817
        unittest.TestCase.setUp(self)
 
818
        self._bzr_test_setUp_run = True
821
819
        self._cleanEnvironment()
822
820
        self._silenceUI()
823
821
        self._startLogFile()
824
822
        self._benchcalls = []
825
823
        self._benchtime = None
826
824
        self._clear_hooks()
827
 
        self._track_transports()
828
825
        self._track_locks()
829
826
        self._clear_debug_flags()
830
827
        TestCase._active_threads = threading.activeCount()
839
836
        active = threading.activeCount()
840
837
        leaked_threads = active - TestCase._active_threads
841
838
        TestCase._active_threads = active
842
 
        # If some tests make the number of threads *decrease*, we'll consider
843
 
        # that they are just observing old threads dieing, not agressively kill
844
 
        # random threads. So we don't report these tests as leaking. The risk
845
 
        # is that we have false positives that way (the test see 2 threads
846
 
        # going away but leak one) but it seems less likely than the actual
847
 
        # false positives (the test see threads going away and does not leak).
848
 
        if leaked_threads > 0:
 
839
        if leaked_threads:
849
840
            TestCase._leaking_threads_tests += 1
850
841
            if TestCase._first_thread_leaker_id is None:
851
842
                TestCase._first_thread_leaker_id = self.id()
856
847
        Tests that want to use debug flags can just set them in the
857
848
        debug_flags set during setup/teardown.
858
849
        """
859
 
        # Start with a copy of the current debug flags we can safely modify.
860
 
        self.overrideAttr(debug, 'debug_flags', set(debug.debug_flags))
 
850
        self._preserved_debug_flags = set(debug.debug_flags)
861
851
        if 'allow_debug' not in selftest_debug_flags:
862
852
            debug.debug_flags.clear()
863
853
        if 'disable_lock_checks' not in selftest_debug_flags:
864
854
            debug.debug_flags.add('strict_locks')
 
855
        self.addCleanup(self._restore_debug_flags)
865
856
 
866
857
    def _clear_hooks(self):
867
858
        # prevent hooks affecting tests
877
868
        # this hook should always be installed
878
869
        request._install_hook()
879
870
 
880
 
    def disable_directory_isolation(self):
881
 
        """Turn off directory isolation checks."""
882
 
        self._directory_isolation = False
883
 
 
884
 
    def enable_directory_isolation(self):
885
 
        """Enable directory isolation checks."""
886
 
        self._directory_isolation = True
887
 
 
888
871
    def _silenceUI(self):
889
872
        """Turn off UI for duration of test"""
890
873
        # by default the UI is off; tests can turn it on if they want it.
891
 
        self.overrideAttr(ui, 'ui_factory', ui.SilentUIFactory())
 
874
        saved = ui.ui_factory
 
875
        def _restore():
 
876
            ui.ui_factory = saved
 
877
        ui.ui_factory = ui.SilentUIFactory()
 
878
        self.addCleanup(_restore)
892
879
 
893
880
    def _check_locks(self):
894
881
        """Check that all lock take/release actions have been paired."""
923
910
            self._lock_check_thorough = False
924
911
        else:
925
912
            self._lock_check_thorough = True
926
 
 
 
913
            
927
914
        self.addCleanup(self._check_locks)
928
915
        _mod_lock.Lock.hooks.install_named_hook('lock_acquired',
929
916
                                                self._lock_acquired, None)
941
928
    def _lock_broken(self, result):
942
929
        self._lock_actions.append(('broken', result))
943
930
 
944
 
    def permit_dir(self, name):
945
 
        """Permit a directory to be used by this test. See permit_url."""
946
 
        name_transport = get_transport(name)
947
 
        self.permit_url(name)
948
 
        self.permit_url(name_transport.base)
949
 
 
950
 
    def permit_url(self, url):
951
 
        """Declare that url is an ok url to use in this test.
952
 
        
953
 
        Do this for memory transports, temporary test directory etc.
954
 
        
955
 
        Do not do this for the current working directory, /tmp, or any other
956
 
        preexisting non isolated url.
957
 
        """
958
 
        if not url.endswith('/'):
959
 
            url += '/'
960
 
        self._bzr_selftest_roots.append(url)
961
 
 
962
 
    def permit_source_tree_branch_repo(self):
963
 
        """Permit the source tree bzr is running from to be opened.
964
 
 
965
 
        Some code such as bzrlib.version attempts to read from the bzr branch
966
 
        that bzr is executing from (if any). This method permits that directory
967
 
        to be used in the test suite.
968
 
        """
969
 
        path = self.get_source_path()
970
 
        self.record_directory_isolation()
971
 
        try:
972
 
            try:
973
 
                workingtree.WorkingTree.open(path)
974
 
            except (errors.NotBranchError, errors.NoWorkingTree):
975
 
                return
976
 
        finally:
977
 
            self.enable_directory_isolation()
978
 
 
979
 
    def _preopen_isolate_transport(self, transport):
980
 
        """Check that all transport openings are done in the test work area."""
981
 
        while isinstance(transport, pathfilter.PathFilteringTransport):
982
 
            # Unwrap pathfiltered transports
983
 
            transport = transport.server.backing_transport.clone(
984
 
                transport._filter('.'))
985
 
        url = transport.base
986
 
        # ReadonlySmartTCPServer_for_testing decorates the backing transport
987
 
        # urls it is given by prepending readonly+. This is appropriate as the
988
 
        # client shouldn't know that the server is readonly (or not readonly).
989
 
        # We could register all servers twice, with readonly+ prepending, but
990
 
        # that makes for a long list; this is about the same but easier to
991
 
        # read.
992
 
        if url.startswith('readonly+'):
993
 
            url = url[len('readonly+'):]
994
 
        self._preopen_isolate_url(url)
995
 
 
996
 
    def _preopen_isolate_url(self, url):
997
 
        if not self._directory_isolation:
998
 
            return
999
 
        if self._directory_isolation == 'record':
1000
 
            self._bzr_selftest_roots.append(url)
1001
 
            return
1002
 
        # This prevents all transports, including e.g. sftp ones backed on disk
1003
 
        # from working unless they are explicitly granted permission. We then
1004
 
        # depend on the code that sets up test transports to check that they are
1005
 
        # appropriately isolated and enable their use by calling
1006
 
        # self.permit_transport()
1007
 
        if not osutils.is_inside_any(self._bzr_selftest_roots, url):
1008
 
            raise errors.BzrError("Attempt to escape test isolation: %r %r"
1009
 
                % (url, self._bzr_selftest_roots))
1010
 
 
1011
 
    def record_directory_isolation(self):
1012
 
        """Gather accessed directories to permit later access.
1013
 
        
1014
 
        This is used for tests that access the branch bzr is running from.
1015
 
        """
1016
 
        self._directory_isolation = "record"
1017
 
 
1018
 
    def start_server(self, transport_server, backing_server=None):
1019
 
        """Start transport_server for this test.
1020
 
 
1021
 
        This starts the server, registers a cleanup for it and permits the
1022
 
        server's urls to be used.
1023
 
        """
1024
 
        if backing_server is None:
1025
 
            transport_server.start_server()
1026
 
        else:
1027
 
            transport_server.start_server(backing_server)
1028
 
        self.addCleanup(transport_server.stop_server)
1029
 
        # Obtain a real transport because if the server supplies a password, it
1030
 
        # will be hidden from the base on the client side.
1031
 
        t = get_transport(transport_server.get_url())
1032
 
        # Some transport servers effectively chroot the backing transport;
1033
 
        # others like SFTPServer don't - users of the transport can walk up the
1034
 
        # transport to read the entire backing transport. This wouldn't matter
1035
 
        # except that the workdir tests are given - and that they expect the
1036
 
        # server's url to point at - is one directory under the safety net. So
1037
 
        # Branch operations into the transport will attempt to walk up one
1038
 
        # directory. Chrooting all servers would avoid this but also mean that
1039
 
        # we wouldn't be testing directly against non-root urls. Alternatively
1040
 
        # getting the test framework to start the server with a backing server
1041
 
        # at the actual safety net directory would work too, but this then
1042
 
        # means that the self.get_url/self.get_transport methods would need
1043
 
        # to transform all their results. On balance its cleaner to handle it
1044
 
        # here, and permit a higher url when we have one of these transports.
1045
 
        if t.base.endswith('/work/'):
1046
 
            # we have safety net/test root/work
1047
 
            t = t.clone('../..')
1048
 
        elif isinstance(transport_server,
1049
 
                        test_server.SmartTCPServer_for_testing):
1050
 
            # The smart server adds a path similar to work, which is traversed
1051
 
            # up from by the client. But the server is chrooted - the actual
1052
 
            # backing transport is not escaped from, and VFS requests to the
1053
 
            # root will error (because they try to escape the chroot).
1054
 
            t2 = t.clone('..')
1055
 
            while t2.base != t.base:
1056
 
                t = t2
1057
 
                t2 = t.clone('..')
1058
 
        self.permit_url(t.base)
1059
 
 
1060
 
    def _track_transports(self):
1061
 
        """Install checks for transport usage."""
1062
 
        # TestCase has no safe place it can write to.
1063
 
        self._bzr_selftest_roots = []
1064
 
        # Currently the easiest way to be sure that nothing is going on is to
1065
 
        # hook into bzr dir opening. This leaves a small window of error for
1066
 
        # transport tests, but they are well known, and we can improve on this
1067
 
        # step.
1068
 
        bzrdir.BzrDir.hooks.install_named_hook("pre_open",
1069
 
            self._preopen_isolate_transport, "Check bzr directories are safe.")
1070
 
 
1071
931
    def _ndiff_strings(self, a, b):
1072
932
        """Return ndiff between two strings containing lines.
1073
933
 
1110
970
            return
1111
971
        if message is None:
1112
972
            message = "texts not equal:\n"
 
973
        if a == b + '\n':
 
974
            message = 'first string is missing a final newline.\n'
1113
975
        if a + '\n' == b:
1114
 
            message = 'first string is missing a final newline.\n'
1115
 
        if a == b + '\n':
1116
976
            message = 'second string is missing a final newline.\n'
1117
977
        raise AssertionError(message +
1118
978
                             self._ndiff_strings(a, b))
1129
989
        :raises AssertionError: If the expected and actual stat values differ
1130
990
            other than by atime.
1131
991
        """
1132
 
        self.assertEqual(expected.st_size, actual.st_size,
1133
 
                         'st_size did not match')
1134
 
        self.assertEqual(expected.st_mtime, actual.st_mtime,
1135
 
                         'st_mtime did not match')
1136
 
        self.assertEqual(expected.st_ctime, actual.st_ctime,
1137
 
                         'st_ctime did not match')
1138
 
        if sys.platform != 'win32':
1139
 
            # On Win32 both 'dev' and 'ino' cannot be trusted. In python2.4 it
1140
 
            # is 'dev' that varies, in python 2.5 (6?) it is st_ino that is
1141
 
            # odd. Regardless we shouldn't actually try to assert anything
1142
 
            # about their values
1143
 
            self.assertEqual(expected.st_dev, actual.st_dev,
1144
 
                             'st_dev did not match')
1145
 
            self.assertEqual(expected.st_ino, actual.st_ino,
1146
 
                             'st_ino did not match')
1147
 
        self.assertEqual(expected.st_mode, actual.st_mode,
1148
 
                         'st_mode did not match')
 
992
        self.assertEqual(expected.st_size, actual.st_size)
 
993
        self.assertEqual(expected.st_mtime, actual.st_mtime)
 
994
        self.assertEqual(expected.st_ctime, actual.st_ctime)
 
995
        self.assertEqual(expected.st_dev, actual.st_dev)
 
996
        self.assertEqual(expected.st_ino, actual.st_ino)
 
997
        self.assertEqual(expected.st_mode, actual.st_mode)
1149
998
 
1150
999
    def assertLength(self, length, obj_with_len):
1151
1000
        """Assert that obj_with_len is of length length."""
1153
1002
            self.fail("Incorrect length: wanted %d, got %d for %r" % (
1154
1003
                length, len(obj_with_len), obj_with_len))
1155
1004
 
1156
 
    def assertLogsError(self, exception_class, func, *args, **kwargs):
1157
 
        """Assert that func(*args, **kwargs) quietly logs a specific exception.
1158
 
        """
1159
 
        from bzrlib import trace
1160
 
        captured = []
1161
 
        orig_log_exception_quietly = trace.log_exception_quietly
1162
 
        try:
1163
 
            def capture():
1164
 
                orig_log_exception_quietly()
1165
 
                captured.append(sys.exc_info())
1166
 
            trace.log_exception_quietly = capture
1167
 
            func(*args, **kwargs)
1168
 
        finally:
1169
 
            trace.log_exception_quietly = orig_log_exception_quietly
1170
 
        self.assertLength(1, captured)
1171
 
        err = captured[0][1]
1172
 
        self.assertIsInstance(err, exception_class)
1173
 
        return err
1174
 
 
1175
1005
    def assertPositive(self, val):
1176
1006
        """Assert that val is greater than 0."""
1177
1007
        self.assertTrue(val > 0, 'expected a positive value, but got %s' % val)
1207
1037
            raise AssertionError('pattern "%s" found in "%s"'
1208
1038
                    % (needle_re, haystack))
1209
1039
 
1210
 
    def assertContainsString(self, haystack, needle):
1211
 
        if haystack.find(needle) == -1:
1212
 
            self.fail("string %r not found in '''%s'''" % (needle, haystack))
1213
 
 
1214
1040
    def assertSubset(self, sublist, superlist):
1215
1041
        """Assert that every entry in sublist is present in superlist."""
1216
1042
        missing = set(sublist) - set(superlist)
1303
1129
                m += ": " + msg
1304
1130
            self.fail(m)
1305
1131
 
 
1132
    def expectFailure(self, reason, assertion, *args, **kwargs):
 
1133
        """Invoke a test, expecting it to fail for the given reason.
 
1134
 
 
1135
        This is for assertions that ought to succeed, but currently fail.
 
1136
        (The failure is *expected* but not *wanted*.)  Please be very precise
 
1137
        about the failure you're expecting.  If a new bug is introduced,
 
1138
        AssertionError should be raised, not KnownFailure.
 
1139
 
 
1140
        Frequently, expectFailure should be followed by an opposite assertion.
 
1141
        See example below.
 
1142
 
 
1143
        Intended to be used with a callable that raises AssertionError as the
 
1144
        'assertion' parameter.  args and kwargs are passed to the 'assertion'.
 
1145
 
 
1146
        Raises KnownFailure if the test fails.  Raises AssertionError if the
 
1147
        test succeeds.
 
1148
 
 
1149
        example usage::
 
1150
 
 
1151
          self.expectFailure('Math is broken', self.assertNotEqual, 54,
 
1152
                             dynamic_val)
 
1153
          self.assertEqual(42, dynamic_val)
 
1154
 
 
1155
          This means that a dynamic_val of 54 will cause the test to raise
 
1156
          a KnownFailure.  Once math is fixed and the expectFailure is removed,
 
1157
          only a dynamic_val of 42 will allow the test to pass.  Anything other
 
1158
          than 54 or 42 will cause an AssertionError.
 
1159
        """
 
1160
        try:
 
1161
            assertion(*args, **kwargs)
 
1162
        except AssertionError:
 
1163
            raise KnownFailure(reason)
 
1164
        else:
 
1165
            self.fail('Unexpected success.  Should have failed: %s' % reason)
 
1166
 
1306
1167
    def assertFileEqual(self, content, path):
1307
1168
        """Fail if path does not contain 'content'."""
1308
1169
        self.failUnlessExists(path)
1313
1174
            f.close()
1314
1175
        self.assertEqualDiff(content, s)
1315
1176
 
1316
 
    def assertDocstring(self, expected_docstring, obj):
1317
 
        """Fail if obj does not have expected_docstring"""
1318
 
        if __doc__ is None:
1319
 
            # With -OO the docstring should be None instead
1320
 
            self.assertIs(obj.__doc__, None)
1321
 
        else:
1322
 
            self.assertEqual(expected_docstring, obj.__doc__)
1323
 
 
1324
1177
    def failUnlessExists(self, path):
1325
1178
        """Fail unless path or paths, which may be abs or relative, exist."""
1326
1179
        if not isinstance(path, basestring):
1466
1319
 
1467
1320
        Close the file and delete it, unless setKeepLogfile was called.
1468
1321
        """
1469
 
        if bzrlib.trace._trace_file:
1470
 
            # flush the log file, to get all content
1471
 
            bzrlib.trace._trace_file.flush()
 
1322
        if self._log_file is None:
 
1323
            return
1472
1324
        bzrlib.trace.pop_log_file(self._log_memento)
1473
 
        # Cache the log result and delete the file on disk
1474
 
        self._get_log(False)
 
1325
        self._log_file.close()
 
1326
        self._log_file = None
 
1327
        if not self._keep_log_file:
 
1328
            os.remove(self._log_file_name)
 
1329
            self._log_file_name = None
 
1330
 
 
1331
    def setKeepLogfile(self):
 
1332
        """Make the logfile not be deleted when _finishLogFile is called."""
 
1333
        self._keep_log_file = True
1475
1334
 
1476
1335
    def thisFailsStrictLockCheck(self):
1477
1336
        """It is known that this test would fail with -Dstrict_locks.
1494
1353
        """
1495
1354
        self._cleanups.append((callable, args, kwargs))
1496
1355
 
1497
 
    def overrideAttr(self, obj, attr_name, new=_unitialized_attr):
1498
 
        """Overrides an object attribute restoring it after the test.
1499
 
 
1500
 
        :param obj: The object that will be mutated.
1501
 
 
1502
 
        :param attr_name: The attribute name we want to preserve/override in
1503
 
            the object.
1504
 
 
1505
 
        :param new: The optional value we want to set the attribute to.
1506
 
 
1507
 
        :returns: The actual attr value.
1508
 
        """
1509
 
        value = getattr(obj, attr_name)
1510
 
        # The actual value is captured by the call below
1511
 
        self.addCleanup(setattr, obj, attr_name, value)
1512
 
        if new is not _unitialized_attr:
1513
 
            setattr(obj, attr_name, new)
1514
 
        return value
1515
 
 
1516
1356
    def _cleanEnvironment(self):
1517
1357
        new_env = {
1518
1358
            'BZR_HOME': None, # Don't inherit BZR_HOME to all the tests.
1528
1368
            'BZR_PROGRESS_BAR': None,
1529
1369
            'BZR_LOG': None,
1530
1370
            'BZR_PLUGIN_PATH': None,
1531
 
            'BZR_DISABLE_PLUGINS': None,
1532
 
            'BZR_PLUGINS_AT': None,
1533
 
            'BZR_CONCURRENCY': None,
1534
1371
            # Make sure that any text ui tests are consistent regardless of
1535
1372
            # the environment the test case is run in; you may want tests that
1536
1373
            # test other combinations.  'dumb' is a reasonable guess for tests
1538
1375
            'TERM': 'dumb',
1539
1376
            'LINES': '25',
1540
1377
            'COLUMNS': '80',
1541
 
            'BZR_COLUMNS': '80',
1542
1378
            # SSH Agent
1543
1379
            'SSH_AUTH_SOCK': None,
1544
1380
            # Proxies
1556
1392
            'ftp_proxy': None,
1557
1393
            'FTP_PROXY': None,
1558
1394
            'BZR_REMOTE_PATH': None,
1559
 
            # Generally speaking, we don't want apport reporting on crashes in
1560
 
            # the test envirnoment unless we're specifically testing apport,
1561
 
            # so that it doesn't leak into the real system environment.  We
1562
 
            # use an env var so it propagates to subprocesses.
1563
 
            'APPORT_DISABLE': '1',
1564
1395
        }
1565
 
        self._old_env = {}
 
1396
        self.__old_env = {}
1566
1397
        self.addCleanup(self._restoreEnvironment)
1567
1398
        for name, value in new_env.iteritems():
1568
1399
            self._captureVar(name, value)
1569
1400
 
1570
1401
    def _captureVar(self, name, newvalue):
1571
1402
        """Set an environment variable, and reset it when finished."""
1572
 
        self._old_env[name] = osutils.set_or_unset_env(name, newvalue)
 
1403
        self.__old_env[name] = osutils.set_or_unset_env(name, newvalue)
 
1404
 
 
1405
    def _restore_debug_flags(self):
 
1406
        debug.debug_flags.clear()
 
1407
        debug.debug_flags.update(self._preserved_debug_flags)
1573
1408
 
1574
1409
    def _restoreEnvironment(self):
1575
 
        for name, value in self._old_env.iteritems():
 
1410
        for name, value in self.__old_env.iteritems():
1576
1411
            osutils.set_or_unset_env(name, value)
1577
1412
 
1578
1413
    def _restoreHooks(self):
1586
1421
    def _do_skip(self, result, reason):
1587
1422
        addSkip = getattr(result, 'addSkip', None)
1588
1423
        if not callable(addSkip):
1589
 
            result.addSuccess(result)
 
1424
            result.addError(self, sys.exc_info())
1590
1425
        else:
1591
1426
            addSkip(self, reason)
1592
1427
 
1593
 
    @staticmethod
1594
 
    def _do_known_failure(self, result, e):
1595
 
        err = sys.exc_info()
1596
 
        addExpectedFailure = getattr(result, 'addExpectedFailure', None)
1597
 
        if addExpectedFailure is not None:
1598
 
            addExpectedFailure(self, err)
1599
 
        else:
1600
 
            result.addSuccess(self)
1601
 
 
1602
 
    @staticmethod
1603
 
    def _do_not_applicable(self, result, e):
1604
 
        if not e.args:
1605
 
            reason = 'No reason given'
1606
 
        else:
1607
 
            reason = e.args[0]
1608
 
        addNotApplicable = getattr(result, 'addNotApplicable', None)
1609
 
        if addNotApplicable is not None:
1610
 
            result.addNotApplicable(self, reason)
1611
 
        else:
1612
 
            self._do_skip(result, reason)
1613
 
 
1614
 
    @staticmethod
1615
 
    def _do_unsupported_or_skip(self, result, e):
1616
 
        reason = e.args[0]
1617
 
        addNotSupported = getattr(result, 'addNotSupported', None)
1618
 
        if addNotSupported is not None:
1619
 
            result.addNotSupported(self, reason)
1620
 
        else:
1621
 
            self._do_skip(result, reason)
 
1428
    def run(self, result=None):
 
1429
        if result is None: result = self.defaultTestResult()
 
1430
        for feature in getattr(self, '_test_needs_features', []):
 
1431
            if not feature.available():
 
1432
                result.startTest(self)
 
1433
                if getattr(result, 'addNotSupported', None):
 
1434
                    result.addNotSupported(self, feature)
 
1435
                else:
 
1436
                    result.addSuccess(self)
 
1437
                result.stopTest(self)
 
1438
                return result
 
1439
        try:
 
1440
            try:
 
1441
                result.startTest(self)
 
1442
                absent_attr = object()
 
1443
                # Python 2.5
 
1444
                method_name = getattr(self, '_testMethodName', absent_attr)
 
1445
                if method_name is absent_attr:
 
1446
                    # Python 2.4
 
1447
                    method_name = getattr(self, '_TestCase__testMethodName')
 
1448
                testMethod = getattr(self, method_name)
 
1449
                try:
 
1450
                    try:
 
1451
                        self.setUp()
 
1452
                        if not self._bzr_test_setUp_run:
 
1453
                            self.fail(
 
1454
                                "test setUp did not invoke "
 
1455
                                "bzrlib.tests.TestCase's setUp")
 
1456
                    except KeyboardInterrupt:
 
1457
                        self._runCleanups()
 
1458
                        raise
 
1459
                    except TestSkipped, e:
 
1460
                        self._do_skip(result, e.args[0])
 
1461
                        self.tearDown()
 
1462
                        return result
 
1463
                    except:
 
1464
                        result.addError(self, sys.exc_info())
 
1465
                        self._runCleanups()
 
1466
                        return result
 
1467
 
 
1468
                    ok = False
 
1469
                    try:
 
1470
                        testMethod()
 
1471
                        ok = True
 
1472
                    except self.failureException:
 
1473
                        result.addFailure(self, sys.exc_info())
 
1474
                    except TestSkipped, e:
 
1475
                        if not e.args:
 
1476
                            reason = "No reason given."
 
1477
                        else:
 
1478
                            reason = e.args[0]
 
1479
                        self._do_skip(result, reason)
 
1480
                    except KeyboardInterrupt:
 
1481
                        self._runCleanups()
 
1482
                        raise
 
1483
                    except:
 
1484
                        result.addError(self, sys.exc_info())
 
1485
 
 
1486
                    try:
 
1487
                        self.tearDown()
 
1488
                        if not self._bzr_test_tearDown_run:
 
1489
                            self.fail(
 
1490
                                "test tearDown did not invoke "
 
1491
                                "bzrlib.tests.TestCase's tearDown")
 
1492
                    except KeyboardInterrupt:
 
1493
                        self._runCleanups()
 
1494
                        raise
 
1495
                    except:
 
1496
                        result.addError(self, sys.exc_info())
 
1497
                        self._runCleanups()
 
1498
                        ok = False
 
1499
                    if ok: result.addSuccess(self)
 
1500
                finally:
 
1501
                    result.stopTest(self)
 
1502
                return result
 
1503
            except TestNotApplicable:
 
1504
                # Not moved from the result [yet].
 
1505
                self._runCleanups()
 
1506
                raise
 
1507
            except KeyboardInterrupt:
 
1508
                self._runCleanups()
 
1509
                raise
 
1510
        finally:
 
1511
            saved_attrs = {}
 
1512
            for attr_name in self.attrs_to_keep:
 
1513
                if attr_name in self.__dict__:
 
1514
                    saved_attrs[attr_name] = self.__dict__[attr_name]
 
1515
            self.__dict__ = saved_attrs
 
1516
 
 
1517
    def tearDown(self):
 
1518
        self._runCleanups()
 
1519
        self._log_contents = ''
 
1520
        self._bzr_test_tearDown_run = True
 
1521
        unittest.TestCase.tearDown(self)
1622
1522
 
1623
1523
    def time(self, callable, *args, **kwargs):
1624
1524
        """Run callable and accrue the time it takes to the benchmark time.
1628
1528
        self._benchcalls.
1629
1529
        """
1630
1530
        if self._benchtime is None:
1631
 
            self.addDetail('benchtime', content.Content(content.ContentType(
1632
 
                "text", "plain"), lambda:[str(self._benchtime)]))
1633
1531
            self._benchtime = 0
1634
1532
        start = time.time()
1635
1533
        try:
1644
1542
        finally:
1645
1543
            self._benchtime += time.time() - start
1646
1544
 
 
1545
    def _runCleanups(self):
 
1546
        """Run registered cleanup functions.
 
1547
 
 
1548
        This should only be called from TestCase.tearDown.
 
1549
        """
 
1550
        # TODO: Perhaps this should keep running cleanups even if
 
1551
        # one of them fails?
 
1552
 
 
1553
        # Actually pop the cleanups from the list so tearDown running
 
1554
        # twice is safe (this happens for skipped tests).
 
1555
        while self._cleanups:
 
1556
            cleanup, args, kwargs = self._cleanups.pop()
 
1557
            cleanup(*args, **kwargs)
 
1558
 
1647
1559
    def log(self, *args):
1648
1560
        mutter(*args)
1649
1561
 
1650
1562
    def _get_log(self, keep_log_file=False):
1651
 
        """Internal helper to get the log from bzrlib.trace for this test.
1652
 
 
1653
 
        Please use self.getDetails, or self.get_log to access this in test case
1654
 
        code.
 
1563
        """Get the log from bzrlib.trace calls from this test.
1655
1564
 
1656
1565
        :param keep_log_file: When True, if the log is still a file on disk
1657
1566
            leave it as a file on disk. When False, if the log is still a file
1659
1568
            self._log_contents.
1660
1569
        :return: A string containing the log.
1661
1570
        """
1662
 
        if self._log_contents is not None:
1663
 
            try:
1664
 
                self._log_contents.decode('utf8')
1665
 
            except UnicodeDecodeError:
1666
 
                unicodestr = self._log_contents.decode('utf8', 'replace')
1667
 
                self._log_contents = unicodestr.encode('utf8')
 
1571
        # flush the log file, to get all content
 
1572
        import bzrlib.trace
 
1573
        if bzrlib.trace._trace_file:
 
1574
            bzrlib.trace._trace_file.flush()
 
1575
        if self._log_contents:
 
1576
            # XXX: this can hardly contain the content flushed above --vila
 
1577
            # 20080128
1668
1578
            return self._log_contents
1669
 
        import bzrlib.trace
1670
 
        if bzrlib.trace._trace_file:
1671
 
            # flush the log file, to get all content
1672
 
            bzrlib.trace._trace_file.flush()
1673
1579
        if self._log_file_name is not None:
1674
1580
            logfile = open(self._log_file_name)
1675
1581
            try:
1676
1582
                log_contents = logfile.read()
1677
1583
            finally:
1678
1584
                logfile.close()
1679
 
            try:
1680
 
                log_contents.decode('utf8')
1681
 
            except UnicodeDecodeError:
1682
 
                unicodestr = log_contents.decode('utf8', 'replace')
1683
 
                log_contents = unicodestr.encode('utf8')
1684
1585
            if not keep_log_file:
1685
 
                close_attempts = 0
1686
 
                max_close_attempts = 100
1687
 
                first_close_error = None
1688
 
                while close_attempts < max_close_attempts:
1689
 
                    close_attempts += 1
1690
 
                    try:
1691
 
                        self._log_file.close()
1692
 
                    except IOError, ioe:
1693
 
                        if ioe.errno is None:
1694
 
                            # No errno implies 'close() called during
1695
 
                            # concurrent operation on the same file object', so
1696
 
                            # retry.  Probably a thread is trying to write to
1697
 
                            # the log file.
1698
 
                            if first_close_error is None:
1699
 
                                first_close_error = ioe
1700
 
                            continue
1701
 
                        raise
1702
 
                    else:
1703
 
                        break
1704
 
                if close_attempts > 1:
1705
 
                    sys.stderr.write(
1706
 
                        'Unable to close log file on first attempt, '
1707
 
                        'will retry: %s\n' % (first_close_error,))
1708
 
                    if close_attempts == max_close_attempts:
1709
 
                        sys.stderr.write(
1710
 
                            'Unable to close log file after %d attempts.\n'
1711
 
                            % (max_close_attempts,))
1712
 
                self._log_file = None
1713
 
                # Permit multiple calls to get_log until we clean it up in
1714
 
                # finishLogFile
1715
1586
                self._log_contents = log_contents
1716
1587
                try:
1717
1588
                    os.remove(self._log_file_name)
1721
1592
                                             ' %r\n' % self._log_file_name))
1722
1593
                    else:
1723
1594
                        raise
1724
 
                self._log_file_name = None
1725
1595
            return log_contents
1726
1596
        else:
1727
 
            return "No log file content and no log file name."
1728
 
 
1729
 
    def get_log(self):
1730
 
        """Get a unicode string containing the log from bzrlib.trace.
1731
 
 
1732
 
        Undecodable characters are replaced.
1733
 
        """
1734
 
        return u"".join(self.getDetails()['log'].iter_text())
 
1597
            return "DELETED log file to reduce memory footprint"
1735
1598
 
1736
1599
    def requireFeature(self, feature):
1737
1600
        """This test requires a specific feature is available.
1754
1617
 
1755
1618
    def _run_bzr_core(self, args, retcode, encoding, stdin,
1756
1619
            working_dir):
1757
 
        # Clear chk_map page cache, because the contents are likely to mask
1758
 
        # locking errors.
1759
 
        chk_map.clear_cache()
1760
1620
        if encoding is None:
1761
1621
            encoding = osutils.get_user_encoding()
1762
1622
        stdout = StringIOWrapper()
1779
1639
            os.chdir(working_dir)
1780
1640
 
1781
1641
        try:
1782
 
            try:
1783
 
                result = self.apply_redirected(ui.ui_factory.stdin,
1784
 
                    stdout, stderr,
1785
 
                    bzrlib.commands.run_bzr_catch_user_errors,
1786
 
                    args)
1787
 
            except KeyboardInterrupt:
1788
 
                # Reraise KeyboardInterrupt with contents of redirected stdout
1789
 
                # and stderr as arguments, for tests which are interested in
1790
 
                # stdout and stderr and are expecting the exception.
1791
 
                out = stdout.getvalue()
1792
 
                err = stderr.getvalue()
1793
 
                if out:
1794
 
                    self.log('output:\n%r', out)
1795
 
                if err:
1796
 
                    self.log('errors:\n%r', err)
1797
 
                raise KeyboardInterrupt(out, err)
 
1642
            result = self.apply_redirected(ui.ui_factory.stdin,
 
1643
                stdout, stderr,
 
1644
                bzrlib.commands.run_bzr_catch_user_errors,
 
1645
                args)
1798
1646
        finally:
1799
1647
            logger.removeHandler(handler)
1800
1648
            ui.ui_factory = old_ui_factory
1810
1658
        if retcode is not None:
1811
1659
            self.assertEquals(retcode, result,
1812
1660
                              message='Unexpected return code')
1813
 
        return result, out, err
 
1661
        return out, err
1814
1662
 
1815
1663
    def run_bzr(self, args, retcode=0, encoding=None, stdin=None,
1816
1664
                working_dir=None, error_regexes=[], output_encoding=None):
1845
1693
        :keyword error_regexes: A list of expected error messages.  If
1846
1694
            specified they must be seen in the error output of the command.
1847
1695
        """
1848
 
        retcode, out, err = self._run_bzr_autosplit(
 
1696
        out, err = self._run_bzr_autosplit(
1849
1697
            args=args,
1850
1698
            retcode=retcode,
1851
1699
            encoding=encoding,
2002
1850
        """
2003
1851
        return Popen(*args, **kwargs)
2004
1852
 
2005
 
    def get_source_path(self):
2006
 
        """Return the path of the directory containing bzrlib."""
2007
 
        return os.path.dirname(os.path.dirname(bzrlib.__file__))
2008
 
 
2009
1853
    def get_bzr_path(self):
2010
1854
        """Return the path of the 'bzr' executable for this test suite."""
2011
 
        bzr_path = self.get_source_path()+'/bzr'
 
1855
        bzr_path = os.path.dirname(os.path.dirname(bzrlib.__file__))+'/bzr'
2012
1856
        if not os.path.isfile(bzr_path):
2013
1857
            # We are probably installed. Assume sys.argv is the right file
2014
1858
            bzr_path = sys.argv[0]
2100
1944
 
2101
1945
        Tests that expect to provoke LockContention errors should call this.
2102
1946
        """
2103
 
        self.overrideAttr(bzrlib.lockdir, '_DEFAULT_TIMEOUT_SECONDS', 0)
 
1947
        orig_timeout = bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS
 
1948
        def resetTimeout():
 
1949
            bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS = orig_timeout
 
1950
        self.addCleanup(resetTimeout)
 
1951
        bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS = 0
2104
1952
 
2105
1953
    def make_utf8_encoded_stringio(self, encoding_type=None):
2106
1954
        """Return a StringIOWrapper instance, that will encode Unicode
2120
1968
        request_handlers = request.request_handlers
2121
1969
        orig_method = request_handlers.get(verb)
2122
1970
        request_handlers.remove(verb)
2123
 
        self.addCleanup(request_handlers.register, verb, orig_method)
 
1971
        def restoreVerb():
 
1972
            request_handlers.register(verb, orig_method)
 
1973
        self.addCleanup(restoreVerb)
2124
1974
 
2125
1975
 
2126
1976
class CapturedCall(object):
2217
2067
        if self.__readonly_server is None:
2218
2068
            if self.transport_readonly_server is None:
2219
2069
                # readonly decorator requested
2220
 
                self.__readonly_server = test_server.ReadonlyServer()
 
2070
                # bring up the server
 
2071
                self.__readonly_server = ReadonlyServer()
 
2072
                self.__readonly_server.setUp(self.get_vfs_only_server())
2221
2073
            else:
2222
 
                # explicit readonly transport.
2223
2074
                self.__readonly_server = self.create_transport_readonly_server()
2224
 
            self.start_server(self.__readonly_server,
2225
 
                self.get_vfs_only_server())
 
2075
                self.__readonly_server.setUp(self.get_vfs_only_server())
 
2076
            self.addCleanup(self.__readonly_server.tearDown)
2226
2077
        return self.__readonly_server
2227
2078
 
2228
2079
    def get_readonly_url(self, relpath=None):
2246
2097
        is no means to override it.
2247
2098
        """
2248
2099
        if self.__vfs_server is None:
2249
 
            self.__vfs_server = memory.MemoryServer()
2250
 
            self.start_server(self.__vfs_server)
 
2100
            self.__vfs_server = MemoryServer()
 
2101
            self.__vfs_server.setUp()
 
2102
            self.addCleanup(self.__vfs_server.tearDown)
2251
2103
        return self.__vfs_server
2252
2104
 
2253
2105
    def get_server(self):
2260
2112
        then the self.get_vfs_server is returned.
2261
2113
        """
2262
2114
        if self.__server is None:
2263
 
            if (self.transport_server is None or self.transport_server is
2264
 
                self.vfs_transport_factory):
2265
 
                self.__server = self.get_vfs_only_server()
 
2115
            if self.transport_server is None or self.transport_server is self.vfs_transport_factory:
 
2116
                return self.get_vfs_only_server()
2266
2117
            else:
2267
2118
                # bring up a decorated means of access to the vfs only server.
2268
2119
                self.__server = self.transport_server()
2269
 
                self.start_server(self.__server, self.get_vfs_only_server())
 
2120
                try:
 
2121
                    self.__server.setUp(self.get_vfs_only_server())
 
2122
                except TypeError, e:
 
2123
                    # This should never happen; the try:Except here is to assist
 
2124
                    # developers having to update code rather than seeing an
 
2125
                    # uninformative TypeError.
 
2126
                    raise Exception, "Old server API in use: %s, %s" % (self.__server, e)
 
2127
            self.addCleanup(self.__server.tearDown)
2270
2128
        return self.__server
2271
2129
 
2272
2130
    def _adjust_url(self, base, relpath):
2334
2192
        propagating. This method ensures than a test did not leaked.
2335
2193
        """
2336
2194
        root = TestCaseWithMemoryTransport.TEST_ROOT
2337
 
        self.permit_url(get_transport(root).base)
2338
2195
        wt = workingtree.WorkingTree.open(root)
2339
2196
        last_rev = wt.last_revision()
2340
2197
        if last_rev != 'null:':
2342
2199
            # recreate a new one or all the followng tests will fail.
2343
2200
            # If you need to inspect its content uncomment the following line
2344
2201
            # import pdb; pdb.set_trace()
2345
 
            _rmtree_temp_dir(root + '/.bzr', test_id=self.id())
 
2202
            _rmtree_temp_dir(root + '/.bzr')
2346
2203
            self._create_safety_net()
2347
2204
            raise AssertionError('%s/.bzr should not be modified' % root)
2348
2205
 
2349
2206
    def _make_test_root(self):
2350
2207
        if TestCaseWithMemoryTransport.TEST_ROOT is None:
2351
 
            # Watch out for tricky test dir (on OSX /tmp -> /private/tmp)
2352
 
            root = osutils.realpath(osutils.mkdtemp(prefix='testbzr-',
2353
 
                                                    suffix='.tmp'))
 
2208
            root = osutils.mkdtemp(prefix='testbzr-', suffix='.tmp')
2354
2209
            TestCaseWithMemoryTransport.TEST_ROOT = root
2355
2210
 
2356
2211
            self._create_safety_net()
2359
2214
            # specifically told when all tests are finished.  This will do.
2360
2215
            atexit.register(_rmtree_temp_dir, root)
2361
2216
 
2362
 
        self.permit_dir(TestCaseWithMemoryTransport.TEST_ROOT)
2363
2217
        self.addCleanup(self._check_safety_net)
2364
2218
 
2365
2219
    def makeAndChdirToTestDir(self):
2373
2227
        os.chdir(TestCaseWithMemoryTransport.TEST_ROOT)
2374
2228
        self.test_dir = TestCaseWithMemoryTransport.TEST_ROOT
2375
2229
        self.test_home_dir = self.test_dir + "/MemoryTransportMissingHomeDir"
2376
 
        self.permit_dir(self.test_dir)
2377
2230
 
2378
2231
    def make_branch(self, relpath, format=None):
2379
2232
        """Create a branch on the transport at relpath."""
2409
2262
        return made_control.create_repository(shared=shared)
2410
2263
 
2411
2264
    def make_smart_server(self, path):
2412
 
        smart_server = test_server.SmartTCPServer_for_testing()
2413
 
        self.start_server(smart_server, self.get_server())
 
2265
        smart_server = server.SmartTCPServer_for_testing()
 
2266
        smart_server.setUp(self.get_server())
2414
2267
        remote_transport = get_transport(smart_server.get_url()).clone(path)
 
2268
        self.addCleanup(smart_server.tearDown)
2415
2269
        return remote_transport
2416
2270
 
2417
2271
    def make_branch_and_memory_tree(self, relpath, format=None):
2424
2278
        return branchbuilder.BranchBuilder(branch=branch)
2425
2279
 
2426
2280
    def overrideEnvironmentForTesting(self):
2427
 
        test_home_dir = self.test_home_dir
2428
 
        if isinstance(test_home_dir, unicode):
2429
 
            test_home_dir = test_home_dir.encode(sys.getfilesystemencoding())
2430
 
        os.environ['HOME'] = test_home_dir
2431
 
        os.environ['BZR_HOME'] = test_home_dir
 
2281
        os.environ['HOME'] = self.test_home_dir
 
2282
        os.environ['BZR_HOME'] = self.test_home_dir
2432
2283
 
2433
2284
    def setUp(self):
2434
2285
        super(TestCaseWithMemoryTransport, self).setUp()
2435
2286
        self._make_test_root()
2436
 
        self.addCleanup(os.chdir, os.getcwdu())
 
2287
        _currentdir = os.getcwdu()
 
2288
        def _leaveDirectory():
 
2289
            os.chdir(_currentdir)
 
2290
        self.addCleanup(_leaveDirectory)
2437
2291
        self.makeAndChdirToTestDir()
2438
2292
        self.overrideEnvironmentForTesting()
2439
2293
        self.__readonly_server = None
2442
2296
 
2443
2297
    def setup_smart_server_with_call_log(self):
2444
2298
        """Sets up a smart server as the transport server with a call log."""
2445
 
        self.transport_server = test_server.SmartTCPServer_for_testing
 
2299
        self.transport_server = server.SmartTCPServer_for_testing
2446
2300
        self.hpss_calls = []
2447
2301
        import traceback
2448
2302
        # Skip the current stack down to the caller of
2511
2365
            if os.path.exists(name):
2512
2366
                name = name_prefix + '_' + str(i)
2513
2367
            else:
2514
 
                # now create test and home directories within this dir
2515
 
                self.test_base_dir = name
2516
 
                self.addCleanup(self.deleteTestDir)
2517
 
                os.mkdir(self.test_base_dir)
 
2368
                os.mkdir(name)
2518
2369
                break
2519
 
        self.permit_dir(self.test_base_dir)
2520
 
        # 'sprouting' and 'init' of a branch both walk up the tree to find
2521
 
        # stacking policy to honour; create a bzr dir with an unshared
2522
 
        # repository (but not a branch - our code would be trying to escape
2523
 
        # then!) to stop them, and permit it to be read.
2524
 
        # control = bzrdir.BzrDir.create(self.test_base_dir)
2525
 
        # control.create_repository()
 
2370
        # now create test and home directories within this dir
 
2371
        self.test_base_dir = name
2526
2372
        self.test_home_dir = self.test_base_dir + '/home'
2527
2373
        os.mkdir(self.test_home_dir)
2528
2374
        self.test_dir = self.test_base_dir + '/work'
2534
2380
            f.write(self.id())
2535
2381
        finally:
2536
2382
            f.close()
 
2383
        self.addCleanup(self.deleteTestDir)
2537
2384
 
2538
2385
    def deleteTestDir(self):
2539
2386
        os.chdir(TestCaseWithMemoryTransport.TEST_ROOT)
2540
 
        _rmtree_temp_dir(self.test_base_dir, test_id=self.id())
 
2387
        _rmtree_temp_dir(self.test_base_dir)
2541
2388
 
2542
2389
    def build_tree(self, shape, line_endings='binary', transport=None):
2543
2390
        """Build a test tree according to a pattern.
2625
2472
        """
2626
2473
        if self.__vfs_server is None:
2627
2474
            self.__vfs_server = self.vfs_transport_factory()
2628
 
            self.start_server(self.__vfs_server)
 
2475
            self.__vfs_server.setUp()
 
2476
            self.addCleanup(self.__vfs_server.tearDown)
2629
2477
        return self.__vfs_server
2630
2478
 
2631
2479
    def make_branch_and_tree(self, relpath, format=None):
2661
2509
            # We can only make working trees locally at the moment.  If the
2662
2510
            # transport can't support them, then we keep the non-disk-backed
2663
2511
            # branch and create a local checkout.
2664
 
            if self.vfs_transport_factory is test_server.LocalURLServer:
 
2512
            if self.vfs_transport_factory is LocalURLServer:
2665
2513
                # the branch is colocated on disk, we cannot create a checkout.
2666
2514
                # hopefully callers will expect this.
2667
2515
                local_controldir= bzrdir.BzrDir.open(self.get_vfs_only_url(relpath))
2704
2552
        super(TestCaseWithTransport, self).setUp()
2705
2553
        self.__vfs_server = None
2706
2554
 
2707
 
    def disable_missing_extensions_warning(self):
2708
 
        """Some tests expect a precise stderr content.
2709
 
 
2710
 
        There is no point in forcing them to duplicate the extension related
2711
 
        warning.
2712
 
        """
2713
 
        config.GlobalConfig().set_user_option('ignore_missing_extensions', True)
2714
 
 
2715
2555
 
2716
2556
class ChrootedTestCase(TestCaseWithTransport):
2717
2557
    """A support class that provides readonly urls outside the local namespace.
2727
2567
 
2728
2568
    def setUp(self):
2729
2569
        super(ChrootedTestCase, self).setUp()
2730
 
        if not self.vfs_transport_factory == memory.MemoryServer:
 
2570
        if not self.vfs_transport_factory == MemoryServer:
2731
2571
            self.transport_readonly_server = HttpServer
2732
2572
 
2733
2573
 
3147
2987
        if self.randomised:
3148
2988
            return iter(self._tests)
3149
2989
        self.randomised = True
3150
 
        self.stream.write("Randomizing test order using seed %s\n\n" %
 
2990
        self.stream.writeln("Randomizing test order using seed %s\n" %
3151
2991
            (self.actual_seed()))
3152
2992
        # Initialise the random number generator.
3153
2993
        random.seed(self.actual_seed())
3201
3041
    return result
3202
3042
 
3203
3043
 
3204
 
def workaround_zealous_crypto_random():
3205
 
    """Crypto.Random want to help us being secure, but we don't care here.
3206
 
 
3207
 
    This workaround some test failure related to the sftp server. Once paramiko
3208
 
    stop using the controversial API in Crypto.Random, we may get rid of it.
3209
 
    """
3210
 
    try:
3211
 
        from Crypto.Random import atfork
3212
 
        atfork()
3213
 
    except ImportError:
3214
 
        pass
3215
 
 
3216
 
 
3217
3044
def fork_for_tests(suite):
3218
3045
    """Take suite and start up one runner per CPU by forking()
3219
3046
 
3223
3050
    concurrency = osutils.local_concurrency()
3224
3051
    result = []
3225
3052
    from subunit import TestProtocolClient, ProtocolTestCase
3226
 
    from subunit.test_results import AutoTimingTestResultDecorator
 
3053
    try:
 
3054
        from subunit.test_results import AutoTimingTestResultDecorator
 
3055
    except ImportError:
 
3056
        AutoTimingTestResultDecorator = lambda x:x
3227
3057
    class TestInOtherProcess(ProtocolTestCase):
3228
3058
        # Should be in subunit, I think. RBC.
3229
3059
        def __init__(self, stream, pid):
3234
3064
            try:
3235
3065
                ProtocolTestCase.run(self, result)
3236
3066
            finally:
3237
 
                os.waitpid(self.pid, 0)
 
3067
                os.waitpid(self.pid, os.WNOHANG)
3238
3068
 
3239
3069
    test_blocks = partition_tests(suite, concurrency)
3240
3070
    for process_tests in test_blocks:
3243
3073
        c2pread, c2pwrite = os.pipe()
3244
3074
        pid = os.fork()
3245
3075
        if pid == 0:
3246
 
            workaround_zealous_crypto_random()
3247
3076
            try:
3248
3077
                os.close(c2pread)
3249
3078
                # Leave stderr and stdout open so we can see test noise
3296
3125
        if not os.path.isfile(bzr_path):
3297
3126
            # We are probably installed. Assume sys.argv is the right file
3298
3127
            bzr_path = sys.argv[0]
3299
 
        bzr_path = [bzr_path]
3300
 
        if sys.platform == "win32":
3301
 
            # if we're on windows, we can't execute the bzr script directly
3302
 
            bzr_path = [sys.executable] + bzr_path
3303
3128
        fd, test_list_file_name = tempfile.mkstemp()
3304
3129
        test_list_file = os.fdopen(fd, 'wb', 1)
3305
3130
        for test in process_tests:
3306
3131
            test_list_file.write(test.id() + '\n')
3307
3132
        test_list_file.close()
3308
3133
        try:
3309
 
            argv = bzr_path + ['selftest', '--load-list', test_list_file_name,
 
3134
            argv = [bzr_path, 'selftest', '--load-list', test_list_file_name,
3310
3135
                '--subunit']
3311
3136
            if '--no-plugins' in sys.argv:
3312
3137
                argv.append('--no-plugins')
3351
3176
 
3352
3177
    def addFailure(self, test, err):
3353
3178
        self.result.addFailure(test, err)
3354
 
ForwardingResult = testtools.ExtendedToOriginalDecorator
 
3179
 
 
3180
 
 
3181
class BZRTransformingResult(ForwardingResult):
 
3182
 
 
3183
    def addError(self, test, err):
 
3184
        feature = self._error_looks_like('UnavailableFeature: ', err)
 
3185
        if feature is not None:
 
3186
            self.result.addNotSupported(test, feature)
 
3187
        else:
 
3188
            self.result.addError(test, err)
 
3189
 
 
3190
    def addFailure(self, test, err):
 
3191
        known = self._error_looks_like('KnownFailure: ', err)
 
3192
        if known is not None:
 
3193
            self.result._addKnownFailure(test, [KnownFailure,
 
3194
                                                KnownFailure(known), None])
 
3195
        else:
 
3196
            self.result.addFailure(test, err)
 
3197
 
 
3198
    def _error_looks_like(self, prefix, err):
 
3199
        """Deserialize exception and returns the stringify value."""
 
3200
        import subunit
 
3201
        value = None
 
3202
        typ, exc, _ = err
 
3203
        if isinstance(exc, subunit.RemoteException):
 
3204
            # stringify the exception gives access to the remote traceback
 
3205
            # We search the last line for 'prefix'
 
3206
            lines = str(exc).split('\n')
 
3207
            while lines and not lines[-1]:
 
3208
                lines.pop(-1)
 
3209
            if lines:
 
3210
                if lines[-1].startswith(prefix):
 
3211
                    value = lines[-1][len(prefix):]
 
3212
        return value
3355
3213
 
3356
3214
 
3357
3215
class ProfileResult(ForwardingResult):
3618
3476
# appear prefixed ('bzrlib.' is "replaced" by 'bzrlib.').
3619
3477
test_prefix_alias_registry.register('bzrlib', 'bzrlib')
3620
3478
 
3621
 
# Obvious highest levels prefixes, feel free to add your own via a plugin
 
3479
# Obvious higest levels prefixes, feel free to add your own via a plugin
3622
3480
test_prefix_alias_registry.register('bd', 'bzrlib.doc')
3623
3481
test_prefix_alias_registry.register('bu', 'bzrlib.utils')
3624
3482
test_prefix_alias_registry.register('bt', 'bzrlib.tests')
3634
3492
        'bzrlib.tests.commands',
3635
3493
        'bzrlib.tests.per_branch',
3636
3494
        'bzrlib.tests.per_bzrdir',
3637
 
        'bzrlib.tests.per_bzrdir_colo',
3638
 
        'bzrlib.tests.per_foreign_vcs',
3639
3495
        'bzrlib.tests.per_interrepository',
3640
3496
        'bzrlib.tests.per_intertree',
3641
3497
        'bzrlib.tests.per_inventory',
3642
3498
        'bzrlib.tests.per_interbranch',
3643
3499
        'bzrlib.tests.per_lock',
3644
 
        'bzrlib.tests.per_merger',
3645
3500
        'bzrlib.tests.per_transport',
3646
3501
        'bzrlib.tests.per_tree',
3647
3502
        'bzrlib.tests.per_pack_repository',
3648
3503
        'bzrlib.tests.per_repository',
3649
3504
        'bzrlib.tests.per_repository_chk',
3650
3505
        'bzrlib.tests.per_repository_reference',
3651
 
        'bzrlib.tests.per_uifactory',
3652
3506
        'bzrlib.tests.per_versionedfile',
3653
3507
        'bzrlib.tests.per_workingtree',
3654
3508
        'bzrlib.tests.test__annotator',
3655
 
        'bzrlib.tests.test__bencode',
3656
3509
        'bzrlib.tests.test__chk_map',
3657
3510
        'bzrlib.tests.test__dirstate_helpers',
3658
3511
        'bzrlib.tests.test__groupcompress',
3659
3512
        'bzrlib.tests.test__known_graph',
3660
3513
        'bzrlib.tests.test__rio',
3661
 
        'bzrlib.tests.test__simple_set',
3662
 
        'bzrlib.tests.test__static_tuple',
3663
3514
        'bzrlib.tests.test__walkdirs_win32',
3664
3515
        'bzrlib.tests.test_ancestry',
3665
3516
        'bzrlib.tests.test_annotate',
3666
3517
        'bzrlib.tests.test_api',
3667
3518
        'bzrlib.tests.test_atomicfile',
3668
3519
        'bzrlib.tests.test_bad_files',
 
3520
        'bzrlib.tests.test_bencode',
3669
3521
        'bzrlib.tests.test_bisect_multi',
3670
3522
        'bzrlib.tests.test_branch',
3671
3523
        'bzrlib.tests.test_branchbuilder',
3679
3531
        'bzrlib.tests.test_chk_serializer',
3680
3532
        'bzrlib.tests.test_chunk_writer',
3681
3533
        'bzrlib.tests.test_clean_tree',
3682
 
        'bzrlib.tests.test_cleanup',
3683
 
        'bzrlib.tests.test_cmdline',
3684
3534
        'bzrlib.tests.test_commands',
3685
3535
        'bzrlib.tests.test_commit',
3686
3536
        'bzrlib.tests.test_commit_merge',
3720
3570
        'bzrlib.tests.test_identitymap',
3721
3571
        'bzrlib.tests.test_ignores',
3722
3572
        'bzrlib.tests.test_index',
3723
 
        'bzrlib.tests.test_import_tariff',
3724
3573
        'bzrlib.tests.test_info',
3725
3574
        'bzrlib.tests.test_inv',
3726
3575
        'bzrlib.tests.test_inventory_delta',
3767
3616
        'bzrlib.tests.test_rio',
3768
3617
        'bzrlib.tests.test_rules',
3769
3618
        'bzrlib.tests.test_sampler',
3770
 
        'bzrlib.tests.test_script',
3771
3619
        'bzrlib.tests.test_selftest',
3772
3620
        'bzrlib.tests.test_serializer',
3773
3621
        'bzrlib.tests.test_setup',
3819
3667
 
3820
3668
 
3821
3669
def _test_suite_modules_to_doctest():
3822
 
    """Return the list of modules to doctest."""
3823
 
    if __doc__ is None:
3824
 
        # GZ 2009-03-31: No docstrings with -OO so there's nothing to doctest
3825
 
        return []
 
3670
    """Return the list of modules to doctest."""   
3826
3671
    return [
3827
3672
        'bzrlib',
3828
3673
        'bzrlib.branchbuilder',
3829
 
        'bzrlib.decorators',
3830
3674
        'bzrlib.export',
3831
3675
        'bzrlib.inventory',
3832
3676
        'bzrlib.iterablefile',
4039
3883
    return new_test
4040
3884
 
4041
3885
 
4042
 
def permute_tests_for_extension(standard_tests, loader, py_module_name,
4043
 
                                ext_module_name):
4044
 
    """Helper for permutating tests against an extension module.
4045
 
 
4046
 
    This is meant to be used inside a modules 'load_tests()' function. It will
4047
 
    create 2 scenarios, and cause all tests in the 'standard_tests' to be run
4048
 
    against both implementations. Setting 'test.module' to the appropriate
4049
 
    module. See bzrlib.tests.test__chk_map.load_tests as an example.
4050
 
 
4051
 
    :param standard_tests: A test suite to permute
4052
 
    :param loader: A TestLoader
4053
 
    :param py_module_name: The python path to a python module that can always
4054
 
        be loaded, and will be considered the 'python' implementation. (eg
4055
 
        'bzrlib._chk_map_py')
4056
 
    :param ext_module_name: The python path to an extension module. If the
4057
 
        module cannot be loaded, a single test will be added, which notes that
4058
 
        the module is not available. If it can be loaded, all standard_tests
4059
 
        will be run against that module.
4060
 
    :return: (suite, feature) suite is a test-suite that has all the permuted
4061
 
        tests. feature is the Feature object that can be used to determine if
4062
 
        the module is available.
4063
 
    """
4064
 
 
4065
 
    py_module = __import__(py_module_name, {}, {}, ['NO_SUCH_ATTRIB'])
4066
 
    scenarios = [
4067
 
        ('python', {'module': py_module}),
4068
 
    ]
4069
 
    suite = loader.suiteClass()
4070
 
    feature = ModuleAvailableFeature(ext_module_name)
4071
 
    if feature.available():
4072
 
        scenarios.append(('C', {'module': feature.module}))
4073
 
    else:
4074
 
        # the compiled module isn't available, so we add a failing test
4075
 
        class FailWithoutFeature(TestCase):
4076
 
            def test_fail(self):
4077
 
                self.requireFeature(feature)
4078
 
        suite.addTest(loader.loadTestsFromTestCase(FailWithoutFeature))
4079
 
    result = multiply_tests(standard_tests, scenarios, suite)
4080
 
    return result, feature
4081
 
 
4082
 
 
4083
 
def _rmtree_temp_dir(dirname, test_id=None):
 
3886
def _rmtree_temp_dir(dirname):
4084
3887
    # If LANG=C we probably have created some bogus paths
4085
3888
    # which rmtree(unicode) will fail to delete
4086
3889
    # so make sure we are using rmtree(str) to delete everything
4098
3901
        # We don't want to fail here because some useful display will be lost
4099
3902
        # otherwise. Polluting the tmp dir is bad, but not giving all the
4100
3903
        # possible info to the test runner is even worse.
4101
 
        if test_id != None:
4102
 
            ui.ui_factory.clear_term()
4103
 
            sys.stderr.write('\nWhile running: %s\n' % (test_id,))
4104
3904
        sys.stderr.write('Unable to remove testing dir %s\n%s'
4105
3905
                         % (os.path.basename(dirname), e))
4106
3906
 
4190
3990
UnicodeFilenameFeature = _UnicodeFilenameFeature()
4191
3991
 
4192
3992
 
4193
 
class _CompatabilityThunkFeature(Feature):
4194
 
    """This feature is just a thunk to another feature.
4195
 
 
4196
 
    It issues a deprecation warning if it is accessed, to let you know that you
4197
 
    should really use a different feature.
4198
 
    """
4199
 
 
4200
 
    def __init__(self, dep_version, module, name,
4201
 
                 replacement_name, replacement_module=None):
4202
 
        super(_CompatabilityThunkFeature, self).__init__()
4203
 
        self._module = module
4204
 
        if replacement_module is None:
4205
 
            replacement_module = module
4206
 
        self._replacement_module = replacement_module
4207
 
        self._name = name
4208
 
        self._replacement_name = replacement_name
4209
 
        self._dep_version = dep_version
4210
 
        self._feature = None
4211
 
 
4212
 
    def _ensure(self):
4213
 
        if self._feature is None:
4214
 
            depr_msg = self._dep_version % ('%s.%s'
4215
 
                                            % (self._module, self._name))
4216
 
            use_msg = ' Use %s.%s instead.' % (self._replacement_module,
4217
 
                                               self._replacement_name)
4218
 
            symbol_versioning.warn(depr_msg + use_msg, DeprecationWarning)
4219
 
            # Import the new feature and use it as a replacement for the
4220
 
            # deprecated one.
4221
 
            mod = __import__(self._replacement_module, {}, {},
4222
 
                             [self._replacement_name])
4223
 
            self._feature = getattr(mod, self._replacement_name)
4224
 
 
4225
 
    def _probe(self):
4226
 
        self._ensure()
4227
 
        return self._feature._probe()
4228
 
 
4229
 
 
4230
 
class ModuleAvailableFeature(Feature):
4231
 
    """This is a feature than describes a module we want to be available.
4232
 
 
4233
 
    Declare the name of the module in __init__(), and then after probing, the
4234
 
    module will be available as 'self.module'.
4235
 
 
4236
 
    :ivar module: The module if it is available, else None.
4237
 
    """
4238
 
 
4239
 
    def __init__(self, module_name):
4240
 
        super(ModuleAvailableFeature, self).__init__()
4241
 
        self.module_name = module_name
4242
 
 
4243
 
    def _probe(self):
4244
 
        try:
4245
 
            self._module = __import__(self.module_name, {}, {}, [''])
4246
 
            return True
4247
 
        except ImportError:
4248
 
            return False
4249
 
 
4250
 
    @property
4251
 
    def module(self):
4252
 
        if self.available(): # Make sure the probe has been done
4253
 
            return self._module
4254
 
        return None
4255
 
 
4256
 
    def feature_name(self):
4257
 
        return self.module_name
4258
 
 
4259
 
 
4260
 
# This is kept here for compatibility, it is recommended to use
4261
 
# 'bzrlib.tests.feature.paramiko' instead
4262
 
ParamikoFeature = _CompatabilityThunkFeature(
4263
 
    deprecated_in((2,1,0)),
4264
 
    'bzrlib.tests.features', 'ParamikoFeature', 'paramiko')
4265
 
 
4266
 
 
4267
3993
def probe_unicode_in_user_encoding():
4268
3994
    """Try to encode several unicode strings to use in unicode-aware tests.
4269
3995
    Return first successfull match.
4349
4075
UTF8Filesystem = _UTF8Filesystem()
4350
4076
 
4351
4077
 
4352
 
class _BreakinFeature(Feature):
4353
 
    """Does this platform support the breakin feature?"""
4354
 
 
4355
 
    def _probe(self):
4356
 
        from bzrlib import breakin
4357
 
        if breakin.determine_signal() is None:
4358
 
            return False
4359
 
        if sys.platform == 'win32':
4360
 
            # Windows doesn't have os.kill, and we catch the SIGBREAK signal.
4361
 
            # We trigger SIGBREAK via a Console api so we need ctypes to
4362
 
            # access the function
4363
 
            try:
4364
 
                import ctypes
4365
 
            except OSError:
4366
 
                return False
4367
 
        return True
4368
 
 
4369
 
    def feature_name(self):
4370
 
        return "SIGQUIT or SIGBREAK w/ctypes on win32"
4371
 
 
4372
 
 
4373
 
BreakinFeature = _BreakinFeature()
4374
 
 
4375
 
 
4376
4078
class _CaseInsCasePresFilenameFeature(Feature):
4377
4079
    """Is the file-system case insensitive, but case-preserving?"""
4378
4080
 
4428
4130
CaseInsensitiveFilesystemFeature = _CaseInsensitiveFilesystemFeature()
4429
4131
 
4430
4132
 
4431
 
class _CaseSensitiveFilesystemFeature(Feature):
 
4133
class _SubUnitFeature(Feature):
 
4134
    """Check if subunit is available."""
4432
4135
 
4433
4136
    def _probe(self):
4434
 
        if CaseInsCasePresFilenameFeature.available():
4435
 
            return False
4436
 
        elif CaseInsensitiveFilesystemFeature.available():
4437
 
            return False
4438
 
        else:
 
4137
        try:
 
4138
            import subunit
4439
4139
            return True
 
4140
        except ImportError:
 
4141
            return False
4440
4142
 
4441
4143
    def feature_name(self):
4442
 
        return 'case-sensitive filesystem'
4443
 
 
4444
 
# new coding style is for feature instances to be lowercase
4445
 
case_sensitive_filesystem_feature = _CaseSensitiveFilesystemFeature()
4446
 
 
4447
 
 
4448
 
# Kept for compatibility, use bzrlib.tests.features.subunit instead
4449
 
SubUnitFeature = _CompatabilityThunkFeature(
4450
 
    deprecated_in((2,1,0)),
4451
 
    'bzrlib.tests.features', 'SubUnitFeature', 'subunit')
 
4144
        return 'subunit'
 
4145
 
 
4146
SubUnitFeature = _SubUnitFeature()
4452
4147
# Only define SubUnitBzrRunner if subunit is available.
4453
4148
try:
4454
4149
    from subunit import TestProtocolClient
4455
 
    from subunit.test_results import AutoTimingTestResultDecorator
 
4150
    try:
 
4151
        from subunit.test_results import AutoTimingTestResultDecorator
 
4152
    except ImportError:
 
4153
        AutoTimingTestResultDecorator = lambda x:x
4456
4154
    class SubUnitBzrRunner(TextTestRunner):
4457
4155
        def run(self, test):
4458
4156
            result = AutoTimingTestResultDecorator(
4461
4159
            return result
4462
4160
except ImportError:
4463
4161
    pass
4464
 
 
4465
 
class _PosixPermissionsFeature(Feature):
4466
 
 
4467
 
    def _probe(self):
4468
 
        def has_perms():
4469
 
            # create temporary file and check if specified perms are maintained.
4470
 
            import tempfile
4471
 
 
4472
 
            write_perms = stat.S_IRUSR | stat.S_IWUSR | stat.S_IXUSR
4473
 
            f = tempfile.mkstemp(prefix='bzr_perms_chk_')
4474
 
            fd, name = f
4475
 
            os.close(fd)
4476
 
            os.chmod(name, write_perms)
4477
 
 
4478
 
            read_perms = os.stat(name).st_mode & 0777
4479
 
            os.unlink(name)
4480
 
            return (write_perms == read_perms)
4481
 
 
4482
 
        return (os.name == 'posix') and has_perms()
4483
 
 
4484
 
    def feature_name(self):
4485
 
        return 'POSIX permissions support'
4486
 
 
4487
 
posix_permissions_feature = _PosixPermissionsFeature()