1
# Copyright (C) 2005 by Canonical Ltd
 
 
3
# This program is free software; you can redistribute it and/or modify
 
 
4
# it under the terms of the GNU General Public License as published by
 
 
5
# the Free Software Foundation; either version 2 of the License, or
 
 
6
# (at your option) any later version.
 
 
8
# This program is distributed in the hope that it will be useful,
 
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
 
11
# GNU General Public License for more details.
 
 
13
# You should have received a copy of the GNU General Public License
 
 
14
# along with this program; if not, write to the Free Software
 
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
 
18
"""Enhanced layer on unittest.
 
 
20
This does several things:
 
 
22
* nicer reporting as tests run
 
 
24
* test code can log messages into a buffer that is recorded to disk
 
 
25
  and displayed if the test fails
 
 
27
* tests can be run in a separate directory, which is useful for code that
 
 
30
* utilities to run external commands and check their return code
 
 
33
Test cases should normally subclass testsweet.TestCase.  The test runner should
 
 
36
This is meant to become independent of bzr, though that's not quite
 
 
42
from bzrlib.selftest import TestUtil
 
 
44
# XXX: Don't need this anymore now we depend on python2.4
 
 
45
def _need_subprocess():
 
 
46
    sys.stderr.write("sorry, this test suite requires the subprocess module\n"
 
 
47
                     "this is shipped with python2.4 and available separately for 2.3\n")
 
 
50
class CommandFailed(Exception):
 
 
54
class TestSkipped(Exception):
 
 
55
    """Indicates that a test was intentionally skipped, rather than failing."""
 
 
58
class EarlyStoppingTestResultAdapter(object):
 
 
59
    """An adapter for TestResult to stop at the first first failure or error"""
 
 
61
    def __init__(self, result):
 
 
64
    def addError(self, test, err):
 
 
65
        self._result.addError(test, err)
 
 
68
    def addFailure(self, test, err):
 
 
69
        self._result.addFailure(test, err)
 
 
72
    def __getattr__(self, name):
 
 
73
        return getattr(self._result, name)
 
 
75
    def __setattr__(self, name, value):
 
 
77
            object.__setattr__(self, name, value)
 
 
78
        return setattr(self._result, name, value)
 
 
81
class _MyResult(unittest._TextTestResult):
 
 
85
    No special behaviour for now.
 
 
88
    def startTest(self, test):
 
 
89
        unittest.TestResult.startTest(self, test)
 
 
90
        # TODO: Maybe show test.shortDescription somewhere?
 
 
91
        what = test.shortDescription() or test.id()        
 
 
93
            self.stream.write('%-70.70s' % what)
 
 
96
    def addError(self, test, err):
 
 
97
        super(_MyResult, self).addError(test, err)
 
 
100
    def addFailure(self, test, err):
 
 
101
        super(_MyResult, self).addFailure(test, err)
 
 
104
    def addSuccess(self, test):
 
 
106
            self.stream.writeln('OK')
 
 
108
            self.stream.write('~')
 
 
110
        unittest.TestResult.addSuccess(self, test)
 
 
112
    def printErrorList(self, flavour, errors):
 
 
113
        for test, err in errors:
 
 
114
            self.stream.writeln(self.separator1)
 
 
115
            self.stream.writeln("%s: %s" % (flavour,self.getDescription(test)))
 
 
116
            if hasattr(test, '_get_log'):
 
 
117
                self.stream.writeln()
 
 
118
                self.stream.writeln('log from this test:')
 
 
119
                print >>self.stream, test._get_log()
 
 
120
            self.stream.writeln(self.separator2)
 
 
121
            self.stream.writeln("%s" % err)
 
 
124
class TextTestRunner(unittest.TextTestRunner):
 
 
126
    def _makeResult(self):
 
 
127
        result = _MyResult(self.stream, self.descriptions, self.verbosity)
 
 
128
        return EarlyStoppingTestResultAdapter(result)
 
 
131
class filteringVisitor(TestUtil.TestVisitor):
 
 
132
    """I accruse all the testCases I visit that pass a regexp filter on id
 
 
136
    def __init__(self, filter):
 
 
138
        TestUtil.TestVisitor.__init__(self)
 
 
140
        self.filter=re.compile(filter)
 
 
143
        """answer the suite we are building"""
 
 
144
        if self._suite is None:
 
 
145
            self._suite=TestUtil.TestSuite()
 
 
148
    def visitCase(self, aCase):
 
 
149
        if self.filter.match(aCase.id()):
 
 
150
            self.suite().addTest(aCase)
 
 
153
def run_suite(suite, name='test', verbose=False, pattern=".*"):
 
 
155
    from bzrlib.selftest import TestCaseInTempDir
 
 
156
    TestCaseInTempDir._TEST_NAME = name
 
 
161
    runner = TextTestRunner(stream=sys.stdout,
 
 
164
    if not pattern or pattern == ".*":
 
 
165
        result = runner.run(suite)
 
 
167
        visitor = filteringVisitor(pattern)
 
 
169
        result = runner.run(visitor.suite())
 
 
170
    # This is still a little bogus, 
 
 
171
    # but only a little. Folk not using our testrunner will
 
 
172
    # have to delete their temp directories themselves.
 
 
173
    if result.wasSuccessful():
 
 
174
        if TestCaseInTempDir.TEST_ROOT is not None:
 
 
175
            shutil.rmtree(TestCaseInTempDir.TEST_ROOT) 
 
 
177
        print "Failed tests working directories are in '%s'\n" % TestCaseInTempDir.TEST_ROOT
 
 
178
    return result.wasSuccessful()