/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/tests/__init__.py

  • Committer: Jelmer Vernooij
  • Date: 2011-09-30 12:58:20 UTC
  • mto: This revision was merged to the branch mainline in revision 6183.
  • Revision ID: jelmer@samba.org-20110930125820-k2x13osm1sgj1rn0
If the branch doesn't support last_revision_info, don't display
the relevant information in 'bzr info -v' rather than raising a traceback.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005-2010 Canonical Ltd
 
1
# Copyright (C) 2005-2011 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
16
16
 
17
17
"""Testing framework extensions"""
18
18
 
19
 
# TODO: Perhaps there should be an API to find out if bzr running under the
20
 
# test suite -- some plugins might want to avoid making intrusive changes if
21
 
# this is the case.  However, we want behaviour under to test to diverge as
22
 
# little as possible, so this should be used rarely if it's added at all.
23
 
# (Suggestion from j-a-meinel, 2005-11-24)
24
 
 
25
19
# NOTE: Some classes in here use camelCaseNaming() rather than
26
20
# underscore_naming().  That's for consistency with unittest; it's not the
27
21
# general style of bzrlib.  Please continue that consistency when adding e.g.
29
23
 
30
24
import atexit
31
25
import codecs
32
 
from copy import copy
 
26
import copy
33
27
from cStringIO import StringIO
34
28
import difflib
35
29
import doctest
36
30
import errno
 
31
import itertools
37
32
import logging
38
 
import math
39
33
import os
40
 
from pprint import pformat
 
34
import platform
 
35
import pprint
41
36
import random
42
37
import re
43
38
import shlex
44
39
import stat
45
 
from subprocess import Popen, PIPE, STDOUT
 
40
import subprocess
46
41
import sys
47
42
import tempfile
48
43
import threading
54
49
import testtools
55
50
# nb: check this before importing anything else from within it
56
51
_testtools_version = getattr(testtools, '__version__', ())
57
 
if _testtools_version < (0, 9, 2):
58
 
    raise ImportError("need at least testtools 0.9.2: %s is %r"
 
52
if _testtools_version < (0, 9, 5):
 
53
    raise ImportError("need at least testtools 0.9.5: %s is %r"
59
54
        % (testtools.__file__, _testtools_version))
60
55
from testtools import content
61
56
 
 
57
import bzrlib
62
58
from bzrlib import (
63
59
    branchbuilder,
64
60
    bzrdir,
65
61
    chk_map,
 
62
    commands as _mod_commands,
66
63
    config,
 
64
    i18n,
67
65
    debug,
68
66
    errors,
69
67
    hooks,
70
68
    lock as _mod_lock,
 
69
    lockdir,
71
70
    memorytree,
72
71
    osutils,
73
 
    progress,
 
72
    plugin as _mod_plugin,
 
73
    pyutils,
74
74
    ui,
75
75
    urlutils,
76
76
    registry,
 
77
    symbol_versioning,
 
78
    trace,
 
79
    transport as _mod_transport,
77
80
    workingtree,
78
81
    )
79
 
import bzrlib.branch
80
 
import bzrlib.commands
81
 
import bzrlib.timestamp
82
 
import bzrlib.export
83
 
import bzrlib.inventory
84
 
import bzrlib.iterablefile
85
 
import bzrlib.lockdir
86
82
try:
87
83
    import bzrlib.lsprof
88
84
except ImportError:
89
85
    # lsprof not available
90
86
    pass
91
 
from bzrlib.merge import merge_inner
92
 
import bzrlib.merge3
93
 
import bzrlib.plugin
94
 
from bzrlib.smart import client, request, server
95
 
import bzrlib.store
96
 
from bzrlib import symbol_versioning
 
87
from bzrlib.smart import client, request
 
88
from bzrlib.transport import (
 
89
    memory,
 
90
    pathfilter,
 
91
    )
97
92
from bzrlib.symbol_versioning import (
98
 
    DEPRECATED_PARAMETER,
99
93
    deprecated_function,
100
94
    deprecated_in,
101
 
    deprecated_method,
102
 
    deprecated_passed,
103
 
    )
104
 
import bzrlib.trace
105
 
from bzrlib.transport import (
106
 
    get_transport,
107
 
    memory,
108
 
    pathfilter,
109
 
    )
110
 
import bzrlib.transport
111
 
from bzrlib.trace import mutter, note
 
95
    )
112
96
from bzrlib.tests import (
113
97
    test_server,
114
98
    TestUtil,
 
99
    treeshape,
115
100
    )
116
 
from bzrlib.tests.http_server import HttpServer
117
 
from bzrlib.tests.TestUtil import (
118
 
                          TestSuite,
119
 
                          TestLoader,
120
 
                          )
121
 
from bzrlib.tests.treeshape import build_tree_contents
122
101
from bzrlib.ui import NullProgressView
123
102
from bzrlib.ui.text import TextUIFactory
124
 
import bzrlib.version_info_formats.format_custom
125
 
from bzrlib.workingtree import WorkingTree, WorkingTreeFormat2
126
103
 
127
104
# Mark this python module as being part of the implementation
128
105
# of unittest: this gives us better tracebacks where the last
140
117
SUBUNIT_SEEK_SET = 0
141
118
SUBUNIT_SEEK_CUR = 1
142
119
 
143
 
 
144
 
class ExtendedTestResult(unittest._TextTestResult):
 
120
# These are intentionally brought into this namespace. That way plugins, etc
 
121
# can just "from bzrlib.tests import TestCase, TestLoader, etc"
 
122
TestSuite = TestUtil.TestSuite
 
123
TestLoader = TestUtil.TestLoader
 
124
 
 
125
# Tests should run in a clean and clearly defined environment. The goal is to
 
126
# keep them isolated from the running environment as mush as possible. The test
 
127
# framework ensures the variables defined below are set (or deleted if the
 
128
# value is None) before a test is run and reset to their original value after
 
129
# the test is run. Generally if some code depends on an environment variable,
 
130
# the tests should start without this variable in the environment. There are a
 
131
# few exceptions but you shouldn't violate this rule lightly.
 
132
isolated_environ = {
 
133
    'BZR_HOME': None,
 
134
    'HOME': None,
 
135
    # bzr now uses the Win32 API and doesn't rely on APPDATA, but the
 
136
    # tests do check our impls match APPDATA
 
137
    'BZR_EDITOR': None, # test_msgeditor manipulates this variable
 
138
    'VISUAL': None,
 
139
    'EDITOR': None,
 
140
    'BZR_EMAIL': None,
 
141
    'BZREMAIL': None, # may still be present in the environment
 
142
    'EMAIL': 'jrandom@example.com', # set EMAIL as bzr does not guess
 
143
    'BZR_PROGRESS_BAR': None,
 
144
    # This should trap leaks to ~/.bzr.log. This occurs when tests use TestCase
 
145
    # as a base class instead of TestCaseInTempDir. Tests inheriting from
 
146
    # TestCase should not use disk resources, BZR_LOG is one.
 
147
    'BZR_LOG': '/you-should-use-TestCaseInTempDir-if-you-need-a-log-file',
 
148
    'BZR_PLUGIN_PATH': None,
 
149
    'BZR_DISABLE_PLUGINS': None,
 
150
    'BZR_PLUGINS_AT': None,
 
151
    'BZR_CONCURRENCY': None,
 
152
    # Make sure that any text ui tests are consistent regardless of
 
153
    # the environment the test case is run in; you may want tests that
 
154
    # test other combinations.  'dumb' is a reasonable guess for tests
 
155
    # going to a pipe or a StringIO.
 
156
    'TERM': 'dumb',
 
157
    'LINES': '25',
 
158
    'COLUMNS': '80',
 
159
    'BZR_COLUMNS': '80',
 
160
    # Disable SSH Agent
 
161
    'SSH_AUTH_SOCK': None,
 
162
    # Proxies
 
163
    'http_proxy': None,
 
164
    'HTTP_PROXY': None,
 
165
    'https_proxy': None,
 
166
    'HTTPS_PROXY': None,
 
167
    'no_proxy': None,
 
168
    'NO_PROXY': None,
 
169
    'all_proxy': None,
 
170
    'ALL_PROXY': None,
 
171
    # Nobody cares about ftp_proxy, FTP_PROXY AFAIK. So far at
 
172
    # least. If you do (care), please update this comment
 
173
    # -- vila 20080401
 
174
    'ftp_proxy': None,
 
175
    'FTP_PROXY': None,
 
176
    'BZR_REMOTE_PATH': None,
 
177
    # Generally speaking, we don't want apport reporting on crashes in
 
178
    # the test envirnoment unless we're specifically testing apport,
 
179
    # so that it doesn't leak into the real system environment.  We
 
180
    # use an env var so it propagates to subprocesses.
 
181
    'APPORT_DISABLE': '1',
 
182
    }
 
183
 
 
184
 
 
185
def override_os_environ(test, env=None):
 
186
    """Modify os.environ keeping a copy.
 
187
    
 
188
    :param test: A test instance
 
189
 
 
190
    :param env: A dict containing variable definitions to be installed
 
191
    """
 
192
    if env is None:
 
193
        env = isolated_environ
 
194
    test._original_os_environ = dict([(var, value)
 
195
                                      for var, value in os.environ.iteritems()])
 
196
    for var, value in env.iteritems():
 
197
        osutils.set_or_unset_env(var, value)
 
198
        if var not in test._original_os_environ:
 
199
            # The var is new, add it with a value of None, so
 
200
            # restore_os_environ will delete it
 
201
            test._original_os_environ[var] = None
 
202
 
 
203
 
 
204
def restore_os_environ(test):
 
205
    """Restore os.environ to its original state.
 
206
 
 
207
    :param test: A test instance previously passed to override_os_environ.
 
208
    """
 
209
    for var, value in test._original_os_environ.iteritems():
 
210
        # Restore the original value (or delete it if the value has been set to
 
211
        # None in override_os_environ).
 
212
        osutils.set_or_unset_env(var, value)
 
213
 
 
214
 
 
215
class ExtendedTestResult(testtools.TextTestResult):
145
216
    """Accepts, reports and accumulates the results of running tests.
146
217
 
147
218
    Compared to the unittest version this class adds support for
168
239
        :param bench_history: Optionally, a writable file object to accumulate
169
240
            benchmark results.
170
241
        """
171
 
        unittest._TextTestResult.__init__(self, stream, descriptions, verbosity)
 
242
        testtools.TextTestResult.__init__(self, stream)
172
243
        if bench_history is not None:
173
244
            from bzrlib.version import _get_bzr_source_tree
174
245
            src_tree = _get_bzr_source_tree()
195
266
        self.count = 0
196
267
        self._overall_start_time = time.time()
197
268
        self._strict = strict
 
269
        self._first_thread_leaker_id = None
 
270
        self._tests_leaking_threads_count = 0
 
271
        self._traceback_from_test = None
198
272
 
199
273
    def stopTestRun(self):
200
274
        run = self.testsRun
201
275
        actionTaken = "Ran"
202
276
        stopTime = time.time()
203
277
        timeTaken = stopTime - self.startTime
204
 
        self.printErrors()
205
 
        self.stream.writeln(self.separator2)
206
 
        self.stream.writeln("%s %d test%s in %.3fs" % (actionTaken,
 
278
        # GZ 2010-07-19: Seems testtools has no printErrors method, and though
 
279
        #                the parent class method is similar have to duplicate
 
280
        self._show_list('ERROR', self.errors)
 
281
        self._show_list('FAIL', self.failures)
 
282
        self.stream.write(self.sep2)
 
283
        self.stream.write("%s %d test%s in %.3fs\n\n" % (actionTaken,
207
284
                            run, run != 1 and "s" or "", timeTaken))
208
 
        self.stream.writeln()
209
285
        if not self.wasSuccessful():
210
286
            self.stream.write("FAILED (")
211
287
            failed, errored = map(len, (self.failures, self.errors))
218
294
                if failed or errored: self.stream.write(", ")
219
295
                self.stream.write("known_failure_count=%d" %
220
296
                    self.known_failure_count)
221
 
            self.stream.writeln(")")
 
297
            self.stream.write(")\n")
222
298
        else:
223
299
            if self.known_failure_count:
224
 
                self.stream.writeln("OK (known_failures=%d)" %
 
300
                self.stream.write("OK (known_failures=%d)\n" %
225
301
                    self.known_failure_count)
226
302
            else:
227
 
                self.stream.writeln("OK")
 
303
                self.stream.write("OK\n")
228
304
        if self.skip_count > 0:
229
305
            skipped = self.skip_count
230
 
            self.stream.writeln('%d test%s skipped' %
 
306
            self.stream.write('%d test%s skipped\n' %
231
307
                                (skipped, skipped != 1 and "s" or ""))
232
308
        if self.unsupported:
233
309
            for feature, count in sorted(self.unsupported.items()):
234
 
                self.stream.writeln("Missing feature '%s' skipped %d tests." %
 
310
                self.stream.write("Missing feature '%s' skipped %d tests.\n" %
235
311
                    (feature, count))
236
312
        if self._strict:
237
313
            ok = self.wasStrictlySuccessful()
238
314
        else:
239
315
            ok = self.wasSuccessful()
240
 
        if TestCase._first_thread_leaker_id:
 
316
        if self._first_thread_leaker_id:
241
317
            self.stream.write(
242
318
                '%s is leaking threads among %d leaking tests.\n' % (
243
 
                TestCase._first_thread_leaker_id,
244
 
                TestCase._leaking_threads_tests))
 
319
                self._first_thread_leaker_id,
 
320
                self._tests_leaking_threads_count))
245
321
            # We don't report the main thread as an active one.
246
322
            self.stream.write(
247
323
                '%d non-main threads were left active in the end.\n'
248
 
                % (TestCase._active_threads - 1))
 
324
                % (len(self._active_threads) - 1))
249
325
 
250
326
    def getDescription(self, test):
251
327
        return test.id()
258
334
 
259
335
    def _elapsedTestTimeString(self):
260
336
        """Return a time string for the overall time the current test has taken."""
261
 
        return self._formatTime(time.time() - self._start_time)
 
337
        return self._formatTime(self._delta_to_float(
 
338
            self._now() - self._start_datetime))
262
339
 
263
340
    def _testTimeString(self, testCase):
264
341
        benchmark_time = self._extractBenchmarkTime(testCase)
275
352
 
276
353
    def _shortened_test_description(self, test):
277
354
        what = test.id()
278
 
        what = re.sub(r'^bzrlib\.(tests|benchmarks)\.', '', what)
 
355
        what = re.sub(r'^bzrlib\.tests\.', '', what)
279
356
        return what
280
357
 
 
358
    # GZ 2010-10-04: Cloned tests may end up harmlessly calling this method
 
359
    #                multiple times in a row, because the handler is added for
 
360
    #                each test but the container list is shared between cases.
 
361
    #                See lp:498869 lp:625574 and lp:637725 for background.
 
362
    def _record_traceback_from_test(self, exc_info):
 
363
        """Store the traceback from passed exc_info tuple till"""
 
364
        self._traceback_from_test = exc_info[2]
 
365
 
281
366
    def startTest(self, test):
282
 
        unittest.TestResult.startTest(self, test)
 
367
        super(ExtendedTestResult, self).startTest(test)
283
368
        if self.count == 0:
284
369
            self.startTests()
 
370
        self.count += 1
285
371
        self.report_test_start(test)
286
372
        test.number = self.count
287
373
        self._recordTestStartTime()
 
374
        # Make testtools cases give us the real traceback on failure
 
375
        addOnException = getattr(test, "addOnException", None)
 
376
        if addOnException is not None:
 
377
            addOnException(self._record_traceback_from_test)
 
378
        # Only check for thread leaks on bzrlib derived test cases
 
379
        if isinstance(test, TestCase):
 
380
            test.addCleanup(self._check_leaked_threads, test)
 
381
 
 
382
    def stopTest(self, test):
 
383
        super(ExtendedTestResult, self).stopTest(test)
 
384
        # Manually break cycles, means touching various private things but hey
 
385
        getDetails = getattr(test, "getDetails", None)
 
386
        if getDetails is not None:
 
387
            getDetails().clear()
 
388
        # Clear _type_equality_funcs to try to stop TestCase instances
 
389
        # from wasting memory. 'clear' is not available in all Python
 
390
        # versions (bug 809048)
 
391
        type_equality_funcs = getattr(test, "_type_equality_funcs", None)
 
392
        if type_equality_funcs is not None:
 
393
            tef_clear = getattr(type_equality_funcs, "clear", None)
 
394
            if tef_clear is None:
 
395
                tef_instance_dict = getattr(type_equality_funcs, "__dict__", None)
 
396
                if tef_instance_dict is not None:
 
397
                    tef_clear = tef_instance_dict.clear
 
398
            if tef_clear is not None:
 
399
                tef_clear()
 
400
        self._traceback_from_test = None
288
401
 
289
402
    def startTests(self):
290
 
        import platform
291
 
        if getattr(sys, 'frozen', None) is None:
292
 
            bzr_path = osutils.realpath(sys.argv[0])
293
 
        else:
294
 
            bzr_path = sys.executable
295
 
        self.stream.write(
296
 
            'bzr selftest: %s\n' % (bzr_path,))
297
 
        self.stream.write(
298
 
            '   %s\n' % (
299
 
                    bzrlib.__path__[0],))
300
 
        self.stream.write(
301
 
            '   bzr-%s python-%s %s\n' % (
302
 
                    bzrlib.version_string,
303
 
                    bzrlib._format_version_tuple(sys.version_info),
304
 
                    platform.platform(aliased=1),
305
 
                    ))
306
 
        self.stream.write('\n')
 
403
        self.report_tests_starting()
 
404
        self._active_threads = threading.enumerate()
 
405
 
 
406
    def _check_leaked_threads(self, test):
 
407
        """See if any threads have leaked since last call
 
408
 
 
409
        A sample of live threads is stored in the _active_threads attribute,
 
410
        when this method runs it compares the current live threads and any not
 
411
        in the previous sample are treated as having leaked.
 
412
        """
 
413
        now_active_threads = set(threading.enumerate())
 
414
        threads_leaked = now_active_threads.difference(self._active_threads)
 
415
        if threads_leaked:
 
416
            self._report_thread_leak(test, threads_leaked, now_active_threads)
 
417
            self._tests_leaking_threads_count += 1
 
418
            if self._first_thread_leaker_id is None:
 
419
                self._first_thread_leaker_id = test.id()
 
420
            self._active_threads = now_active_threads
307
421
 
308
422
    def _recordTestStartTime(self):
309
423
        """Record that a test has started."""
310
 
        self._start_time = time.time()
311
 
 
312
 
    def _cleanupLogFile(self, test):
313
 
        # We can only do this if we have one of our TestCases, not if
314
 
        # we have a doctest.
315
 
        setKeepLogfile = getattr(test, 'setKeepLogfile', None)
316
 
        if setKeepLogfile is not None:
317
 
            setKeepLogfile()
 
424
        self._start_datetime = self._now()
318
425
 
319
426
    def addError(self, test, err):
320
427
        """Tell result that test finished with an error.
322
429
        Called from the TestCase run() method when the test
323
430
        fails with an unexpected error.
324
431
        """
325
 
        self._post_mortem()
326
 
        unittest.TestResult.addError(self, test, err)
 
432
        self._post_mortem(self._traceback_from_test)
 
433
        super(ExtendedTestResult, self).addError(test, err)
327
434
        self.error_count += 1
328
435
        self.report_error(test, err)
329
436
        if self.stop_early:
330
437
            self.stop()
331
 
        self._cleanupLogFile(test)
332
438
 
333
439
    def addFailure(self, test, err):
334
440
        """Tell result that test failed.
336
442
        Called from the TestCase run() method when the test
337
443
        fails because e.g. an assert() method failed.
338
444
        """
339
 
        self._post_mortem()
340
 
        unittest.TestResult.addFailure(self, test, err)
 
445
        self._post_mortem(self._traceback_from_test)
 
446
        super(ExtendedTestResult, self).addFailure(test, err)
341
447
        self.failure_count += 1
342
448
        self.report_failure(test, err)
343
449
        if self.stop_early:
344
450
            self.stop()
345
 
        self._cleanupLogFile(test)
346
451
 
347
452
    def addSuccess(self, test, details=None):
348
453
        """Tell result that test completed successfully.
356
461
                    self._formatTime(benchmark_time),
357
462
                    test.id()))
358
463
        self.report_success(test)
359
 
        self._cleanupLogFile(test)
360
 
        unittest.TestResult.addSuccess(self, test)
 
464
        super(ExtendedTestResult, self).addSuccess(test)
361
465
        test._log_contents = ''
362
466
 
363
467
    def addExpectedFailure(self, test, err):
364
468
        self.known_failure_count += 1
365
469
        self.report_known_failure(test, err)
366
470
 
 
471
    def addUnexpectedSuccess(self, test, details=None):
 
472
        """Tell result the test unexpectedly passed, counting as a failure
 
473
 
 
474
        When the minimum version of testtools required becomes 0.9.8 this
 
475
        can be updated to use the new handling there.
 
476
        """
 
477
        super(ExtendedTestResult, self).addFailure(test, details=details)
 
478
        self.failure_count += 1
 
479
        self.report_unexpected_success(test,
 
480
            "".join(details["reason"].iter_text()))
 
481
        if self.stop_early:
 
482
            self.stop()
 
483
 
367
484
    def addNotSupported(self, test, feature):
368
485
        """The test will not be run because of a missing feature.
369
486
        """
386
503
        self.not_applicable_count += 1
387
504
        self.report_not_applicable(test, reason)
388
505
 
389
 
    def _post_mortem(self):
 
506
    def _post_mortem(self, tb=None):
390
507
        """Start a PDB post mortem session."""
391
508
        if os.environ.get('BZR_TEST_PDB', None):
392
 
            import pdb;pdb.post_mortem()
 
509
            import pdb
 
510
            pdb.post_mortem(tb)
393
511
 
394
512
    def progress(self, offset, whence):
395
513
        """The test is adjusting the count of tests to run."""
400
518
        else:
401
519
            raise errors.BzrError("Unknown whence %r" % whence)
402
520
 
403
 
    def report_cleaning_up(self):
404
 
        pass
 
521
    def report_tests_starting(self):
 
522
        """Display information before the test run begins"""
 
523
        if getattr(sys, 'frozen', None) is None:
 
524
            bzr_path = osutils.realpath(sys.argv[0])
 
525
        else:
 
526
            bzr_path = sys.executable
 
527
        self.stream.write(
 
528
            'bzr selftest: %s\n' % (bzr_path,))
 
529
        self.stream.write(
 
530
            '   %s\n' % (
 
531
                    bzrlib.__path__[0],))
 
532
        self.stream.write(
 
533
            '   bzr-%s python-%s %s\n' % (
 
534
                    bzrlib.version_string,
 
535
                    bzrlib._format_version_tuple(sys.version_info),
 
536
                    platform.platform(aliased=1),
 
537
                    ))
 
538
        self.stream.write('\n')
 
539
 
 
540
    def report_test_start(self, test):
 
541
        """Display information on the test just about to be run"""
 
542
 
 
543
    def _report_thread_leak(self, test, leaked_threads, active_threads):
 
544
        """Display information on a test that leaked one or more threads"""
 
545
        # GZ 2010-09-09: A leak summary reported separately from the general
 
546
        #                thread debugging would be nice. Tests under subunit
 
547
        #                need something not using stream, perhaps adding a
 
548
        #                testtools details object would be fitting.
 
549
        if 'threads' in selftest_debug_flags:
 
550
            self.stream.write('%s is leaking, active is now %d\n' %
 
551
                (test.id(), len(active_threads)))
405
552
 
406
553
    def startTestRun(self):
407
554
        self.startTime = time.time()
444
591
        self.pb.finished()
445
592
        super(TextTestResult, self).stopTestRun()
446
593
 
447
 
    def startTestRun(self):
448
 
        super(TextTestResult, self).startTestRun()
 
594
    def report_tests_starting(self):
 
595
        super(TextTestResult, self).report_tests_starting()
449
596
        self.pb.update('[test 0/%d] Starting' % (self.num_tests))
450
597
 
451
 
    def printErrors(self):
452
 
        # clear the pb to make room for the error listing
453
 
        self.pb.clear()
454
 
        super(TextTestResult, self).printErrors()
455
 
 
456
598
    def _progress_prefix_text(self):
457
599
        # the longer this text, the less space we have to show the test
458
600
        # name...
480
622
        return a
481
623
 
482
624
    def report_test_start(self, test):
483
 
        self.count += 1
484
625
        self.pb.update(
485
626
                self._progress_prefix_text()
486
627
                + ' '
504
645
    def report_known_failure(self, test, err):
505
646
        pass
506
647
 
 
648
    def report_unexpected_success(self, test, reason):
 
649
        self.stream.write('FAIL: %s\n    %s: %s\n' % (
 
650
            self._test_description(test),
 
651
            "Unexpected success. Should have failed",
 
652
            reason,
 
653
            ))
 
654
 
507
655
    def report_skip(self, test, reason):
508
656
        pass
509
657
 
513
661
    def report_unsupported(self, test, feature):
514
662
        """test cannot be run because feature is missing."""
515
663
 
516
 
    def report_cleaning_up(self):
517
 
        self.pb.update('Cleaning up')
518
 
 
519
664
 
520
665
class VerboseTestResult(ExtendedTestResult):
521
666
    """Produce long output, with one line per test run plus times"""
528
673
            result = a_string
529
674
        return result.ljust(final_width)
530
675
 
531
 
    def startTestRun(self):
532
 
        super(VerboseTestResult, self).startTestRun()
 
676
    def report_tests_starting(self):
533
677
        self.stream.write('running %d tests...\n' % self.num_tests)
 
678
        super(VerboseTestResult, self).report_tests_starting()
534
679
 
535
680
    def report_test_start(self, test):
536
 
        self.count += 1
537
681
        name = self._shortened_test_description(test)
538
682
        width = osutils.terminal_width()
539
683
        if width is not None:
551
695
        return '%s%s' % (indent, err[1])
552
696
 
553
697
    def report_error(self, test, err):
554
 
        self.stream.writeln('ERROR %s\n%s'
 
698
        self.stream.write('ERROR %s\n%s\n'
555
699
                % (self._testTimeString(test),
556
700
                   self._error_summary(err)))
557
701
 
558
702
    def report_failure(self, test, err):
559
 
        self.stream.writeln(' FAIL %s\n%s'
 
703
        self.stream.write(' FAIL %s\n%s\n'
560
704
                % (self._testTimeString(test),
561
705
                   self._error_summary(err)))
562
706
 
563
707
    def report_known_failure(self, test, err):
564
 
        self.stream.writeln('XFAIL %s\n%s'
 
708
        self.stream.write('XFAIL %s\n%s\n'
565
709
                % (self._testTimeString(test),
566
710
                   self._error_summary(err)))
567
711
 
 
712
    def report_unexpected_success(self, test, reason):
 
713
        self.stream.write(' FAIL %s\n%s: %s\n'
 
714
                % (self._testTimeString(test),
 
715
                   "Unexpected success. Should have failed",
 
716
                   reason))
 
717
 
568
718
    def report_success(self, test):
569
 
        self.stream.writeln('   OK %s' % self._testTimeString(test))
 
719
        self.stream.write('   OK %s\n' % self._testTimeString(test))
570
720
        for bench_called, stats in getattr(test, '_benchcalls', []):
571
 
            self.stream.writeln('LSProf output for %s(%s, %s)' % bench_called)
 
721
            self.stream.write('LSProf output for %s(%s, %s)\n' % bench_called)
572
722
            stats.pprint(file=self.stream)
573
723
        # flush the stream so that we get smooth output. This verbose mode is
574
724
        # used to show the output in PQM.
575
725
        self.stream.flush()
576
726
 
577
727
    def report_skip(self, test, reason):
578
 
        self.stream.writeln(' SKIP %s\n%s'
 
728
        self.stream.write(' SKIP %s\n%s\n'
579
729
                % (self._testTimeString(test), reason))
580
730
 
581
731
    def report_not_applicable(self, test, reason):
582
 
        self.stream.writeln('  N/A %s\n    %s'
 
732
        self.stream.write('  N/A %s\n    %s\n'
583
733
                % (self._testTimeString(test), reason))
584
734
 
585
735
    def report_unsupported(self, test, feature):
586
736
        """test cannot be run because feature is missing."""
587
 
        self.stream.writeln("NODEP %s\n    The feature '%s' is not available."
 
737
        self.stream.write("NODEP %s\n    The feature '%s' is not available.\n"
588
738
                %(self._testTimeString(test), feature))
589
739
 
590
740
 
617
767
            encode = codec[0]
618
768
        else:
619
769
            encode = codec.encode
620
 
        stream = osutils.UnicodeOrBytesToBytesWriter(encode, stream)
 
770
        # GZ 2010-09-08: Really we don't want to be writing arbitrary bytes,
 
771
        #                so should swap to the plain codecs.StreamWriter
 
772
        stream = osutils.UnicodeOrBytesToBytesWriter(encode, stream,
 
773
            "backslashreplace")
621
774
        stream.encoding = new_encoding
622
 
        self.stream = unittest._WritelnDecorator(stream)
 
775
        self.stream = stream
623
776
        self.descriptions = descriptions
624
777
        self.verbosity = verbosity
625
778
        self._bench_history = bench_history
749
902
    # XXX: Should probably unify more with CannedInputUIFactory or a
750
903
    # particular configuration of TextUIFactory, or otherwise have a clearer
751
904
    # idea of how they're supposed to be different.
752
 
    # See https://bugs.edge.launchpad.net/bzr/+bug/408213
 
905
    # See https://bugs.launchpad.net/bzr/+bug/408213
753
906
 
754
907
    def __init__(self, stdout=None, stderr=None, stdin=None):
755
908
        if stdin is not None:
773
926
        return NullProgressView()
774
927
 
775
928
 
 
929
def isolated_doctest_setUp(test):
 
930
    override_os_environ(test)
 
931
 
 
932
 
 
933
def isolated_doctest_tearDown(test):
 
934
    restore_os_environ(test)
 
935
 
 
936
 
 
937
def IsolatedDocTestSuite(*args, **kwargs):
 
938
    """Overrides doctest.DocTestSuite to handle isolation.
 
939
 
 
940
    The method is really a factory and users are expected to use it as such.
 
941
    """
 
942
 
 
943
    kwargs['setUp'] = isolated_doctest_setUp
 
944
    kwargs['tearDown'] = isolated_doctest_tearDown
 
945
    return doctest.DocTestSuite(*args, **kwargs)
 
946
 
 
947
 
776
948
class TestCase(testtools.TestCase):
777
949
    """Base class for bzr unit tests.
778
950
 
789
961
    routine, and to build and check bzr trees.
790
962
 
791
963
    In addition to the usual method of overriding tearDown(), this class also
792
 
    allows subclasses to register functions into the _cleanups list, which is
 
964
    allows subclasses to register cleanup functions via addCleanup, which are
793
965
    run in order as the object is torn down.  It's less likely this will be
794
966
    accidentally overlooked.
795
967
    """
796
968
 
797
 
    _active_threads = None
798
 
    _leaking_threads_tests = 0
799
 
    _first_thread_leaker_id = None
800
 
    _log_file_name = None
 
969
    _log_file = None
801
970
    # record lsprof data when performing benchmark calls.
802
971
    _gather_lsprof_in_benchmarks = False
803
972
 
804
973
    def __init__(self, methodName='testMethod'):
805
974
        super(TestCase, self).__init__(methodName)
806
 
        self._cleanups = []
807
975
        self._directory_isolation = True
808
976
        self.exception_handlers.insert(0,
809
977
            (UnavailableFeature, self._do_unsupported_or_skip))
814
982
        super(TestCase, self).setUp()
815
983
        for feature in getattr(self, '_test_needs_features', []):
816
984
            self.requireFeature(feature)
817
 
        self._log_contents = None
818
 
        self.addDetail("log", content.Content(content.ContentType("text",
819
 
            "plain", {"charset": "utf8"}),
820
 
            lambda:[self._get_log(keep_log_file=True)]))
821
985
        self._cleanEnvironment()
 
986
        self.overrideAttr(bzrlib.global_state, 'cmdline_overrides',
 
987
                          config.CommandLineSection())
822
988
        self._silenceUI()
823
989
        self._startLogFile()
824
990
        self._benchcalls = []
827
993
        self._track_transports()
828
994
        self._track_locks()
829
995
        self._clear_debug_flags()
830
 
        TestCase._active_threads = threading.activeCount()
831
 
        self.addCleanup(self._check_leaked_threads)
 
996
        # Isolate global verbosity level, to make sure it's reproducible
 
997
        # between tests.  We should get rid of this altogether: bug 656694. --
 
998
        # mbp 20101008
 
999
        self.overrideAttr(bzrlib.trace, '_verbosity_level', 0)
 
1000
        # Isolate config option expansion until its default value for bzrlib is
 
1001
        # settled on or a the FIXME associated with _get_expand_default_value
 
1002
        # is addressed -- vila 20110219
 
1003
        self.overrideAttr(config, '_expand_default_value', None)
 
1004
        self._log_files = set()
 
1005
        # Each key in the ``_counters`` dict holds a value for a different
 
1006
        # counter. When the test ends, addDetail() should be used to output the
 
1007
        # counter values. This happens in install_counter_hook().
 
1008
        self._counters = {}
 
1009
        if 'config_stats' in selftest_debug_flags:
 
1010
            self._install_config_stats_hooks()
 
1011
        # Do not use i18n for tests (unless the test reverses this)
 
1012
        i18n.disable_i18n()
832
1013
 
833
1014
    def debug(self):
834
1015
        # debug a frame up.
835
1016
        import pdb
836
 
        pdb.Pdb().set_trace(sys._getframe().f_back)
837
 
 
838
 
    def _check_leaked_threads(self):
839
 
        active = threading.activeCount()
840
 
        leaked_threads = active - TestCase._active_threads
841
 
        TestCase._active_threads = active
842
 
        # If some tests make the number of threads *decrease*, we'll consider
843
 
        # that they are just observing old threads dieing, not agressively kill
844
 
        # random threads. So we don't report these tests as leaking. The risk
845
 
        # is that we have false positives that way (the test see 2 threads
846
 
        # going away but leak one) but it seems less likely than the actual
847
 
        # false positives (the test see threads going away and does not leak).
848
 
        if leaked_threads > 0:
849
 
            TestCase._leaking_threads_tests += 1
850
 
            if TestCase._first_thread_leaker_id is None:
851
 
                TestCase._first_thread_leaker_id = self.id()
 
1017
        # The sys preserved stdin/stdout should allow blackbox tests debugging
 
1018
        pdb.Pdb(stdin=sys.__stdin__, stdout=sys.__stdout__
 
1019
                ).set_trace(sys._getframe().f_back)
 
1020
 
 
1021
    def discardDetail(self, name):
 
1022
        """Extend the addDetail, getDetails api so we can remove a detail.
 
1023
 
 
1024
        eg. bzr always adds the 'log' detail at startup, but we don't want to
 
1025
        include it for skipped, xfail, etc tests.
 
1026
 
 
1027
        It is safe to call this for a detail that doesn't exist, in case this
 
1028
        gets called multiple times.
 
1029
        """
 
1030
        # We cheat. details is stored in __details which means we shouldn't
 
1031
        # touch it. but getDetails() returns the dict directly, so we can
 
1032
        # mutate it.
 
1033
        details = self.getDetails()
 
1034
        if name in details:
 
1035
            del details[name]
 
1036
 
 
1037
    def install_counter_hook(self, hooks, name, counter_name=None):
 
1038
        """Install a counting hook.
 
1039
 
 
1040
        Any hook can be counted as long as it doesn't need to return a value.
 
1041
 
 
1042
        :param hooks: Where the hook should be installed.
 
1043
 
 
1044
        :param name: The hook name that will be counted.
 
1045
 
 
1046
        :param counter_name: The counter identifier in ``_counters``, defaults
 
1047
            to ``name``.
 
1048
        """
 
1049
        _counters = self._counters # Avoid closing over self
 
1050
        if counter_name is None:
 
1051
            counter_name = name
 
1052
        if _counters.has_key(counter_name):
 
1053
            raise AssertionError('%s is already used as a counter name'
 
1054
                                  % (counter_name,))
 
1055
        _counters[counter_name] = 0
 
1056
        self.addDetail(counter_name, content.Content(content.UTF8_TEXT,
 
1057
            lambda: ['%d' % (_counters[counter_name],)]))
 
1058
        def increment_counter(*args, **kwargs):
 
1059
            _counters[counter_name] += 1
 
1060
        label = 'count %s calls' % (counter_name,)
 
1061
        hooks.install_named_hook(name, increment_counter, label)
 
1062
        self.addCleanup(hooks.uninstall_named_hook, name, label)
 
1063
 
 
1064
    def _install_config_stats_hooks(self):
 
1065
        """Install config hooks to count hook calls.
 
1066
 
 
1067
        """
 
1068
        for hook_name in ('get', 'set', 'remove', 'load', 'save'):
 
1069
            self.install_counter_hook(config.ConfigHooks, hook_name,
 
1070
                                       'config.%s' % (hook_name,))
 
1071
 
 
1072
        # The OldConfigHooks are private and need special handling to protect
 
1073
        # against recursive tests (tests that run other tests), so we just do
 
1074
        # manually what registering them into _builtin_known_hooks will provide
 
1075
        # us.
 
1076
        self.overrideAttr(config, 'OldConfigHooks', config._OldConfigHooks())
 
1077
        for hook_name in ('get', 'set', 'remove', 'load', 'save'):
 
1078
            self.install_counter_hook(config.OldConfigHooks, hook_name,
 
1079
                                      'old_config.%s' % (hook_name,))
852
1080
 
853
1081
    def _clear_debug_flags(self):
854
1082
        """Prevent externally set debug flags affecting tests.
865
1093
 
866
1094
    def _clear_hooks(self):
867
1095
        # prevent hooks affecting tests
 
1096
        known_hooks = hooks.known_hooks
868
1097
        self._preserved_hooks = {}
869
 
        for key, factory in hooks.known_hooks.items():
870
 
            parent, name = hooks.known_hooks_key_to_parent_and_attribute(key)
871
 
            current_hooks = hooks.known_hooks_key_to_object(key)
 
1098
        for key, (parent, name) in known_hooks.iter_parent_objects():
 
1099
            current_hooks = getattr(parent, name)
872
1100
            self._preserved_hooks[parent] = (name, current_hooks)
 
1101
        self._preserved_lazy_hooks = hooks._lazy_hooks
 
1102
        hooks._lazy_hooks = {}
873
1103
        self.addCleanup(self._restoreHooks)
874
 
        for key, factory in hooks.known_hooks.items():
875
 
            parent, name = hooks.known_hooks_key_to_parent_and_attribute(key)
 
1104
        for key, (parent, name) in known_hooks.iter_parent_objects():
 
1105
            factory = known_hooks.get(key)
876
1106
            setattr(parent, name, factory())
877
1107
        # this hook should always be installed
878
1108
        request._install_hook()
907
1137
        # break some locks on purpose and should be taken into account by
908
1138
        # considering that breaking a lock is just a dirty way of releasing it.
909
1139
        if len(acquired_locks) != (len(released_locks) + len(broken_locks)):
910
 
            message = ('Different number of acquired and '
911
 
                       'released or broken locks. (%s, %s + %s)' %
912
 
                       (acquired_locks, released_locks, broken_locks))
 
1140
            message = (
 
1141
                'Different number of acquired and '
 
1142
                'released or broken locks.\n'
 
1143
                'acquired=%s\n'
 
1144
                'released=%s\n'
 
1145
                'broken=%s\n' %
 
1146
                (acquired_locks, released_locks, broken_locks))
913
1147
            if not self._lock_check_thorough:
914
1148
                # Rather than fail, just warn
915
1149
                print "Broken test %s: %s" % (self, message)
943
1177
 
944
1178
    def permit_dir(self, name):
945
1179
        """Permit a directory to be used by this test. See permit_url."""
946
 
        name_transport = get_transport(name)
 
1180
        name_transport = _mod_transport.get_transport_from_path(name)
947
1181
        self.permit_url(name)
948
1182
        self.permit_url(name_transport.base)
949
1183
 
972
1206
            try:
973
1207
                workingtree.WorkingTree.open(path)
974
1208
            except (errors.NotBranchError, errors.NoWorkingTree):
975
 
                return
 
1209
                raise TestSkipped('Needs a working tree of bzr sources')
976
1210
        finally:
977
1211
            self.enable_directory_isolation()
978
1212
 
1028
1262
        self.addCleanup(transport_server.stop_server)
1029
1263
        # Obtain a real transport because if the server supplies a password, it
1030
1264
        # will be hidden from the base on the client side.
1031
 
        t = get_transport(transport_server.get_url())
 
1265
        t = _mod_transport.get_transport_from_url(transport_server.get_url())
1032
1266
        # Some transport servers effectively chroot the backing transport;
1033
1267
        # others like SFTPServer don't - users of the transport can walk up the
1034
1268
        # transport to read the entire backing transport. This wouldn't matter
1090
1324
        except UnicodeError, e:
1091
1325
            # If we can't compare without getting a UnicodeError, then
1092
1326
            # obviously they are different
1093
 
            mutter('UnicodeError: %s', e)
 
1327
            trace.mutter('UnicodeError: %s', e)
1094
1328
        if message:
1095
1329
            message += '\n'
1096
1330
        raise AssertionError("%snot equal:\na = %s\nb = %s\n"
1097
1331
            % (message,
1098
 
               pformat(a), pformat(b)))
 
1332
               pprint.pformat(a), pprint.pformat(b)))
1099
1333
 
1100
1334
    assertEquals = assertEqual
1101
1335
 
1135
1369
                         'st_mtime did not match')
1136
1370
        self.assertEqual(expected.st_ctime, actual.st_ctime,
1137
1371
                         'st_ctime did not match')
1138
 
        if sys.platform != 'win32':
 
1372
        if sys.platform == 'win32':
1139
1373
            # On Win32 both 'dev' and 'ino' cannot be trusted. In python2.4 it
1140
1374
            # is 'dev' that varies, in python 2.5 (6?) it is st_ino that is
1141
 
            # odd. Regardless we shouldn't actually try to assert anything
1142
 
            # about their values
 
1375
            # odd. We just force it to always be 0 to avoid any problems.
 
1376
            self.assertEqual(0, expected.st_dev)
 
1377
            self.assertEqual(0, actual.st_dev)
 
1378
            self.assertEqual(0, expected.st_ino)
 
1379
            self.assertEqual(0, actual.st_ino)
 
1380
        else:
1143
1381
            self.assertEqual(expected.st_dev, actual.st_dev,
1144
1382
                             'st_dev did not match')
1145
1383
            self.assertEqual(expected.st_ino, actual.st_ino,
1154
1392
                length, len(obj_with_len), obj_with_len))
1155
1393
 
1156
1394
    def assertLogsError(self, exception_class, func, *args, **kwargs):
1157
 
        """Assert that func(*args, **kwargs) quietly logs a specific exception.
 
1395
        """Assert that `func(*args, **kwargs)` quietly logs a specific error.
1158
1396
        """
1159
 
        from bzrlib import trace
1160
1397
        captured = []
1161
1398
        orig_log_exception_quietly = trace.log_exception_quietly
1162
1399
        try:
1163
1400
            def capture():
1164
1401
                orig_log_exception_quietly()
1165
 
                captured.append(sys.exc_info())
 
1402
                captured.append(sys.exc_info()[1])
1166
1403
            trace.log_exception_quietly = capture
1167
1404
            func(*args, **kwargs)
1168
1405
        finally:
1169
1406
            trace.log_exception_quietly = orig_log_exception_quietly
1170
1407
        self.assertLength(1, captured)
1171
 
        err = captured[0][1]
 
1408
        err = captured[0]
1172
1409
        self.assertIsInstance(err, exception_class)
1173
1410
        return err
1174
1411
 
1211
1448
        if haystack.find(needle) == -1:
1212
1449
            self.fail("string %r not found in '''%s'''" % (needle, haystack))
1213
1450
 
 
1451
    def assertNotContainsString(self, haystack, needle):
 
1452
        if haystack.find(needle) != -1:
 
1453
            self.fail("string %r found in '''%s'''" % (needle, haystack))
 
1454
 
1214
1455
    def assertSubset(self, sublist, superlist):
1215
1456
        """Assert that every entry in sublist is present in superlist."""
1216
1457
        missing = set(sublist) - set(superlist)
1305
1546
 
1306
1547
    def assertFileEqual(self, content, path):
1307
1548
        """Fail if path does not contain 'content'."""
1308
 
        self.failUnlessExists(path)
 
1549
        self.assertPathExists(path)
1309
1550
        f = file(path, 'rb')
1310
1551
        try:
1311
1552
            s = f.read()
1321
1562
        else:
1322
1563
            self.assertEqual(expected_docstring, obj.__doc__)
1323
1564
 
 
1565
    @symbol_versioning.deprecated_method(symbol_versioning.deprecated_in((2, 4)))
1324
1566
    def failUnlessExists(self, path):
 
1567
        return self.assertPathExists(path)
 
1568
 
 
1569
    def assertPathExists(self, path):
1325
1570
        """Fail unless path or paths, which may be abs or relative, exist."""
1326
1571
        if not isinstance(path, basestring):
1327
1572
            for p in path:
1328
 
                self.failUnlessExists(p)
 
1573
                self.assertPathExists(p)
1329
1574
        else:
1330
 
            self.failUnless(osutils.lexists(path),path+" does not exist")
 
1575
            self.assertTrue(osutils.lexists(path),
 
1576
                path + " does not exist")
1331
1577
 
 
1578
    @symbol_versioning.deprecated_method(symbol_versioning.deprecated_in((2, 4)))
1332
1579
    def failIfExists(self, path):
 
1580
        return self.assertPathDoesNotExist(path)
 
1581
 
 
1582
    def assertPathDoesNotExist(self, path):
1333
1583
        """Fail if path or paths, which may be abs or relative, exist."""
1334
1584
        if not isinstance(path, basestring):
1335
1585
            for p in path:
1336
 
                self.failIfExists(p)
 
1586
                self.assertPathDoesNotExist(p)
1337
1587
        else:
1338
 
            self.failIf(osutils.lexists(path),path+" exists")
 
1588
            self.assertFalse(osutils.lexists(path),
 
1589
                path + " exists")
1339
1590
 
1340
1591
    def _capture_deprecation_warnings(self, a_callable, *args, **kwargs):
1341
1592
        """A helper for callDeprecated and applyDeprecated.
1367
1618
        not other callers that go direct to the warning module.
1368
1619
 
1369
1620
        To test that a deprecated method raises an error, do something like
1370
 
        this::
 
1621
        this (remember that both assertRaises and applyDeprecated delays *args
 
1622
        and **kwargs passing)::
1371
1623
 
1372
1624
            self.assertRaises(errors.ReservedId,
1373
1625
                self.applyDeprecated,
1455
1707
 
1456
1708
        The file is removed as the test is torn down.
1457
1709
        """
1458
 
        fileno, name = tempfile.mkstemp(suffix='.log', prefix='testbzr')
1459
 
        self._log_file = os.fdopen(fileno, 'w+')
1460
 
        self._log_memento = bzrlib.trace.push_log_file(self._log_file)
1461
 
        self._log_file_name = name
 
1710
        pseudo_log_file = StringIO()
 
1711
        def _get_log_contents_for_weird_testtools_api():
 
1712
            return [pseudo_log_file.getvalue().decode(
 
1713
                "utf-8", "replace").encode("utf-8")]
 
1714
        self.addDetail("log", content.Content(content.ContentType("text",
 
1715
            "plain", {"charset": "utf8"}),
 
1716
            _get_log_contents_for_weird_testtools_api))
 
1717
        self._log_file = pseudo_log_file
 
1718
        self._log_memento = trace.push_log_file(self._log_file)
1462
1719
        self.addCleanup(self._finishLogFile)
1463
1720
 
1464
1721
    def _finishLogFile(self):
1465
1722
        """Finished with the log file.
1466
1723
 
1467
 
        Close the file and delete it, unless setKeepLogfile was called.
 
1724
        Close the file and delete it.
1468
1725
        """
1469
 
        if bzrlib.trace._trace_file:
 
1726
        if trace._trace_file:
1470
1727
            # flush the log file, to get all content
1471
 
            bzrlib.trace._trace_file.flush()
1472
 
        bzrlib.trace.pop_log_file(self._log_memento)
1473
 
        # Cache the log result and delete the file on disk
1474
 
        self._get_log(False)
 
1728
            trace._trace_file.flush()
 
1729
        trace.pop_log_file(self._log_memento)
1475
1730
 
1476
1731
    def thisFailsStrictLockCheck(self):
1477
1732
        """It is known that this test would fail with -Dstrict_locks.
1486
1741
        """
1487
1742
        debug.debug_flags.discard('strict_locks')
1488
1743
 
1489
 
    def addCleanup(self, callable, *args, **kwargs):
1490
 
        """Arrange to run a callable when this case is torn down.
1491
 
 
1492
 
        Callables are run in the reverse of the order they are registered,
1493
 
        ie last-in first-out.
1494
 
        """
1495
 
        self._cleanups.append((callable, args, kwargs))
1496
 
 
1497
1744
    def overrideAttr(self, obj, attr_name, new=_unitialized_attr):
1498
1745
        """Overrides an object attribute restoring it after the test.
1499
1746
 
 
1747
        :note: This should be used with discretion; you should think about
 
1748
        whether it's better to make the code testable without monkey-patching.
 
1749
 
1500
1750
        :param obj: The object that will be mutated.
1501
1751
 
1502
1752
        :param attr_name: The attribute name we want to preserve/override in
1513
1763
            setattr(obj, attr_name, new)
1514
1764
        return value
1515
1765
 
 
1766
    def overrideEnv(self, name, new):
 
1767
        """Set an environment variable, and reset it after the test.
 
1768
 
 
1769
        :param name: The environment variable name.
 
1770
 
 
1771
        :param new: The value to set the variable to. If None, the 
 
1772
            variable is deleted from the environment.
 
1773
 
 
1774
        :returns: The actual variable value.
 
1775
        """
 
1776
        value = osutils.set_or_unset_env(name, new)
 
1777
        self.addCleanup(osutils.set_or_unset_env, name, value)
 
1778
        return value
 
1779
 
 
1780
    def recordCalls(self, obj, attr_name):
 
1781
        """Monkeypatch in a wrapper that will record calls.
 
1782
 
 
1783
        The monkeypatch is automatically removed when the test concludes.
 
1784
 
 
1785
        :param obj: The namespace holding the reference to be replaced;
 
1786
            typically a module, class, or object.
 
1787
        :param attr_name: A string for the name of the attribute to 
 
1788
            patch.
 
1789
        :returns: A list that will be extended with one item every time the
 
1790
            function is called, with a tuple of (args, kwargs).
 
1791
        """
 
1792
        calls = []
 
1793
 
 
1794
        def decorator(*args, **kwargs):
 
1795
            calls.append((args, kwargs))
 
1796
            return orig(*args, **kwargs)
 
1797
        orig = self.overrideAttr(obj, attr_name, decorator)
 
1798
        return calls
 
1799
 
1516
1800
    def _cleanEnvironment(self):
1517
 
        new_env = {
1518
 
            'BZR_HOME': None, # Don't inherit BZR_HOME to all the tests.
1519
 
            'HOME': os.getcwd(),
1520
 
            # bzr now uses the Win32 API and doesn't rely on APPDATA, but the
1521
 
            # tests do check our impls match APPDATA
1522
 
            'BZR_EDITOR': None, # test_msgeditor manipulates this variable
1523
 
            'VISUAL': None,
1524
 
            'EDITOR': None,
1525
 
            'BZR_EMAIL': None,
1526
 
            'BZREMAIL': None, # may still be present in the environment
1527
 
            'EMAIL': None,
1528
 
            'BZR_PROGRESS_BAR': None,
1529
 
            'BZR_LOG': None,
1530
 
            'BZR_PLUGIN_PATH': None,
1531
 
            'BZR_DISABLE_PLUGINS': None,
1532
 
            'BZR_PLUGINS_AT': None,
1533
 
            'BZR_CONCURRENCY': None,
1534
 
            # Make sure that any text ui tests are consistent regardless of
1535
 
            # the environment the test case is run in; you may want tests that
1536
 
            # test other combinations.  'dumb' is a reasonable guess for tests
1537
 
            # going to a pipe or a StringIO.
1538
 
            'TERM': 'dumb',
1539
 
            'LINES': '25',
1540
 
            'COLUMNS': '80',
1541
 
            'BZR_COLUMNS': '80',
1542
 
            # SSH Agent
1543
 
            'SSH_AUTH_SOCK': None,
1544
 
            # Proxies
1545
 
            'http_proxy': None,
1546
 
            'HTTP_PROXY': None,
1547
 
            'https_proxy': None,
1548
 
            'HTTPS_PROXY': None,
1549
 
            'no_proxy': None,
1550
 
            'NO_PROXY': None,
1551
 
            'all_proxy': None,
1552
 
            'ALL_PROXY': None,
1553
 
            # Nobody cares about ftp_proxy, FTP_PROXY AFAIK. So far at
1554
 
            # least. If you do (care), please update this comment
1555
 
            # -- vila 20080401
1556
 
            'ftp_proxy': None,
1557
 
            'FTP_PROXY': None,
1558
 
            'BZR_REMOTE_PATH': None,
1559
 
            # Generally speaking, we don't want apport reporting on crashes in
1560
 
            # the test envirnoment unless we're specifically testing apport,
1561
 
            # so that it doesn't leak into the real system environment.  We
1562
 
            # use an env var so it propagates to subprocesses.
1563
 
            'APPORT_DISABLE': '1',
1564
 
        }
1565
 
        self._old_env = {}
1566
 
        self.addCleanup(self._restoreEnvironment)
1567
 
        for name, value in new_env.iteritems():
1568
 
            self._captureVar(name, value)
1569
 
 
1570
 
    def _captureVar(self, name, newvalue):
1571
 
        """Set an environment variable, and reset it when finished."""
1572
 
        self._old_env[name] = osutils.set_or_unset_env(name, newvalue)
1573
 
 
1574
 
    def _restoreEnvironment(self):
1575
 
        for name, value in self._old_env.iteritems():
1576
 
            osutils.set_or_unset_env(name, value)
 
1801
        for name, value in isolated_environ.iteritems():
 
1802
            self.overrideEnv(name, value)
1577
1803
 
1578
1804
    def _restoreHooks(self):
1579
1805
        for klass, (name, hooks) in self._preserved_hooks.items():
1580
1806
            setattr(klass, name, hooks)
 
1807
        self._preserved_hooks.clear()
 
1808
        bzrlib.hooks._lazy_hooks = self._preserved_lazy_hooks
 
1809
        self._preserved_lazy_hooks.clear()
1581
1810
 
1582
1811
    def knownFailure(self, reason):
1583
 
        """This test has failed for some known reason."""
1584
 
        raise KnownFailure(reason)
 
1812
        """Declare that this test fails for a known reason
 
1813
 
 
1814
        Tests that are known to fail should generally be using expectedFailure
 
1815
        with an appropriate reverse assertion if a change could cause the test
 
1816
        to start passing. Conversely if the test has no immediate prospect of
 
1817
        succeeding then using skip is more suitable.
 
1818
 
 
1819
        When this method is called while an exception is being handled, that
 
1820
        traceback will be used, otherwise a new exception will be thrown to
 
1821
        provide one but won't be reported.
 
1822
        """
 
1823
        self._add_reason(reason)
 
1824
        try:
 
1825
            exc_info = sys.exc_info()
 
1826
            if exc_info != (None, None, None):
 
1827
                self._report_traceback(exc_info)
 
1828
            else:
 
1829
                try:
 
1830
                    raise self.failureException(reason)
 
1831
                except self.failureException:
 
1832
                    exc_info = sys.exc_info()
 
1833
            # GZ 02-08-2011: Maybe cleanup this err.exc_info attribute too?
 
1834
            raise testtools.testcase._ExpectedFailure(exc_info)
 
1835
        finally:
 
1836
            del exc_info
 
1837
 
 
1838
    def _suppress_log(self):
 
1839
        """Remove the log info from details."""
 
1840
        self.discardDetail('log')
1585
1841
 
1586
1842
    def _do_skip(self, result, reason):
 
1843
        self._suppress_log()
1587
1844
        addSkip = getattr(result, 'addSkip', None)
1588
1845
        if not callable(addSkip):
1589
1846
            result.addSuccess(result)
1592
1849
 
1593
1850
    @staticmethod
1594
1851
    def _do_known_failure(self, result, e):
 
1852
        self._suppress_log()
1595
1853
        err = sys.exc_info()
1596
1854
        addExpectedFailure = getattr(result, 'addExpectedFailure', None)
1597
1855
        if addExpectedFailure is not None:
1605
1863
            reason = 'No reason given'
1606
1864
        else:
1607
1865
            reason = e.args[0]
 
1866
        self._suppress_log ()
1608
1867
        addNotApplicable = getattr(result, 'addNotApplicable', None)
1609
1868
        if addNotApplicable is not None:
1610
1869
            result.addNotApplicable(self, reason)
1612
1871
            self._do_skip(result, reason)
1613
1872
 
1614
1873
    @staticmethod
 
1874
    def _report_skip(self, result, err):
 
1875
        """Override the default _report_skip.
 
1876
 
 
1877
        We want to strip the 'log' detail. If we waint until _do_skip, it has
 
1878
        already been formatted into the 'reason' string, and we can't pull it
 
1879
        out again.
 
1880
        """
 
1881
        self._suppress_log()
 
1882
        super(TestCase, self)._report_skip(self, result, err)
 
1883
 
 
1884
    @staticmethod
 
1885
    def _report_expected_failure(self, result, err):
 
1886
        """Strip the log.
 
1887
 
 
1888
        See _report_skip for motivation.
 
1889
        """
 
1890
        self._suppress_log()
 
1891
        super(TestCase, self)._report_expected_failure(self, result, err)
 
1892
 
 
1893
    @staticmethod
1615
1894
    def _do_unsupported_or_skip(self, result, e):
1616
1895
        reason = e.args[0]
 
1896
        self._suppress_log()
1617
1897
        addNotSupported = getattr(result, 'addNotSupported', None)
1618
1898
        if addNotSupported is not None:
1619
1899
            result.addNotSupported(self, reason)
1645
1925
            self._benchtime += time.time() - start
1646
1926
 
1647
1927
    def log(self, *args):
1648
 
        mutter(*args)
1649
 
 
1650
 
    def _get_log(self, keep_log_file=False):
1651
 
        """Internal helper to get the log from bzrlib.trace for this test.
1652
 
 
1653
 
        Please use self.getDetails, or self.get_log to access this in test case
1654
 
        code.
1655
 
 
1656
 
        :param keep_log_file: When True, if the log is still a file on disk
1657
 
            leave it as a file on disk. When False, if the log is still a file
1658
 
            on disk, the log file is deleted and the log preserved as
1659
 
            self._log_contents.
1660
 
        :return: A string containing the log.
1661
 
        """
1662
 
        if self._log_contents is not None:
1663
 
            try:
1664
 
                self._log_contents.decode('utf8')
1665
 
            except UnicodeDecodeError:
1666
 
                unicodestr = self._log_contents.decode('utf8', 'replace')
1667
 
                self._log_contents = unicodestr.encode('utf8')
1668
 
            return self._log_contents
1669
 
        import bzrlib.trace
1670
 
        if bzrlib.trace._trace_file:
1671
 
            # flush the log file, to get all content
1672
 
            bzrlib.trace._trace_file.flush()
1673
 
        if self._log_file_name is not None:
1674
 
            logfile = open(self._log_file_name)
1675
 
            try:
1676
 
                log_contents = logfile.read()
1677
 
            finally:
1678
 
                logfile.close()
1679
 
            try:
1680
 
                log_contents.decode('utf8')
1681
 
            except UnicodeDecodeError:
1682
 
                unicodestr = log_contents.decode('utf8', 'replace')
1683
 
                log_contents = unicodestr.encode('utf8')
1684
 
            if not keep_log_file:
1685
 
                close_attempts = 0
1686
 
                max_close_attempts = 100
1687
 
                first_close_error = None
1688
 
                while close_attempts < max_close_attempts:
1689
 
                    close_attempts += 1
1690
 
                    try:
1691
 
                        self._log_file.close()
1692
 
                    except IOError, ioe:
1693
 
                        if ioe.errno is None:
1694
 
                            # No errno implies 'close() called during
1695
 
                            # concurrent operation on the same file object', so
1696
 
                            # retry.  Probably a thread is trying to write to
1697
 
                            # the log file.
1698
 
                            if first_close_error is None:
1699
 
                                first_close_error = ioe
1700
 
                            continue
1701
 
                        raise
1702
 
                    else:
1703
 
                        break
1704
 
                if close_attempts > 1:
1705
 
                    sys.stderr.write(
1706
 
                        'Unable to close log file on first attempt, '
1707
 
                        'will retry: %s\n' % (first_close_error,))
1708
 
                    if close_attempts == max_close_attempts:
1709
 
                        sys.stderr.write(
1710
 
                            'Unable to close log file after %d attempts.\n'
1711
 
                            % (max_close_attempts,))
1712
 
                self._log_file = None
1713
 
                # Permit multiple calls to get_log until we clean it up in
1714
 
                # finishLogFile
1715
 
                self._log_contents = log_contents
1716
 
                try:
1717
 
                    os.remove(self._log_file_name)
1718
 
                except OSError, e:
1719
 
                    if sys.platform == 'win32' and e.errno == errno.EACCES:
1720
 
                        sys.stderr.write(('Unable to delete log file '
1721
 
                                             ' %r\n' % self._log_file_name))
1722
 
                    else:
1723
 
                        raise
1724
 
                self._log_file_name = None
1725
 
            return log_contents
1726
 
        else:
1727
 
            return "No log file content and no log file name."
 
1928
        trace.mutter(*args)
1728
1929
 
1729
1930
    def get_log(self):
1730
1931
        """Get a unicode string containing the log from bzrlib.trace.
1780
1981
 
1781
1982
        try:
1782
1983
            try:
1783
 
                result = self.apply_redirected(ui.ui_factory.stdin,
 
1984
                result = self.apply_redirected(
 
1985
                    ui.ui_factory.stdin,
1784
1986
                    stdout, stderr,
1785
 
                    bzrlib.commands.run_bzr_catch_user_errors,
 
1987
                    _mod_commands.run_bzr_catch_user_errors,
1786
1988
                    args)
1787
1989
            except KeyboardInterrupt:
1788
1990
                # Reraise KeyboardInterrupt with contents of redirected stdout
1930
2132
    def start_bzr_subprocess(self, process_args, env_changes=None,
1931
2133
                             skip_if_plan_to_signal=False,
1932
2134
                             working_dir=None,
1933
 
                             allow_plugins=False):
 
2135
                             allow_plugins=False, stderr=subprocess.PIPE):
1934
2136
        """Start bzr in a subprocess for testing.
1935
2137
 
1936
2138
        This starts a new Python interpreter and runs bzr in there.
1945
2147
            variables. A value of None will unset the env variable.
1946
2148
            The values must be strings. The change will only occur in the
1947
2149
            child, so you don't need to fix the environment after running.
1948
 
        :param skip_if_plan_to_signal: raise TestSkipped when true and os.kill
1949
 
            is not available.
 
2150
        :param skip_if_plan_to_signal: raise TestSkipped when true and system
 
2151
            doesn't support signalling subprocesses.
1950
2152
        :param allow_plugins: If False (default) pass --no-plugins to bzr.
 
2153
        :param stderr: file to use for the subprocess's stderr.  Valid values
 
2154
            are those valid for the stderr argument of `subprocess.Popen`.
 
2155
            Default value is ``subprocess.PIPE``.
1951
2156
 
1952
2157
        :returns: Popen object for the started process.
1953
2158
        """
1954
2159
        if skip_if_plan_to_signal:
1955
 
            if not getattr(os, 'kill', None):
1956
 
                raise TestSkipped("os.kill not available.")
 
2160
            if os.name != "posix":
 
2161
                raise TestSkipped("Sending signals not supported")
1957
2162
 
1958
2163
        if env_changes is None:
1959
2164
            env_changes = {}
1979
2184
            # so we will avoid using it on all platforms, just to
1980
2185
            # make sure the code path is used, and we don't break on win32
1981
2186
            cleanup_environment()
 
2187
            # Include the subprocess's log file in the test details, in case
 
2188
            # the test fails due to an error in the subprocess.
 
2189
            self._add_subprocess_log(trace._get_bzr_log_filename())
1982
2190
            command = [sys.executable]
1983
2191
            # frozen executables don't need the path to bzr
1984
2192
            if getattr(sys, "frozen", None) is None:
1986
2194
            if not allow_plugins:
1987
2195
                command.append('--no-plugins')
1988
2196
            command.extend(process_args)
1989
 
            process = self._popen(command, stdin=PIPE, stdout=PIPE, stderr=PIPE)
 
2197
            process = self._popen(command, stdin=subprocess.PIPE,
 
2198
                                  stdout=subprocess.PIPE,
 
2199
                                  stderr=stderr)
1990
2200
        finally:
1991
2201
            restore_environment()
1992
2202
            if cwd is not None:
1994
2204
 
1995
2205
        return process
1996
2206
 
 
2207
    def _add_subprocess_log(self, log_file_path):
 
2208
        if len(self._log_files) == 0:
 
2209
            # Register an addCleanup func.  We do this on the first call to
 
2210
            # _add_subprocess_log rather than in TestCase.setUp so that this
 
2211
            # addCleanup is registered after any cleanups for tempdirs that
 
2212
            # subclasses might create, which will probably remove the log file
 
2213
            # we want to read.
 
2214
            self.addCleanup(self._subprocess_log_cleanup)
 
2215
        # self._log_files is a set, so if a log file is reused we won't grab it
 
2216
        # twice.
 
2217
        self._log_files.add(log_file_path)
 
2218
 
 
2219
    def _subprocess_log_cleanup(self):
 
2220
        for count, log_file_path in enumerate(self._log_files):
 
2221
            # We use buffer_now=True to avoid holding the file open beyond
 
2222
            # the life of this function, which might interfere with e.g.
 
2223
            # cleaning tempdirs on Windows.
 
2224
            # XXX: Testtools 0.9.5 doesn't have the content_from_file helper
 
2225
            #detail_content = content.content_from_file(
 
2226
            #    log_file_path, buffer_now=True)
 
2227
            with open(log_file_path, 'rb') as log_file:
 
2228
                log_file_bytes = log_file.read()
 
2229
            detail_content = content.Content(content.ContentType("text",
 
2230
                "plain", {"charset": "utf8"}), lambda: [log_file_bytes])
 
2231
            self.addDetail("start_bzr_subprocess-log-%d" % (count,),
 
2232
                detail_content)
 
2233
 
1997
2234
    def _popen(self, *args, **kwargs):
1998
2235
        """Place a call to Popen.
1999
2236
 
2000
2237
        Allows tests to override this method to intercept the calls made to
2001
2238
        Popen for introspection.
2002
2239
        """
2003
 
        return Popen(*args, **kwargs)
 
2240
        return subprocess.Popen(*args, **kwargs)
2004
2241
 
2005
2242
    def get_source_path(self):
2006
2243
        """Return the path of the directory containing bzrlib."""
2008
2245
 
2009
2246
    def get_bzr_path(self):
2010
2247
        """Return the path of the 'bzr' executable for this test suite."""
2011
 
        bzr_path = self.get_source_path()+'/bzr'
 
2248
        bzr_path = os.path.join(self.get_source_path(), "bzr")
2012
2249
        if not os.path.isfile(bzr_path):
2013
2250
            # We are probably installed. Assume sys.argv is the right file
2014
2251
            bzr_path = sys.argv[0]
2036
2273
        if retcode is not None and retcode != process.returncode:
2037
2274
            if process_args is None:
2038
2275
                process_args = "(unknown args)"
2039
 
            mutter('Output of bzr %s:\n%s', process_args, out)
2040
 
            mutter('Error for bzr %s:\n%s', process_args, err)
 
2276
            trace.mutter('Output of bzr %s:\n%s', process_args, out)
 
2277
            trace.mutter('Error for bzr %s:\n%s', process_args, err)
2041
2278
            self.fail('Command bzr %s failed with retcode %s != %s'
2042
2279
                      % (process_args, retcode, process.returncode))
2043
2280
        return [out, err]
2044
2281
 
2045
 
    def check_inventory_shape(self, inv, shape):
2046
 
        """Compare an inventory to a list of expected names.
 
2282
    def check_tree_shape(self, tree, shape):
 
2283
        """Compare a tree to a list of expected names.
2047
2284
 
2048
2285
        Fail if they are not precisely equal.
2049
2286
        """
2050
2287
        extras = []
2051
2288
        shape = list(shape)             # copy
2052
 
        for path, ie in inv.entries():
 
2289
        for path, ie in tree.iter_entries_by_dir():
2053
2290
            name = path.replace('\\', '/')
2054
2291
            if ie.kind == 'directory':
2055
2292
                name = name + '/'
2056
 
            if name in shape:
 
2293
            if name == "/":
 
2294
                pass # ignore root entry
 
2295
            elif name in shape:
2057
2296
                shape.remove(name)
2058
2297
            else:
2059
2298
                extras.append(name)
2100
2339
 
2101
2340
        Tests that expect to provoke LockContention errors should call this.
2102
2341
        """
2103
 
        self.overrideAttr(bzrlib.lockdir, '_DEFAULT_TIMEOUT_SECONDS', 0)
 
2342
        self.overrideAttr(lockdir, '_DEFAULT_TIMEOUT_SECONDS', 0)
2104
2343
 
2105
2344
    def make_utf8_encoded_stringio(self, encoding_type=None):
2106
2345
        """Return a StringIOWrapper instance, that will encode Unicode
2149
2388
class TestCaseWithMemoryTransport(TestCase):
2150
2389
    """Common test class for tests that do not need disk resources.
2151
2390
 
2152
 
    Tests that need disk resources should derive from TestCaseWithTransport.
 
2391
    Tests that need disk resources should derive from TestCaseInTempDir
 
2392
    orTestCaseWithTransport.
2153
2393
 
2154
2394
    TestCaseWithMemoryTransport sets the TEST_ROOT variable for all bzr tests.
2155
2395
 
2156
 
    For TestCaseWithMemoryTransport the test_home_dir is set to the name of
 
2396
    For TestCaseWithMemoryTransport the ``test_home_dir`` is set to the name of
2157
2397
    a directory which does not exist. This serves to help ensure test isolation
2158
 
    is preserved. test_dir is set to the TEST_ROOT, as is cwd, because they
2159
 
    must exist. However, TestCaseWithMemoryTransport does not offer local
2160
 
    file defaults for the transport in tests, nor does it obey the command line
 
2398
    is preserved. ``test_dir`` is set to the TEST_ROOT, as is cwd, because they
 
2399
    must exist. However, TestCaseWithMemoryTransport does not offer local file
 
2400
    defaults for the transport in tests, nor does it obey the command line
2161
2401
    override, so tests that accidentally write to the common directory should
2162
2402
    be rare.
2163
2403
 
2164
 
    :cvar TEST_ROOT: Directory containing all temporary directories, plus
2165
 
    a .bzr directory that stops us ascending higher into the filesystem.
 
2404
    :cvar TEST_ROOT: Directory containing all temporary directories, plus a
 
2405
        ``.bzr`` directory that stops us ascending higher into the filesystem.
2166
2406
    """
2167
2407
 
2168
2408
    TEST_ROOT = None
2186
2426
 
2187
2427
        :param relpath: a path relative to the base url.
2188
2428
        """
2189
 
        t = get_transport(self.get_url(relpath))
 
2429
        t = _mod_transport.get_transport_from_url(self.get_url(relpath))
2190
2430
        self.assertFalse(t.is_readonly())
2191
2431
        return t
2192
2432
 
2198
2438
 
2199
2439
        :param relpath: a path relative to the base url.
2200
2440
        """
2201
 
        t = get_transport(self.get_readonly_url(relpath))
 
2441
        t = _mod_transport.get_transport_from_url(
 
2442
            self.get_readonly_url(relpath))
2202
2443
        self.assertTrue(t.is_readonly())
2203
2444
        return t
2204
2445
 
2325
2566
        real branch.
2326
2567
        """
2327
2568
        root = TestCaseWithMemoryTransport.TEST_ROOT
2328
 
        bzrdir.BzrDir.create_standalone_workingtree(root)
 
2569
        try:
 
2570
            # Make sure we get a readable and accessible home for .bzr.log
 
2571
            # and/or config files, and not fallback to weird defaults (see
 
2572
            # http://pad.lv/825027).
 
2573
            self.assertIs(None, os.environ.get('BZR_HOME', None))
 
2574
            os.environ['BZR_HOME'] = root
 
2575
            wt = bzrdir.BzrDir.create_standalone_workingtree(root)
 
2576
            del os.environ['BZR_HOME']
 
2577
        except Exception, e:
 
2578
            self.fail("Fail to initialize the safety net: %r\nExiting\n" % (e,))
 
2579
        # Hack for speed: remember the raw bytes of the dirstate file so that
 
2580
        # we don't need to re-open the wt to check it hasn't changed.
 
2581
        TestCaseWithMemoryTransport._SAFETY_NET_PRISTINE_DIRSTATE = (
 
2582
            wt.control_transport.get_bytes('dirstate'))
2329
2583
 
2330
2584
    def _check_safety_net(self):
2331
2585
        """Check that the safety .bzr directory have not been touched.
2334
2588
        propagating. This method ensures than a test did not leaked.
2335
2589
        """
2336
2590
        root = TestCaseWithMemoryTransport.TEST_ROOT
2337
 
        self.permit_url(get_transport(root).base)
2338
 
        wt = workingtree.WorkingTree.open(root)
2339
 
        last_rev = wt.last_revision()
2340
 
        if last_rev != 'null:':
 
2591
        t = _mod_transport.get_transport_from_path(root)
 
2592
        self.permit_url(t.base)
 
2593
        if (t.get_bytes('.bzr/checkout/dirstate') != 
 
2594
                TestCaseWithMemoryTransport._SAFETY_NET_PRISTINE_DIRSTATE):
2341
2595
            # The current test have modified the /bzr directory, we need to
2342
2596
            # recreate a new one or all the followng tests will fail.
2343
2597
            # If you need to inspect its content uncomment the following line
2378
2632
    def make_branch(self, relpath, format=None):
2379
2633
        """Create a branch on the transport at relpath."""
2380
2634
        repo = self.make_repository(relpath, format=format)
2381
 
        return repo.bzrdir.create_branch()
 
2635
        return repo.bzrdir.create_branch(append_revisions_only=False)
 
2636
 
 
2637
    def resolve_format(self, format):
 
2638
        """Resolve an object to a ControlDir format object.
 
2639
 
 
2640
        The initial format object can either already be
 
2641
        a ControlDirFormat, None (for the default format),
 
2642
        or a string with the name of the control dir format.
 
2643
 
 
2644
        :param format: Object to resolve
 
2645
        :return A ControlDirFormat instance
 
2646
        """
 
2647
        if format is None:
 
2648
            format = 'default'
 
2649
        if isinstance(format, basestring):
 
2650
            format = bzrdir.format_registry.make_bzrdir(format)
 
2651
        return format
 
2652
 
 
2653
    def resolve_format(self, format):
 
2654
        """Resolve an object to a ControlDir format object.
 
2655
 
 
2656
        The initial format object can either already be
 
2657
        a ControlDirFormat, None (for the default format),
 
2658
        or a string with the name of the control dir format.
 
2659
 
 
2660
        :param format: Object to resolve
 
2661
        :return A ControlDirFormat instance
 
2662
        """
 
2663
        if format is None:
 
2664
            format = 'default'
 
2665
        if isinstance(format, basestring):
 
2666
            format = bzrdir.format_registry.make_bzrdir(format)
 
2667
        return format
2382
2668
 
2383
2669
    def make_bzrdir(self, relpath, format=None):
2384
2670
        try:
2385
2671
            # might be a relative or absolute path
2386
2672
            maybe_a_url = self.get_url(relpath)
2387
2673
            segments = maybe_a_url.rsplit('/', 1)
2388
 
            t = get_transport(maybe_a_url)
 
2674
            t = _mod_transport.get_transport(maybe_a_url)
2389
2675
            if len(segments) > 1 and segments[-1] not in ('', '.'):
2390
2676
                t.ensure_base()
2391
 
            if format is None:
2392
 
                format = 'default'
2393
 
            if isinstance(format, basestring):
2394
 
                format = bzrdir.format_registry.make_bzrdir(format)
 
2677
            format = self.resolve_format(format)
2395
2678
            return format.initialize_on_transport(t)
2396
2679
        except errors.UninitializableFormat:
2397
2680
            raise TestSkipped("Format %s is not initializable." % format)
2398
2681
 
2399
 
    def make_repository(self, relpath, shared=False, format=None):
 
2682
    def make_repository(self, relpath, shared=None, format=None):
2400
2683
        """Create a repository on our default transport at relpath.
2401
2684
 
2402
2685
        Note that relpath must be a relative path, not a full url.
2408
2691
        made_control = self.make_bzrdir(relpath, format=format)
2409
2692
        return made_control.create_repository(shared=shared)
2410
2693
 
2411
 
    def make_smart_server(self, path):
 
2694
    def make_smart_server(self, path, backing_server=None):
 
2695
        if backing_server is None:
 
2696
            backing_server = self.get_server()
2412
2697
        smart_server = test_server.SmartTCPServer_for_testing()
2413
 
        self.start_server(smart_server, self.get_server())
2414
 
        remote_transport = get_transport(smart_server.get_url()).clone(path)
 
2698
        self.start_server(smart_server, backing_server)
 
2699
        remote_transport = _mod_transport.get_transport_from_url(smart_server.get_url()
 
2700
                                                   ).clone(path)
2415
2701
        return remote_transport
2416
2702
 
2417
2703
    def make_branch_and_memory_tree(self, relpath, format=None):
2427
2713
        test_home_dir = self.test_home_dir
2428
2714
        if isinstance(test_home_dir, unicode):
2429
2715
            test_home_dir = test_home_dir.encode(sys.getfilesystemencoding())
2430
 
        os.environ['HOME'] = test_home_dir
2431
 
        os.environ['BZR_HOME'] = test_home_dir
 
2716
        self.overrideEnv('HOME', test_home_dir)
 
2717
        self.overrideEnv('BZR_HOME', test_home_dir)
2432
2718
 
2433
2719
    def setUp(self):
2434
2720
        super(TestCaseWithMemoryTransport, self).setUp()
 
2721
        # Ensure that ConnectedTransport doesn't leak sockets
 
2722
        def get_transport_from_url_with_cleanup(*args, **kwargs):
 
2723
            t = orig_get_transport_from_url(*args, **kwargs)
 
2724
            if isinstance(t, _mod_transport.ConnectedTransport):
 
2725
                self.addCleanup(t.disconnect)
 
2726
            return t
 
2727
 
 
2728
        orig_get_transport_from_url = self.overrideAttr(
 
2729
            _mod_transport, 'get_transport_from_url',
 
2730
            get_transport_from_url_with_cleanup)
2435
2731
        self._make_test_root()
2436
2732
        self.addCleanup(os.chdir, os.getcwdu())
2437
2733
        self.makeAndChdirToTestDir()
2480
2776
 
2481
2777
    OVERRIDE_PYTHON = 'python'
2482
2778
 
 
2779
    def setUp(self):
 
2780
        super(TestCaseInTempDir, self).setUp()
 
2781
        # Remove the protection set in isolated_environ, we have a proper
 
2782
        # access to disk resources now.
 
2783
        self.overrideEnv('BZR_LOG', None)
 
2784
 
2483
2785
    def check_file_contents(self, filename, expect):
2484
2786
        self.log("check contents of file %s" % filename)
2485
 
        contents = file(filename, 'r').read()
 
2787
        f = file(filename)
 
2788
        try:
 
2789
            contents = f.read()
 
2790
        finally:
 
2791
            f.close()
2486
2792
        if contents != expect:
2487
2793
            self.log("expected: %r" % expect)
2488
2794
            self.log("actually: %r" % contents)
2562
2868
                "a list or a tuple. Got %r instead" % (shape,))
2563
2869
        # It's OK to just create them using forward slashes on windows.
2564
2870
        if transport is None or transport.is_readonly():
2565
 
            transport = get_transport(".")
 
2871
            transport = _mod_transport.get_transport_from_path(".")
2566
2872
        for name in shape:
2567
2873
            self.assertIsInstance(name, basestring)
2568
2874
            if name[-1] == '/':
2578
2884
                content = "contents of %s%s" % (name.encode('utf-8'), end)
2579
2885
                transport.put_bytes_non_atomic(urlutils.escape(name), content)
2580
2886
 
2581
 
    def build_tree_contents(self, shape):
2582
 
        build_tree_contents(shape)
 
2887
    build_tree_contents = staticmethod(treeshape.build_tree_contents)
2583
2888
 
2584
2889
    def assertInWorkingTree(self, path, root_path='.', tree=None):
2585
2890
        """Assert whether path or paths are in the WorkingTree"""
2726
3031
    """
2727
3032
 
2728
3033
    def setUp(self):
 
3034
        from bzrlib.tests import http_server
2729
3035
        super(ChrootedTestCase, self).setUp()
2730
3036
        if not self.vfs_transport_factory == memory.MemoryServer:
2731
 
            self.transport_readonly_server = HttpServer
 
3037
            self.transport_readonly_server = http_server.HttpServer
2732
3038
 
2733
3039
 
2734
3040
def condition_id_re(pattern):
2737
3043
    :param pattern: A regular expression string.
2738
3044
    :return: A callable that returns True if the re matches.
2739
3045
    """
2740
 
    filter_re = osutils.re_compile_checked(pattern, 0,
2741
 
        'test filter')
 
3046
    filter_re = re.compile(pattern, 0)
2742
3047
    def condition(test):
2743
3048
        test_id = test.id()
2744
3049
        return filter_re.search(test_id)
2996
3301
 
2997
3302
 
2998
3303
def fork_decorator(suite):
 
3304
    if getattr(os, "fork", None) is None:
 
3305
        raise errors.BzrCommandError("platform does not support fork,"
 
3306
            " try --parallel=subprocess instead.")
2999
3307
    concurrency = osutils.local_concurrency()
3000
3308
    if concurrency == 1:
3001
3309
        return suite
3056
3364
    return suite
3057
3365
 
3058
3366
 
3059
 
class TestDecorator(TestSuite):
 
3367
class TestDecorator(TestUtil.TestSuite):
3060
3368
    """A decorator for TestCase/TestSuite objects.
3061
3369
    
3062
3370
    Usually, subclasses should override __iter__(used when flattening test
3065
3373
    """
3066
3374
 
3067
3375
    def __init__(self, suite):
3068
 
        TestSuite.__init__(self)
 
3376
        TestUtil.TestSuite.__init__(self)
3069
3377
        self.addTest(suite)
3070
3378
 
3071
3379
    def countTestCases(self):
3190
3498
 
3191
3499
def partition_tests(suite, count):
3192
3500
    """Partition suite into count lists of tests."""
3193
 
    result = []
3194
 
    tests = list(iter_suite_tests(suite))
3195
 
    tests_per_process = int(math.ceil(float(len(tests)) / count))
3196
 
    for block in range(count):
3197
 
        low_test = block * tests_per_process
3198
 
        high_test = low_test + tests_per_process
3199
 
        process_tests = tests[low_test:high_test]
3200
 
        result.append(process_tests)
3201
 
    return result
 
3501
    # This just assigns tests in a round-robin fashion.  On one hand this
 
3502
    # splits up blocks of related tests that might run faster if they shared
 
3503
    # resources, but on the other it avoids assigning blocks of slow tests to
 
3504
    # just one partition.  So the slowest partition shouldn't be much slower
 
3505
    # than the fastest.
 
3506
    partitions = [list() for i in range(count)]
 
3507
    tests = iter_suite_tests(suite)
 
3508
    for partition, test in itertools.izip(itertools.cycle(partitions), tests):
 
3509
        partition.append(test)
 
3510
    return partitions
3202
3511
 
3203
3512
 
3204
3513
def workaround_zealous_crypto_random():
3238
3547
 
3239
3548
    test_blocks = partition_tests(suite, concurrency)
3240
3549
    for process_tests in test_blocks:
3241
 
        process_suite = TestSuite()
 
3550
        process_suite = TestUtil.TestSuite()
3242
3551
        process_suite.addTests(process_tests)
3243
3552
        c2pread, c2pwrite = os.pipe()
3244
3553
        pid = os.fork()
3310
3619
                '--subunit']
3311
3620
            if '--no-plugins' in sys.argv:
3312
3621
                argv.append('--no-plugins')
3313
 
            # stderr=STDOUT would be ideal, but until we prevent noise on
3314
 
            # stderr it can interrupt the subunit protocol.
3315
 
            process = Popen(argv, stdin=PIPE, stdout=PIPE, stderr=PIPE,
3316
 
                bufsize=1)
 
3622
            # stderr=subprocess.STDOUT would be ideal, but until we prevent
 
3623
            # noise on stderr it can interrupt the subunit protocol.
 
3624
            process = subprocess.Popen(argv, stdin=subprocess.PIPE,
 
3625
                                      stdout=subprocess.PIPE,
 
3626
                                      stderr=subprocess.PIPE,
 
3627
                                      bufsize=1)
3317
3628
            test = TestInSubprocess(process, test_list_file_name)
3318
3629
            result.append(test)
3319
3630
        except:
3322
3633
    return result
3323
3634
 
3324
3635
 
3325
 
class ForwardingResult(unittest.TestResult):
3326
 
 
3327
 
    def __init__(self, target):
3328
 
        unittest.TestResult.__init__(self)
3329
 
        self.result = target
3330
 
 
3331
 
    def startTest(self, test):
3332
 
        self.result.startTest(test)
3333
 
 
3334
 
    def stopTest(self, test):
3335
 
        self.result.stopTest(test)
3336
 
 
3337
 
    def startTestRun(self):
3338
 
        self.result.startTestRun()
3339
 
 
3340
 
    def stopTestRun(self):
3341
 
        self.result.stopTestRun()
3342
 
 
3343
 
    def addSkip(self, test, reason):
3344
 
        self.result.addSkip(test, reason)
3345
 
 
3346
 
    def addSuccess(self, test):
3347
 
        self.result.addSuccess(test)
3348
 
 
3349
 
    def addError(self, test, err):
3350
 
        self.result.addError(test, err)
3351
 
 
3352
 
    def addFailure(self, test, err):
3353
 
        self.result.addFailure(test, err)
3354
 
ForwardingResult = testtools.ExtendedToOriginalDecorator
3355
 
 
3356
 
 
3357
 
class ProfileResult(ForwardingResult):
 
3636
class ProfileResult(testtools.ExtendedToOriginalDecorator):
3358
3637
    """Generate profiling data for all activity between start and success.
3359
3638
    
3360
3639
    The profile data is appended to the test's _benchcalls attribute and can
3368
3647
 
3369
3648
    def startTest(self, test):
3370
3649
        self.profiler = bzrlib.lsprof.BzrProfiler()
 
3650
        # Prevent deadlocks in tests that use lsprof: those tests will
 
3651
        # unavoidably fail.
 
3652
        bzrlib.lsprof.BzrProfiler.profiler_block = 0
3371
3653
        self.profiler.start()
3372
 
        ForwardingResult.startTest(self, test)
 
3654
        testtools.ExtendedToOriginalDecorator.startTest(self, test)
3373
3655
 
3374
3656
    def addSuccess(self, test):
3375
3657
        stats = self.profiler.stop()
3379
3661
            test._benchcalls = []
3380
3662
            calls = test._benchcalls
3381
3663
        calls.append(((test.id(), "", ""), stats))
3382
 
        ForwardingResult.addSuccess(self, test)
 
3664
        testtools.ExtendedToOriginalDecorator.addSuccess(self, test)
3383
3665
 
3384
3666
    def stopTest(self, test):
3385
 
        ForwardingResult.stopTest(self, test)
 
3667
        testtools.ExtendedToOriginalDecorator.stopTest(self, test)
3386
3668
        self.profiler = None
3387
3669
 
3388
3670
 
3394
3676
#                           rather than failing tests. And no longer raise
3395
3677
#                           LockContention when fctnl locks are not being used
3396
3678
#                           with proper exclusion rules.
 
3679
#   -Ethreads               Will display thread ident at creation/join time to
 
3680
#                           help track thread leaks
 
3681
 
 
3682
#   -Econfig_stats          Will collect statistics using addDetail
3397
3683
selftest_debug_flags = set()
3398
3684
 
3399
3685
 
3593
3879
                key, obj, help=help, info=info, override_existing=False)
3594
3880
        except KeyError:
3595
3881
            actual = self.get(key)
3596
 
            note('Test prefix alias %s is already used for %s, ignoring %s'
3597
 
                 % (key, actual, obj))
 
3882
            trace.note(
 
3883
                'Test prefix alias %s is already used for %s, ignoring %s'
 
3884
                % (key, actual, obj))
3598
3885
 
3599
3886
    def resolve_alias(self, id_start):
3600
3887
        """Replace the alias by the prefix in the given string.
3632
3919
        'bzrlib.doc',
3633
3920
        'bzrlib.tests.blackbox',
3634
3921
        'bzrlib.tests.commands',
 
3922
        'bzrlib.tests.doc_generate',
3635
3923
        'bzrlib.tests.per_branch',
3636
3924
        'bzrlib.tests.per_bzrdir',
3637
 
        'bzrlib.tests.per_bzrdir_colo',
 
3925
        'bzrlib.tests.per_controldir',
 
3926
        'bzrlib.tests.per_controldir_colo',
3638
3927
        'bzrlib.tests.per_foreign_vcs',
3639
3928
        'bzrlib.tests.per_interrepository',
3640
3929
        'bzrlib.tests.per_intertree',
3648
3937
        'bzrlib.tests.per_repository',
3649
3938
        'bzrlib.tests.per_repository_chk',
3650
3939
        'bzrlib.tests.per_repository_reference',
 
3940
        'bzrlib.tests.per_repository_vf',
3651
3941
        'bzrlib.tests.per_uifactory',
3652
3942
        'bzrlib.tests.per_versionedfile',
3653
3943
        'bzrlib.tests.per_workingtree',
3654
3944
        'bzrlib.tests.test__annotator',
3655
3945
        'bzrlib.tests.test__bencode',
 
3946
        'bzrlib.tests.test__btree_serializer',
3656
3947
        'bzrlib.tests.test__chk_map',
3657
3948
        'bzrlib.tests.test__dirstate_helpers',
3658
3949
        'bzrlib.tests.test__groupcompress',
3686
3977
        'bzrlib.tests.test_commit_merge',
3687
3978
        'bzrlib.tests.test_config',
3688
3979
        'bzrlib.tests.test_conflicts',
 
3980
        'bzrlib.tests.test_controldir',
3689
3981
        'bzrlib.tests.test_counted_lock',
3690
3982
        'bzrlib.tests.test_crash',
3691
3983
        'bzrlib.tests.test_decorators',
3692
3984
        'bzrlib.tests.test_delta',
3693
3985
        'bzrlib.tests.test_debug',
3694
 
        'bzrlib.tests.test_deprecated_graph',
3695
3986
        'bzrlib.tests.test_diff',
3696
3987
        'bzrlib.tests.test_directory_service',
3697
3988
        'bzrlib.tests.test_dirstate',
3698
3989
        'bzrlib.tests.test_email_message',
3699
3990
        'bzrlib.tests.test_eol_filters',
3700
3991
        'bzrlib.tests.test_errors',
 
3992
        'bzrlib.tests.test_estimate_compressed_size',
3701
3993
        'bzrlib.tests.test_export',
 
3994
        'bzrlib.tests.test_export_pot',
3702
3995
        'bzrlib.tests.test_extract',
 
3996
        'bzrlib.tests.test_features',
3703
3997
        'bzrlib.tests.test_fetch',
 
3998
        'bzrlib.tests.test_fixtures',
3704
3999
        'bzrlib.tests.test_fifo_cache',
3705
4000
        'bzrlib.tests.test_filters',
 
4001
        'bzrlib.tests.test_filter_tree',
3706
4002
        'bzrlib.tests.test_ftp_transport',
3707
4003
        'bzrlib.tests.test_foreign',
3708
4004
        'bzrlib.tests.test_generate_docs',
3717
4013
        'bzrlib.tests.test_http',
3718
4014
        'bzrlib.tests.test_http_response',
3719
4015
        'bzrlib.tests.test_https_ca_bundle',
 
4016
        'bzrlib.tests.test_i18n',
3720
4017
        'bzrlib.tests.test_identitymap',
3721
4018
        'bzrlib.tests.test_ignores',
3722
4019
        'bzrlib.tests.test_index',
3727
4024
        'bzrlib.tests.test_knit',
3728
4025
        'bzrlib.tests.test_lazy_import',
3729
4026
        'bzrlib.tests.test_lazy_regex',
 
4027
        'bzrlib.tests.test_library_state',
3730
4028
        'bzrlib.tests.test_lock',
3731
4029
        'bzrlib.tests.test_lockable_files',
3732
4030
        'bzrlib.tests.test_lockdir',
3740
4038
        'bzrlib.tests.test_merge3',
3741
4039
        'bzrlib.tests.test_merge_core',
3742
4040
        'bzrlib.tests.test_merge_directive',
 
4041
        'bzrlib.tests.test_mergetools',
3743
4042
        'bzrlib.tests.test_missing',
3744
4043
        'bzrlib.tests.test_msgeditor',
3745
4044
        'bzrlib.tests.test_multiparent',
3754
4053
        'bzrlib.tests.test_permissions',
3755
4054
        'bzrlib.tests.test_plugins',
3756
4055
        'bzrlib.tests.test_progress',
 
4056
        'bzrlib.tests.test_pyutils',
3757
4057
        'bzrlib.tests.test_read_bundle',
3758
4058
        'bzrlib.tests.test_reconcile',
3759
4059
        'bzrlib.tests.test_reconfigure',
3768
4068
        'bzrlib.tests.test_rio',
3769
4069
        'bzrlib.tests.test_rules',
3770
4070
        'bzrlib.tests.test_sampler',
 
4071
        'bzrlib.tests.test_scenarios',
3771
4072
        'bzrlib.tests.test_script',
3772
4073
        'bzrlib.tests.test_selftest',
3773
4074
        'bzrlib.tests.test_serializer',
3778
4079
        'bzrlib.tests.test_smart',
3779
4080
        'bzrlib.tests.test_smart_add',
3780
4081
        'bzrlib.tests.test_smart_request',
 
4082
        'bzrlib.tests.test_smart_signals',
3781
4083
        'bzrlib.tests.test_smart_transport',
3782
4084
        'bzrlib.tests.test_smtp_connection',
3783
4085
        'bzrlib.tests.test_source',
3789
4091
        'bzrlib.tests.test_switch',
3790
4092
        'bzrlib.tests.test_symbol_versioning',
3791
4093
        'bzrlib.tests.test_tag',
 
4094
        'bzrlib.tests.test_test_server',
3792
4095
        'bzrlib.tests.test_testament',
3793
4096
        'bzrlib.tests.test_textfile',
3794
4097
        'bzrlib.tests.test_textmerge',
 
4098
        'bzrlib.tests.test_cethread',
3795
4099
        'bzrlib.tests.test_timestamp',
3796
4100
        'bzrlib.tests.test_trace',
3797
4101
        'bzrlib.tests.test_transactions',
3800
4104
        'bzrlib.tests.test_transport_log',
3801
4105
        'bzrlib.tests.test_tree',
3802
4106
        'bzrlib.tests.test_treebuilder',
 
4107
        'bzrlib.tests.test_treeshape',
3803
4108
        'bzrlib.tests.test_tsort',
3804
4109
        'bzrlib.tests.test_tuned_gzip',
3805
4110
        'bzrlib.tests.test_ui',
3807
4112
        'bzrlib.tests.test_upgrade',
3808
4113
        'bzrlib.tests.test_upgrade_stacked',
3809
4114
        'bzrlib.tests.test_urlutils',
 
4115
        'bzrlib.tests.test_utextwrap',
3810
4116
        'bzrlib.tests.test_version',
3811
4117
        'bzrlib.tests.test_version_info',
 
4118
        'bzrlib.tests.test_versionedfile',
3812
4119
        'bzrlib.tests.test_weave',
3813
4120
        'bzrlib.tests.test_whitebox',
3814
4121
        'bzrlib.tests.test_win32utils',
3828
4135
        'bzrlib',
3829
4136
        'bzrlib.branchbuilder',
3830
4137
        'bzrlib.decorators',
3831
 
        'bzrlib.export',
3832
4138
        'bzrlib.inventory',
3833
4139
        'bzrlib.iterablefile',
3834
4140
        'bzrlib.lockdir',
3835
4141
        'bzrlib.merge3',
3836
4142
        'bzrlib.option',
 
4143
        'bzrlib.pyutils',
3837
4144
        'bzrlib.symbol_versioning',
3838
4145
        'bzrlib.tests',
 
4146
        'bzrlib.tests.fixtures',
3839
4147
        'bzrlib.timestamp',
 
4148
        'bzrlib.transport.http',
3840
4149
        'bzrlib.version_info_formats.format_custom',
3841
4150
        ]
3842
4151
 
3895
4204
        try:
3896
4205
            # note that this really does mean "report only" -- doctest
3897
4206
            # still runs the rest of the examples
3898
 
            doc_suite = doctest.DocTestSuite(mod,
3899
 
                optionflags=doctest.REPORT_ONLY_FIRST_FAILURE)
 
4207
            doc_suite = IsolatedDocTestSuite(
 
4208
                mod, optionflags=doctest.REPORT_ONLY_FIRST_FAILURE)
3900
4209
        except ValueError, e:
3901
4210
            print '**failed to get doctest for: %s\n%s' % (mod, e)
3902
4211
            raise
3905
4214
        suite.addTest(doc_suite)
3906
4215
 
3907
4216
    default_encoding = sys.getdefaultencoding()
3908
 
    for name, plugin in bzrlib.plugin.plugins().items():
 
4217
    for name, plugin in _mod_plugin.plugins().items():
3909
4218
        if not interesting_module(plugin.module.__name__):
3910
4219
            continue
3911
4220
        plugin_suite = plugin.test_suite()
3917
4226
        if plugin_suite is not None:
3918
4227
            suite.addTest(plugin_suite)
3919
4228
        if default_encoding != sys.getdefaultencoding():
3920
 
            bzrlib.trace.warning(
 
4229
            trace.warning(
3921
4230
                'Plugin "%s" tried to reset default encoding to: %s', name,
3922
4231
                sys.getdefaultencoding())
3923
4232
            reload(sys)
3938
4247
            # Some tests mentioned in the list are not in the test suite. The
3939
4248
            # list may be out of date, report to the tester.
3940
4249
            for id in not_found:
3941
 
                bzrlib.trace.warning('"%s" not found in the test suite', id)
 
4250
                trace.warning('"%s" not found in the test suite', id)
3942
4251
        for id in duplicates:
3943
 
            bzrlib.trace.warning('"%s" is used as an id by several tests', id)
 
4252
            trace.warning('"%s" is used as an id by several tests', id)
3944
4253
 
3945
4254
    return suite
3946
4255
 
3947
4256
 
3948
 
def multiply_scenarios(scenarios_left, scenarios_right):
 
4257
def multiply_scenarios(*scenarios):
 
4258
    """Multiply two or more iterables of scenarios.
 
4259
 
 
4260
    It is safe to pass scenario generators or iterators.
 
4261
 
 
4262
    :returns: A list of compound scenarios: the cross-product of all 
 
4263
        scenarios, with the names concatenated and the parameters
 
4264
        merged together.
 
4265
    """
 
4266
    return reduce(_multiply_two_scenarios, map(list, scenarios))
 
4267
 
 
4268
 
 
4269
def _multiply_two_scenarios(scenarios_left, scenarios_right):
3949
4270
    """Multiply two sets of scenarios.
3950
4271
 
3951
4272
    :returns: the cartesian product of the two sets of scenarios, that is
3982
4303
    ...     bzrlib.tests.test_sampler.DemoTest('test_nothing'),
3983
4304
    ...     [('one', dict(param=1)),
3984
4305
    ...      ('two', dict(param=2))],
3985
 
    ...     TestSuite())
 
4306
    ...     TestUtil.TestSuite())
3986
4307
    >>> tests = list(iter_suite_tests(r))
3987
4308
    >>> len(tests)
3988
4309
    2
4035
4356
    :param new_id: The id to assign to it.
4036
4357
    :return: The new test.
4037
4358
    """
4038
 
    new_test = copy(test)
 
4359
    new_test = copy.copy(test)
4039
4360
    new_test.id = lambda: new_id
 
4361
    # XXX: Workaround <https://bugs.launchpad.net/testtools/+bug/637725>, which
 
4362
    # causes cloned tests to share the 'details' dict.  This makes it hard to
 
4363
    # read the test output for parameterized tests, because tracebacks will be
 
4364
    # associated with irrelevant tests.
 
4365
    try:
 
4366
        details = new_test._TestCase__details
 
4367
    except AttributeError:
 
4368
        # must be a different version of testtools than expected.  Do nothing.
 
4369
        pass
 
4370
    else:
 
4371
        # Reset the '__details' dict.
 
4372
        new_test._TestCase__details = {}
4040
4373
    return new_test
4041
4374
 
4042
4375
 
4063
4396
        the module is available.
4064
4397
    """
4065
4398
 
4066
 
    py_module = __import__(py_module_name, {}, {}, ['NO_SUCH_ATTRIB'])
 
4399
    from bzrlib.tests.features import ModuleAvailableFeature
 
4400
    py_module = pyutils.get_named_object(py_module_name)
4067
4401
    scenarios = [
4068
4402
        ('python', {'module': py_module}),
4069
4403
    ]
4102
4436
        if test_id != None:
4103
4437
            ui.ui_factory.clear_term()
4104
4438
            sys.stderr.write('\nWhile running: %s\n' % (test_id,))
 
4439
        # Ugly, but the last thing we want here is fail, so bear with it.
 
4440
        printable_e = str(e).decode(osutils.get_user_encoding(), 'replace'
 
4441
                                    ).encode('ascii', 'replace')
4105
4442
        sys.stderr.write('Unable to remove testing dir %s\n%s'
4106
 
                         % (os.path.basename(dirname), e))
4107
 
 
4108
 
 
4109
 
class Feature(object):
4110
 
    """An operating system Feature."""
4111
 
 
4112
 
    def __init__(self):
4113
 
        self._available = None
4114
 
 
4115
 
    def available(self):
4116
 
        """Is the feature available?
4117
 
 
4118
 
        :return: True if the feature is available.
4119
 
        """
4120
 
        if self._available is None:
4121
 
            self._available = self._probe()
4122
 
        return self._available
4123
 
 
4124
 
    def _probe(self):
4125
 
        """Implement this method in concrete features.
4126
 
 
4127
 
        :return: True if the feature is available.
4128
 
        """
4129
 
        raise NotImplementedError
4130
 
 
4131
 
    def __str__(self):
4132
 
        if getattr(self, 'feature_name', None):
4133
 
            return self.feature_name()
4134
 
        return self.__class__.__name__
4135
 
 
4136
 
 
4137
 
class _SymlinkFeature(Feature):
4138
 
 
4139
 
    def _probe(self):
4140
 
        return osutils.has_symlinks()
4141
 
 
4142
 
    def feature_name(self):
4143
 
        return 'symlinks'
4144
 
 
4145
 
SymlinkFeature = _SymlinkFeature()
4146
 
 
4147
 
 
4148
 
class _HardlinkFeature(Feature):
4149
 
 
4150
 
    def _probe(self):
4151
 
        return osutils.has_hardlinks()
4152
 
 
4153
 
    def feature_name(self):
4154
 
        return 'hardlinks'
4155
 
 
4156
 
HardlinkFeature = _HardlinkFeature()
4157
 
 
4158
 
 
4159
 
class _OsFifoFeature(Feature):
4160
 
 
4161
 
    def _probe(self):
4162
 
        return getattr(os, 'mkfifo', None)
4163
 
 
4164
 
    def feature_name(self):
4165
 
        return 'filesystem fifos'
4166
 
 
4167
 
OsFifoFeature = _OsFifoFeature()
4168
 
 
4169
 
 
4170
 
class _UnicodeFilenameFeature(Feature):
4171
 
    """Does the filesystem support Unicode filenames?"""
4172
 
 
4173
 
    def _probe(self):
4174
 
        try:
4175
 
            # Check for character combinations unlikely to be covered by any
4176
 
            # single non-unicode encoding. We use the characters
4177
 
            # - greek small letter alpha (U+03B1) and
4178
 
            # - braille pattern dots-123456 (U+283F).
4179
 
            os.stat(u'\u03b1\u283f')
4180
 
        except UnicodeEncodeError:
4181
 
            return False
4182
 
        except (IOError, OSError):
4183
 
            # The filesystem allows the Unicode filename but the file doesn't
4184
 
            # exist.
4185
 
            return True
4186
 
        else:
4187
 
            # The filesystem allows the Unicode filename and the file exists,
4188
 
            # for some reason.
4189
 
            return True
4190
 
 
4191
 
UnicodeFilenameFeature = _UnicodeFilenameFeature()
4192
 
 
4193
 
 
4194
 
class _CompatabilityThunkFeature(Feature):
4195
 
    """This feature is just a thunk to another feature.
4196
 
 
4197
 
    It issues a deprecation warning if it is accessed, to let you know that you
4198
 
    should really use a different feature.
4199
 
    """
4200
 
 
4201
 
    def __init__(self, dep_version, module, name,
4202
 
                 replacement_name, replacement_module=None):
4203
 
        super(_CompatabilityThunkFeature, self).__init__()
4204
 
        self._module = module
4205
 
        if replacement_module is None:
4206
 
            replacement_module = module
4207
 
        self._replacement_module = replacement_module
4208
 
        self._name = name
4209
 
        self._replacement_name = replacement_name
4210
 
        self._dep_version = dep_version
4211
 
        self._feature = None
4212
 
 
4213
 
    def _ensure(self):
4214
 
        if self._feature is None:
4215
 
            depr_msg = self._dep_version % ('%s.%s'
4216
 
                                            % (self._module, self._name))
4217
 
            use_msg = ' Use %s.%s instead.' % (self._replacement_module,
4218
 
                                               self._replacement_name)
4219
 
            symbol_versioning.warn(depr_msg + use_msg, DeprecationWarning)
4220
 
            # Import the new feature and use it as a replacement for the
4221
 
            # deprecated one.
4222
 
            mod = __import__(self._replacement_module, {}, {},
4223
 
                             [self._replacement_name])
4224
 
            self._feature = getattr(mod, self._replacement_name)
4225
 
 
4226
 
    def _probe(self):
4227
 
        self._ensure()
4228
 
        return self._feature._probe()
4229
 
 
4230
 
 
4231
 
class ModuleAvailableFeature(Feature):
4232
 
    """This is a feature than describes a module we want to be available.
4233
 
 
4234
 
    Declare the name of the module in __init__(), and then after probing, the
4235
 
    module will be available as 'self.module'.
4236
 
 
4237
 
    :ivar module: The module if it is available, else None.
4238
 
    """
4239
 
 
4240
 
    def __init__(self, module_name):
4241
 
        super(ModuleAvailableFeature, self).__init__()
4242
 
        self.module_name = module_name
4243
 
 
4244
 
    def _probe(self):
4245
 
        try:
4246
 
            self._module = __import__(self.module_name, {}, {}, [''])
4247
 
            return True
4248
 
        except ImportError:
4249
 
            return False
4250
 
 
4251
 
    @property
4252
 
    def module(self):
4253
 
        if self.available(): # Make sure the probe has been done
4254
 
            return self._module
4255
 
        return None
4256
 
 
4257
 
    def feature_name(self):
4258
 
        return self.module_name
4259
 
 
4260
 
 
4261
 
# This is kept here for compatibility, it is recommended to use
4262
 
# 'bzrlib.tests.feature.paramiko' instead
4263
 
ParamikoFeature = _CompatabilityThunkFeature(
4264
 
    deprecated_in((2,1,0)),
4265
 
    'bzrlib.tests.features', 'ParamikoFeature', 'paramiko')
 
4443
                         % (os.path.basename(dirname), printable_e))
4266
4444
 
4267
4445
 
4268
4446
def probe_unicode_in_user_encoding():
4298
4476
    return None
4299
4477
 
4300
4478
 
4301
 
class _HTTPSServerFeature(Feature):
4302
 
    """Some tests want an https Server, check if one is available.
4303
 
 
4304
 
    Right now, the only way this is available is under python2.6 which provides
4305
 
    an ssl module.
4306
 
    """
4307
 
 
4308
 
    def _probe(self):
4309
 
        try:
4310
 
            import ssl
4311
 
            return True
4312
 
        except ImportError:
4313
 
            return False
4314
 
 
4315
 
    def feature_name(self):
4316
 
        return 'HTTPSServer'
4317
 
 
4318
 
 
4319
 
HTTPSServerFeature = _HTTPSServerFeature()
4320
 
 
4321
 
 
4322
 
class _UnicodeFilename(Feature):
4323
 
    """Does the filesystem support Unicode filenames?"""
4324
 
 
4325
 
    def _probe(self):
4326
 
        try:
4327
 
            os.stat(u'\u03b1')
4328
 
        except UnicodeEncodeError:
4329
 
            return False
4330
 
        except (IOError, OSError):
4331
 
            # The filesystem allows the Unicode filename but the file doesn't
4332
 
            # exist.
4333
 
            return True
4334
 
        else:
4335
 
            # The filesystem allows the Unicode filename and the file exists,
4336
 
            # for some reason.
4337
 
            return True
4338
 
 
4339
 
UnicodeFilename = _UnicodeFilename()
4340
 
 
4341
 
 
4342
 
class _UTF8Filesystem(Feature):
4343
 
    """Is the filesystem UTF-8?"""
4344
 
 
4345
 
    def _probe(self):
4346
 
        if osutils._fs_enc.upper() in ('UTF-8', 'UTF8'):
4347
 
            return True
4348
 
        return False
4349
 
 
4350
 
UTF8Filesystem = _UTF8Filesystem()
4351
 
 
4352
 
 
4353
 
class _BreakinFeature(Feature):
4354
 
    """Does this platform support the breakin feature?"""
4355
 
 
4356
 
    def _probe(self):
4357
 
        from bzrlib import breakin
4358
 
        if breakin.determine_signal() is None:
4359
 
            return False
4360
 
        if sys.platform == 'win32':
4361
 
            # Windows doesn't have os.kill, and we catch the SIGBREAK signal.
4362
 
            # We trigger SIGBREAK via a Console api so we need ctypes to
4363
 
            # access the function
4364
 
            try:
4365
 
                import ctypes
4366
 
            except OSError:
4367
 
                return False
4368
 
        return True
4369
 
 
4370
 
    def feature_name(self):
4371
 
        return "SIGQUIT or SIGBREAK w/ctypes on win32"
4372
 
 
4373
 
 
4374
 
BreakinFeature = _BreakinFeature()
4375
 
 
4376
 
 
4377
 
class _CaseInsCasePresFilenameFeature(Feature):
4378
 
    """Is the file-system case insensitive, but case-preserving?"""
4379
 
 
4380
 
    def _probe(self):
4381
 
        fileno, name = tempfile.mkstemp(prefix='MixedCase')
4382
 
        try:
4383
 
            # first check truly case-preserving for created files, then check
4384
 
            # case insensitive when opening existing files.
4385
 
            name = osutils.normpath(name)
4386
 
            base, rel = osutils.split(name)
4387
 
            found_rel = osutils.canonical_relpath(base, name)
4388
 
            return (found_rel == rel
4389
 
                    and os.path.isfile(name.upper())
4390
 
                    and os.path.isfile(name.lower()))
4391
 
        finally:
4392
 
            os.close(fileno)
4393
 
            os.remove(name)
4394
 
 
4395
 
    def feature_name(self):
4396
 
        return "case-insensitive case-preserving filesystem"
4397
 
 
4398
 
CaseInsCasePresFilenameFeature = _CaseInsCasePresFilenameFeature()
4399
 
 
4400
 
 
4401
 
class _CaseInsensitiveFilesystemFeature(Feature):
4402
 
    """Check if underlying filesystem is case-insensitive but *not* case
4403
 
    preserving.
4404
 
    """
4405
 
    # Note that on Windows, Cygwin, MacOS etc, the file-systems are far
4406
 
    # more likely to be case preserving, so this case is rare.
4407
 
 
4408
 
    def _probe(self):
4409
 
        if CaseInsCasePresFilenameFeature.available():
4410
 
            return False
4411
 
 
4412
 
        if TestCaseWithMemoryTransport.TEST_ROOT is None:
4413
 
            root = osutils.mkdtemp(prefix='testbzr-', suffix='.tmp')
4414
 
            TestCaseWithMemoryTransport.TEST_ROOT = root
4415
 
        else:
4416
 
            root = TestCaseWithMemoryTransport.TEST_ROOT
4417
 
        tdir = osutils.mkdtemp(prefix='case-sensitive-probe-', suffix='',
4418
 
            dir=root)
4419
 
        name_a = osutils.pathjoin(tdir, 'a')
4420
 
        name_A = osutils.pathjoin(tdir, 'A')
4421
 
        os.mkdir(name_a)
4422
 
        result = osutils.isdir(name_A)
4423
 
        _rmtree_temp_dir(tdir)
4424
 
        return result
4425
 
 
4426
 
    def feature_name(self):
4427
 
        return 'case-insensitive filesystem'
4428
 
 
4429
 
CaseInsensitiveFilesystemFeature = _CaseInsensitiveFilesystemFeature()
4430
 
 
4431
 
 
4432
 
class _CaseSensitiveFilesystemFeature(Feature):
4433
 
 
4434
 
    def _probe(self):
4435
 
        if CaseInsCasePresFilenameFeature.available():
4436
 
            return False
4437
 
        elif CaseInsensitiveFilesystemFeature.available():
4438
 
            return False
4439
 
        else:
4440
 
            return True
4441
 
 
4442
 
    def feature_name(self):
4443
 
        return 'case-sensitive filesystem'
4444
 
 
4445
 
# new coding style is for feature instances to be lowercase
4446
 
case_sensitive_filesystem_feature = _CaseSensitiveFilesystemFeature()
4447
 
 
4448
 
 
4449
 
# Kept for compatibility, use bzrlib.tests.features.subunit instead
4450
 
SubUnitFeature = _CompatabilityThunkFeature(
4451
 
    deprecated_in((2,1,0)),
4452
 
    'bzrlib.tests.features', 'SubUnitFeature', 'subunit')
4453
4479
# Only define SubUnitBzrRunner if subunit is available.
4454
4480
try:
4455
4481
    from subunit import TestProtocolClient
4456
4482
    from subunit.test_results import AutoTimingTestResultDecorator
 
4483
    class SubUnitBzrProtocolClient(TestProtocolClient):
 
4484
 
 
4485
        def addSuccess(self, test, details=None):
 
4486
            # The subunit client always includes the details in the subunit
 
4487
            # stream, but we don't want to include it in ours.
 
4488
            if details is not None and 'log' in details:
 
4489
                del details['log']
 
4490
            return super(SubUnitBzrProtocolClient, self).addSuccess(
 
4491
                test, details)
 
4492
 
4457
4493
    class SubUnitBzrRunner(TextTestRunner):
4458
4494
        def run(self, test):
4459
4495
            result = AutoTimingTestResultDecorator(
4460
 
                TestProtocolClient(self.stream))
 
4496
                SubUnitBzrProtocolClient(self.stream))
4461
4497
            test.run(result)
4462
4498
            return result
4463
4499
except ImportError:
4464
4500
    pass
4465
4501
 
4466
 
class _PosixPermissionsFeature(Feature):
4467
 
 
4468
 
    def _probe(self):
4469
 
        def has_perms():
4470
 
            # create temporary file and check if specified perms are maintained.
4471
 
            import tempfile
4472
 
 
4473
 
            write_perms = stat.S_IRUSR | stat.S_IWUSR | stat.S_IXUSR
4474
 
            f = tempfile.mkstemp(prefix='bzr_perms_chk_')
4475
 
            fd, name = f
4476
 
            os.close(fd)
4477
 
            os.chmod(name, write_perms)
4478
 
 
4479
 
            read_perms = os.stat(name).st_mode & 0777
4480
 
            os.unlink(name)
4481
 
            return (write_perms == read_perms)
4482
 
 
4483
 
        return (os.name == 'posix') and has_perms()
4484
 
 
4485
 
    def feature_name(self):
4486
 
        return 'POSIX permissions support'
4487
 
 
4488
 
posix_permissions_feature = _PosixPermissionsFeature()
 
4502
 
 
4503
@deprecated_function(deprecated_in((2, 5, 0)))
 
4504
def ModuleAvailableFeature(name):
 
4505
    from bzrlib.tests import features
 
4506
    return features.ModuleAvailableFeature(name)
 
4507