/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/tests/__init__.py

  • Committer: Vincent Ladeuil
  • Date: 2011-12-15 14:47:22 UTC
  • mto: This revision was merged to the branch mainline in revision 6377.
  • Revision ID: v.ladeuil+lp@free.fr-20111215144722-fie3up92mth126r5
Relax constraints on bzr log -rX..Y by falling back to the slower implementation when needed

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005-2010 Canonical Ltd
 
1
# Copyright (C) 2005-2011 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
16
16
 
17
17
"""Testing framework extensions"""
18
18
 
19
 
# TODO: Perhaps there should be an API to find out if bzr running under the
20
 
# test suite -- some plugins might want to avoid making intrusive changes if
21
 
# this is the case.  However, we want behaviour under to test to diverge as
22
 
# little as possible, so this should be used rarely if it's added at all.
23
 
# (Suggestion from j-a-meinel, 2005-11-24)
24
 
 
25
19
# NOTE: Some classes in here use camelCaseNaming() rather than
26
20
# underscore_naming().  That's for consistency with unittest; it's not the
27
21
# general style of bzrlib.  Please continue that consistency when adding e.g.
29
23
 
30
24
import atexit
31
25
import codecs
32
 
from copy import copy
 
26
import copy
33
27
from cStringIO import StringIO
34
28
import difflib
35
29
import doctest
36
30
import errno
 
31
import itertools
37
32
import logging
38
 
import math
39
33
import os
40
 
from pprint import pformat
 
34
import platform
 
35
import pprint
41
36
import random
42
37
import re
43
38
import shlex
 
39
import site
44
40
import stat
45
 
from subprocess import Popen, PIPE, STDOUT
 
41
import subprocess
46
42
import sys
47
43
import tempfile
48
44
import threading
54
50
import testtools
55
51
# nb: check this before importing anything else from within it
56
52
_testtools_version = getattr(testtools, '__version__', ())
57
 
if _testtools_version < (0, 9, 2):
58
 
    raise ImportError("need at least testtools 0.9.2: %s is %r"
 
53
if _testtools_version < (0, 9, 5):
 
54
    raise ImportError("need at least testtools 0.9.5: %s is %r"
59
55
        % (testtools.__file__, _testtools_version))
60
56
from testtools import content
61
57
 
 
58
import bzrlib
62
59
from bzrlib import (
63
60
    branchbuilder,
64
61
    bzrdir,
65
62
    chk_map,
 
63
    commands as _mod_commands,
66
64
    config,
 
65
    i18n,
67
66
    debug,
68
67
    errors,
69
68
    hooks,
70
69
    lock as _mod_lock,
 
70
    lockdir,
71
71
    memorytree,
72
72
    osutils,
73
 
    progress,
 
73
    plugin as _mod_plugin,
 
74
    pyutils,
74
75
    ui,
75
76
    urlutils,
76
77
    registry,
 
78
    symbol_versioning,
 
79
    trace,
 
80
    transport as _mod_transport,
77
81
    workingtree,
78
82
    )
79
 
import bzrlib.branch
80
 
import bzrlib.commands
81
 
import bzrlib.timestamp
82
 
import bzrlib.export
83
 
import bzrlib.inventory
84
 
import bzrlib.iterablefile
85
 
import bzrlib.lockdir
86
83
try:
87
84
    import bzrlib.lsprof
88
85
except ImportError:
89
86
    # lsprof not available
90
87
    pass
91
 
from bzrlib.merge import merge_inner
92
 
import bzrlib.merge3
93
 
import bzrlib.plugin
94
 
from bzrlib.smart import client, request, server
95
 
import bzrlib.store
96
 
from bzrlib import symbol_versioning
 
88
from bzrlib.smart import client, request
 
89
from bzrlib.transport import (
 
90
    memory,
 
91
    pathfilter,
 
92
    )
97
93
from bzrlib.symbol_versioning import (
98
 
    DEPRECATED_PARAMETER,
99
94
    deprecated_function,
100
95
    deprecated_in,
101
 
    deprecated_method,
102
 
    deprecated_passed,
103
 
    )
104
 
import bzrlib.trace
105
 
from bzrlib.transport import (
106
 
    get_transport,
107
 
    memory,
108
 
    pathfilter,
109
 
    )
110
 
import bzrlib.transport
111
 
from bzrlib.trace import mutter, note
 
96
    )
112
97
from bzrlib.tests import (
 
98
    fixtures,
113
99
    test_server,
114
100
    TestUtil,
115
101
    treeshape,
116
102
    )
117
 
from bzrlib.tests.http_server import HttpServer
118
 
from bzrlib.tests.TestUtil import (
119
 
                          TestSuite,
120
 
                          TestLoader,
121
 
                          )
122
103
from bzrlib.ui import NullProgressView
123
104
from bzrlib.ui.text import TextUIFactory
124
 
import bzrlib.version_info_formats.format_custom
125
 
from bzrlib.workingtree import WorkingTree, WorkingTreeFormat2
 
105
from bzrlib.tests.features import _CompatabilityThunkFeature
126
106
 
127
107
# Mark this python module as being part of the implementation
128
108
# of unittest: this gives us better tracebacks where the last
140
120
SUBUNIT_SEEK_SET = 0
141
121
SUBUNIT_SEEK_CUR = 1
142
122
 
143
 
 
144
 
class ExtendedTestResult(unittest._TextTestResult):
 
123
# These are intentionally brought into this namespace. That way plugins, etc
 
124
# can just "from bzrlib.tests import TestCase, TestLoader, etc"
 
125
TestSuite = TestUtil.TestSuite
 
126
TestLoader = TestUtil.TestLoader
 
127
 
 
128
# Tests should run in a clean and clearly defined environment. The goal is to
 
129
# keep them isolated from the running environment as mush as possible. The test
 
130
# framework ensures the variables defined below are set (or deleted if the
 
131
# value is None) before a test is run and reset to their original value after
 
132
# the test is run. Generally if some code depends on an environment variable,
 
133
# the tests should start without this variable in the environment. There are a
 
134
# few exceptions but you shouldn't violate this rule lightly.
 
135
isolated_environ = {
 
136
    'BZR_HOME': None,
 
137
    'HOME': None,
 
138
    # bzr now uses the Win32 API and doesn't rely on APPDATA, but the
 
139
    # tests do check our impls match APPDATA
 
140
    'BZR_EDITOR': None, # test_msgeditor manipulates this variable
 
141
    'VISUAL': None,
 
142
    'EDITOR': None,
 
143
    'BZR_EMAIL': None,
 
144
    'BZREMAIL': None, # may still be present in the environment
 
145
    'EMAIL': 'jrandom@example.com', # set EMAIL as bzr does not guess
 
146
    'BZR_PROGRESS_BAR': None,
 
147
    # This should trap leaks to ~/.bzr.log. This occurs when tests use TestCase
 
148
    # as a base class instead of TestCaseInTempDir. Tests inheriting from
 
149
    # TestCase should not use disk resources, BZR_LOG is one.
 
150
    'BZR_LOG': '/you-should-use-TestCaseInTempDir-if-you-need-a-log-file',
 
151
    'BZR_PLUGIN_PATH': None,
 
152
    'BZR_DISABLE_PLUGINS': None,
 
153
    'BZR_PLUGINS_AT': None,
 
154
    'BZR_CONCURRENCY': None,
 
155
    # Make sure that any text ui tests are consistent regardless of
 
156
    # the environment the test case is run in; you may want tests that
 
157
    # test other combinations.  'dumb' is a reasonable guess for tests
 
158
    # going to a pipe or a StringIO.
 
159
    'TERM': 'dumb',
 
160
    'LINES': '25',
 
161
    'COLUMNS': '80',
 
162
    'BZR_COLUMNS': '80',
 
163
    # Disable SSH Agent
 
164
    'SSH_AUTH_SOCK': None,
 
165
    # Proxies
 
166
    'http_proxy': None,
 
167
    'HTTP_PROXY': None,
 
168
    'https_proxy': None,
 
169
    'HTTPS_PROXY': None,
 
170
    'no_proxy': None,
 
171
    'NO_PROXY': None,
 
172
    'all_proxy': None,
 
173
    'ALL_PROXY': None,
 
174
    # Nobody cares about ftp_proxy, FTP_PROXY AFAIK. So far at
 
175
    # least. If you do (care), please update this comment
 
176
    # -- vila 20080401
 
177
    'ftp_proxy': None,
 
178
    'FTP_PROXY': None,
 
179
    'BZR_REMOTE_PATH': None,
 
180
    # Generally speaking, we don't want apport reporting on crashes in
 
181
    # the test envirnoment unless we're specifically testing apport,
 
182
    # so that it doesn't leak into the real system environment.  We
 
183
    # use an env var so it propagates to subprocesses.
 
184
    'APPORT_DISABLE': '1',
 
185
    }
 
186
 
 
187
 
 
188
def override_os_environ(test, env=None):
 
189
    """Modify os.environ keeping a copy.
 
190
    
 
191
    :param test: A test instance
 
192
 
 
193
    :param env: A dict containing variable definitions to be installed
 
194
    """
 
195
    if env is None:
 
196
        env = isolated_environ
 
197
    test._original_os_environ = dict([(var, value)
 
198
                                      for var, value in os.environ.iteritems()])
 
199
    for var, value in env.iteritems():
 
200
        osutils.set_or_unset_env(var, value)
 
201
        if var not in test._original_os_environ:
 
202
            # The var is new, add it with a value of None, so
 
203
            # restore_os_environ will delete it
 
204
            test._original_os_environ[var] = None
 
205
 
 
206
 
 
207
def restore_os_environ(test):
 
208
    """Restore os.environ to its original state.
 
209
 
 
210
    :param test: A test instance previously passed to override_os_environ.
 
211
    """
 
212
    for var, value in test._original_os_environ.iteritems():
 
213
        # Restore the original value (or delete it if the value has been set to
 
214
        # None in override_os_environ).
 
215
        osutils.set_or_unset_env(var, value)
 
216
 
 
217
 
 
218
def _clear__type_equality_funcs(test):
 
219
    """Cleanup bound methods stored on TestCase instances
 
220
 
 
221
    Clear the dict breaking a few (mostly) harmless cycles in the affected
 
222
    unittests released with Python 2.6 and initial Python 2.7 versions.
 
223
 
 
224
    For a few revisions between Python 2.7.1 and Python 2.7.2 that annoyingly
 
225
    shipped in Oneiric, an object with no clear method was used, hence the
 
226
    extra complications, see bug 809048 for details.
 
227
    """
 
228
    type_equality_funcs = getattr(test, "_type_equality_funcs", None)
 
229
    if type_equality_funcs is not None:
 
230
        tef_clear = getattr(type_equality_funcs, "clear", None)
 
231
        if tef_clear is None:
 
232
            tef_instance_dict = getattr(type_equality_funcs, "__dict__", None)
 
233
            if tef_instance_dict is not None:
 
234
                tef_clear = tef_instance_dict.clear
 
235
        if tef_clear is not None:
 
236
            tef_clear()
 
237
 
 
238
 
 
239
class ExtendedTestResult(testtools.TextTestResult):
145
240
    """Accepts, reports and accumulates the results of running tests.
146
241
 
147
242
    Compared to the unittest version this class adds support for
168
263
        :param bench_history: Optionally, a writable file object to accumulate
169
264
            benchmark results.
170
265
        """
171
 
        unittest._TextTestResult.__init__(self, stream, descriptions, verbosity)
 
266
        testtools.TextTestResult.__init__(self, stream)
172
267
        if bench_history is not None:
173
268
            from bzrlib.version import _get_bzr_source_tree
174
269
            src_tree = _get_bzr_source_tree()
195
290
        self.count = 0
196
291
        self._overall_start_time = time.time()
197
292
        self._strict = strict
 
293
        self._first_thread_leaker_id = None
 
294
        self._tests_leaking_threads_count = 0
 
295
        self._traceback_from_test = None
198
296
 
199
297
    def stopTestRun(self):
200
298
        run = self.testsRun
201
299
        actionTaken = "Ran"
202
300
        stopTime = time.time()
203
301
        timeTaken = stopTime - self.startTime
204
 
        self.printErrors()
205
 
        self.stream.writeln(self.separator2)
206
 
        self.stream.writeln("%s %d test%s in %.3fs" % (actionTaken,
 
302
        # GZ 2010-07-19: Seems testtools has no printErrors method, and though
 
303
        #                the parent class method is similar have to duplicate
 
304
        self._show_list('ERROR', self.errors)
 
305
        self._show_list('FAIL', self.failures)
 
306
        self.stream.write(self.sep2)
 
307
        self.stream.write("%s %d test%s in %.3fs\n\n" % (actionTaken,
207
308
                            run, run != 1 and "s" or "", timeTaken))
208
 
        self.stream.writeln()
209
309
        if not self.wasSuccessful():
210
310
            self.stream.write("FAILED (")
211
311
            failed, errored = map(len, (self.failures, self.errors))
218
318
                if failed or errored: self.stream.write(", ")
219
319
                self.stream.write("known_failure_count=%d" %
220
320
                    self.known_failure_count)
221
 
            self.stream.writeln(")")
 
321
            self.stream.write(")\n")
222
322
        else:
223
323
            if self.known_failure_count:
224
 
                self.stream.writeln("OK (known_failures=%d)" %
 
324
                self.stream.write("OK (known_failures=%d)\n" %
225
325
                    self.known_failure_count)
226
326
            else:
227
 
                self.stream.writeln("OK")
 
327
                self.stream.write("OK\n")
228
328
        if self.skip_count > 0:
229
329
            skipped = self.skip_count
230
 
            self.stream.writeln('%d test%s skipped' %
 
330
            self.stream.write('%d test%s skipped\n' %
231
331
                                (skipped, skipped != 1 and "s" or ""))
232
332
        if self.unsupported:
233
333
            for feature, count in sorted(self.unsupported.items()):
234
 
                self.stream.writeln("Missing feature '%s' skipped %d tests." %
 
334
                self.stream.write("Missing feature '%s' skipped %d tests.\n" %
235
335
                    (feature, count))
236
336
        if self._strict:
237
337
            ok = self.wasStrictlySuccessful()
238
338
        else:
239
339
            ok = self.wasSuccessful()
240
 
        if TestCase._first_thread_leaker_id:
 
340
        if self._first_thread_leaker_id:
241
341
            self.stream.write(
242
342
                '%s is leaking threads among %d leaking tests.\n' % (
243
 
                TestCase._first_thread_leaker_id,
244
 
                TestCase._leaking_threads_tests))
 
343
                self._first_thread_leaker_id,
 
344
                self._tests_leaking_threads_count))
245
345
            # We don't report the main thread as an active one.
246
346
            self.stream.write(
247
347
                '%d non-main threads were left active in the end.\n'
248
 
                % (TestCase._active_threads - 1))
 
348
                % (len(self._active_threads) - 1))
249
349
 
250
350
    def getDescription(self, test):
251
351
        return test.id()
258
358
 
259
359
    def _elapsedTestTimeString(self):
260
360
        """Return a time string for the overall time the current test has taken."""
261
 
        return self._formatTime(time.time() - self._start_time)
 
361
        return self._formatTime(self._delta_to_float(
 
362
            self._now() - self._start_datetime))
262
363
 
263
364
    def _testTimeString(self, testCase):
264
365
        benchmark_time = self._extractBenchmarkTime(testCase)
275
376
 
276
377
    def _shortened_test_description(self, test):
277
378
        what = test.id()
278
 
        what = re.sub(r'^bzrlib\.(tests|benchmarks)\.', '', what)
 
379
        what = re.sub(r'^bzrlib\.tests\.', '', what)
279
380
        return what
280
381
 
 
382
    # GZ 2010-10-04: Cloned tests may end up harmlessly calling this method
 
383
    #                multiple times in a row, because the handler is added for
 
384
    #                each test but the container list is shared between cases.
 
385
    #                See lp:498869 lp:625574 and lp:637725 for background.
 
386
    def _record_traceback_from_test(self, exc_info):
 
387
        """Store the traceback from passed exc_info tuple till"""
 
388
        self._traceback_from_test = exc_info[2]
 
389
 
281
390
    def startTest(self, test):
282
 
        unittest.TestResult.startTest(self, test)
 
391
        super(ExtendedTestResult, self).startTest(test)
283
392
        if self.count == 0:
284
393
            self.startTests()
 
394
        self.count += 1
285
395
        self.report_test_start(test)
286
396
        test.number = self.count
287
397
        self._recordTestStartTime()
 
398
        # Make testtools cases give us the real traceback on failure
 
399
        addOnException = getattr(test, "addOnException", None)
 
400
        if addOnException is not None:
 
401
            addOnException(self._record_traceback_from_test)
 
402
        # Only check for thread leaks on bzrlib derived test cases
 
403
        if isinstance(test, TestCase):
 
404
            test.addCleanup(self._check_leaked_threads, test)
 
405
 
 
406
    def stopTest(self, test):
 
407
        super(ExtendedTestResult, self).stopTest(test)
 
408
        # Manually break cycles, means touching various private things but hey
 
409
        getDetails = getattr(test, "getDetails", None)
 
410
        if getDetails is not None:
 
411
            getDetails().clear()
 
412
        _clear__type_equality_funcs(test)
 
413
        self._traceback_from_test = None
288
414
 
289
415
    def startTests(self):
290
 
        import platform
291
 
        if getattr(sys, 'frozen', None) is None:
292
 
            bzr_path = osutils.realpath(sys.argv[0])
293
 
        else:
294
 
            bzr_path = sys.executable
295
 
        self.stream.write(
296
 
            'bzr selftest: %s\n' % (bzr_path,))
297
 
        self.stream.write(
298
 
            '   %s\n' % (
299
 
                    bzrlib.__path__[0],))
300
 
        self.stream.write(
301
 
            '   bzr-%s python-%s %s\n' % (
302
 
                    bzrlib.version_string,
303
 
                    bzrlib._format_version_tuple(sys.version_info),
304
 
                    platform.platform(aliased=1),
305
 
                    ))
306
 
        self.stream.write('\n')
 
416
        self.report_tests_starting()
 
417
        self._active_threads = threading.enumerate()
 
418
 
 
419
    def _check_leaked_threads(self, test):
 
420
        """See if any threads have leaked since last call
 
421
 
 
422
        A sample of live threads is stored in the _active_threads attribute,
 
423
        when this method runs it compares the current live threads and any not
 
424
        in the previous sample are treated as having leaked.
 
425
        """
 
426
        now_active_threads = set(threading.enumerate())
 
427
        threads_leaked = now_active_threads.difference(self._active_threads)
 
428
        if threads_leaked:
 
429
            self._report_thread_leak(test, threads_leaked, now_active_threads)
 
430
            self._tests_leaking_threads_count += 1
 
431
            if self._first_thread_leaker_id is None:
 
432
                self._first_thread_leaker_id = test.id()
 
433
            self._active_threads = now_active_threads
307
434
 
308
435
    def _recordTestStartTime(self):
309
436
        """Record that a test has started."""
310
 
        self._start_time = time.time()
311
 
 
312
 
    def _cleanupLogFile(self, test):
313
 
        # We can only do this if we have one of our TestCases, not if
314
 
        # we have a doctest.
315
 
        setKeepLogfile = getattr(test, 'setKeepLogfile', None)
316
 
        if setKeepLogfile is not None:
317
 
            setKeepLogfile()
 
437
        self._start_datetime = self._now()
318
438
 
319
439
    def addError(self, test, err):
320
440
        """Tell result that test finished with an error.
322
442
        Called from the TestCase run() method when the test
323
443
        fails with an unexpected error.
324
444
        """
325
 
        self._post_mortem()
326
 
        unittest.TestResult.addError(self, test, err)
 
445
        self._post_mortem(self._traceback_from_test)
 
446
        super(ExtendedTestResult, self).addError(test, err)
327
447
        self.error_count += 1
328
448
        self.report_error(test, err)
329
449
        if self.stop_early:
330
450
            self.stop()
331
 
        self._cleanupLogFile(test)
332
451
 
333
452
    def addFailure(self, test, err):
334
453
        """Tell result that test failed.
336
455
        Called from the TestCase run() method when the test
337
456
        fails because e.g. an assert() method failed.
338
457
        """
339
 
        self._post_mortem()
340
 
        unittest.TestResult.addFailure(self, test, err)
 
458
        self._post_mortem(self._traceback_from_test)
 
459
        super(ExtendedTestResult, self).addFailure(test, err)
341
460
        self.failure_count += 1
342
461
        self.report_failure(test, err)
343
462
        if self.stop_early:
344
463
            self.stop()
345
 
        self._cleanupLogFile(test)
346
464
 
347
465
    def addSuccess(self, test, details=None):
348
466
        """Tell result that test completed successfully.
356
474
                    self._formatTime(benchmark_time),
357
475
                    test.id()))
358
476
        self.report_success(test)
359
 
        self._cleanupLogFile(test)
360
 
        unittest.TestResult.addSuccess(self, test)
 
477
        super(ExtendedTestResult, self).addSuccess(test)
361
478
        test._log_contents = ''
362
479
 
363
480
    def addExpectedFailure(self, test, err):
364
481
        self.known_failure_count += 1
365
482
        self.report_known_failure(test, err)
366
483
 
 
484
    def addUnexpectedSuccess(self, test, details=None):
 
485
        """Tell result the test unexpectedly passed, counting as a failure
 
486
 
 
487
        When the minimum version of testtools required becomes 0.9.8 this
 
488
        can be updated to use the new handling there.
 
489
        """
 
490
        super(ExtendedTestResult, self).addFailure(test, details=details)
 
491
        self.failure_count += 1
 
492
        self.report_unexpected_success(test,
 
493
            "".join(details["reason"].iter_text()))
 
494
        if self.stop_early:
 
495
            self.stop()
 
496
 
367
497
    def addNotSupported(self, test, feature):
368
498
        """The test will not be run because of a missing feature.
369
499
        """
386
516
        self.not_applicable_count += 1
387
517
        self.report_not_applicable(test, reason)
388
518
 
389
 
    def _post_mortem(self):
 
519
    def _count_stored_tests(self):
 
520
        """Count of tests instances kept alive due to not succeeding"""
 
521
        return self.error_count + self.failure_count + self.known_failure_count
 
522
 
 
523
    def _post_mortem(self, tb=None):
390
524
        """Start a PDB post mortem session."""
391
525
        if os.environ.get('BZR_TEST_PDB', None):
392
 
            import pdb;pdb.post_mortem()
 
526
            import pdb
 
527
            pdb.post_mortem(tb)
393
528
 
394
529
    def progress(self, offset, whence):
395
530
        """The test is adjusting the count of tests to run."""
400
535
        else:
401
536
            raise errors.BzrError("Unknown whence %r" % whence)
402
537
 
403
 
    def report_cleaning_up(self):
404
 
        pass
 
538
    def report_tests_starting(self):
 
539
        """Display information before the test run begins"""
 
540
        if getattr(sys, 'frozen', None) is None:
 
541
            bzr_path = osutils.realpath(sys.argv[0])
 
542
        else:
 
543
            bzr_path = sys.executable
 
544
        self.stream.write(
 
545
            'bzr selftest: %s\n' % (bzr_path,))
 
546
        self.stream.write(
 
547
            '   %s\n' % (
 
548
                    bzrlib.__path__[0],))
 
549
        self.stream.write(
 
550
            '   bzr-%s python-%s %s\n' % (
 
551
                    bzrlib.version_string,
 
552
                    bzrlib._format_version_tuple(sys.version_info),
 
553
                    platform.platform(aliased=1),
 
554
                    ))
 
555
        self.stream.write('\n')
 
556
 
 
557
    def report_test_start(self, test):
 
558
        """Display information on the test just about to be run"""
 
559
 
 
560
    def _report_thread_leak(self, test, leaked_threads, active_threads):
 
561
        """Display information on a test that leaked one or more threads"""
 
562
        # GZ 2010-09-09: A leak summary reported separately from the general
 
563
        #                thread debugging would be nice. Tests under subunit
 
564
        #                need something not using stream, perhaps adding a
 
565
        #                testtools details object would be fitting.
 
566
        if 'threads' in selftest_debug_flags:
 
567
            self.stream.write('%s is leaking, active is now %d\n' %
 
568
                (test.id(), len(active_threads)))
405
569
 
406
570
    def startTestRun(self):
407
571
        self.startTime = time.time()
444
608
        self.pb.finished()
445
609
        super(TextTestResult, self).stopTestRun()
446
610
 
447
 
    def startTestRun(self):
448
 
        super(TextTestResult, self).startTestRun()
 
611
    def report_tests_starting(self):
 
612
        super(TextTestResult, self).report_tests_starting()
449
613
        self.pb.update('[test 0/%d] Starting' % (self.num_tests))
450
614
 
451
 
    def printErrors(self):
452
 
        # clear the pb to make room for the error listing
453
 
        self.pb.clear()
454
 
        super(TextTestResult, self).printErrors()
455
 
 
456
615
    def _progress_prefix_text(self):
457
616
        # the longer this text, the less space we have to show the test
458
617
        # name...
480
639
        return a
481
640
 
482
641
    def report_test_start(self, test):
483
 
        self.count += 1
484
642
        self.pb.update(
485
643
                self._progress_prefix_text()
486
644
                + ' '
504
662
    def report_known_failure(self, test, err):
505
663
        pass
506
664
 
 
665
    def report_unexpected_success(self, test, reason):
 
666
        self.stream.write('FAIL: %s\n    %s: %s\n' % (
 
667
            self._test_description(test),
 
668
            "Unexpected success. Should have failed",
 
669
            reason,
 
670
            ))
 
671
 
507
672
    def report_skip(self, test, reason):
508
673
        pass
509
674
 
513
678
    def report_unsupported(self, test, feature):
514
679
        """test cannot be run because feature is missing."""
515
680
 
516
 
    def report_cleaning_up(self):
517
 
        self.pb.update('Cleaning up')
518
 
 
519
681
 
520
682
class VerboseTestResult(ExtendedTestResult):
521
683
    """Produce long output, with one line per test run plus times"""
528
690
            result = a_string
529
691
        return result.ljust(final_width)
530
692
 
531
 
    def startTestRun(self):
532
 
        super(VerboseTestResult, self).startTestRun()
 
693
    def report_tests_starting(self):
533
694
        self.stream.write('running %d tests...\n' % self.num_tests)
 
695
        super(VerboseTestResult, self).report_tests_starting()
534
696
 
535
697
    def report_test_start(self, test):
536
 
        self.count += 1
537
698
        name = self._shortened_test_description(test)
538
699
        width = osutils.terminal_width()
539
700
        if width is not None:
551
712
        return '%s%s' % (indent, err[1])
552
713
 
553
714
    def report_error(self, test, err):
554
 
        self.stream.writeln('ERROR %s\n%s'
 
715
        self.stream.write('ERROR %s\n%s\n'
555
716
                % (self._testTimeString(test),
556
717
                   self._error_summary(err)))
557
718
 
558
719
    def report_failure(self, test, err):
559
 
        self.stream.writeln(' FAIL %s\n%s'
 
720
        self.stream.write(' FAIL %s\n%s\n'
560
721
                % (self._testTimeString(test),
561
722
                   self._error_summary(err)))
562
723
 
563
724
    def report_known_failure(self, test, err):
564
 
        self.stream.writeln('XFAIL %s\n%s'
 
725
        self.stream.write('XFAIL %s\n%s\n'
565
726
                % (self._testTimeString(test),
566
727
                   self._error_summary(err)))
567
728
 
 
729
    def report_unexpected_success(self, test, reason):
 
730
        self.stream.write(' FAIL %s\n%s: %s\n'
 
731
                % (self._testTimeString(test),
 
732
                   "Unexpected success. Should have failed",
 
733
                   reason))
 
734
 
568
735
    def report_success(self, test):
569
 
        self.stream.writeln('   OK %s' % self._testTimeString(test))
 
736
        self.stream.write('   OK %s\n' % self._testTimeString(test))
570
737
        for bench_called, stats in getattr(test, '_benchcalls', []):
571
 
            self.stream.writeln('LSProf output for %s(%s, %s)' % bench_called)
 
738
            self.stream.write('LSProf output for %s(%s, %s)\n' % bench_called)
572
739
            stats.pprint(file=self.stream)
573
740
        # flush the stream so that we get smooth output. This verbose mode is
574
741
        # used to show the output in PQM.
575
742
        self.stream.flush()
576
743
 
577
744
    def report_skip(self, test, reason):
578
 
        self.stream.writeln(' SKIP %s\n%s'
 
745
        self.stream.write(' SKIP %s\n%s\n'
579
746
                % (self._testTimeString(test), reason))
580
747
 
581
748
    def report_not_applicable(self, test, reason):
582
 
        self.stream.writeln('  N/A %s\n    %s'
 
749
        self.stream.write('  N/A %s\n    %s\n'
583
750
                % (self._testTimeString(test), reason))
584
751
 
585
752
    def report_unsupported(self, test, feature):
586
753
        """test cannot be run because feature is missing."""
587
 
        self.stream.writeln("NODEP %s\n    The feature '%s' is not available."
 
754
        self.stream.write("NODEP %s\n    The feature '%s' is not available.\n"
588
755
                %(self._testTimeString(test), feature))
589
756
 
590
757
 
617
784
            encode = codec[0]
618
785
        else:
619
786
            encode = codec.encode
620
 
        stream = osutils.UnicodeOrBytesToBytesWriter(encode, stream)
 
787
        # GZ 2010-09-08: Really we don't want to be writing arbitrary bytes,
 
788
        #                so should swap to the plain codecs.StreamWriter
 
789
        stream = osutils.UnicodeOrBytesToBytesWriter(encode, stream,
 
790
            "backslashreplace")
621
791
        stream.encoding = new_encoding
622
 
        self.stream = unittest._WritelnDecorator(stream)
 
792
        self.stream = stream
623
793
        self.descriptions = descriptions
624
794
        self.verbosity = verbosity
625
795
        self._bench_history = bench_history
749
919
    # XXX: Should probably unify more with CannedInputUIFactory or a
750
920
    # particular configuration of TextUIFactory, or otherwise have a clearer
751
921
    # idea of how they're supposed to be different.
752
 
    # See https://bugs.edge.launchpad.net/bzr/+bug/408213
 
922
    # See https://bugs.launchpad.net/bzr/+bug/408213
753
923
 
754
924
    def __init__(self, stdout=None, stderr=None, stdin=None):
755
925
        if stdin is not None:
773
943
        return NullProgressView()
774
944
 
775
945
 
 
946
def isolated_doctest_setUp(test):
 
947
    override_os_environ(test)
 
948
 
 
949
 
 
950
def isolated_doctest_tearDown(test):
 
951
    restore_os_environ(test)
 
952
 
 
953
 
 
954
def IsolatedDocTestSuite(*args, **kwargs):
 
955
    """Overrides doctest.DocTestSuite to handle isolation.
 
956
 
 
957
    The method is really a factory and users are expected to use it as such.
 
958
    """
 
959
 
 
960
    kwargs['setUp'] = isolated_doctest_setUp
 
961
    kwargs['tearDown'] = isolated_doctest_tearDown
 
962
    return doctest.DocTestSuite(*args, **kwargs)
 
963
 
 
964
 
776
965
class TestCase(testtools.TestCase):
777
966
    """Base class for bzr unit tests.
778
967
 
789
978
    routine, and to build and check bzr trees.
790
979
 
791
980
    In addition to the usual method of overriding tearDown(), this class also
792
 
    allows subclasses to register functions into the _cleanups list, which is
 
981
    allows subclasses to register cleanup functions via addCleanup, which are
793
982
    run in order as the object is torn down.  It's less likely this will be
794
983
    accidentally overlooked.
795
984
    """
796
985
 
797
 
    _active_threads = None
798
 
    _leaking_threads_tests = 0
799
 
    _first_thread_leaker_id = None
800
 
    _log_file_name = None
 
986
    _log_file = None
801
987
    # record lsprof data when performing benchmark calls.
802
988
    _gather_lsprof_in_benchmarks = False
803
989
 
804
990
    def __init__(self, methodName='testMethod'):
805
991
        super(TestCase, self).__init__(methodName)
806
 
        self._cleanups = []
807
992
        self._directory_isolation = True
808
993
        self.exception_handlers.insert(0,
809
994
            (UnavailableFeature, self._do_unsupported_or_skip))
812
997
 
813
998
    def setUp(self):
814
999
        super(TestCase, self).setUp()
 
1000
 
 
1001
        timeout = config.GlobalStack().get('selftest.timeout')
 
1002
        if timeout:
 
1003
            timeout_fixture = fixtures.TimeoutFixture(timeout)
 
1004
            timeout_fixture.setUp()
 
1005
            self.addCleanup(timeout_fixture.cleanUp)
 
1006
 
815
1007
        for feature in getattr(self, '_test_needs_features', []):
816
1008
            self.requireFeature(feature)
817
 
        self._log_contents = None
818
 
        self.addDetail("log", content.Content(content.ContentType("text",
819
 
            "plain", {"charset": "utf8"}),
820
 
            lambda:[self._get_log(keep_log_file=True)]))
821
1009
        self._cleanEnvironment()
 
1010
 
 
1011
        if bzrlib.global_state is not None:
 
1012
            self.overrideAttr(bzrlib.global_state, 'cmdline_overrides',
 
1013
                              config.CommandLineStore())
 
1014
 
822
1015
        self._silenceUI()
823
1016
        self._startLogFile()
824
1017
        self._benchcalls = []
827
1020
        self._track_transports()
828
1021
        self._track_locks()
829
1022
        self._clear_debug_flags()
830
 
        TestCase._active_threads = threading.activeCount()
831
 
        self.addCleanup(self._check_leaked_threads)
 
1023
        # Isolate global verbosity level, to make sure it's reproducible
 
1024
        # between tests.  We should get rid of this altogether: bug 656694. --
 
1025
        # mbp 20101008
 
1026
        self.overrideAttr(bzrlib.trace, '_verbosity_level', 0)
 
1027
        # Isolate config option expansion until its default value for bzrlib is
 
1028
        # settled on or a the FIXME associated with _get_expand_default_value
 
1029
        # is addressed -- vila 20110219
 
1030
        self.overrideAttr(config, '_expand_default_value', None)
 
1031
        self._log_files = set()
 
1032
        # Each key in the ``_counters`` dict holds a value for a different
 
1033
        # counter. When the test ends, addDetail() should be used to output the
 
1034
        # counter values. This happens in install_counter_hook().
 
1035
        self._counters = {}
 
1036
        if 'config_stats' in selftest_debug_flags:
 
1037
            self._install_config_stats_hooks()
 
1038
        # Do not use i18n for tests (unless the test reverses this)
 
1039
        i18n.disable_i18n()
832
1040
 
833
1041
    def debug(self):
834
1042
        # debug a frame up.
835
1043
        import pdb
836
 
        pdb.Pdb().set_trace(sys._getframe().f_back)
837
 
 
838
 
    def _check_leaked_threads(self):
839
 
        active = threading.activeCount()
840
 
        leaked_threads = active - TestCase._active_threads
841
 
        TestCase._active_threads = active
842
 
        # If some tests make the number of threads *decrease*, we'll consider
843
 
        # that they are just observing old threads dieing, not agressively kill
844
 
        # random threads. So we don't report these tests as leaking. The risk
845
 
        # is that we have false positives that way (the test see 2 threads
846
 
        # going away but leak one) but it seems less likely than the actual
847
 
        # false positives (the test see threads going away and does not leak).
848
 
        if leaked_threads > 0:
849
 
            TestCase._leaking_threads_tests += 1
850
 
            if TestCase._first_thread_leaker_id is None:
851
 
                TestCase._first_thread_leaker_id = self.id()
 
1044
        # The sys preserved stdin/stdout should allow blackbox tests debugging
 
1045
        pdb.Pdb(stdin=sys.__stdin__, stdout=sys.__stdout__
 
1046
                ).set_trace(sys._getframe().f_back)
 
1047
 
 
1048
    def discardDetail(self, name):
 
1049
        """Extend the addDetail, getDetails api so we can remove a detail.
 
1050
 
 
1051
        eg. bzr always adds the 'log' detail at startup, but we don't want to
 
1052
        include it for skipped, xfail, etc tests.
 
1053
 
 
1054
        It is safe to call this for a detail that doesn't exist, in case this
 
1055
        gets called multiple times.
 
1056
        """
 
1057
        # We cheat. details is stored in __details which means we shouldn't
 
1058
        # touch it. but getDetails() returns the dict directly, so we can
 
1059
        # mutate it.
 
1060
        details = self.getDetails()
 
1061
        if name in details:
 
1062
            del details[name]
 
1063
 
 
1064
    def install_counter_hook(self, hooks, name, counter_name=None):
 
1065
        """Install a counting hook.
 
1066
 
 
1067
        Any hook can be counted as long as it doesn't need to return a value.
 
1068
 
 
1069
        :param hooks: Where the hook should be installed.
 
1070
 
 
1071
        :param name: The hook name that will be counted.
 
1072
 
 
1073
        :param counter_name: The counter identifier in ``_counters``, defaults
 
1074
            to ``name``.
 
1075
        """
 
1076
        _counters = self._counters # Avoid closing over self
 
1077
        if counter_name is None:
 
1078
            counter_name = name
 
1079
        if _counters.has_key(counter_name):
 
1080
            raise AssertionError('%s is already used as a counter name'
 
1081
                                  % (counter_name,))
 
1082
        _counters[counter_name] = 0
 
1083
        self.addDetail(counter_name, content.Content(content.UTF8_TEXT,
 
1084
            lambda: ['%d' % (_counters[counter_name],)]))
 
1085
        def increment_counter(*args, **kwargs):
 
1086
            _counters[counter_name] += 1
 
1087
        label = 'count %s calls' % (counter_name,)
 
1088
        hooks.install_named_hook(name, increment_counter, label)
 
1089
        self.addCleanup(hooks.uninstall_named_hook, name, label)
 
1090
 
 
1091
    def _install_config_stats_hooks(self):
 
1092
        """Install config hooks to count hook calls.
 
1093
 
 
1094
        """
 
1095
        for hook_name in ('get', 'set', 'remove', 'load', 'save'):
 
1096
            self.install_counter_hook(config.ConfigHooks, hook_name,
 
1097
                                       'config.%s' % (hook_name,))
 
1098
 
 
1099
        # The OldConfigHooks are private and need special handling to protect
 
1100
        # against recursive tests (tests that run other tests), so we just do
 
1101
        # manually what registering them into _builtin_known_hooks will provide
 
1102
        # us.
 
1103
        self.overrideAttr(config, 'OldConfigHooks', config._OldConfigHooks())
 
1104
        for hook_name in ('get', 'set', 'remove', 'load', 'save'):
 
1105
            self.install_counter_hook(config.OldConfigHooks, hook_name,
 
1106
                                      'old_config.%s' % (hook_name,))
852
1107
 
853
1108
    def _clear_debug_flags(self):
854
1109
        """Prevent externally set debug flags affecting tests.
865
1120
 
866
1121
    def _clear_hooks(self):
867
1122
        # prevent hooks affecting tests
 
1123
        known_hooks = hooks.known_hooks
868
1124
        self._preserved_hooks = {}
869
 
        for key, factory in hooks.known_hooks.items():
870
 
            parent, name = hooks.known_hooks_key_to_parent_and_attribute(key)
871
 
            current_hooks = hooks.known_hooks_key_to_object(key)
 
1125
        for key, (parent, name) in known_hooks.iter_parent_objects():
 
1126
            current_hooks = getattr(parent, name)
872
1127
            self._preserved_hooks[parent] = (name, current_hooks)
 
1128
        self._preserved_lazy_hooks = hooks._lazy_hooks
 
1129
        hooks._lazy_hooks = {}
873
1130
        self.addCleanup(self._restoreHooks)
874
 
        for key, factory in hooks.known_hooks.items():
875
 
            parent, name = hooks.known_hooks_key_to_parent_and_attribute(key)
 
1131
        for key, (parent, name) in known_hooks.iter_parent_objects():
 
1132
            factory = known_hooks.get(key)
876
1133
            setattr(parent, name, factory())
877
1134
        # this hook should always be installed
878
1135
        request._install_hook()
907
1164
        # break some locks on purpose and should be taken into account by
908
1165
        # considering that breaking a lock is just a dirty way of releasing it.
909
1166
        if len(acquired_locks) != (len(released_locks) + len(broken_locks)):
910
 
            message = ('Different number of acquired and '
911
 
                       'released or broken locks. (%s, %s + %s)' %
912
 
                       (acquired_locks, released_locks, broken_locks))
 
1167
            message = (
 
1168
                'Different number of acquired and '
 
1169
                'released or broken locks.\n'
 
1170
                'acquired=%s\n'
 
1171
                'released=%s\n'
 
1172
                'broken=%s\n' %
 
1173
                (acquired_locks, released_locks, broken_locks))
913
1174
            if not self._lock_check_thorough:
914
1175
                # Rather than fail, just warn
915
1176
                print "Broken test %s: %s" % (self, message)
943
1204
 
944
1205
    def permit_dir(self, name):
945
1206
        """Permit a directory to be used by this test. See permit_url."""
946
 
        name_transport = get_transport(name)
 
1207
        name_transport = _mod_transport.get_transport_from_path(name)
947
1208
        self.permit_url(name)
948
1209
        self.permit_url(name_transport.base)
949
1210
 
972
1233
            try:
973
1234
                workingtree.WorkingTree.open(path)
974
1235
            except (errors.NotBranchError, errors.NoWorkingTree):
975
 
                return
 
1236
                raise TestSkipped('Needs a working tree of bzr sources')
976
1237
        finally:
977
1238
            self.enable_directory_isolation()
978
1239
 
1028
1289
        self.addCleanup(transport_server.stop_server)
1029
1290
        # Obtain a real transport because if the server supplies a password, it
1030
1291
        # will be hidden from the base on the client side.
1031
 
        t = get_transport(transport_server.get_url())
 
1292
        t = _mod_transport.get_transport_from_url(transport_server.get_url())
1032
1293
        # Some transport servers effectively chroot the backing transport;
1033
1294
        # others like SFTPServer don't - users of the transport can walk up the
1034
1295
        # transport to read the entire backing transport. This wouldn't matter
1090
1351
        except UnicodeError, e:
1091
1352
            # If we can't compare without getting a UnicodeError, then
1092
1353
            # obviously they are different
1093
 
            mutter('UnicodeError: %s', e)
 
1354
            trace.mutter('UnicodeError: %s', e)
1094
1355
        if message:
1095
1356
            message += '\n'
1096
1357
        raise AssertionError("%snot equal:\na = %s\nb = %s\n"
1097
1358
            % (message,
1098
 
               pformat(a), pformat(b)))
 
1359
               pprint.pformat(a), pprint.pformat(b)))
1099
1360
 
1100
1361
    assertEquals = assertEqual
1101
1362
 
1135
1396
                         'st_mtime did not match')
1136
1397
        self.assertEqual(expected.st_ctime, actual.st_ctime,
1137
1398
                         'st_ctime did not match')
1138
 
        if sys.platform != 'win32':
 
1399
        if sys.platform == 'win32':
1139
1400
            # On Win32 both 'dev' and 'ino' cannot be trusted. In python2.4 it
1140
1401
            # is 'dev' that varies, in python 2.5 (6?) it is st_ino that is
1141
 
            # odd. Regardless we shouldn't actually try to assert anything
1142
 
            # about their values
 
1402
            # odd. We just force it to always be 0 to avoid any problems.
 
1403
            self.assertEqual(0, expected.st_dev)
 
1404
            self.assertEqual(0, actual.st_dev)
 
1405
            self.assertEqual(0, expected.st_ino)
 
1406
            self.assertEqual(0, actual.st_ino)
 
1407
        else:
1143
1408
            self.assertEqual(expected.st_dev, actual.st_dev,
1144
1409
                             'st_dev did not match')
1145
1410
            self.assertEqual(expected.st_ino, actual.st_ino,
1154
1419
                length, len(obj_with_len), obj_with_len))
1155
1420
 
1156
1421
    def assertLogsError(self, exception_class, func, *args, **kwargs):
1157
 
        """Assert that func(*args, **kwargs) quietly logs a specific exception.
 
1422
        """Assert that `func(*args, **kwargs)` quietly logs a specific error.
1158
1423
        """
1159
 
        from bzrlib import trace
1160
1424
        captured = []
1161
1425
        orig_log_exception_quietly = trace.log_exception_quietly
1162
1426
        try:
1163
1427
            def capture():
1164
1428
                orig_log_exception_quietly()
1165
 
                captured.append(sys.exc_info())
 
1429
                captured.append(sys.exc_info()[1])
1166
1430
            trace.log_exception_quietly = capture
1167
1431
            func(*args, **kwargs)
1168
1432
        finally:
1169
1433
            trace.log_exception_quietly = orig_log_exception_quietly
1170
1434
        self.assertLength(1, captured)
1171
 
        err = captured[0][1]
 
1435
        err = captured[0]
1172
1436
        self.assertIsInstance(err, exception_class)
1173
1437
        return err
1174
1438
 
1211
1475
        if haystack.find(needle) == -1:
1212
1476
            self.fail("string %r not found in '''%s'''" % (needle, haystack))
1213
1477
 
 
1478
    def assertNotContainsString(self, haystack, needle):
 
1479
        if haystack.find(needle) != -1:
 
1480
            self.fail("string %r found in '''%s'''" % (needle, haystack))
 
1481
 
1214
1482
    def assertSubset(self, sublist, superlist):
1215
1483
        """Assert that every entry in sublist is present in superlist."""
1216
1484
        missing = set(sublist) - set(superlist)
1305
1573
 
1306
1574
    def assertFileEqual(self, content, path):
1307
1575
        """Fail if path does not contain 'content'."""
1308
 
        self.failUnlessExists(path)
 
1576
        self.assertPathExists(path)
1309
1577
        f = file(path, 'rb')
1310
1578
        try:
1311
1579
            s = f.read()
1321
1589
        else:
1322
1590
            self.assertEqual(expected_docstring, obj.__doc__)
1323
1591
 
 
1592
    @symbol_versioning.deprecated_method(symbol_versioning.deprecated_in((2, 4)))
1324
1593
    def failUnlessExists(self, path):
 
1594
        return self.assertPathExists(path)
 
1595
 
 
1596
    def assertPathExists(self, path):
1325
1597
        """Fail unless path or paths, which may be abs or relative, exist."""
1326
1598
        if not isinstance(path, basestring):
1327
1599
            for p in path:
1328
 
                self.failUnlessExists(p)
 
1600
                self.assertPathExists(p)
1329
1601
        else:
1330
 
            self.failUnless(osutils.lexists(path),path+" does not exist")
 
1602
            self.assertTrue(osutils.lexists(path),
 
1603
                path + " does not exist")
1331
1604
 
 
1605
    @symbol_versioning.deprecated_method(symbol_versioning.deprecated_in((2, 4)))
1332
1606
    def failIfExists(self, path):
 
1607
        return self.assertPathDoesNotExist(path)
 
1608
 
 
1609
    def assertPathDoesNotExist(self, path):
1333
1610
        """Fail if path or paths, which may be abs or relative, exist."""
1334
1611
        if not isinstance(path, basestring):
1335
1612
            for p in path:
1336
 
                self.failIfExists(p)
 
1613
                self.assertPathDoesNotExist(p)
1337
1614
        else:
1338
 
            self.failIf(osutils.lexists(path),path+" exists")
 
1615
            self.assertFalse(osutils.lexists(path),
 
1616
                path + " exists")
1339
1617
 
1340
1618
    def _capture_deprecation_warnings(self, a_callable, *args, **kwargs):
1341
1619
        """A helper for callDeprecated and applyDeprecated.
1367
1645
        not other callers that go direct to the warning module.
1368
1646
 
1369
1647
        To test that a deprecated method raises an error, do something like
1370
 
        this::
 
1648
        this (remember that both assertRaises and applyDeprecated delays *args
 
1649
        and **kwargs passing)::
1371
1650
 
1372
1651
            self.assertRaises(errors.ReservedId,
1373
1652
                self.applyDeprecated,
1451
1730
        return result
1452
1731
 
1453
1732
    def _startLogFile(self):
1454
 
        """Send bzr and test log messages to a temporary file.
1455
 
 
1456
 
        The file is removed as the test is torn down.
1457
 
        """
1458
 
        fileno, name = tempfile.mkstemp(suffix='.log', prefix='testbzr')
1459
 
        self._log_file = os.fdopen(fileno, 'w+')
1460
 
        self._log_memento = bzrlib.trace.push_log_file(self._log_file)
1461
 
        self._log_file_name = name
 
1733
        """Setup a in-memory target for bzr and testcase log messages"""
 
1734
        pseudo_log_file = StringIO()
 
1735
        def _get_log_contents_for_weird_testtools_api():
 
1736
            return [pseudo_log_file.getvalue().decode(
 
1737
                "utf-8", "replace").encode("utf-8")]
 
1738
        self.addDetail("log", content.Content(content.ContentType("text",
 
1739
            "plain", {"charset": "utf8"}),
 
1740
            _get_log_contents_for_weird_testtools_api))
 
1741
        self._log_file = pseudo_log_file
 
1742
        self._log_memento = trace.push_log_file(self._log_file)
1462
1743
        self.addCleanup(self._finishLogFile)
1463
1744
 
1464
1745
    def _finishLogFile(self):
1465
 
        """Finished with the log file.
1466
 
 
1467
 
        Close the file and delete it, unless setKeepLogfile was called.
1468
 
        """
1469
 
        if bzrlib.trace._trace_file:
 
1746
        """Flush and dereference the in-memory log for this testcase"""
 
1747
        if trace._trace_file:
1470
1748
            # flush the log file, to get all content
1471
 
            bzrlib.trace._trace_file.flush()
1472
 
        bzrlib.trace.pop_log_file(self._log_memento)
1473
 
        # Cache the log result and delete the file on disk
1474
 
        self._get_log(False)
 
1749
            trace._trace_file.flush()
 
1750
        trace.pop_log_file(self._log_memento)
 
1751
        # The logging module now tracks references for cleanup so discard ours
 
1752
        del self._log_memento
1475
1753
 
1476
1754
    def thisFailsStrictLockCheck(self):
1477
1755
        """It is known that this test would fail with -Dstrict_locks.
1486
1764
        """
1487
1765
        debug.debug_flags.discard('strict_locks')
1488
1766
 
1489
 
    def addCleanup(self, callable, *args, **kwargs):
1490
 
        """Arrange to run a callable when this case is torn down.
1491
 
 
1492
 
        Callables are run in the reverse of the order they are registered,
1493
 
        ie last-in first-out.
1494
 
        """
1495
 
        self._cleanups.append((callable, args, kwargs))
1496
 
 
1497
1767
    def overrideAttr(self, obj, attr_name, new=_unitialized_attr):
1498
1768
        """Overrides an object attribute restoring it after the test.
1499
1769
 
 
1770
        :note: This should be used with discretion; you should think about
 
1771
        whether it's better to make the code testable without monkey-patching.
 
1772
 
1500
1773
        :param obj: The object that will be mutated.
1501
1774
 
1502
1775
        :param attr_name: The attribute name we want to preserve/override in
1513
1786
            setattr(obj, attr_name, new)
1514
1787
        return value
1515
1788
 
 
1789
    def overrideEnv(self, name, new):
 
1790
        """Set an environment variable, and reset it after the test.
 
1791
 
 
1792
        :param name: The environment variable name.
 
1793
 
 
1794
        :param new: The value to set the variable to. If None, the 
 
1795
            variable is deleted from the environment.
 
1796
 
 
1797
        :returns: The actual variable value.
 
1798
        """
 
1799
        value = osutils.set_or_unset_env(name, new)
 
1800
        self.addCleanup(osutils.set_or_unset_env, name, value)
 
1801
        return value
 
1802
 
 
1803
    def recordCalls(self, obj, attr_name):
 
1804
        """Monkeypatch in a wrapper that will record calls.
 
1805
 
 
1806
        The monkeypatch is automatically removed when the test concludes.
 
1807
 
 
1808
        :param obj: The namespace holding the reference to be replaced;
 
1809
            typically a module, class, or object.
 
1810
        :param attr_name: A string for the name of the attribute to 
 
1811
            patch.
 
1812
        :returns: A list that will be extended with one item every time the
 
1813
            function is called, with a tuple of (args, kwargs).
 
1814
        """
 
1815
        calls = []
 
1816
 
 
1817
        def decorator(*args, **kwargs):
 
1818
            calls.append((args, kwargs))
 
1819
            return orig(*args, **kwargs)
 
1820
        orig = self.overrideAttr(obj, attr_name, decorator)
 
1821
        return calls
 
1822
 
1516
1823
    def _cleanEnvironment(self):
1517
 
        new_env = {
1518
 
            'BZR_HOME': None, # Don't inherit BZR_HOME to all the tests.
1519
 
            'HOME': os.getcwd(),
1520
 
            # bzr now uses the Win32 API and doesn't rely on APPDATA, but the
1521
 
            # tests do check our impls match APPDATA
1522
 
            'BZR_EDITOR': None, # test_msgeditor manipulates this variable
1523
 
            'VISUAL': None,
1524
 
            'EDITOR': None,
1525
 
            'BZR_EMAIL': None,
1526
 
            'BZREMAIL': None, # may still be present in the environment
1527
 
            'EMAIL': None,
1528
 
            'BZR_PROGRESS_BAR': None,
1529
 
            'BZR_LOG': None,
1530
 
            'BZR_PLUGIN_PATH': None,
1531
 
            'BZR_DISABLE_PLUGINS': None,
1532
 
            'BZR_PLUGINS_AT': None,
1533
 
            'BZR_CONCURRENCY': None,
1534
 
            # Make sure that any text ui tests are consistent regardless of
1535
 
            # the environment the test case is run in; you may want tests that
1536
 
            # test other combinations.  'dumb' is a reasonable guess for tests
1537
 
            # going to a pipe or a StringIO.
1538
 
            'TERM': 'dumb',
1539
 
            'LINES': '25',
1540
 
            'COLUMNS': '80',
1541
 
            'BZR_COLUMNS': '80',
1542
 
            # SSH Agent
1543
 
            'SSH_AUTH_SOCK': None,
1544
 
            # Proxies
1545
 
            'http_proxy': None,
1546
 
            'HTTP_PROXY': None,
1547
 
            'https_proxy': None,
1548
 
            'HTTPS_PROXY': None,
1549
 
            'no_proxy': None,
1550
 
            'NO_PROXY': None,
1551
 
            'all_proxy': None,
1552
 
            'ALL_PROXY': None,
1553
 
            # Nobody cares about ftp_proxy, FTP_PROXY AFAIK. So far at
1554
 
            # least. If you do (care), please update this comment
1555
 
            # -- vila 20080401
1556
 
            'ftp_proxy': None,
1557
 
            'FTP_PROXY': None,
1558
 
            'BZR_REMOTE_PATH': None,
1559
 
            # Generally speaking, we don't want apport reporting on crashes in
1560
 
            # the test envirnoment unless we're specifically testing apport,
1561
 
            # so that it doesn't leak into the real system environment.  We
1562
 
            # use an env var so it propagates to subprocesses.
1563
 
            'APPORT_DISABLE': '1',
1564
 
        }
1565
 
        self._old_env = {}
1566
 
        self.addCleanup(self._restoreEnvironment)
1567
 
        for name, value in new_env.iteritems():
1568
 
            self._captureVar(name, value)
1569
 
 
1570
 
    def _captureVar(self, name, newvalue):
1571
 
        """Set an environment variable, and reset it when finished."""
1572
 
        self._old_env[name] = osutils.set_or_unset_env(name, newvalue)
1573
 
 
1574
 
    def _restoreEnvironment(self):
1575
 
        for name, value in self._old_env.iteritems():
1576
 
            osutils.set_or_unset_env(name, value)
 
1824
        for name, value in isolated_environ.iteritems():
 
1825
            self.overrideEnv(name, value)
1577
1826
 
1578
1827
    def _restoreHooks(self):
1579
1828
        for klass, (name, hooks) in self._preserved_hooks.items():
1580
1829
            setattr(klass, name, hooks)
 
1830
        self._preserved_hooks.clear()
 
1831
        bzrlib.hooks._lazy_hooks = self._preserved_lazy_hooks
 
1832
        self._preserved_lazy_hooks.clear()
1581
1833
 
1582
1834
    def knownFailure(self, reason):
1583
 
        """This test has failed for some known reason."""
1584
 
        raise KnownFailure(reason)
 
1835
        """Declare that this test fails for a known reason
 
1836
 
 
1837
        Tests that are known to fail should generally be using expectedFailure
 
1838
        with an appropriate reverse assertion if a change could cause the test
 
1839
        to start passing. Conversely if the test has no immediate prospect of
 
1840
        succeeding then using skip is more suitable.
 
1841
 
 
1842
        When this method is called while an exception is being handled, that
 
1843
        traceback will be used, otherwise a new exception will be thrown to
 
1844
        provide one but won't be reported.
 
1845
        """
 
1846
        self._add_reason(reason)
 
1847
        try:
 
1848
            exc_info = sys.exc_info()
 
1849
            if exc_info != (None, None, None):
 
1850
                self._report_traceback(exc_info)
 
1851
            else:
 
1852
                try:
 
1853
                    raise self.failureException(reason)
 
1854
                except self.failureException:
 
1855
                    exc_info = sys.exc_info()
 
1856
            # GZ 02-08-2011: Maybe cleanup this err.exc_info attribute too?
 
1857
            raise testtools.testcase._ExpectedFailure(exc_info)
 
1858
        finally:
 
1859
            del exc_info
 
1860
 
 
1861
    def _suppress_log(self):
 
1862
        """Remove the log info from details."""
 
1863
        self.discardDetail('log')
1585
1864
 
1586
1865
    def _do_skip(self, result, reason):
 
1866
        self._suppress_log()
1587
1867
        addSkip = getattr(result, 'addSkip', None)
1588
1868
        if not callable(addSkip):
1589
1869
            result.addSuccess(result)
1592
1872
 
1593
1873
    @staticmethod
1594
1874
    def _do_known_failure(self, result, e):
 
1875
        self._suppress_log()
1595
1876
        err = sys.exc_info()
1596
1877
        addExpectedFailure = getattr(result, 'addExpectedFailure', None)
1597
1878
        if addExpectedFailure is not None:
1605
1886
            reason = 'No reason given'
1606
1887
        else:
1607
1888
            reason = e.args[0]
 
1889
        self._suppress_log ()
1608
1890
        addNotApplicable = getattr(result, 'addNotApplicable', None)
1609
1891
        if addNotApplicable is not None:
1610
1892
            result.addNotApplicable(self, reason)
1612
1894
            self._do_skip(result, reason)
1613
1895
 
1614
1896
    @staticmethod
 
1897
    def _report_skip(self, result, err):
 
1898
        """Override the default _report_skip.
 
1899
 
 
1900
        We want to strip the 'log' detail. If we waint until _do_skip, it has
 
1901
        already been formatted into the 'reason' string, and we can't pull it
 
1902
        out again.
 
1903
        """
 
1904
        self._suppress_log()
 
1905
        super(TestCase, self)._report_skip(self, result, err)
 
1906
 
 
1907
    @staticmethod
 
1908
    def _report_expected_failure(self, result, err):
 
1909
        """Strip the log.
 
1910
 
 
1911
        See _report_skip for motivation.
 
1912
        """
 
1913
        self._suppress_log()
 
1914
        super(TestCase, self)._report_expected_failure(self, result, err)
 
1915
 
 
1916
    @staticmethod
1615
1917
    def _do_unsupported_or_skip(self, result, e):
1616
1918
        reason = e.args[0]
 
1919
        self._suppress_log()
1617
1920
        addNotSupported = getattr(result, 'addNotSupported', None)
1618
1921
        if addNotSupported is not None:
1619
1922
            result.addNotSupported(self, reason)
1645
1948
            self._benchtime += time.time() - start
1646
1949
 
1647
1950
    def log(self, *args):
1648
 
        mutter(*args)
1649
 
 
1650
 
    def _get_log(self, keep_log_file=False):
1651
 
        """Internal helper to get the log from bzrlib.trace for this test.
1652
 
 
1653
 
        Please use self.getDetails, or self.get_log to access this in test case
1654
 
        code.
1655
 
 
1656
 
        :param keep_log_file: When True, if the log is still a file on disk
1657
 
            leave it as a file on disk. When False, if the log is still a file
1658
 
            on disk, the log file is deleted and the log preserved as
1659
 
            self._log_contents.
1660
 
        :return: A string containing the log.
1661
 
        """
1662
 
        if self._log_contents is not None:
1663
 
            try:
1664
 
                self._log_contents.decode('utf8')
1665
 
            except UnicodeDecodeError:
1666
 
                unicodestr = self._log_contents.decode('utf8', 'replace')
1667
 
                self._log_contents = unicodestr.encode('utf8')
1668
 
            return self._log_contents
1669
 
        import bzrlib.trace
1670
 
        if bzrlib.trace._trace_file:
1671
 
            # flush the log file, to get all content
1672
 
            bzrlib.trace._trace_file.flush()
1673
 
        if self._log_file_name is not None:
1674
 
            logfile = open(self._log_file_name)
1675
 
            try:
1676
 
                log_contents = logfile.read()
1677
 
            finally:
1678
 
                logfile.close()
1679
 
            try:
1680
 
                log_contents.decode('utf8')
1681
 
            except UnicodeDecodeError:
1682
 
                unicodestr = log_contents.decode('utf8', 'replace')
1683
 
                log_contents = unicodestr.encode('utf8')
1684
 
            if not keep_log_file:
1685
 
                close_attempts = 0
1686
 
                max_close_attempts = 100
1687
 
                first_close_error = None
1688
 
                while close_attempts < max_close_attempts:
1689
 
                    close_attempts += 1
1690
 
                    try:
1691
 
                        self._log_file.close()
1692
 
                    except IOError, ioe:
1693
 
                        if ioe.errno is None:
1694
 
                            # No errno implies 'close() called during
1695
 
                            # concurrent operation on the same file object', so
1696
 
                            # retry.  Probably a thread is trying to write to
1697
 
                            # the log file.
1698
 
                            if first_close_error is None:
1699
 
                                first_close_error = ioe
1700
 
                            continue
1701
 
                        raise
1702
 
                    else:
1703
 
                        break
1704
 
                if close_attempts > 1:
1705
 
                    sys.stderr.write(
1706
 
                        'Unable to close log file on first attempt, '
1707
 
                        'will retry: %s\n' % (first_close_error,))
1708
 
                    if close_attempts == max_close_attempts:
1709
 
                        sys.stderr.write(
1710
 
                            'Unable to close log file after %d attempts.\n'
1711
 
                            % (max_close_attempts,))
1712
 
                self._log_file = None
1713
 
                # Permit multiple calls to get_log until we clean it up in
1714
 
                # finishLogFile
1715
 
                self._log_contents = log_contents
1716
 
                try:
1717
 
                    os.remove(self._log_file_name)
1718
 
                except OSError, e:
1719
 
                    if sys.platform == 'win32' and e.errno == errno.EACCES:
1720
 
                        sys.stderr.write(('Unable to delete log file '
1721
 
                                             ' %r\n' % self._log_file_name))
1722
 
                    else:
1723
 
                        raise
1724
 
                self._log_file_name = None
1725
 
            return log_contents
1726
 
        else:
1727
 
            return "No log file content and no log file name."
 
1951
        trace.mutter(*args)
1728
1952
 
1729
1953
    def get_log(self):
1730
1954
        """Get a unicode string containing the log from bzrlib.trace.
1766
1990
 
1767
1991
        self.log('run bzr: %r', args)
1768
1992
        # FIXME: don't call into logging here
1769
 
        handler = logging.StreamHandler(stderr)
1770
 
        handler.setLevel(logging.INFO)
 
1993
        handler = trace.EncodedStreamHandler(stderr, errors="replace",
 
1994
            level=logging.INFO)
1771
1995
        logger = logging.getLogger('')
1772
1996
        logger.addHandler(handler)
1773
1997
        old_ui_factory = ui.ui_factory
1780
2004
 
1781
2005
        try:
1782
2006
            try:
1783
 
                result = self.apply_redirected(ui.ui_factory.stdin,
 
2007
                result = self.apply_redirected(
 
2008
                    ui.ui_factory.stdin,
1784
2009
                    stdout, stderr,
1785
 
                    bzrlib.commands.run_bzr_catch_user_errors,
 
2010
                    _mod_commands.run_bzr_catch_user_errors,
1786
2011
                    args)
1787
2012
            except KeyboardInterrupt:
1788
2013
                # Reraise KeyboardInterrupt with contents of redirected stdout
1930
2155
    def start_bzr_subprocess(self, process_args, env_changes=None,
1931
2156
                             skip_if_plan_to_signal=False,
1932
2157
                             working_dir=None,
1933
 
                             allow_plugins=False):
 
2158
                             allow_plugins=False, stderr=subprocess.PIPE):
1934
2159
        """Start bzr in a subprocess for testing.
1935
2160
 
1936
2161
        This starts a new Python interpreter and runs bzr in there.
1945
2170
            variables. A value of None will unset the env variable.
1946
2171
            The values must be strings. The change will only occur in the
1947
2172
            child, so you don't need to fix the environment after running.
1948
 
        :param skip_if_plan_to_signal: raise TestSkipped when true and os.kill
1949
 
            is not available.
 
2173
        :param skip_if_plan_to_signal: raise TestSkipped when true and system
 
2174
            doesn't support signalling subprocesses.
1950
2175
        :param allow_plugins: If False (default) pass --no-plugins to bzr.
 
2176
        :param stderr: file to use for the subprocess's stderr.  Valid values
 
2177
            are those valid for the stderr argument of `subprocess.Popen`.
 
2178
            Default value is ``subprocess.PIPE``.
1951
2179
 
1952
2180
        :returns: Popen object for the started process.
1953
2181
        """
1954
2182
        if skip_if_plan_to_signal:
1955
 
            if not getattr(os, 'kill', None):
1956
 
                raise TestSkipped("os.kill not available.")
 
2183
            if os.name != "posix":
 
2184
                raise TestSkipped("Sending signals not supported")
1957
2185
 
1958
2186
        if env_changes is None:
1959
2187
            env_changes = {}
 
2188
        # Because $HOME is set to a tempdir for the context of a test, modules
 
2189
        # installed in the user dir will not be found unless $PYTHONUSERBASE
 
2190
        # gets set to the computed directory of this parent process.
 
2191
        if site.USER_BASE is not None:
 
2192
            env_changes["PYTHONUSERBASE"] = site.USER_BASE
1960
2193
        old_env = {}
1961
2194
 
1962
2195
        def cleanup_environment():
1979
2212
            # so we will avoid using it on all platforms, just to
1980
2213
            # make sure the code path is used, and we don't break on win32
1981
2214
            cleanup_environment()
 
2215
            # Include the subprocess's log file in the test details, in case
 
2216
            # the test fails due to an error in the subprocess.
 
2217
            self._add_subprocess_log(trace._get_bzr_log_filename())
1982
2218
            command = [sys.executable]
1983
2219
            # frozen executables don't need the path to bzr
1984
2220
            if getattr(sys, "frozen", None) is None:
1986
2222
            if not allow_plugins:
1987
2223
                command.append('--no-plugins')
1988
2224
            command.extend(process_args)
1989
 
            process = self._popen(command, stdin=PIPE, stdout=PIPE, stderr=PIPE)
 
2225
            process = self._popen(command, stdin=subprocess.PIPE,
 
2226
                                  stdout=subprocess.PIPE,
 
2227
                                  stderr=stderr)
1990
2228
        finally:
1991
2229
            restore_environment()
1992
2230
            if cwd is not None:
1994
2232
 
1995
2233
        return process
1996
2234
 
 
2235
    def _add_subprocess_log(self, log_file_path):
 
2236
        if len(self._log_files) == 0:
 
2237
            # Register an addCleanup func.  We do this on the first call to
 
2238
            # _add_subprocess_log rather than in TestCase.setUp so that this
 
2239
            # addCleanup is registered after any cleanups for tempdirs that
 
2240
            # subclasses might create, which will probably remove the log file
 
2241
            # we want to read.
 
2242
            self.addCleanup(self._subprocess_log_cleanup)
 
2243
        # self._log_files is a set, so if a log file is reused we won't grab it
 
2244
        # twice.
 
2245
        self._log_files.add(log_file_path)
 
2246
 
 
2247
    def _subprocess_log_cleanup(self):
 
2248
        for count, log_file_path in enumerate(self._log_files):
 
2249
            # We use buffer_now=True to avoid holding the file open beyond
 
2250
            # the life of this function, which might interfere with e.g.
 
2251
            # cleaning tempdirs on Windows.
 
2252
            # XXX: Testtools 0.9.5 doesn't have the content_from_file helper
 
2253
            #detail_content = content.content_from_file(
 
2254
            #    log_file_path, buffer_now=True)
 
2255
            with open(log_file_path, 'rb') as log_file:
 
2256
                log_file_bytes = log_file.read()
 
2257
            detail_content = content.Content(content.ContentType("text",
 
2258
                "plain", {"charset": "utf8"}), lambda: [log_file_bytes])
 
2259
            self.addDetail("start_bzr_subprocess-log-%d" % (count,),
 
2260
                detail_content)
 
2261
 
1997
2262
    def _popen(self, *args, **kwargs):
1998
2263
        """Place a call to Popen.
1999
2264
 
2000
2265
        Allows tests to override this method to intercept the calls made to
2001
2266
        Popen for introspection.
2002
2267
        """
2003
 
        return Popen(*args, **kwargs)
 
2268
        return subprocess.Popen(*args, **kwargs)
2004
2269
 
2005
2270
    def get_source_path(self):
2006
2271
        """Return the path of the directory containing bzrlib."""
2008
2273
 
2009
2274
    def get_bzr_path(self):
2010
2275
        """Return the path of the 'bzr' executable for this test suite."""
2011
 
        bzr_path = self.get_source_path()+'/bzr'
 
2276
        bzr_path = os.path.join(self.get_source_path(), "bzr")
2012
2277
        if not os.path.isfile(bzr_path):
2013
2278
            # We are probably installed. Assume sys.argv is the right file
2014
2279
            bzr_path = sys.argv[0]
2036
2301
        if retcode is not None and retcode != process.returncode:
2037
2302
            if process_args is None:
2038
2303
                process_args = "(unknown args)"
2039
 
            mutter('Output of bzr %s:\n%s', process_args, out)
2040
 
            mutter('Error for bzr %s:\n%s', process_args, err)
 
2304
            trace.mutter('Output of bzr %s:\n%s', process_args, out)
 
2305
            trace.mutter('Error for bzr %s:\n%s', process_args, err)
2041
2306
            self.fail('Command bzr %s failed with retcode %s != %s'
2042
2307
                      % (process_args, retcode, process.returncode))
2043
2308
        return [out, err]
2044
2309
 
2045
 
    def check_inventory_shape(self, inv, shape):
2046
 
        """Compare an inventory to a list of expected names.
 
2310
    def check_tree_shape(self, tree, shape):
 
2311
        """Compare a tree to a list of expected names.
2047
2312
 
2048
2313
        Fail if they are not precisely equal.
2049
2314
        """
2050
2315
        extras = []
2051
2316
        shape = list(shape)             # copy
2052
 
        for path, ie in inv.entries():
 
2317
        for path, ie in tree.iter_entries_by_dir():
2053
2318
            name = path.replace('\\', '/')
2054
2319
            if ie.kind == 'directory':
2055
2320
                name = name + '/'
2056
 
            if name in shape:
 
2321
            if name == "/":
 
2322
                pass # ignore root entry
 
2323
            elif name in shape:
2057
2324
                shape.remove(name)
2058
2325
            else:
2059
2326
                extras.append(name)
2100
2367
 
2101
2368
        Tests that expect to provoke LockContention errors should call this.
2102
2369
        """
2103
 
        self.overrideAttr(bzrlib.lockdir, '_DEFAULT_TIMEOUT_SECONDS', 0)
 
2370
        self.overrideAttr(lockdir, '_DEFAULT_TIMEOUT_SECONDS', 0)
2104
2371
 
2105
2372
    def make_utf8_encoded_stringio(self, encoding_type=None):
2106
2373
        """Return a StringIOWrapper instance, that will encode Unicode
2119
2386
        from bzrlib.smart import request
2120
2387
        request_handlers = request.request_handlers
2121
2388
        orig_method = request_handlers.get(verb)
 
2389
        orig_info = request_handlers.get_info(verb)
2122
2390
        request_handlers.remove(verb)
2123
 
        self.addCleanup(request_handlers.register, verb, orig_method)
 
2391
        self.addCleanup(request_handlers.register, verb, orig_method,
 
2392
            info=orig_info)
2124
2393
 
2125
2394
 
2126
2395
class CapturedCall(object):
2149
2418
class TestCaseWithMemoryTransport(TestCase):
2150
2419
    """Common test class for tests that do not need disk resources.
2151
2420
 
2152
 
    Tests that need disk resources should derive from TestCaseWithTransport.
 
2421
    Tests that need disk resources should derive from TestCaseInTempDir
 
2422
    orTestCaseWithTransport.
2153
2423
 
2154
2424
    TestCaseWithMemoryTransport sets the TEST_ROOT variable for all bzr tests.
2155
2425
 
2156
 
    For TestCaseWithMemoryTransport the test_home_dir is set to the name of
 
2426
    For TestCaseWithMemoryTransport the ``test_home_dir`` is set to the name of
2157
2427
    a directory which does not exist. This serves to help ensure test isolation
2158
 
    is preserved. test_dir is set to the TEST_ROOT, as is cwd, because they
2159
 
    must exist. However, TestCaseWithMemoryTransport does not offer local
2160
 
    file defaults for the transport in tests, nor does it obey the command line
 
2428
    is preserved. ``test_dir`` is set to the TEST_ROOT, as is cwd, because they
 
2429
    must exist. However, TestCaseWithMemoryTransport does not offer local file
 
2430
    defaults for the transport in tests, nor does it obey the command line
2161
2431
    override, so tests that accidentally write to the common directory should
2162
2432
    be rare.
2163
2433
 
2164
 
    :cvar TEST_ROOT: Directory containing all temporary directories, plus
2165
 
    a .bzr directory that stops us ascending higher into the filesystem.
 
2434
    :cvar TEST_ROOT: Directory containing all temporary directories, plus a
 
2435
        ``.bzr`` directory that stops us ascending higher into the filesystem.
2166
2436
    """
2167
2437
 
2168
2438
    TEST_ROOT = None
2186
2456
 
2187
2457
        :param relpath: a path relative to the base url.
2188
2458
        """
2189
 
        t = get_transport(self.get_url(relpath))
 
2459
        t = _mod_transport.get_transport_from_url(self.get_url(relpath))
2190
2460
        self.assertFalse(t.is_readonly())
2191
2461
        return t
2192
2462
 
2198
2468
 
2199
2469
        :param relpath: a path relative to the base url.
2200
2470
        """
2201
 
        t = get_transport(self.get_readonly_url(relpath))
 
2471
        t = _mod_transport.get_transport_from_url(
 
2472
            self.get_readonly_url(relpath))
2202
2473
        self.assertTrue(t.is_readonly())
2203
2474
        return t
2204
2475
 
2325
2596
        real branch.
2326
2597
        """
2327
2598
        root = TestCaseWithMemoryTransport.TEST_ROOT
2328
 
        bzrdir.BzrDir.create_standalone_workingtree(root)
 
2599
        # Make sure we get a readable and accessible home for .bzr.log
 
2600
        # and/or config files, and not fallback to weird defaults (see
 
2601
        # http://pad.lv/825027).
 
2602
        self.assertIs(None, os.environ.get('BZR_HOME', None))
 
2603
        os.environ['BZR_HOME'] = root
 
2604
        wt = bzrdir.BzrDir.create_standalone_workingtree(root)
 
2605
        del os.environ['BZR_HOME']
 
2606
        # Hack for speed: remember the raw bytes of the dirstate file so that
 
2607
        # we don't need to re-open the wt to check it hasn't changed.
 
2608
        TestCaseWithMemoryTransport._SAFETY_NET_PRISTINE_DIRSTATE = (
 
2609
            wt.control_transport.get_bytes('dirstate'))
2329
2610
 
2330
2611
    def _check_safety_net(self):
2331
2612
        """Check that the safety .bzr directory have not been touched.
2334
2615
        propagating. This method ensures than a test did not leaked.
2335
2616
        """
2336
2617
        root = TestCaseWithMemoryTransport.TEST_ROOT
2337
 
        self.permit_url(get_transport(root).base)
2338
 
        wt = workingtree.WorkingTree.open(root)
2339
 
        last_rev = wt.last_revision()
2340
 
        if last_rev != 'null:':
 
2618
        t = _mod_transport.get_transport_from_path(root)
 
2619
        self.permit_url(t.base)
 
2620
        if (t.get_bytes('.bzr/checkout/dirstate') != 
 
2621
                TestCaseWithMemoryTransport._SAFETY_NET_PRISTINE_DIRSTATE):
2341
2622
            # The current test have modified the /bzr directory, we need to
2342
2623
            # recreate a new one or all the followng tests will fail.
2343
2624
            # If you need to inspect its content uncomment the following line
2378
2659
    def make_branch(self, relpath, format=None):
2379
2660
        """Create a branch on the transport at relpath."""
2380
2661
        repo = self.make_repository(relpath, format=format)
2381
 
        return repo.bzrdir.create_branch()
 
2662
        return repo.bzrdir.create_branch(append_revisions_only=False)
 
2663
 
 
2664
    def get_default_format(self):
 
2665
        return 'default'
 
2666
 
 
2667
    def resolve_format(self, format):
 
2668
        """Resolve an object to a ControlDir format object.
 
2669
 
 
2670
        The initial format object can either already be
 
2671
        a ControlDirFormat, None (for the default format),
 
2672
        or a string with the name of the control dir format.
 
2673
 
 
2674
        :param format: Object to resolve
 
2675
        :return A ControlDirFormat instance
 
2676
        """
 
2677
        if format is None:
 
2678
            format = self.get_default_format()
 
2679
        if isinstance(format, basestring):
 
2680
            format = bzrdir.format_registry.make_bzrdir(format)
 
2681
        return format
2382
2682
 
2383
2683
    def make_bzrdir(self, relpath, format=None):
2384
2684
        try:
2385
2685
            # might be a relative or absolute path
2386
2686
            maybe_a_url = self.get_url(relpath)
2387
2687
            segments = maybe_a_url.rsplit('/', 1)
2388
 
            t = get_transport(maybe_a_url)
 
2688
            t = _mod_transport.get_transport(maybe_a_url)
2389
2689
            if len(segments) > 1 and segments[-1] not in ('', '.'):
2390
2690
                t.ensure_base()
2391
 
            if format is None:
2392
 
                format = 'default'
2393
 
            if isinstance(format, basestring):
2394
 
                format = bzrdir.format_registry.make_bzrdir(format)
 
2691
            format = self.resolve_format(format)
2395
2692
            return format.initialize_on_transport(t)
2396
2693
        except errors.UninitializableFormat:
2397
2694
            raise TestSkipped("Format %s is not initializable." % format)
2398
2695
 
2399
 
    def make_repository(self, relpath, shared=False, format=None):
 
2696
    def make_repository(self, relpath, shared=None, format=None):
2400
2697
        """Create a repository on our default transport at relpath.
2401
2698
 
2402
2699
        Note that relpath must be a relative path, not a full url.
2408
2705
        made_control = self.make_bzrdir(relpath, format=format)
2409
2706
        return made_control.create_repository(shared=shared)
2410
2707
 
2411
 
    def make_smart_server(self, path):
 
2708
    def make_smart_server(self, path, backing_server=None):
 
2709
        if backing_server is None:
 
2710
            backing_server = self.get_server()
2412
2711
        smart_server = test_server.SmartTCPServer_for_testing()
2413
 
        self.start_server(smart_server, self.get_server())
2414
 
        remote_transport = get_transport(smart_server.get_url()).clone(path)
 
2712
        self.start_server(smart_server, backing_server)
 
2713
        remote_transport = _mod_transport.get_transport_from_url(smart_server.get_url()
 
2714
                                                   ).clone(path)
2415
2715
        return remote_transport
2416
2716
 
2417
2717
    def make_branch_and_memory_tree(self, relpath, format=None):
2427
2727
        test_home_dir = self.test_home_dir
2428
2728
        if isinstance(test_home_dir, unicode):
2429
2729
            test_home_dir = test_home_dir.encode(sys.getfilesystemencoding())
2430
 
        os.environ['HOME'] = test_home_dir
2431
 
        os.environ['BZR_HOME'] = test_home_dir
 
2730
        self.overrideEnv('HOME', test_home_dir)
 
2731
        self.overrideEnv('BZR_HOME', test_home_dir)
2432
2732
 
2433
2733
    def setUp(self):
2434
2734
        super(TestCaseWithMemoryTransport, self).setUp()
 
2735
        # Ensure that ConnectedTransport doesn't leak sockets
 
2736
        def get_transport_from_url_with_cleanup(*args, **kwargs):
 
2737
            t = orig_get_transport_from_url(*args, **kwargs)
 
2738
            if isinstance(t, _mod_transport.ConnectedTransport):
 
2739
                self.addCleanup(t.disconnect)
 
2740
            return t
 
2741
 
 
2742
        orig_get_transport_from_url = self.overrideAttr(
 
2743
            _mod_transport, 'get_transport_from_url',
 
2744
            get_transport_from_url_with_cleanup)
2435
2745
        self._make_test_root()
2436
2746
        self.addCleanup(os.chdir, os.getcwdu())
2437
2747
        self.makeAndChdirToTestDir()
2480
2790
 
2481
2791
    OVERRIDE_PYTHON = 'python'
2482
2792
 
 
2793
    def setUp(self):
 
2794
        super(TestCaseInTempDir, self).setUp()
 
2795
        # Remove the protection set in isolated_environ, we have a proper
 
2796
        # access to disk resources now.
 
2797
        self.overrideEnv('BZR_LOG', None)
 
2798
 
2483
2799
    def check_file_contents(self, filename, expect):
2484
2800
        self.log("check contents of file %s" % filename)
2485
 
        contents = file(filename, 'r').read()
 
2801
        f = file(filename)
 
2802
        try:
 
2803
            contents = f.read()
 
2804
        finally:
 
2805
            f.close()
2486
2806
        if contents != expect:
2487
2807
            self.log("expected: %r" % expect)
2488
2808
            self.log("actually: %r" % contents)
2562
2882
                "a list or a tuple. Got %r instead" % (shape,))
2563
2883
        # It's OK to just create them using forward slashes on windows.
2564
2884
        if transport is None or transport.is_readonly():
2565
 
            transport = get_transport(".")
 
2885
            transport = _mod_transport.get_transport_from_path(".")
2566
2886
        for name in shape:
2567
2887
            self.assertIsInstance(name, basestring)
2568
2888
            if name[-1] == '/':
2653
2973
        # this obviously requires a format that supports branch references
2654
2974
        # so check for that by checking bzrdir.BzrDirFormat.get_default_format()
2655
2975
        # RBC 20060208
 
2976
        format = self.resolve_format(format=format)
 
2977
        if not format.supports_workingtrees:
 
2978
            b = self.make_branch(relpath+'.branch', format=format)
 
2979
            return b.create_checkout(relpath, lightweight=True)
2656
2980
        b = self.make_branch(relpath, format=format)
2657
2981
        try:
2658
2982
            return b.bzrdir.create_workingtree()
2725
3049
    """
2726
3050
 
2727
3051
    def setUp(self):
 
3052
        from bzrlib.tests import http_server
2728
3053
        super(ChrootedTestCase, self).setUp()
2729
3054
        if not self.vfs_transport_factory == memory.MemoryServer:
2730
 
            self.transport_readonly_server = HttpServer
 
3055
            self.transport_readonly_server = http_server.HttpServer
2731
3056
 
2732
3057
 
2733
3058
def condition_id_re(pattern):
2736
3061
    :param pattern: A regular expression string.
2737
3062
    :return: A callable that returns True if the re matches.
2738
3063
    """
2739
 
    filter_re = osutils.re_compile_checked(pattern, 0,
2740
 
        'test filter')
 
3064
    filter_re = re.compile(pattern, 0)
2741
3065
    def condition(test):
2742
3066
        test_id = test.id()
2743
3067
        return filter_re.search(test_id)
2957
3281
                            result_decorators=result_decorators,
2958
3282
                            )
2959
3283
    runner.stop_on_failure=stop_on_failure
 
3284
    if isinstance(suite, unittest.TestSuite):
 
3285
        # Empty out _tests list of passed suite and populate new TestSuite
 
3286
        suite._tests[:], suite = [], TestSuite(suite)
2960
3287
    # built in decorator factories:
2961
3288
    decorators = [
2962
3289
        random_order(random_seed, runner),
2995
3322
 
2996
3323
 
2997
3324
def fork_decorator(suite):
 
3325
    if getattr(os, "fork", None) is None:
 
3326
        raise errors.BzrCommandError("platform does not support fork,"
 
3327
            " try --parallel=subprocess instead.")
2998
3328
    concurrency = osutils.local_concurrency()
2999
3329
    if concurrency == 1:
3000
3330
        return suite
3055
3385
    return suite
3056
3386
 
3057
3387
 
3058
 
class TestDecorator(TestSuite):
 
3388
class TestDecorator(TestUtil.TestSuite):
3059
3389
    """A decorator for TestCase/TestSuite objects.
3060
 
    
3061
 
    Usually, subclasses should override __iter__(used when flattening test
3062
 
    suites), which we do to filter, reorder, parallelise and so on, run() and
3063
 
    debug().
 
3390
 
 
3391
    Contains rather than flattening suite passed on construction
3064
3392
    """
3065
3393
 
3066
 
    def __init__(self, suite):
3067
 
        TestSuite.__init__(self)
3068
 
        self.addTest(suite)
3069
 
 
3070
 
    def countTestCases(self):
3071
 
        cases = 0
3072
 
        for test in self:
3073
 
            cases += test.countTestCases()
3074
 
        return cases
3075
 
 
3076
 
    def debug(self):
3077
 
        for test in self:
3078
 
            test.debug()
3079
 
 
3080
 
    def run(self, result):
3081
 
        # Use iteration on self, not self._tests, to allow subclasses to hook
3082
 
        # into __iter__.
3083
 
        for test in self:
3084
 
            if result.shouldStop:
3085
 
                break
3086
 
            test.run(result)
3087
 
        return result
 
3394
    def __init__(self, suite=None):
 
3395
        super(TestDecorator, self).__init__()
 
3396
        if suite is not None:
 
3397
            self.addTest(suite)
 
3398
 
 
3399
    # Don't need subclass run method with suite emptying
 
3400
    run = unittest.TestSuite.run
3088
3401
 
3089
3402
 
3090
3403
class CountingDecorator(TestDecorator):
3101
3414
    """A decorator which excludes test matching an exclude pattern."""
3102
3415
 
3103
3416
    def __init__(self, suite, exclude_pattern):
3104
 
        TestDecorator.__init__(self, suite)
3105
 
        self.exclude_pattern = exclude_pattern
3106
 
        self.excluded = False
3107
 
 
3108
 
    def __iter__(self):
3109
 
        if self.excluded:
3110
 
            return iter(self._tests)
3111
 
        self.excluded = True
3112
 
        suite = exclude_tests_by_re(self, self.exclude_pattern)
3113
 
        del self._tests[:]
3114
 
        self.addTests(suite)
3115
 
        return iter(self._tests)
 
3417
        super(ExcludeDecorator, self).__init__(
 
3418
            exclude_tests_by_re(suite, exclude_pattern))
3116
3419
 
3117
3420
 
3118
3421
class FilterTestsDecorator(TestDecorator):
3119
3422
    """A decorator which filters tests to those matching a pattern."""
3120
3423
 
3121
3424
    def __init__(self, suite, pattern):
3122
 
        TestDecorator.__init__(self, suite)
3123
 
        self.pattern = pattern
3124
 
        self.filtered = False
3125
 
 
3126
 
    def __iter__(self):
3127
 
        if self.filtered:
3128
 
            return iter(self._tests)
3129
 
        self.filtered = True
3130
 
        suite = filter_suite_by_re(self, self.pattern)
3131
 
        del self._tests[:]
3132
 
        self.addTests(suite)
3133
 
        return iter(self._tests)
 
3425
        super(FilterTestsDecorator, self).__init__(
 
3426
            filter_suite_by_re(suite, pattern))
3134
3427
 
3135
3428
 
3136
3429
class RandomDecorator(TestDecorator):
3137
3430
    """A decorator which randomises the order of its tests."""
3138
3431
 
3139
3432
    def __init__(self, suite, random_seed, stream):
3140
 
        TestDecorator.__init__(self, suite)
3141
 
        self.random_seed = random_seed
3142
 
        self.randomised = False
3143
 
        self.stream = stream
3144
 
 
3145
 
    def __iter__(self):
3146
 
        if self.randomised:
3147
 
            return iter(self._tests)
3148
 
        self.randomised = True
3149
 
        self.stream.write("Randomizing test order using seed %s\n\n" %
3150
 
            (self.actual_seed()))
 
3433
        random_seed = self.actual_seed(random_seed)
 
3434
        stream.write("Randomizing test order using seed %s\n\n" %
 
3435
            (random_seed,))
3151
3436
        # Initialise the random number generator.
3152
 
        random.seed(self.actual_seed())
3153
 
        suite = randomize_suite(self)
3154
 
        del self._tests[:]
3155
 
        self.addTests(suite)
3156
 
        return iter(self._tests)
 
3437
        random.seed(random_seed)
 
3438
        super(RandomDecorator, self).__init__(randomize_suite(suite))
3157
3439
 
3158
 
    def actual_seed(self):
3159
 
        if self.random_seed == "now":
 
3440
    @staticmethod
 
3441
    def actual_seed(seed):
 
3442
        if seed == "now":
3160
3443
            # We convert the seed to a long to make it reuseable across
3161
3444
            # invocations (because the user can reenter it).
3162
 
            self.random_seed = long(time.time())
 
3445
            return long(time.time())
3163
3446
        else:
3164
3447
            # Convert the seed to a long if we can
3165
3448
            try:
3166
 
                self.random_seed = long(self.random_seed)
3167
 
            except:
 
3449
                return long(seed)
 
3450
            except (TypeError, ValueError):
3168
3451
                pass
3169
 
        return self.random_seed
 
3452
        return seed
3170
3453
 
3171
3454
 
3172
3455
class TestFirstDecorator(TestDecorator):
3173
3456
    """A decorator which moves named tests to the front."""
3174
3457
 
3175
3458
    def __init__(self, suite, pattern):
3176
 
        TestDecorator.__init__(self, suite)
3177
 
        self.pattern = pattern
3178
 
        self.filtered = False
3179
 
 
3180
 
    def __iter__(self):
3181
 
        if self.filtered:
3182
 
            return iter(self._tests)
3183
 
        self.filtered = True
3184
 
        suites = split_suite_by_re(self, self.pattern)
3185
 
        del self._tests[:]
3186
 
        self.addTests(suites)
3187
 
        return iter(self._tests)
 
3459
        super(TestFirstDecorator, self).__init__()
 
3460
        self.addTests(split_suite_by_re(suite, pattern))
3188
3461
 
3189
3462
 
3190
3463
def partition_tests(suite, count):
3191
3464
    """Partition suite into count lists of tests."""
3192
 
    result = []
3193
 
    tests = list(iter_suite_tests(suite))
3194
 
    tests_per_process = int(math.ceil(float(len(tests)) / count))
3195
 
    for block in range(count):
3196
 
        low_test = block * tests_per_process
3197
 
        high_test = low_test + tests_per_process
3198
 
        process_tests = tests[low_test:high_test]
3199
 
        result.append(process_tests)
3200
 
    return result
 
3465
    # This just assigns tests in a round-robin fashion.  On one hand this
 
3466
    # splits up blocks of related tests that might run faster if they shared
 
3467
    # resources, but on the other it avoids assigning blocks of slow tests to
 
3468
    # just one partition.  So the slowest partition shouldn't be much slower
 
3469
    # than the fastest.
 
3470
    partitions = [list() for i in range(count)]
 
3471
    tests = iter_suite_tests(suite)
 
3472
    for partition, test in itertools.izip(itertools.cycle(partitions), tests):
 
3473
        partition.append(test)
 
3474
    return partitions
3201
3475
 
3202
3476
 
3203
3477
def workaround_zealous_crypto_random():
3221
3495
    """
3222
3496
    concurrency = osutils.local_concurrency()
3223
3497
    result = []
3224
 
    from subunit import TestProtocolClient, ProtocolTestCase
 
3498
    from subunit import ProtocolTestCase
3225
3499
    from subunit.test_results import AutoTimingTestResultDecorator
3226
3500
    class TestInOtherProcess(ProtocolTestCase):
3227
3501
        # Should be in subunit, I think. RBC.
3233
3507
            try:
3234
3508
                ProtocolTestCase.run(self, result)
3235
3509
            finally:
3236
 
                os.waitpid(self.pid, 0)
 
3510
                pid, status = os.waitpid(self.pid, 0)
 
3511
            # GZ 2011-10-18: If status is nonzero, should report to the result
 
3512
            #                that something went wrong.
3237
3513
 
3238
3514
    test_blocks = partition_tests(suite, concurrency)
 
3515
    # Clear the tests from the original suite so it doesn't keep them alive
 
3516
    suite._tests[:] = []
3239
3517
    for process_tests in test_blocks:
3240
 
        process_suite = TestSuite()
3241
 
        process_suite.addTests(process_tests)
 
3518
        process_suite = TestUtil.TestSuite(process_tests)
 
3519
        # Also clear each split list so new suite has only reference
 
3520
        process_tests[:] = []
3242
3521
        c2pread, c2pwrite = os.pipe()
3243
3522
        pid = os.fork()
3244
3523
        if pid == 0:
3245
 
            workaround_zealous_crypto_random()
3246
3524
            try:
 
3525
                stream = os.fdopen(c2pwrite, 'wb', 1)
 
3526
                workaround_zealous_crypto_random()
3247
3527
                os.close(c2pread)
3248
3528
                # Leave stderr and stdout open so we can see test noise
3249
3529
                # Close stdin so that the child goes away if it decides to
3250
3530
                # read from stdin (otherwise its a roulette to see what
3251
3531
                # child actually gets keystrokes for pdb etc).
3252
3532
                sys.stdin.close()
3253
 
                sys.stdin = None
3254
 
                stream = os.fdopen(c2pwrite, 'wb', 1)
3255
3533
                subunit_result = AutoTimingTestResultDecorator(
3256
 
                    TestProtocolClient(stream))
 
3534
                    SubUnitBzrProtocolClient(stream))
3257
3535
                process_suite.run(subunit_result)
3258
 
            finally:
3259
 
                os._exit(0)
 
3536
            except:
 
3537
                # Try and report traceback on stream, but exit with error even
 
3538
                # if stream couldn't be created or something else goes wrong.
 
3539
                # The traceback is formatted to a string and written in one go
 
3540
                # to avoid interleaving lines from multiple failing children.
 
3541
                try:
 
3542
                    stream.write(traceback.format_exc())
 
3543
                finally:
 
3544
                    os._exit(1)
 
3545
            os._exit(0)
3260
3546
        else:
3261
3547
            os.close(c2pwrite)
3262
3548
            stream = os.fdopen(c2pread, 'rb', 1)
3309
3595
                '--subunit']
3310
3596
            if '--no-plugins' in sys.argv:
3311
3597
                argv.append('--no-plugins')
3312
 
            # stderr=STDOUT would be ideal, but until we prevent noise on
3313
 
            # stderr it can interrupt the subunit protocol.
3314
 
            process = Popen(argv, stdin=PIPE, stdout=PIPE, stderr=PIPE,
3315
 
                bufsize=1)
 
3598
            # stderr=subprocess.STDOUT would be ideal, but until we prevent
 
3599
            # noise on stderr it can interrupt the subunit protocol.
 
3600
            process = subprocess.Popen(argv, stdin=subprocess.PIPE,
 
3601
                                      stdout=subprocess.PIPE,
 
3602
                                      stderr=subprocess.PIPE,
 
3603
                                      bufsize=1)
3316
3604
            test = TestInSubprocess(process, test_list_file_name)
3317
3605
            result.append(test)
3318
3606
        except:
3321
3609
    return result
3322
3610
 
3323
3611
 
3324
 
class ForwardingResult(unittest.TestResult):
3325
 
 
3326
 
    def __init__(self, target):
3327
 
        unittest.TestResult.__init__(self)
3328
 
        self.result = target
3329
 
 
3330
 
    def startTest(self, test):
3331
 
        self.result.startTest(test)
3332
 
 
3333
 
    def stopTest(self, test):
3334
 
        self.result.stopTest(test)
3335
 
 
3336
 
    def startTestRun(self):
3337
 
        self.result.startTestRun()
3338
 
 
3339
 
    def stopTestRun(self):
3340
 
        self.result.stopTestRun()
3341
 
 
3342
 
    def addSkip(self, test, reason):
3343
 
        self.result.addSkip(test, reason)
3344
 
 
3345
 
    def addSuccess(self, test):
3346
 
        self.result.addSuccess(test)
3347
 
 
3348
 
    def addError(self, test, err):
3349
 
        self.result.addError(test, err)
3350
 
 
3351
 
    def addFailure(self, test, err):
3352
 
        self.result.addFailure(test, err)
3353
 
ForwardingResult = testtools.ExtendedToOriginalDecorator
3354
 
 
3355
 
 
3356
 
class ProfileResult(ForwardingResult):
 
3612
class ProfileResult(testtools.ExtendedToOriginalDecorator):
3357
3613
    """Generate profiling data for all activity between start and success.
3358
3614
    
3359
3615
    The profile data is appended to the test's _benchcalls attribute and can
3367
3623
 
3368
3624
    def startTest(self, test):
3369
3625
        self.profiler = bzrlib.lsprof.BzrProfiler()
 
3626
        # Prevent deadlocks in tests that use lsprof: those tests will
 
3627
        # unavoidably fail.
 
3628
        bzrlib.lsprof.BzrProfiler.profiler_block = 0
3370
3629
        self.profiler.start()
3371
 
        ForwardingResult.startTest(self, test)
 
3630
        testtools.ExtendedToOriginalDecorator.startTest(self, test)
3372
3631
 
3373
3632
    def addSuccess(self, test):
3374
3633
        stats = self.profiler.stop()
3378
3637
            test._benchcalls = []
3379
3638
            calls = test._benchcalls
3380
3639
        calls.append(((test.id(), "", ""), stats))
3381
 
        ForwardingResult.addSuccess(self, test)
 
3640
        testtools.ExtendedToOriginalDecorator.addSuccess(self, test)
3382
3641
 
3383
3642
    def stopTest(self, test):
3384
 
        ForwardingResult.stopTest(self, test)
 
3643
        testtools.ExtendedToOriginalDecorator.stopTest(self, test)
3385
3644
        self.profiler = None
3386
3645
 
3387
3646
 
3393
3652
#                           rather than failing tests. And no longer raise
3394
3653
#                           LockContention when fctnl locks are not being used
3395
3654
#                           with proper exclusion rules.
 
3655
#   -Ethreads               Will display thread ident at creation/join time to
 
3656
#                           help track thread leaks
 
3657
#   -Euncollected_cases     Display the identity of any test cases that weren't
 
3658
#                           deallocated after being completed.
 
3659
#   -Econfig_stats          Will collect statistics using addDetail
3396
3660
selftest_debug_flags = set()
3397
3661
 
3398
3662
 
3592
3856
                key, obj, help=help, info=info, override_existing=False)
3593
3857
        except KeyError:
3594
3858
            actual = self.get(key)
3595
 
            note('Test prefix alias %s is already used for %s, ignoring %s'
3596
 
                 % (key, actual, obj))
 
3859
            trace.note(
 
3860
                'Test prefix alias %s is already used for %s, ignoring %s'
 
3861
                % (key, actual, obj))
3597
3862
 
3598
3863
    def resolve_alias(self, id_start):
3599
3864
        """Replace the alias by the prefix in the given string.
3631
3896
        'bzrlib.doc',
3632
3897
        'bzrlib.tests.blackbox',
3633
3898
        'bzrlib.tests.commands',
 
3899
        'bzrlib.tests.doc_generate',
3634
3900
        'bzrlib.tests.per_branch',
3635
3901
        'bzrlib.tests.per_bzrdir',
3636
 
        'bzrlib.tests.per_bzrdir_colo',
 
3902
        'bzrlib.tests.per_controldir',
 
3903
        'bzrlib.tests.per_controldir_colo',
3637
3904
        'bzrlib.tests.per_foreign_vcs',
3638
3905
        'bzrlib.tests.per_interrepository',
3639
3906
        'bzrlib.tests.per_intertree',
3647
3914
        'bzrlib.tests.per_repository',
3648
3915
        'bzrlib.tests.per_repository_chk',
3649
3916
        'bzrlib.tests.per_repository_reference',
 
3917
        'bzrlib.tests.per_repository_vf',
3650
3918
        'bzrlib.tests.per_uifactory',
3651
3919
        'bzrlib.tests.per_versionedfile',
3652
3920
        'bzrlib.tests.per_workingtree',
3653
3921
        'bzrlib.tests.test__annotator',
3654
3922
        'bzrlib.tests.test__bencode',
 
3923
        'bzrlib.tests.test__btree_serializer',
3655
3924
        'bzrlib.tests.test__chk_map',
3656
3925
        'bzrlib.tests.test__dirstate_helpers',
3657
3926
        'bzrlib.tests.test__groupcompress',
3685
3954
        'bzrlib.tests.test_commit_merge',
3686
3955
        'bzrlib.tests.test_config',
3687
3956
        'bzrlib.tests.test_conflicts',
 
3957
        'bzrlib.tests.test_controldir',
3688
3958
        'bzrlib.tests.test_counted_lock',
3689
3959
        'bzrlib.tests.test_crash',
3690
3960
        'bzrlib.tests.test_decorators',
3691
3961
        'bzrlib.tests.test_delta',
3692
3962
        'bzrlib.tests.test_debug',
3693
 
        'bzrlib.tests.test_deprecated_graph',
3694
3963
        'bzrlib.tests.test_diff',
3695
3964
        'bzrlib.tests.test_directory_service',
3696
3965
        'bzrlib.tests.test_dirstate',
3697
3966
        'bzrlib.tests.test_email_message',
3698
3967
        'bzrlib.tests.test_eol_filters',
3699
3968
        'bzrlib.tests.test_errors',
 
3969
        'bzrlib.tests.test_estimate_compressed_size',
3700
3970
        'bzrlib.tests.test_export',
 
3971
        'bzrlib.tests.test_export_pot',
3701
3972
        'bzrlib.tests.test_extract',
 
3973
        'bzrlib.tests.test_features',
3702
3974
        'bzrlib.tests.test_fetch',
 
3975
        'bzrlib.tests.test_fixtures',
3703
3976
        'bzrlib.tests.test_fifo_cache',
3704
3977
        'bzrlib.tests.test_filters',
 
3978
        'bzrlib.tests.test_filter_tree',
3705
3979
        'bzrlib.tests.test_ftp_transport',
3706
3980
        'bzrlib.tests.test_foreign',
3707
3981
        'bzrlib.tests.test_generate_docs',
3716
3990
        'bzrlib.tests.test_http',
3717
3991
        'bzrlib.tests.test_http_response',
3718
3992
        'bzrlib.tests.test_https_ca_bundle',
 
3993
        'bzrlib.tests.test_i18n',
3719
3994
        'bzrlib.tests.test_identitymap',
3720
3995
        'bzrlib.tests.test_ignores',
3721
3996
        'bzrlib.tests.test_index',
3726
4001
        'bzrlib.tests.test_knit',
3727
4002
        'bzrlib.tests.test_lazy_import',
3728
4003
        'bzrlib.tests.test_lazy_regex',
 
4004
        'bzrlib.tests.test_library_state',
3729
4005
        'bzrlib.tests.test_lock',
3730
4006
        'bzrlib.tests.test_lockable_files',
3731
4007
        'bzrlib.tests.test_lockdir',
3733
4009
        'bzrlib.tests.test_lru_cache',
3734
4010
        'bzrlib.tests.test_lsprof',
3735
4011
        'bzrlib.tests.test_mail_client',
 
4012
        'bzrlib.tests.test_matchers',
3736
4013
        'bzrlib.tests.test_memorytree',
3737
4014
        'bzrlib.tests.test_merge',
3738
4015
        'bzrlib.tests.test_merge3',
3739
4016
        'bzrlib.tests.test_merge_core',
3740
4017
        'bzrlib.tests.test_merge_directive',
 
4018
        'bzrlib.tests.test_mergetools',
3741
4019
        'bzrlib.tests.test_missing',
3742
4020
        'bzrlib.tests.test_msgeditor',
3743
4021
        'bzrlib.tests.test_multiparent',
3752
4030
        'bzrlib.tests.test_permissions',
3753
4031
        'bzrlib.tests.test_plugins',
3754
4032
        'bzrlib.tests.test_progress',
 
4033
        'bzrlib.tests.test_pyutils',
3755
4034
        'bzrlib.tests.test_read_bundle',
3756
4035
        'bzrlib.tests.test_reconcile',
3757
4036
        'bzrlib.tests.test_reconfigure',
3766
4045
        'bzrlib.tests.test_rio',
3767
4046
        'bzrlib.tests.test_rules',
3768
4047
        'bzrlib.tests.test_sampler',
 
4048
        'bzrlib.tests.test_scenarios',
3769
4049
        'bzrlib.tests.test_script',
3770
4050
        'bzrlib.tests.test_selftest',
3771
4051
        'bzrlib.tests.test_serializer',
3776
4056
        'bzrlib.tests.test_smart',
3777
4057
        'bzrlib.tests.test_smart_add',
3778
4058
        'bzrlib.tests.test_smart_request',
 
4059
        'bzrlib.tests.test_smart_signals',
3779
4060
        'bzrlib.tests.test_smart_transport',
3780
4061
        'bzrlib.tests.test_smtp_connection',
3781
4062
        'bzrlib.tests.test_source',
3787
4068
        'bzrlib.tests.test_switch',
3788
4069
        'bzrlib.tests.test_symbol_versioning',
3789
4070
        'bzrlib.tests.test_tag',
 
4071
        'bzrlib.tests.test_test_server',
3790
4072
        'bzrlib.tests.test_testament',
3791
4073
        'bzrlib.tests.test_textfile',
3792
4074
        'bzrlib.tests.test_textmerge',
 
4075
        'bzrlib.tests.test_cethread',
3793
4076
        'bzrlib.tests.test_timestamp',
3794
4077
        'bzrlib.tests.test_trace',
3795
4078
        'bzrlib.tests.test_transactions',
3798
4081
        'bzrlib.tests.test_transport_log',
3799
4082
        'bzrlib.tests.test_tree',
3800
4083
        'bzrlib.tests.test_treebuilder',
 
4084
        'bzrlib.tests.test_treeshape',
3801
4085
        'bzrlib.tests.test_tsort',
3802
4086
        'bzrlib.tests.test_tuned_gzip',
3803
4087
        'bzrlib.tests.test_ui',
3805
4089
        'bzrlib.tests.test_upgrade',
3806
4090
        'bzrlib.tests.test_upgrade_stacked',
3807
4091
        'bzrlib.tests.test_urlutils',
 
4092
        'bzrlib.tests.test_utextwrap',
3808
4093
        'bzrlib.tests.test_version',
3809
4094
        'bzrlib.tests.test_version_info',
 
4095
        'bzrlib.tests.test_versionedfile',
 
4096
        'bzrlib.tests.test_vf_search',
3810
4097
        'bzrlib.tests.test_weave',
3811
4098
        'bzrlib.tests.test_whitebox',
3812
4099
        'bzrlib.tests.test_win32utils',
3826
4113
        'bzrlib',
3827
4114
        'bzrlib.branchbuilder',
3828
4115
        'bzrlib.decorators',
3829
 
        'bzrlib.export',
3830
4116
        'bzrlib.inventory',
3831
4117
        'bzrlib.iterablefile',
3832
4118
        'bzrlib.lockdir',
3833
4119
        'bzrlib.merge3',
3834
4120
        'bzrlib.option',
 
4121
        'bzrlib.pyutils',
3835
4122
        'bzrlib.symbol_versioning',
3836
4123
        'bzrlib.tests',
 
4124
        'bzrlib.tests.fixtures',
3837
4125
        'bzrlib.timestamp',
 
4126
        'bzrlib.transport.http',
3838
4127
        'bzrlib.version_info_formats.format_custom',
3839
4128
        ]
3840
4129
 
3893
4182
        try:
3894
4183
            # note that this really does mean "report only" -- doctest
3895
4184
            # still runs the rest of the examples
3896
 
            doc_suite = doctest.DocTestSuite(mod,
3897
 
                optionflags=doctest.REPORT_ONLY_FIRST_FAILURE)
 
4185
            doc_suite = IsolatedDocTestSuite(
 
4186
                mod, optionflags=doctest.REPORT_ONLY_FIRST_FAILURE)
3898
4187
        except ValueError, e:
3899
4188
            print '**failed to get doctest for: %s\n%s' % (mod, e)
3900
4189
            raise
3903
4192
        suite.addTest(doc_suite)
3904
4193
 
3905
4194
    default_encoding = sys.getdefaultencoding()
3906
 
    for name, plugin in bzrlib.plugin.plugins().items():
 
4195
    for name, plugin in _mod_plugin.plugins().items():
3907
4196
        if not interesting_module(plugin.module.__name__):
3908
4197
            continue
3909
4198
        plugin_suite = plugin.test_suite()
3915
4204
        if plugin_suite is not None:
3916
4205
            suite.addTest(plugin_suite)
3917
4206
        if default_encoding != sys.getdefaultencoding():
3918
 
            bzrlib.trace.warning(
 
4207
            trace.warning(
3919
4208
                'Plugin "%s" tried to reset default encoding to: %s', name,
3920
4209
                sys.getdefaultencoding())
3921
4210
            reload(sys)
3936
4225
            # Some tests mentioned in the list are not in the test suite. The
3937
4226
            # list may be out of date, report to the tester.
3938
4227
            for id in not_found:
3939
 
                bzrlib.trace.warning('"%s" not found in the test suite', id)
 
4228
                trace.warning('"%s" not found in the test suite', id)
3940
4229
        for id in duplicates:
3941
 
            bzrlib.trace.warning('"%s" is used as an id by several tests', id)
 
4230
            trace.warning('"%s" is used as an id by several tests', id)
3942
4231
 
3943
4232
    return suite
3944
4233
 
3945
4234
 
3946
 
def multiply_scenarios(scenarios_left, scenarios_right):
 
4235
def multiply_scenarios(*scenarios):
 
4236
    """Multiply two or more iterables of scenarios.
 
4237
 
 
4238
    It is safe to pass scenario generators or iterators.
 
4239
 
 
4240
    :returns: A list of compound scenarios: the cross-product of all 
 
4241
        scenarios, with the names concatenated and the parameters
 
4242
        merged together.
 
4243
    """
 
4244
    return reduce(_multiply_two_scenarios, map(list, scenarios))
 
4245
 
 
4246
 
 
4247
def _multiply_two_scenarios(scenarios_left, scenarios_right):
3947
4248
    """Multiply two sets of scenarios.
3948
4249
 
3949
4250
    :returns: the cartesian product of the two sets of scenarios, that is
3980
4281
    ...     bzrlib.tests.test_sampler.DemoTest('test_nothing'),
3981
4282
    ...     [('one', dict(param=1)),
3982
4283
    ...      ('two', dict(param=2))],
3983
 
    ...     TestSuite())
 
4284
    ...     TestUtil.TestSuite())
3984
4285
    >>> tests = list(iter_suite_tests(r))
3985
4286
    >>> len(tests)
3986
4287
    2
4033
4334
    :param new_id: The id to assign to it.
4034
4335
    :return: The new test.
4035
4336
    """
4036
 
    new_test = copy(test)
 
4337
    new_test = copy.copy(test)
4037
4338
    new_test.id = lambda: new_id
 
4339
    # XXX: Workaround <https://bugs.launchpad.net/testtools/+bug/637725>, which
 
4340
    # causes cloned tests to share the 'details' dict.  This makes it hard to
 
4341
    # read the test output for parameterized tests, because tracebacks will be
 
4342
    # associated with irrelevant tests.
 
4343
    try:
 
4344
        details = new_test._TestCase__details
 
4345
    except AttributeError:
 
4346
        # must be a different version of testtools than expected.  Do nothing.
 
4347
        pass
 
4348
    else:
 
4349
        # Reset the '__details' dict.
 
4350
        new_test._TestCase__details = {}
4038
4351
    return new_test
4039
4352
 
4040
4353
 
4061
4374
        the module is available.
4062
4375
    """
4063
4376
 
4064
 
    py_module = __import__(py_module_name, {}, {}, ['NO_SUCH_ATTRIB'])
 
4377
    from bzrlib.tests.features import ModuleAvailableFeature
 
4378
    py_module = pyutils.get_named_object(py_module_name)
4065
4379
    scenarios = [
4066
4380
        ('python', {'module': py_module}),
4067
4381
    ]
4100
4414
        if test_id != None:
4101
4415
            ui.ui_factory.clear_term()
4102
4416
            sys.stderr.write('\nWhile running: %s\n' % (test_id,))
 
4417
        # Ugly, but the last thing we want here is fail, so bear with it.
 
4418
        printable_e = str(e).decode(osutils.get_user_encoding(), 'replace'
 
4419
                                    ).encode('ascii', 'replace')
4103
4420
        sys.stderr.write('Unable to remove testing dir %s\n%s'
4104
 
                         % (os.path.basename(dirname), e))
4105
 
 
4106
 
 
4107
 
class Feature(object):
4108
 
    """An operating system Feature."""
4109
 
 
4110
 
    def __init__(self):
4111
 
        self._available = None
4112
 
 
4113
 
    def available(self):
4114
 
        """Is the feature available?
4115
 
 
4116
 
        :return: True if the feature is available.
4117
 
        """
4118
 
        if self._available is None:
4119
 
            self._available = self._probe()
4120
 
        return self._available
4121
 
 
4122
 
    def _probe(self):
4123
 
        """Implement this method in concrete features.
4124
 
 
4125
 
        :return: True if the feature is available.
4126
 
        """
4127
 
        raise NotImplementedError
4128
 
 
4129
 
    def __str__(self):
4130
 
        if getattr(self, 'feature_name', None):
4131
 
            return self.feature_name()
4132
 
        return self.__class__.__name__
4133
 
 
4134
 
 
4135
 
class _SymlinkFeature(Feature):
4136
 
 
4137
 
    def _probe(self):
4138
 
        return osutils.has_symlinks()
4139
 
 
4140
 
    def feature_name(self):
4141
 
        return 'symlinks'
4142
 
 
4143
 
SymlinkFeature = _SymlinkFeature()
4144
 
 
4145
 
 
4146
 
class _HardlinkFeature(Feature):
4147
 
 
4148
 
    def _probe(self):
4149
 
        return osutils.has_hardlinks()
4150
 
 
4151
 
    def feature_name(self):
4152
 
        return 'hardlinks'
4153
 
 
4154
 
HardlinkFeature = _HardlinkFeature()
4155
 
 
4156
 
 
4157
 
class _OsFifoFeature(Feature):
4158
 
 
4159
 
    def _probe(self):
4160
 
        return getattr(os, 'mkfifo', None)
4161
 
 
4162
 
    def feature_name(self):
4163
 
        return 'filesystem fifos'
4164
 
 
4165
 
OsFifoFeature = _OsFifoFeature()
4166
 
 
4167
 
 
4168
 
class _UnicodeFilenameFeature(Feature):
4169
 
    """Does the filesystem support Unicode filenames?"""
4170
 
 
4171
 
    def _probe(self):
4172
 
        try:
4173
 
            # Check for character combinations unlikely to be covered by any
4174
 
            # single non-unicode encoding. We use the characters
4175
 
            # - greek small letter alpha (U+03B1) and
4176
 
            # - braille pattern dots-123456 (U+283F).
4177
 
            os.stat(u'\u03b1\u283f')
4178
 
        except UnicodeEncodeError:
4179
 
            return False
4180
 
        except (IOError, OSError):
4181
 
            # The filesystem allows the Unicode filename but the file doesn't
4182
 
            # exist.
4183
 
            return True
4184
 
        else:
4185
 
            # The filesystem allows the Unicode filename and the file exists,
4186
 
            # for some reason.
4187
 
            return True
4188
 
 
4189
 
UnicodeFilenameFeature = _UnicodeFilenameFeature()
4190
 
 
4191
 
 
4192
 
class _CompatabilityThunkFeature(Feature):
4193
 
    """This feature is just a thunk to another feature.
4194
 
 
4195
 
    It issues a deprecation warning if it is accessed, to let you know that you
4196
 
    should really use a different feature.
4197
 
    """
4198
 
 
4199
 
    def __init__(self, dep_version, module, name,
4200
 
                 replacement_name, replacement_module=None):
4201
 
        super(_CompatabilityThunkFeature, self).__init__()
4202
 
        self._module = module
4203
 
        if replacement_module is None:
4204
 
            replacement_module = module
4205
 
        self._replacement_module = replacement_module
4206
 
        self._name = name
4207
 
        self._replacement_name = replacement_name
4208
 
        self._dep_version = dep_version
4209
 
        self._feature = None
4210
 
 
4211
 
    def _ensure(self):
4212
 
        if self._feature is None:
4213
 
            depr_msg = self._dep_version % ('%s.%s'
4214
 
                                            % (self._module, self._name))
4215
 
            use_msg = ' Use %s.%s instead.' % (self._replacement_module,
4216
 
                                               self._replacement_name)
4217
 
            symbol_versioning.warn(depr_msg + use_msg, DeprecationWarning)
4218
 
            # Import the new feature and use it as a replacement for the
4219
 
            # deprecated one.
4220
 
            mod = __import__(self._replacement_module, {}, {},
4221
 
                             [self._replacement_name])
4222
 
            self._feature = getattr(mod, self._replacement_name)
4223
 
 
4224
 
    def _probe(self):
4225
 
        self._ensure()
4226
 
        return self._feature._probe()
4227
 
 
4228
 
 
4229
 
class ModuleAvailableFeature(Feature):
4230
 
    """This is a feature than describes a module we want to be available.
4231
 
 
4232
 
    Declare the name of the module in __init__(), and then after probing, the
4233
 
    module will be available as 'self.module'.
4234
 
 
4235
 
    :ivar module: The module if it is available, else None.
4236
 
    """
4237
 
 
4238
 
    def __init__(self, module_name):
4239
 
        super(ModuleAvailableFeature, self).__init__()
4240
 
        self.module_name = module_name
4241
 
 
4242
 
    def _probe(self):
4243
 
        try:
4244
 
            self._module = __import__(self.module_name, {}, {}, [''])
4245
 
            return True
4246
 
        except ImportError:
4247
 
            return False
4248
 
 
4249
 
    @property
4250
 
    def module(self):
4251
 
        if self.available(): # Make sure the probe has been done
4252
 
            return self._module
4253
 
        return None
4254
 
 
4255
 
    def feature_name(self):
4256
 
        return self.module_name
4257
 
 
4258
 
 
4259
 
# This is kept here for compatibility, it is recommended to use
4260
 
# 'bzrlib.tests.feature.paramiko' instead
4261
 
ParamikoFeature = _CompatabilityThunkFeature(
4262
 
    deprecated_in((2,1,0)),
4263
 
    'bzrlib.tests.features', 'ParamikoFeature', 'paramiko')
 
4421
                         % (os.path.basename(dirname), printable_e))
4264
4422
 
4265
4423
 
4266
4424
def probe_unicode_in_user_encoding():
4296
4454
    return None
4297
4455
 
4298
4456
 
4299
 
class _HTTPSServerFeature(Feature):
4300
 
    """Some tests want an https Server, check if one is available.
4301
 
 
4302
 
    Right now, the only way this is available is under python2.6 which provides
4303
 
    an ssl module.
4304
 
    """
4305
 
 
4306
 
    def _probe(self):
4307
 
        try:
4308
 
            import ssl
4309
 
            return True
4310
 
        except ImportError:
4311
 
            return False
4312
 
 
4313
 
    def feature_name(self):
4314
 
        return 'HTTPSServer'
4315
 
 
4316
 
 
4317
 
HTTPSServerFeature = _HTTPSServerFeature()
4318
 
 
4319
 
 
4320
 
class _UnicodeFilename(Feature):
4321
 
    """Does the filesystem support Unicode filenames?"""
4322
 
 
4323
 
    def _probe(self):
4324
 
        try:
4325
 
            os.stat(u'\u03b1')
4326
 
        except UnicodeEncodeError:
4327
 
            return False
4328
 
        except (IOError, OSError):
4329
 
            # The filesystem allows the Unicode filename but the file doesn't
4330
 
            # exist.
4331
 
            return True
4332
 
        else:
4333
 
            # The filesystem allows the Unicode filename and the file exists,
4334
 
            # for some reason.
4335
 
            return True
4336
 
 
4337
 
UnicodeFilename = _UnicodeFilename()
4338
 
 
4339
 
 
4340
 
class _UTF8Filesystem(Feature):
4341
 
    """Is the filesystem UTF-8?"""
4342
 
 
4343
 
    def _probe(self):
4344
 
        if osutils._fs_enc.upper() in ('UTF-8', 'UTF8'):
4345
 
            return True
4346
 
        return False
4347
 
 
4348
 
UTF8Filesystem = _UTF8Filesystem()
4349
 
 
4350
 
 
4351
 
class _BreakinFeature(Feature):
4352
 
    """Does this platform support the breakin feature?"""
4353
 
 
4354
 
    def _probe(self):
4355
 
        from bzrlib import breakin
4356
 
        if breakin.determine_signal() is None:
4357
 
            return False
4358
 
        if sys.platform == 'win32':
4359
 
            # Windows doesn't have os.kill, and we catch the SIGBREAK signal.
4360
 
            # We trigger SIGBREAK via a Console api so we need ctypes to
4361
 
            # access the function
4362
 
            try:
4363
 
                import ctypes
4364
 
            except OSError:
4365
 
                return False
4366
 
        return True
4367
 
 
4368
 
    def feature_name(self):
4369
 
        return "SIGQUIT or SIGBREAK w/ctypes on win32"
4370
 
 
4371
 
 
4372
 
BreakinFeature = _BreakinFeature()
4373
 
 
4374
 
 
4375
 
class _CaseInsCasePresFilenameFeature(Feature):
4376
 
    """Is the file-system case insensitive, but case-preserving?"""
4377
 
 
4378
 
    def _probe(self):
4379
 
        fileno, name = tempfile.mkstemp(prefix='MixedCase')
4380
 
        try:
4381
 
            # first check truly case-preserving for created files, then check
4382
 
            # case insensitive when opening existing files.
4383
 
            name = osutils.normpath(name)
4384
 
            base, rel = osutils.split(name)
4385
 
            found_rel = osutils.canonical_relpath(base, name)
4386
 
            return (found_rel == rel
4387
 
                    and os.path.isfile(name.upper())
4388
 
                    and os.path.isfile(name.lower()))
4389
 
        finally:
4390
 
            os.close(fileno)
4391
 
            os.remove(name)
4392
 
 
4393
 
    def feature_name(self):
4394
 
        return "case-insensitive case-preserving filesystem"
4395
 
 
4396
 
CaseInsCasePresFilenameFeature = _CaseInsCasePresFilenameFeature()
4397
 
 
4398
 
 
4399
 
class _CaseInsensitiveFilesystemFeature(Feature):
4400
 
    """Check if underlying filesystem is case-insensitive but *not* case
4401
 
    preserving.
4402
 
    """
4403
 
    # Note that on Windows, Cygwin, MacOS etc, the file-systems are far
4404
 
    # more likely to be case preserving, so this case is rare.
4405
 
 
4406
 
    def _probe(self):
4407
 
        if CaseInsCasePresFilenameFeature.available():
4408
 
            return False
4409
 
 
4410
 
        if TestCaseWithMemoryTransport.TEST_ROOT is None:
4411
 
            root = osutils.mkdtemp(prefix='testbzr-', suffix='.tmp')
4412
 
            TestCaseWithMemoryTransport.TEST_ROOT = root
4413
 
        else:
4414
 
            root = TestCaseWithMemoryTransport.TEST_ROOT
4415
 
        tdir = osutils.mkdtemp(prefix='case-sensitive-probe-', suffix='',
4416
 
            dir=root)
4417
 
        name_a = osutils.pathjoin(tdir, 'a')
4418
 
        name_A = osutils.pathjoin(tdir, 'A')
4419
 
        os.mkdir(name_a)
4420
 
        result = osutils.isdir(name_A)
4421
 
        _rmtree_temp_dir(tdir)
4422
 
        return result
4423
 
 
4424
 
    def feature_name(self):
4425
 
        return 'case-insensitive filesystem'
4426
 
 
4427
 
CaseInsensitiveFilesystemFeature = _CaseInsensitiveFilesystemFeature()
4428
 
 
4429
 
 
4430
 
class _CaseSensitiveFilesystemFeature(Feature):
4431
 
 
4432
 
    def _probe(self):
4433
 
        if CaseInsCasePresFilenameFeature.available():
4434
 
            return False
4435
 
        elif CaseInsensitiveFilesystemFeature.available():
4436
 
            return False
4437
 
        else:
4438
 
            return True
4439
 
 
4440
 
    def feature_name(self):
4441
 
        return 'case-sensitive filesystem'
4442
 
 
4443
 
# new coding style is for feature instances to be lowercase
4444
 
case_sensitive_filesystem_feature = _CaseSensitiveFilesystemFeature()
4445
 
 
4446
 
 
4447
 
# Kept for compatibility, use bzrlib.tests.features.subunit instead
4448
 
SubUnitFeature = _CompatabilityThunkFeature(
4449
 
    deprecated_in((2,1,0)),
4450
 
    'bzrlib.tests.features', 'SubUnitFeature', 'subunit')
4451
4457
# Only define SubUnitBzrRunner if subunit is available.
4452
4458
try:
4453
4459
    from subunit import TestProtocolClient
4454
4460
    from subunit.test_results import AutoTimingTestResultDecorator
 
4461
    class SubUnitBzrProtocolClient(TestProtocolClient):
 
4462
 
 
4463
        def stopTest(self, test):
 
4464
            super(SubUnitBzrProtocolClient, self).stopTest(test)
 
4465
            _clear__type_equality_funcs(test)
 
4466
 
 
4467
        def addSuccess(self, test, details=None):
 
4468
            # The subunit client always includes the details in the subunit
 
4469
            # stream, but we don't want to include it in ours.
 
4470
            if details is not None and 'log' in details:
 
4471
                del details['log']
 
4472
            return super(SubUnitBzrProtocolClient, self).addSuccess(
 
4473
                test, details)
 
4474
 
4455
4475
    class SubUnitBzrRunner(TextTestRunner):
4456
4476
        def run(self, test):
4457
4477
            result = AutoTimingTestResultDecorator(
4458
 
                TestProtocolClient(self.stream))
 
4478
                SubUnitBzrProtocolClient(self.stream))
4459
4479
            test.run(result)
4460
4480
            return result
4461
4481
except ImportError:
4462
4482
    pass
4463
4483
 
4464
 
class _PosixPermissionsFeature(Feature):
4465
 
 
4466
 
    def _probe(self):
4467
 
        def has_perms():
4468
 
            # create temporary file and check if specified perms are maintained.
4469
 
            import tempfile
4470
 
 
4471
 
            write_perms = stat.S_IRUSR | stat.S_IWUSR | stat.S_IXUSR
4472
 
            f = tempfile.mkstemp(prefix='bzr_perms_chk_')
4473
 
            fd, name = f
4474
 
            os.close(fd)
4475
 
            os.chmod(name, write_perms)
4476
 
 
4477
 
            read_perms = os.stat(name).st_mode & 0777
4478
 
            os.unlink(name)
4479
 
            return (write_perms == read_perms)
4480
 
 
4481
 
        return (os.name == 'posix') and has_perms()
4482
 
 
4483
 
    def feature_name(self):
4484
 
        return 'POSIX permissions support'
4485
 
 
4486
 
posix_permissions_feature = _PosixPermissionsFeature()
 
4484
 
 
4485
# API compatibility for old plugins; see bug 892622.
 
4486
for name in [
 
4487
    'Feature',
 
4488
    'HTTPServerFeature', 
 
4489
    'ModuleAvailableFeature',
 
4490
    'HTTPSServerFeature', 'SymlinkFeature', 'HardlinkFeature',
 
4491
    'OsFifoFeature', 'UnicodeFilenameFeature',
 
4492
    'ByteStringNamedFilesystem', 'UTF8Filesystem',
 
4493
    'BreakinFeature', 'CaseInsCasePresFilenameFeature',
 
4494
    'CaseInsensitiveFilesystemFeature', 'case_sensitive_filesystem_feature',
 
4495
    'posix_permissions_feature',
 
4496
    ]:
 
4497
    globals()[name] = _CompatabilityThunkFeature(
 
4498
        symbol_versioning.deprecated_in((2, 5, 0)),
 
4499
        'bzrlib.tests', name,
 
4500
        name, 'bzrlib.tests.features')
 
4501
 
 
4502
 
 
4503
for (old_name, new_name) in [
 
4504
    ('UnicodeFilename', 'UnicodeFilenameFeature'),
 
4505
    ]:
 
4506
    globals()[name] = _CompatabilityThunkFeature(
 
4507
        symbol_versioning.deprecated_in((2, 5, 0)),
 
4508
        'bzrlib.tests', old_name,
 
4509
        new_name, 'bzrlib.tests.features')