/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/tests/__init__.py

Fix test_commit for use with 2a as the default repository.

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005, 2006, 2007, 2008, 2009 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
 
 
18
# TODO: Perhaps there should be an API to find out if bzr running under the
 
19
# test suite -- some plugins might want to avoid making intrusive changes if
 
20
# this is the case.  However, we want behaviour under to test to diverge as
 
21
# little as possible, so this should be used rarely if it's added at all.
 
22
# (Suggestion from j-a-meinel, 2005-11-24)
 
23
 
 
24
# NOTE: Some classes in here use camelCaseNaming() rather than
 
25
# underscore_naming().  That's for consistency with unittest; it's not the
 
26
# general style of bzrlib.  Please continue that consistency when adding e.g.
 
27
# new assertFoo() methods.
 
28
 
 
29
import atexit
 
30
import codecs
 
31
from cStringIO import StringIO
 
32
import difflib
 
33
import doctest
 
34
import errno
 
35
import logging
 
36
import math
 
37
import os
 
38
from pprint import pformat
 
39
import random
 
40
import re
 
41
import shlex
 
42
import stat
 
43
from subprocess import Popen, PIPE, STDOUT
 
44
import sys
 
45
import tempfile
 
46
import threading
 
47
import time
 
48
import unittest
 
49
import warnings
 
50
 
 
51
 
 
52
from bzrlib import (
 
53
    branchbuilder,
 
54
    bzrdir,
 
55
    debug,
 
56
    errors,
 
57
    hooks,
 
58
    lock as _mod_lock,
 
59
    memorytree,
 
60
    osutils,
 
61
    progress,
 
62
    ui,
 
63
    urlutils,
 
64
    registry,
 
65
    workingtree,
 
66
    )
 
67
import bzrlib.branch
 
68
import bzrlib.commands
 
69
import bzrlib.timestamp
 
70
import bzrlib.export
 
71
import bzrlib.inventory
 
72
import bzrlib.iterablefile
 
73
import bzrlib.lockdir
 
74
try:
 
75
    import bzrlib.lsprof
 
76
except ImportError:
 
77
    # lsprof not available
 
78
    pass
 
79
from bzrlib.merge import merge_inner
 
80
import bzrlib.merge3
 
81
import bzrlib.plugin
 
82
from bzrlib.smart import client, request, server
 
83
import bzrlib.store
 
84
from bzrlib import symbol_versioning
 
85
from bzrlib.symbol_versioning import (
 
86
    DEPRECATED_PARAMETER,
 
87
    deprecated_function,
 
88
    deprecated_method,
 
89
    deprecated_passed,
 
90
    )
 
91
import bzrlib.trace
 
92
from bzrlib.transport import get_transport
 
93
import bzrlib.transport
 
94
from bzrlib.transport.local import LocalURLServer
 
95
from bzrlib.transport.memory import MemoryServer
 
96
from bzrlib.transport.readonly import ReadonlyServer
 
97
from bzrlib.trace import mutter, note
 
98
from bzrlib.tests import TestUtil
 
99
from bzrlib.tests.http_server import HttpServer
 
100
from bzrlib.tests.TestUtil import (
 
101
                          TestSuite,
 
102
                          TestLoader,
 
103
                          )
 
104
from bzrlib.tests.treeshape import build_tree_contents
 
105
from bzrlib.ui import NullProgressView
 
106
from bzrlib.ui.text import TextUIFactory
 
107
import bzrlib.version_info_formats.format_custom
 
108
from bzrlib.workingtree import WorkingTree, WorkingTreeFormat2
 
109
 
 
110
# Mark this python module as being part of the implementation
 
111
# of unittest: this gives us better tracebacks where the last
 
112
# shown frame is the test code, not our assertXYZ.
 
113
__unittest = 1
 
114
 
 
115
default_transport = LocalURLServer
 
116
 
 
117
# Subunit result codes, defined here to prevent a hard dependency on subunit.
 
118
SUBUNIT_SEEK_SET = 0
 
119
SUBUNIT_SEEK_CUR = 1
 
120
 
 
121
 
 
122
class ExtendedTestResult(unittest._TextTestResult):
 
123
    """Accepts, reports and accumulates the results of running tests.
 
124
 
 
125
    Compared to the unittest version this class adds support for
 
126
    profiling, benchmarking, stopping as soon as a test fails,  and
 
127
    skipping tests.  There are further-specialized subclasses for
 
128
    different types of display.
 
129
 
 
130
    When a test finishes, in whatever way, it calls one of the addSuccess,
 
131
    addFailure or addError classes.  These in turn may redirect to a more
 
132
    specific case for the special test results supported by our extended
 
133
    tests.
 
134
 
 
135
    Note that just one of these objects is fed the results from many tests.
 
136
    """
 
137
 
 
138
    stop_early = False
 
139
 
 
140
    def __init__(self, stream, descriptions, verbosity,
 
141
                 bench_history=None,
 
142
                 strict=False,
 
143
                 ):
 
144
        """Construct new TestResult.
 
145
 
 
146
        :param bench_history: Optionally, a writable file object to accumulate
 
147
            benchmark results.
 
148
        """
 
149
        unittest._TextTestResult.__init__(self, stream, descriptions, verbosity)
 
150
        if bench_history is not None:
 
151
            from bzrlib.version import _get_bzr_source_tree
 
152
            src_tree = _get_bzr_source_tree()
 
153
            if src_tree:
 
154
                try:
 
155
                    revision_id = src_tree.get_parent_ids()[0]
 
156
                except IndexError:
 
157
                    # XXX: if this is a brand new tree, do the same as if there
 
158
                    # is no branch.
 
159
                    revision_id = ''
 
160
            else:
 
161
                # XXX: If there's no branch, what should we do?
 
162
                revision_id = ''
 
163
            bench_history.write("--date %s %s\n" % (time.time(), revision_id))
 
164
        self._bench_history = bench_history
 
165
        self.ui = ui.ui_factory
 
166
        self.num_tests = 0
 
167
        self.error_count = 0
 
168
        self.failure_count = 0
 
169
        self.known_failure_count = 0
 
170
        self.skip_count = 0
 
171
        self.not_applicable_count = 0
 
172
        self.unsupported = {}
 
173
        self.count = 0
 
174
        self._overall_start_time = time.time()
 
175
        self._strict = strict
 
176
 
 
177
    def done(self):
 
178
        # nb: called stopTestRun in the version of this that Python merged
 
179
        # upstream, according to lifeless 20090803
 
180
        if self._strict:
 
181
            ok = self.wasStrictlySuccessful()
 
182
        else:
 
183
            ok = self.wasSuccessful()
 
184
        if ok:
 
185
            self.stream.write('tests passed\n')
 
186
        else:
 
187
            self.stream.write('tests failed\n')
 
188
        if TestCase._first_thread_leaker_id:
 
189
            self.stream.write(
 
190
                '%s is leaking threads among %d leaking tests.\n' % (
 
191
                TestCase._first_thread_leaker_id,
 
192
                TestCase._leaking_threads_tests))
 
193
 
 
194
    def _extractBenchmarkTime(self, testCase):
 
195
        """Add a benchmark time for the current test case."""
 
196
        return getattr(testCase, "_benchtime", None)
 
197
 
 
198
    def _elapsedTestTimeString(self):
 
199
        """Return a time string for the overall time the current test has taken."""
 
200
        return self._formatTime(time.time() - self._start_time)
 
201
 
 
202
    def _testTimeString(self, testCase):
 
203
        benchmark_time = self._extractBenchmarkTime(testCase)
 
204
        if benchmark_time is not None:
 
205
            return self._formatTime(benchmark_time) + "*"
 
206
        else:
 
207
            return self._elapsedTestTimeString()
 
208
 
 
209
    def _formatTime(self, seconds):
 
210
        """Format seconds as milliseconds with leading spaces."""
 
211
        # some benchmarks can take thousands of seconds to run, so we need 8
 
212
        # places
 
213
        return "%8dms" % (1000 * seconds)
 
214
 
 
215
    def _shortened_test_description(self, test):
 
216
        what = test.id()
 
217
        what = re.sub(r'^bzrlib\.(tests|benchmarks)\.', '', what)
 
218
        return what
 
219
 
 
220
    def startTest(self, test):
 
221
        unittest.TestResult.startTest(self, test)
 
222
        if self.count == 0:
 
223
            self.startTests()
 
224
        self.report_test_start(test)
 
225
        test.number = self.count
 
226
        self._recordTestStartTime()
 
227
 
 
228
    def startTests(self):
 
229
        import platform
 
230
        if getattr(sys, 'frozen', None) is None:
 
231
            bzr_path = osutils.realpath(sys.argv[0])
 
232
        else:
 
233
            bzr_path = sys.executable
 
234
        self.stream.write(
 
235
            'testing: %s\n' % (bzr_path,))
 
236
        self.stream.write(
 
237
            '   %s\n' % (
 
238
                    bzrlib.__path__[0],))
 
239
        self.stream.write(
 
240
            '   bzr-%s python-%s %s\n' % (
 
241
                    bzrlib.version_string,
 
242
                    bzrlib._format_version_tuple(sys.version_info),
 
243
                    platform.platform(aliased=1),
 
244
                    ))
 
245
        self.stream.write('\n')
 
246
 
 
247
    def _recordTestStartTime(self):
 
248
        """Record that a test has started."""
 
249
        self._start_time = time.time()
 
250
 
 
251
    def _cleanupLogFile(self, test):
 
252
        # We can only do this if we have one of our TestCases, not if
 
253
        # we have a doctest.
 
254
        setKeepLogfile = getattr(test, 'setKeepLogfile', None)
 
255
        if setKeepLogfile is not None:
 
256
            setKeepLogfile()
 
257
 
 
258
    def addError(self, test, err):
 
259
        """Tell result that test finished with an error.
 
260
 
 
261
        Called from the TestCase run() method when the test
 
262
        fails with an unexpected error.
 
263
        """
 
264
        self._testConcluded(test)
 
265
        if isinstance(err[1], TestNotApplicable):
 
266
            return self._addNotApplicable(test, err)
 
267
        elif isinstance(err[1], UnavailableFeature):
 
268
            return self.addNotSupported(test, err[1].args[0])
 
269
        else:
 
270
            unittest.TestResult.addError(self, test, err)
 
271
            self.error_count += 1
 
272
            self.report_error(test, err)
 
273
            if self.stop_early:
 
274
                self.stop()
 
275
            self._cleanupLogFile(test)
 
276
 
 
277
    def addFailure(self, test, err):
 
278
        """Tell result that test failed.
 
279
 
 
280
        Called from the TestCase run() method when the test
 
281
        fails because e.g. an assert() method failed.
 
282
        """
 
283
        self._testConcluded(test)
 
284
        if isinstance(err[1], KnownFailure):
 
285
            return self._addKnownFailure(test, err)
 
286
        else:
 
287
            unittest.TestResult.addFailure(self, test, err)
 
288
            self.failure_count += 1
 
289
            self.report_failure(test, err)
 
290
            if self.stop_early:
 
291
                self.stop()
 
292
            self._cleanupLogFile(test)
 
293
 
 
294
    def addSuccess(self, test):
 
295
        """Tell result that test completed successfully.
 
296
 
 
297
        Called from the TestCase run()
 
298
        """
 
299
        self._testConcluded(test)
 
300
        if self._bench_history is not None:
 
301
            benchmark_time = self._extractBenchmarkTime(test)
 
302
            if benchmark_time is not None:
 
303
                self._bench_history.write("%s %s\n" % (
 
304
                    self._formatTime(benchmark_time),
 
305
                    test.id()))
 
306
        self.report_success(test)
 
307
        self._cleanupLogFile(test)
 
308
        unittest.TestResult.addSuccess(self, test)
 
309
        test._log_contents = ''
 
310
 
 
311
    def _testConcluded(self, test):
 
312
        """Common code when a test has finished.
 
313
 
 
314
        Called regardless of whether it succeded, failed, etc.
 
315
        """
 
316
        pass
 
317
 
 
318
    def _addKnownFailure(self, test, err):
 
319
        self.known_failure_count += 1
 
320
        self.report_known_failure(test, err)
 
321
 
 
322
    def addNotSupported(self, test, feature):
 
323
        """The test will not be run because of a missing feature.
 
324
        """
 
325
        # this can be called in two different ways: it may be that the
 
326
        # test started running, and then raised (through addError)
 
327
        # UnavailableFeature.  Alternatively this method can be called
 
328
        # while probing for features before running the tests; in that
 
329
        # case we will see startTest and stopTest, but the test will never
 
330
        # actually run.
 
331
        self.unsupported.setdefault(str(feature), 0)
 
332
        self.unsupported[str(feature)] += 1
 
333
        self.report_unsupported(test, feature)
 
334
 
 
335
    def addSkip(self, test, reason):
 
336
        """A test has not run for 'reason'."""
 
337
        self.skip_count += 1
 
338
        self.report_skip(test, reason)
 
339
 
 
340
    def _addNotApplicable(self, test, skip_excinfo):
 
341
        if isinstance(skip_excinfo[1], TestNotApplicable):
 
342
            self.not_applicable_count += 1
 
343
            self.report_not_applicable(test, skip_excinfo)
 
344
        try:
 
345
            test.tearDown()
 
346
        except KeyboardInterrupt:
 
347
            raise
 
348
        except:
 
349
            self.addError(test, test.exc_info())
 
350
        else:
 
351
            # seems best to treat this as success from point-of-view of unittest
 
352
            # -- it actually does nothing so it barely matters :)
 
353
            unittest.TestResult.addSuccess(self, test)
 
354
            test._log_contents = ''
 
355
 
 
356
    def printErrorList(self, flavour, errors):
 
357
        for test, err in errors:
 
358
            self.stream.writeln(self.separator1)
 
359
            self.stream.write("%s: " % flavour)
 
360
            self.stream.writeln(self.getDescription(test))
 
361
            if getattr(test, '_get_log', None) is not None:
 
362
                log_contents = test._get_log()
 
363
                if log_contents:
 
364
                    self.stream.write('\n')
 
365
                    self.stream.write(
 
366
                            ('vvvv[log from %s]' % test.id()).ljust(78,'-'))
 
367
                    self.stream.write('\n')
 
368
                    self.stream.write(log_contents)
 
369
                    self.stream.write('\n')
 
370
                    self.stream.write(
 
371
                            ('^^^^[log from %s]' % test.id()).ljust(78,'-'))
 
372
                    self.stream.write('\n')
 
373
            self.stream.writeln(self.separator2)
 
374
            self.stream.writeln("%s" % err)
 
375
 
 
376
    def progress(self, offset, whence):
 
377
        """The test is adjusting the count of tests to run."""
 
378
        if whence == SUBUNIT_SEEK_SET:
 
379
            self.num_tests = offset
 
380
        elif whence == SUBUNIT_SEEK_CUR:
 
381
            self.num_tests += offset
 
382
        else:
 
383
            raise errors.BzrError("Unknown whence %r" % whence)
 
384
 
 
385
    def finished(self):
 
386
        pass
 
387
 
 
388
    def report_cleaning_up(self):
 
389
        pass
 
390
 
 
391
    def report_success(self, test):
 
392
        pass
 
393
 
 
394
    def wasStrictlySuccessful(self):
 
395
        if self.unsupported or self.known_failure_count:
 
396
            return False
 
397
        return self.wasSuccessful()
 
398
 
 
399
 
 
400
class TextTestResult(ExtendedTestResult):
 
401
    """Displays progress and results of tests in text form"""
 
402
 
 
403
    def __init__(self, stream, descriptions, verbosity,
 
404
                 bench_history=None,
 
405
                 pb=None,
 
406
                 strict=None,
 
407
                 ):
 
408
        ExtendedTestResult.__init__(self, stream, descriptions, verbosity,
 
409
            bench_history, strict)
 
410
        # We no longer pass them around, but just rely on the UIFactory stack
 
411
        # for state
 
412
        if pb is not None:
 
413
            warnings.warn("Passing pb to TextTestResult is deprecated")
 
414
        self.pb = self.ui.nested_progress_bar()
 
415
        self.pb.show_pct = False
 
416
        self.pb.show_spinner = False
 
417
        self.pb.show_eta = False,
 
418
        self.pb.show_count = False
 
419
        self.pb.show_bar = False
 
420
        self.pb.update_latency = 0
 
421
        self.pb.show_transport_activity = False
 
422
 
 
423
    def done(self):
 
424
        # called when the tests that are going to run have run
 
425
        self.pb.clear()
 
426
        super(TextTestResult, self).done()
 
427
 
 
428
    def finished(self):
 
429
        self.pb.finished()
 
430
 
 
431
    def report_starting(self):
 
432
        self.pb.update('[test 0/%d] Starting' % (self.num_tests))
 
433
 
 
434
    def printErrors(self):
 
435
        # clear the pb to make room for the error listing
 
436
        self.pb.clear()
 
437
        super(TextTestResult, self).printErrors()
 
438
 
 
439
    def _progress_prefix_text(self):
 
440
        # the longer this text, the less space we have to show the test
 
441
        # name...
 
442
        a = '[%d' % self.count              # total that have been run
 
443
        # tests skipped as known not to be relevant are not important enough
 
444
        # to show here
 
445
        ## if self.skip_count:
 
446
        ##     a += ', %d skip' % self.skip_count
 
447
        ## if self.known_failure_count:
 
448
        ##     a += '+%dX' % self.known_failure_count
 
449
        if self.num_tests:
 
450
            a +='/%d' % self.num_tests
 
451
        a += ' in '
 
452
        runtime = time.time() - self._overall_start_time
 
453
        if runtime >= 60:
 
454
            a += '%dm%ds' % (runtime / 60, runtime % 60)
 
455
        else:
 
456
            a += '%ds' % runtime
 
457
        if self.error_count:
 
458
            a += ', %d err' % self.error_count
 
459
        if self.failure_count:
 
460
            a += ', %d fail' % self.failure_count
 
461
        if self.unsupported:
 
462
            a += ', %d missing' % len(self.unsupported)
 
463
        a += ']'
 
464
        return a
 
465
 
 
466
    def report_test_start(self, test):
 
467
        self.count += 1
 
468
        self.pb.update(
 
469
                self._progress_prefix_text()
 
470
                + ' '
 
471
                + self._shortened_test_description(test))
 
472
 
 
473
    def _test_description(self, test):
 
474
        return self._shortened_test_description(test)
 
475
 
 
476
    def report_error(self, test, err):
 
477
        self.pb.note('ERROR: %s\n    %s\n',
 
478
            self._test_description(test),
 
479
            err[1],
 
480
            )
 
481
 
 
482
    def report_failure(self, test, err):
 
483
        self.pb.note('FAIL: %s\n    %s\n',
 
484
            self._test_description(test),
 
485
            err[1],
 
486
            )
 
487
 
 
488
    def report_known_failure(self, test, err):
 
489
        self.pb.note('XFAIL: %s\n%s\n',
 
490
            self._test_description(test), err[1])
 
491
 
 
492
    def report_skip(self, test, reason):
 
493
        pass
 
494
 
 
495
    def report_not_applicable(self, test, skip_excinfo):
 
496
        pass
 
497
 
 
498
    def report_unsupported(self, test, feature):
 
499
        """test cannot be run because feature is missing."""
 
500
 
 
501
    def report_cleaning_up(self):
 
502
        self.pb.update('Cleaning up')
 
503
 
 
504
 
 
505
class VerboseTestResult(ExtendedTestResult):
 
506
    """Produce long output, with one line per test run plus times"""
 
507
 
 
508
    def _ellipsize_to_right(self, a_string, final_width):
 
509
        """Truncate and pad a string, keeping the right hand side"""
 
510
        if len(a_string) > final_width:
 
511
            result = '...' + a_string[3-final_width:]
 
512
        else:
 
513
            result = a_string
 
514
        return result.ljust(final_width)
 
515
 
 
516
    def report_starting(self):
 
517
        self.stream.write('running %d tests...\n' % self.num_tests)
 
518
 
 
519
    def report_test_start(self, test):
 
520
        self.count += 1
 
521
        name = self._shortened_test_description(test)
 
522
        # width needs space for 6 char status, plus 1 for slash, plus an
 
523
        # 11-char time string, plus a trailing blank
 
524
        # when NUMBERED_DIRS: plus 5 chars on test number, plus 1 char on space
 
525
        self.stream.write(self._ellipsize_to_right(name,
 
526
                          osutils.terminal_width()-18))
 
527
        self.stream.flush()
 
528
 
 
529
    def _error_summary(self, err):
 
530
        indent = ' ' * 4
 
531
        return '%s%s' % (indent, err[1])
 
532
 
 
533
    def report_error(self, test, err):
 
534
        self.stream.writeln('ERROR %s\n%s'
 
535
                % (self._testTimeString(test),
 
536
                   self._error_summary(err)))
 
537
 
 
538
    def report_failure(self, test, err):
 
539
        self.stream.writeln(' FAIL %s\n%s'
 
540
                % (self._testTimeString(test),
 
541
                   self._error_summary(err)))
 
542
 
 
543
    def report_known_failure(self, test, err):
 
544
        self.stream.writeln('XFAIL %s\n%s'
 
545
                % (self._testTimeString(test),
 
546
                   self._error_summary(err)))
 
547
 
 
548
    def report_success(self, test):
 
549
        self.stream.writeln('   OK %s' % self._testTimeString(test))
 
550
        for bench_called, stats in getattr(test, '_benchcalls', []):
 
551
            self.stream.writeln('LSProf output for %s(%s, %s)' % bench_called)
 
552
            stats.pprint(file=self.stream)
 
553
        # flush the stream so that we get smooth output. This verbose mode is
 
554
        # used to show the output in PQM.
 
555
        self.stream.flush()
 
556
 
 
557
    def report_skip(self, test, reason):
 
558
        self.stream.writeln(' SKIP %s\n%s'
 
559
                % (self._testTimeString(test), reason))
 
560
 
 
561
    def report_not_applicable(self, test, skip_excinfo):
 
562
        self.stream.writeln('  N/A %s\n%s'
 
563
                % (self._testTimeString(test),
 
564
                   self._error_summary(skip_excinfo)))
 
565
 
 
566
    def report_unsupported(self, test, feature):
 
567
        """test cannot be run because feature is missing."""
 
568
        self.stream.writeln("NODEP %s\n    The feature '%s' is not available."
 
569
                %(self._testTimeString(test), feature))
 
570
 
 
571
 
 
572
class TextTestRunner(object):
 
573
    stop_on_failure = False
 
574
 
 
575
    def __init__(self,
 
576
                 stream=sys.stderr,
 
577
                 descriptions=0,
 
578
                 verbosity=1,
 
579
                 bench_history=None,
 
580
                 list_only=False,
 
581
                 strict=False,
 
582
                 ):
 
583
        self.stream = unittest._WritelnDecorator(stream)
 
584
        self.descriptions = descriptions
 
585
        self.verbosity = verbosity
 
586
        self._bench_history = bench_history
 
587
        self.list_only = list_only
 
588
        self._strict = strict
 
589
 
 
590
    def run(self, test):
 
591
        "Run the given test case or test suite."
 
592
        startTime = time.time()
 
593
        if self.verbosity == 1:
 
594
            result_class = TextTestResult
 
595
        elif self.verbosity >= 2:
 
596
            result_class = VerboseTestResult
 
597
        result = result_class(self.stream,
 
598
                              self.descriptions,
 
599
                              self.verbosity,
 
600
                              bench_history=self._bench_history,
 
601
                              strict=self._strict,
 
602
                              )
 
603
        result.stop_early = self.stop_on_failure
 
604
        result.report_starting()
 
605
        if self.list_only:
 
606
            if self.verbosity >= 2:
 
607
                self.stream.writeln("Listing tests only ...\n")
 
608
            run = 0
 
609
            for t in iter_suite_tests(test):
 
610
                self.stream.writeln("%s" % (t.id()))
 
611
                run += 1
 
612
            return None
 
613
        else:
 
614
            try:
 
615
                import testtools
 
616
            except ImportError:
 
617
                test.run(result)
 
618
            else:
 
619
                if isinstance(test, testtools.ConcurrentTestSuite):
 
620
                    # We need to catch bzr specific behaviors
 
621
                    test.run(BZRTransformingResult(result))
 
622
                else:
 
623
                    test.run(result)
 
624
            run = result.testsRun
 
625
            actionTaken = "Ran"
 
626
        stopTime = time.time()
 
627
        timeTaken = stopTime - startTime
 
628
        result.printErrors()
 
629
        self.stream.writeln(result.separator2)
 
630
        self.stream.writeln("%s %d test%s in %.3fs" % (actionTaken,
 
631
                            run, run != 1 and "s" or "", timeTaken))
 
632
        self.stream.writeln()
 
633
        if not result.wasSuccessful():
 
634
            self.stream.write("FAILED (")
 
635
            failed, errored = map(len, (result.failures, result.errors))
 
636
            if failed:
 
637
                self.stream.write("failures=%d" % failed)
 
638
            if errored:
 
639
                if failed: self.stream.write(", ")
 
640
                self.stream.write("errors=%d" % errored)
 
641
            if result.known_failure_count:
 
642
                if failed or errored: self.stream.write(", ")
 
643
                self.stream.write("known_failure_count=%d" %
 
644
                    result.known_failure_count)
 
645
            self.stream.writeln(")")
 
646
        else:
 
647
            if result.known_failure_count:
 
648
                self.stream.writeln("OK (known_failures=%d)" %
 
649
                    result.known_failure_count)
 
650
            else:
 
651
                self.stream.writeln("OK")
 
652
        if result.skip_count > 0:
 
653
            skipped = result.skip_count
 
654
            self.stream.writeln('%d test%s skipped' %
 
655
                                (skipped, skipped != 1 and "s" or ""))
 
656
        if result.unsupported:
 
657
            for feature, count in sorted(result.unsupported.items()):
 
658
                self.stream.writeln("Missing feature '%s' skipped %d tests." %
 
659
                    (feature, count))
 
660
        result.finished()
 
661
        return result
 
662
 
 
663
 
 
664
def iter_suite_tests(suite):
 
665
    """Return all tests in a suite, recursing through nested suites"""
 
666
    if isinstance(suite, unittest.TestCase):
 
667
        yield suite
 
668
    elif isinstance(suite, unittest.TestSuite):
 
669
        for item in suite:
 
670
            for r in iter_suite_tests(item):
 
671
                yield r
 
672
    else:
 
673
        raise Exception('unknown type %r for object %r'
 
674
                        % (type(suite), suite))
 
675
 
 
676
 
 
677
class TestSkipped(Exception):
 
678
    """Indicates that a test was intentionally skipped, rather than failing."""
 
679
 
 
680
 
 
681
class TestNotApplicable(TestSkipped):
 
682
    """A test is not applicable to the situation where it was run.
 
683
 
 
684
    This is only normally raised by parameterized tests, if they find that
 
685
    the instance they're constructed upon does not support one aspect
 
686
    of its interface.
 
687
    """
 
688
 
 
689
 
 
690
class KnownFailure(AssertionError):
 
691
    """Indicates that a test failed in a precisely expected manner.
 
692
 
 
693
    Such failures dont block the whole test suite from passing because they are
 
694
    indicators of partially completed code or of future work. We have an
 
695
    explicit error for them so that we can ensure that they are always visible:
 
696
    KnownFailures are always shown in the output of bzr selftest.
 
697
    """
 
698
 
 
699
 
 
700
class UnavailableFeature(Exception):
 
701
    """A feature required for this test was not available.
 
702
 
 
703
    The feature should be used to construct the exception.
 
704
    """
 
705
 
 
706
 
 
707
class CommandFailed(Exception):
 
708
    pass
 
709
 
 
710
 
 
711
class StringIOWrapper(object):
 
712
    """A wrapper around cStringIO which just adds an encoding attribute.
 
713
 
 
714
    Internally we can check sys.stdout to see what the output encoding
 
715
    should be. However, cStringIO has no encoding attribute that we can
 
716
    set. So we wrap it instead.
 
717
    """
 
718
    encoding='ascii'
 
719
    _cstring = None
 
720
 
 
721
    def __init__(self, s=None):
 
722
        if s is not None:
 
723
            self.__dict__['_cstring'] = StringIO(s)
 
724
        else:
 
725
            self.__dict__['_cstring'] = StringIO()
 
726
 
 
727
    def __getattr__(self, name, getattr=getattr):
 
728
        return getattr(self.__dict__['_cstring'], name)
 
729
 
 
730
    def __setattr__(self, name, val):
 
731
        if name == 'encoding':
 
732
            self.__dict__['encoding'] = val
 
733
        else:
 
734
            return setattr(self._cstring, name, val)
 
735
 
 
736
 
 
737
class TestUIFactory(TextUIFactory):
 
738
    """A UI Factory for testing.
 
739
 
 
740
    Hide the progress bar but emit note()s.
 
741
    Redirect stdin.
 
742
    Allows get_password to be tested without real tty attached.
 
743
 
 
744
    See also CannedInputUIFactory which lets you provide programmatic input in
 
745
    a structured way.
 
746
    """
 
747
    # TODO: Capture progress events at the model level and allow them to be
 
748
    # observed by tests that care.
 
749
    #
 
750
    # XXX: Should probably unify more with CannedInputUIFactory or a
 
751
    # particular configuration of TextUIFactory, or otherwise have a clearer
 
752
    # idea of how they're supposed to be different.
 
753
    # See https://bugs.edge.launchpad.net/bzr/+bug/408213
 
754
 
 
755
    def __init__(self, stdout=None, stderr=None, stdin=None):
 
756
        if stdin is not None:
 
757
            # We use a StringIOWrapper to be able to test various
 
758
            # encodings, but the user is still responsible to
 
759
            # encode the string and to set the encoding attribute
 
760
            # of StringIOWrapper.
 
761
            stdin = StringIOWrapper(stdin)
 
762
        super(TestUIFactory, self).__init__(stdin, stdout, stderr)
 
763
 
 
764
    def get_non_echoed_password(self):
 
765
        """Get password from stdin without trying to handle the echo mode"""
 
766
        password = self.stdin.readline()
 
767
        if not password:
 
768
            raise EOFError
 
769
        if password[-1] == '\n':
 
770
            password = password[:-1]
 
771
        return password
 
772
 
 
773
    def make_progress_view(self):
 
774
        return NullProgressView()
 
775
 
 
776
 
 
777
class TestCase(unittest.TestCase):
 
778
    """Base class for bzr unit tests.
 
779
 
 
780
    Tests that need access to disk resources should subclass
 
781
    TestCaseInTempDir not TestCase.
 
782
 
 
783
    Error and debug log messages are redirected from their usual
 
784
    location into a temporary file, the contents of which can be
 
785
    retrieved by _get_log().  We use a real OS file, not an in-memory object,
 
786
    so that it can also capture file IO.  When the test completes this file
 
787
    is read into memory and removed from disk.
 
788
 
 
789
    There are also convenience functions to invoke bzr's command-line
 
790
    routine, and to build and check bzr trees.
 
791
 
 
792
    In addition to the usual method of overriding tearDown(), this class also
 
793
    allows subclasses to register functions into the _cleanups list, which is
 
794
    run in order as the object is torn down.  It's less likely this will be
 
795
    accidentally overlooked.
 
796
    """
 
797
 
 
798
    _active_threads = None
 
799
    _leaking_threads_tests = 0
 
800
    _first_thread_leaker_id = None
 
801
    _log_file_name = None
 
802
    _log_contents = ''
 
803
    _keep_log_file = False
 
804
    # record lsprof data when performing benchmark calls.
 
805
    _gather_lsprof_in_benchmarks = False
 
806
    attrs_to_keep = ('id', '_testMethodName', '_testMethodDoc',
 
807
                     '_log_contents', '_log_file_name', '_benchtime',
 
808
                     '_TestCase__testMethodName', '_TestCase__testMethodDoc',)
 
809
 
 
810
    def __init__(self, methodName='testMethod'):
 
811
        super(TestCase, self).__init__(methodName)
 
812
        self._cleanups = []
 
813
        self._bzr_test_setUp_run = False
 
814
        self._bzr_test_tearDown_run = False
 
815
 
 
816
    def setUp(self):
 
817
        unittest.TestCase.setUp(self)
 
818
        self._bzr_test_setUp_run = True
 
819
        self._cleanEnvironment()
 
820
        self._silenceUI()
 
821
        self._startLogFile()
 
822
        self._benchcalls = []
 
823
        self._benchtime = None
 
824
        self._clear_hooks()
 
825
        self._track_locks()
 
826
        self._clear_debug_flags()
 
827
        TestCase._active_threads = threading.activeCount()
 
828
        self.addCleanup(self._check_leaked_threads)
 
829
 
 
830
    def debug(self):
 
831
        # debug a frame up.
 
832
        import pdb
 
833
        pdb.Pdb().set_trace(sys._getframe().f_back)
 
834
 
 
835
    def _check_leaked_threads(self):
 
836
        active = threading.activeCount()
 
837
        leaked_threads = active - TestCase._active_threads
 
838
        TestCase._active_threads = active
 
839
        if leaked_threads:
 
840
            TestCase._leaking_threads_tests += 1
 
841
            if TestCase._first_thread_leaker_id is None:
 
842
                TestCase._first_thread_leaker_id = self.id()
 
843
 
 
844
    def _clear_debug_flags(self):
 
845
        """Prevent externally set debug flags affecting tests.
 
846
 
 
847
        Tests that want to use debug flags can just set them in the
 
848
        debug_flags set during setup/teardown.
 
849
        """
 
850
        self._preserved_debug_flags = set(debug.debug_flags)
 
851
        if 'allow_debug' not in selftest_debug_flags:
 
852
            debug.debug_flags.clear()
 
853
        if 'disable_lock_checks' not in selftest_debug_flags:
 
854
            debug.debug_flags.add('strict_locks')
 
855
        self.addCleanup(self._restore_debug_flags)
 
856
 
 
857
    def _clear_hooks(self):
 
858
        # prevent hooks affecting tests
 
859
        self._preserved_hooks = {}
 
860
        for key, factory in hooks.known_hooks.items():
 
861
            parent, name = hooks.known_hooks_key_to_parent_and_attribute(key)
 
862
            current_hooks = hooks.known_hooks_key_to_object(key)
 
863
            self._preserved_hooks[parent] = (name, current_hooks)
 
864
        self.addCleanup(self._restoreHooks)
 
865
        for key, factory in hooks.known_hooks.items():
 
866
            parent, name = hooks.known_hooks_key_to_parent_and_attribute(key)
 
867
            setattr(parent, name, factory())
 
868
        # this hook should always be installed
 
869
        request._install_hook()
 
870
 
 
871
    def _silenceUI(self):
 
872
        """Turn off UI for duration of test"""
 
873
        # by default the UI is off; tests can turn it on if they want it.
 
874
        saved = ui.ui_factory
 
875
        def _restore():
 
876
            ui.ui_factory = saved
 
877
        ui.ui_factory = ui.SilentUIFactory()
 
878
        self.addCleanup(_restore)
 
879
 
 
880
    def _check_locks(self):
 
881
        """Check that all lock take/release actions have been paired."""
 
882
        # We always check for mismatched locks. If a mismatch is found, we
 
883
        # fail unless -Edisable_lock_checks is supplied to selftest, in which
 
884
        # case we just print a warning.
 
885
        # unhook:
 
886
        acquired_locks = [lock for action, lock in self._lock_actions
 
887
                          if action == 'acquired']
 
888
        released_locks = [lock for action, lock in self._lock_actions
 
889
                          if action == 'released']
 
890
        broken_locks = [lock for action, lock in self._lock_actions
 
891
                        if action == 'broken']
 
892
        # trivially, given the tests for lock acquistion and release, if we
 
893
        # have as many in each list, it should be ok. Some lock tests also
 
894
        # break some locks on purpose and should be taken into account by
 
895
        # considering that breaking a lock is just a dirty way of releasing it.
 
896
        if len(acquired_locks) != (len(released_locks) + len(broken_locks)):
 
897
            message = ('Different number of acquired and '
 
898
                       'released or broken locks. (%s, %s + %s)' %
 
899
                       (acquired_locks, released_locks, broken_locks))
 
900
            if not self._lock_check_thorough:
 
901
                # Rather than fail, just warn
 
902
                print "Broken test %s: %s" % (self, message)
 
903
                return
 
904
            self.fail(message)
 
905
 
 
906
    def _track_locks(self):
 
907
        """Track lock activity during tests."""
 
908
        self._lock_actions = []
 
909
        if 'disable_lock_checks' in selftest_debug_flags:
 
910
            self._lock_check_thorough = False
 
911
        else:
 
912
            self._lock_check_thorough = True
 
913
            
 
914
        self.addCleanup(self._check_locks)
 
915
        _mod_lock.Lock.hooks.install_named_hook('lock_acquired',
 
916
                                                self._lock_acquired, None)
 
917
        _mod_lock.Lock.hooks.install_named_hook('lock_released',
 
918
                                                self._lock_released, None)
 
919
        _mod_lock.Lock.hooks.install_named_hook('lock_broken',
 
920
                                                self._lock_broken, None)
 
921
 
 
922
    def _lock_acquired(self, result):
 
923
        self._lock_actions.append(('acquired', result))
 
924
 
 
925
    def _lock_released(self, result):
 
926
        self._lock_actions.append(('released', result))
 
927
 
 
928
    def _lock_broken(self, result):
 
929
        self._lock_actions.append(('broken', result))
 
930
 
 
931
    def _ndiff_strings(self, a, b):
 
932
        """Return ndiff between two strings containing lines.
 
933
 
 
934
        A trailing newline is added if missing to make the strings
 
935
        print properly."""
 
936
        if b and b[-1] != '\n':
 
937
            b += '\n'
 
938
        if a and a[-1] != '\n':
 
939
            a += '\n'
 
940
        difflines = difflib.ndiff(a.splitlines(True),
 
941
                                  b.splitlines(True),
 
942
                                  linejunk=lambda x: False,
 
943
                                  charjunk=lambda x: False)
 
944
        return ''.join(difflines)
 
945
 
 
946
    def assertEqual(self, a, b, message=''):
 
947
        try:
 
948
            if a == b:
 
949
                return
 
950
        except UnicodeError, e:
 
951
            # If we can't compare without getting a UnicodeError, then
 
952
            # obviously they are different
 
953
            mutter('UnicodeError: %s', e)
 
954
        if message:
 
955
            message += '\n'
 
956
        raise AssertionError("%snot equal:\na = %s\nb = %s\n"
 
957
            % (message,
 
958
               pformat(a), pformat(b)))
 
959
 
 
960
    assertEquals = assertEqual
 
961
 
 
962
    def assertEqualDiff(self, a, b, message=None):
 
963
        """Assert two texts are equal, if not raise an exception.
 
964
 
 
965
        This is intended for use with multi-line strings where it can
 
966
        be hard to find the differences by eye.
 
967
        """
 
968
        # TODO: perhaps override assertEquals to call this for strings?
 
969
        if a == b:
 
970
            return
 
971
        if message is None:
 
972
            message = "texts not equal:\n"
 
973
        if a == b + '\n':
 
974
            message = 'first string is missing a final newline.\n'
 
975
        if a + '\n' == b:
 
976
            message = 'second string is missing a final newline.\n'
 
977
        raise AssertionError(message +
 
978
                             self._ndiff_strings(a, b))
 
979
 
 
980
    def assertEqualMode(self, mode, mode_test):
 
981
        self.assertEqual(mode, mode_test,
 
982
                         'mode mismatch %o != %o' % (mode, mode_test))
 
983
 
 
984
    def assertEqualStat(self, expected, actual):
 
985
        """assert that expected and actual are the same stat result.
 
986
 
 
987
        :param expected: A stat result.
 
988
        :param actual: A stat result.
 
989
        :raises AssertionError: If the expected and actual stat values differ
 
990
            other than by atime.
 
991
        """
 
992
        self.assertEqual(expected.st_size, actual.st_size)
 
993
        self.assertEqual(expected.st_mtime, actual.st_mtime)
 
994
        self.assertEqual(expected.st_ctime, actual.st_ctime)
 
995
        self.assertEqual(expected.st_dev, actual.st_dev)
 
996
        self.assertEqual(expected.st_ino, actual.st_ino)
 
997
        self.assertEqual(expected.st_mode, actual.st_mode)
 
998
 
 
999
    def assertLength(self, length, obj_with_len):
 
1000
        """Assert that obj_with_len is of length length."""
 
1001
        if len(obj_with_len) != length:
 
1002
            self.fail("Incorrect length: wanted %d, got %d for %r" % (
 
1003
                length, len(obj_with_len), obj_with_len))
 
1004
 
 
1005
    def assertPositive(self, val):
 
1006
        """Assert that val is greater than 0."""
 
1007
        self.assertTrue(val > 0, 'expected a positive value, but got %s' % val)
 
1008
 
 
1009
    def assertNegative(self, val):
 
1010
        """Assert that val is less than 0."""
 
1011
        self.assertTrue(val < 0, 'expected a negative value, but got %s' % val)
 
1012
 
 
1013
    def assertStartsWith(self, s, prefix):
 
1014
        if not s.startswith(prefix):
 
1015
            raise AssertionError('string %r does not start with %r' % (s, prefix))
 
1016
 
 
1017
    def assertEndsWith(self, s, suffix):
 
1018
        """Asserts that s ends with suffix."""
 
1019
        if not s.endswith(suffix):
 
1020
            raise AssertionError('string %r does not end with %r' % (s, suffix))
 
1021
 
 
1022
    def assertContainsRe(self, haystack, needle_re, flags=0):
 
1023
        """Assert that a contains something matching a regular expression."""
 
1024
        if not re.search(needle_re, haystack, flags):
 
1025
            if '\n' in haystack or len(haystack) > 60:
 
1026
                # a long string, format it in a more readable way
 
1027
                raise AssertionError(
 
1028
                        'pattern "%s" not found in\n"""\\\n%s"""\n'
 
1029
                        % (needle_re, haystack))
 
1030
            else:
 
1031
                raise AssertionError('pattern "%s" not found in "%s"'
 
1032
                        % (needle_re, haystack))
 
1033
 
 
1034
    def assertNotContainsRe(self, haystack, needle_re, flags=0):
 
1035
        """Assert that a does not match a regular expression"""
 
1036
        if re.search(needle_re, haystack, flags):
 
1037
            raise AssertionError('pattern "%s" found in "%s"'
 
1038
                    % (needle_re, haystack))
 
1039
 
 
1040
    def assertSubset(self, sublist, superlist):
 
1041
        """Assert that every entry in sublist is present in superlist."""
 
1042
        missing = set(sublist) - set(superlist)
 
1043
        if len(missing) > 0:
 
1044
            raise AssertionError("value(s) %r not present in container %r" %
 
1045
                                 (missing, superlist))
 
1046
 
 
1047
    def assertListRaises(self, excClass, func, *args, **kwargs):
 
1048
        """Fail unless excClass is raised when the iterator from func is used.
 
1049
 
 
1050
        Many functions can return generators this makes sure
 
1051
        to wrap them in a list() call to make sure the whole generator
 
1052
        is run, and that the proper exception is raised.
 
1053
        """
 
1054
        try:
 
1055
            list(func(*args, **kwargs))
 
1056
        except excClass, e:
 
1057
            return e
 
1058
        else:
 
1059
            if getattr(excClass,'__name__', None) is not None:
 
1060
                excName = excClass.__name__
 
1061
            else:
 
1062
                excName = str(excClass)
 
1063
            raise self.failureException, "%s not raised" % excName
 
1064
 
 
1065
    def assertRaises(self, excClass, callableObj, *args, **kwargs):
 
1066
        """Assert that a callable raises a particular exception.
 
1067
 
 
1068
        :param excClass: As for the except statement, this may be either an
 
1069
            exception class, or a tuple of classes.
 
1070
        :param callableObj: A callable, will be passed ``*args`` and
 
1071
            ``**kwargs``.
 
1072
 
 
1073
        Returns the exception so that you can examine it.
 
1074
        """
 
1075
        try:
 
1076
            callableObj(*args, **kwargs)
 
1077
        except excClass, e:
 
1078
            return e
 
1079
        else:
 
1080
            if getattr(excClass,'__name__', None) is not None:
 
1081
                excName = excClass.__name__
 
1082
            else:
 
1083
                # probably a tuple
 
1084
                excName = str(excClass)
 
1085
            raise self.failureException, "%s not raised" % excName
 
1086
 
 
1087
    def assertIs(self, left, right, message=None):
 
1088
        if not (left is right):
 
1089
            if message is not None:
 
1090
                raise AssertionError(message)
 
1091
            else:
 
1092
                raise AssertionError("%r is not %r." % (left, right))
 
1093
 
 
1094
    def assertIsNot(self, left, right, message=None):
 
1095
        if (left is right):
 
1096
            if message is not None:
 
1097
                raise AssertionError(message)
 
1098
            else:
 
1099
                raise AssertionError("%r is %r." % (left, right))
 
1100
 
 
1101
    def assertTransportMode(self, transport, path, mode):
 
1102
        """Fail if a path does not have mode "mode".
 
1103
 
 
1104
        If modes are not supported on this transport, the assertion is ignored.
 
1105
        """
 
1106
        if not transport._can_roundtrip_unix_modebits():
 
1107
            return
 
1108
        path_stat = transport.stat(path)
 
1109
        actual_mode = stat.S_IMODE(path_stat.st_mode)
 
1110
        self.assertEqual(mode, actual_mode,
 
1111
                         'mode of %r incorrect (%s != %s)'
 
1112
                         % (path, oct(mode), oct(actual_mode)))
 
1113
 
 
1114
    def assertIsSameRealPath(self, path1, path2):
 
1115
        """Fail if path1 and path2 points to different files"""
 
1116
        self.assertEqual(osutils.realpath(path1),
 
1117
                         osutils.realpath(path2),
 
1118
                         "apparent paths:\na = %s\nb = %s\n," % (path1, path2))
 
1119
 
 
1120
    def assertIsInstance(self, obj, kls, msg=None):
 
1121
        """Fail if obj is not an instance of kls
 
1122
        
 
1123
        :param msg: Supplementary message to show if the assertion fails.
 
1124
        """
 
1125
        if not isinstance(obj, kls):
 
1126
            m = "%r is an instance of %s rather than %s" % (
 
1127
                obj, obj.__class__, kls)
 
1128
            if msg:
 
1129
                m += ": " + msg
 
1130
            self.fail(m)
 
1131
 
 
1132
    def expectFailure(self, reason, assertion, *args, **kwargs):
 
1133
        """Invoke a test, expecting it to fail for the given reason.
 
1134
 
 
1135
        This is for assertions that ought to succeed, but currently fail.
 
1136
        (The failure is *expected* but not *wanted*.)  Please be very precise
 
1137
        about the failure you're expecting.  If a new bug is introduced,
 
1138
        AssertionError should be raised, not KnownFailure.
 
1139
 
 
1140
        Frequently, expectFailure should be followed by an opposite assertion.
 
1141
        See example below.
 
1142
 
 
1143
        Intended to be used with a callable that raises AssertionError as the
 
1144
        'assertion' parameter.  args and kwargs are passed to the 'assertion'.
 
1145
 
 
1146
        Raises KnownFailure if the test fails.  Raises AssertionError if the
 
1147
        test succeeds.
 
1148
 
 
1149
        example usage::
 
1150
 
 
1151
          self.expectFailure('Math is broken', self.assertNotEqual, 54,
 
1152
                             dynamic_val)
 
1153
          self.assertEqual(42, dynamic_val)
 
1154
 
 
1155
          This means that a dynamic_val of 54 will cause the test to raise
 
1156
          a KnownFailure.  Once math is fixed and the expectFailure is removed,
 
1157
          only a dynamic_val of 42 will allow the test to pass.  Anything other
 
1158
          than 54 or 42 will cause an AssertionError.
 
1159
        """
 
1160
        try:
 
1161
            assertion(*args, **kwargs)
 
1162
        except AssertionError:
 
1163
            raise KnownFailure(reason)
 
1164
        else:
 
1165
            self.fail('Unexpected success.  Should have failed: %s' % reason)
 
1166
 
 
1167
    def assertFileEqual(self, content, path):
 
1168
        """Fail if path does not contain 'content'."""
 
1169
        self.failUnlessExists(path)
 
1170
        f = file(path, 'rb')
 
1171
        try:
 
1172
            s = f.read()
 
1173
        finally:
 
1174
            f.close()
 
1175
        self.assertEqualDiff(content, s)
 
1176
 
 
1177
    def failUnlessExists(self, path):
 
1178
        """Fail unless path or paths, which may be abs or relative, exist."""
 
1179
        if not isinstance(path, basestring):
 
1180
            for p in path:
 
1181
                self.failUnlessExists(p)
 
1182
        else:
 
1183
            self.failUnless(osutils.lexists(path),path+" does not exist")
 
1184
 
 
1185
    def failIfExists(self, path):
 
1186
        """Fail if path or paths, which may be abs or relative, exist."""
 
1187
        if not isinstance(path, basestring):
 
1188
            for p in path:
 
1189
                self.failIfExists(p)
 
1190
        else:
 
1191
            self.failIf(osutils.lexists(path),path+" exists")
 
1192
 
 
1193
    def _capture_deprecation_warnings(self, a_callable, *args, **kwargs):
 
1194
        """A helper for callDeprecated and applyDeprecated.
 
1195
 
 
1196
        :param a_callable: A callable to call.
 
1197
        :param args: The positional arguments for the callable
 
1198
        :param kwargs: The keyword arguments for the callable
 
1199
        :return: A tuple (warnings, result). result is the result of calling
 
1200
            a_callable(``*args``, ``**kwargs``).
 
1201
        """
 
1202
        local_warnings = []
 
1203
        def capture_warnings(msg, cls=None, stacklevel=None):
 
1204
            # we've hooked into a deprecation specific callpath,
 
1205
            # only deprecations should getting sent via it.
 
1206
            self.assertEqual(cls, DeprecationWarning)
 
1207
            local_warnings.append(msg)
 
1208
        original_warning_method = symbol_versioning.warn
 
1209
        symbol_versioning.set_warning_method(capture_warnings)
 
1210
        try:
 
1211
            result = a_callable(*args, **kwargs)
 
1212
        finally:
 
1213
            symbol_versioning.set_warning_method(original_warning_method)
 
1214
        return (local_warnings, result)
 
1215
 
 
1216
    def applyDeprecated(self, deprecation_format, a_callable, *args, **kwargs):
 
1217
        """Call a deprecated callable without warning the user.
 
1218
 
 
1219
        Note that this only captures warnings raised by symbol_versioning.warn,
 
1220
        not other callers that go direct to the warning module.
 
1221
 
 
1222
        To test that a deprecated method raises an error, do something like
 
1223
        this::
 
1224
 
 
1225
            self.assertRaises(errors.ReservedId,
 
1226
                self.applyDeprecated,
 
1227
                deprecated_in((1, 5, 0)),
 
1228
                br.append_revision,
 
1229
                'current:')
 
1230
 
 
1231
        :param deprecation_format: The deprecation format that the callable
 
1232
            should have been deprecated with. This is the same type as the
 
1233
            parameter to deprecated_method/deprecated_function. If the
 
1234
            callable is not deprecated with this format, an assertion error
 
1235
            will be raised.
 
1236
        :param a_callable: A callable to call. This may be a bound method or
 
1237
            a regular function. It will be called with ``*args`` and
 
1238
            ``**kwargs``.
 
1239
        :param args: The positional arguments for the callable
 
1240
        :param kwargs: The keyword arguments for the callable
 
1241
        :return: The result of a_callable(``*args``, ``**kwargs``)
 
1242
        """
 
1243
        call_warnings, result = self._capture_deprecation_warnings(a_callable,
 
1244
            *args, **kwargs)
 
1245
        expected_first_warning = symbol_versioning.deprecation_string(
 
1246
            a_callable, deprecation_format)
 
1247
        if len(call_warnings) == 0:
 
1248
            self.fail("No deprecation warning generated by call to %s" %
 
1249
                a_callable)
 
1250
        self.assertEqual(expected_first_warning, call_warnings[0])
 
1251
        return result
 
1252
 
 
1253
    def callCatchWarnings(self, fn, *args, **kw):
 
1254
        """Call a callable that raises python warnings.
 
1255
 
 
1256
        The caller's responsible for examining the returned warnings.
 
1257
 
 
1258
        If the callable raises an exception, the exception is not
 
1259
        caught and propagates up to the caller.  In that case, the list
 
1260
        of warnings is not available.
 
1261
 
 
1262
        :returns: ([warning_object, ...], fn_result)
 
1263
        """
 
1264
        # XXX: This is not perfect, because it completely overrides the
 
1265
        # warnings filters, and some code may depend on suppressing particular
 
1266
        # warnings.  It's the easiest way to insulate ourselves from -Werror,
 
1267
        # though.  -- Andrew, 20071062
 
1268
        wlist = []
 
1269
        def _catcher(message, category, filename, lineno, file=None, line=None):
 
1270
            # despite the name, 'message' is normally(?) a Warning subclass
 
1271
            # instance
 
1272
            wlist.append(message)
 
1273
        saved_showwarning = warnings.showwarning
 
1274
        saved_filters = warnings.filters
 
1275
        try:
 
1276
            warnings.showwarning = _catcher
 
1277
            warnings.filters = []
 
1278
            result = fn(*args, **kw)
 
1279
        finally:
 
1280
            warnings.showwarning = saved_showwarning
 
1281
            warnings.filters = saved_filters
 
1282
        return wlist, result
 
1283
 
 
1284
    def callDeprecated(self, expected, callable, *args, **kwargs):
 
1285
        """Assert that a callable is deprecated in a particular way.
 
1286
 
 
1287
        This is a very precise test for unusual requirements. The
 
1288
        applyDeprecated helper function is probably more suited for most tests
 
1289
        as it allows you to simply specify the deprecation format being used
 
1290
        and will ensure that that is issued for the function being called.
 
1291
 
 
1292
        Note that this only captures warnings raised by symbol_versioning.warn,
 
1293
        not other callers that go direct to the warning module.  To catch
 
1294
        general warnings, use callCatchWarnings.
 
1295
 
 
1296
        :param expected: a list of the deprecation warnings expected, in order
 
1297
        :param callable: The callable to call
 
1298
        :param args: The positional arguments for the callable
 
1299
        :param kwargs: The keyword arguments for the callable
 
1300
        """
 
1301
        call_warnings, result = self._capture_deprecation_warnings(callable,
 
1302
            *args, **kwargs)
 
1303
        self.assertEqual(expected, call_warnings)
 
1304
        return result
 
1305
 
 
1306
    def _startLogFile(self):
 
1307
        """Send bzr and test log messages to a temporary file.
 
1308
 
 
1309
        The file is removed as the test is torn down.
 
1310
        """
 
1311
        fileno, name = tempfile.mkstemp(suffix='.log', prefix='testbzr')
 
1312
        self._log_file = os.fdopen(fileno, 'w+')
 
1313
        self._log_memento = bzrlib.trace.push_log_file(self._log_file)
 
1314
        self._log_file_name = name
 
1315
        self.addCleanup(self._finishLogFile)
 
1316
 
 
1317
    def _finishLogFile(self):
 
1318
        """Finished with the log file.
 
1319
 
 
1320
        Close the file and delete it, unless setKeepLogfile was called.
 
1321
        """
 
1322
        if self._log_file is None:
 
1323
            return
 
1324
        bzrlib.trace.pop_log_file(self._log_memento)
 
1325
        self._log_file.close()
 
1326
        self._log_file = None
 
1327
        if not self._keep_log_file:
 
1328
            os.remove(self._log_file_name)
 
1329
            self._log_file_name = None
 
1330
 
 
1331
    def setKeepLogfile(self):
 
1332
        """Make the logfile not be deleted when _finishLogFile is called."""
 
1333
        self._keep_log_file = True
 
1334
 
 
1335
    def thisFailsStrictLockCheck(self):
 
1336
        """It is known that this test would fail with -Dstrict_locks.
 
1337
 
 
1338
        By default, all tests are run with strict lock checking unless
 
1339
        -Edisable_lock_checks is supplied. However there are some tests which
 
1340
        we know fail strict locks at this point that have not been fixed.
 
1341
        They should call this function to disable the strict checking.
 
1342
 
 
1343
        This should be used sparingly, it is much better to fix the locking
 
1344
        issues rather than papering over the problem by calling this function.
 
1345
        """
 
1346
        debug.debug_flags.discard('strict_locks')
 
1347
 
 
1348
    def addCleanup(self, callable, *args, **kwargs):
 
1349
        """Arrange to run a callable when this case is torn down.
 
1350
 
 
1351
        Callables are run in the reverse of the order they are registered,
 
1352
        ie last-in first-out.
 
1353
        """
 
1354
        self._cleanups.append((callable, args, kwargs))
 
1355
 
 
1356
    def _cleanEnvironment(self):
 
1357
        new_env = {
 
1358
            'BZR_HOME': None, # Don't inherit BZR_HOME to all the tests.
 
1359
            'HOME': os.getcwd(),
 
1360
            # bzr now uses the Win32 API and doesn't rely on APPDATA, but the
 
1361
            # tests do check our impls match APPDATA
 
1362
            'BZR_EDITOR': None, # test_msgeditor manipulates this variable
 
1363
            'VISUAL': None,
 
1364
            'EDITOR': None,
 
1365
            'BZR_EMAIL': None,
 
1366
            'BZREMAIL': None, # may still be present in the environment
 
1367
            'EMAIL': None,
 
1368
            'BZR_PROGRESS_BAR': None,
 
1369
            'BZR_LOG': None,
 
1370
            'BZR_PLUGIN_PATH': None,
 
1371
            # Make sure that any text ui tests are consistent regardless of
 
1372
            # the environment the test case is run in; you may want tests that
 
1373
            # test other combinations.  'dumb' is a reasonable guess for tests
 
1374
            # going to a pipe or a StringIO.
 
1375
            'TERM': 'dumb',
 
1376
            'LINES': '25',
 
1377
            'COLUMNS': '80',
 
1378
            # SSH Agent
 
1379
            'SSH_AUTH_SOCK': None,
 
1380
            # Proxies
 
1381
            'http_proxy': None,
 
1382
            'HTTP_PROXY': None,
 
1383
            'https_proxy': None,
 
1384
            'HTTPS_PROXY': None,
 
1385
            'no_proxy': None,
 
1386
            'NO_PROXY': None,
 
1387
            'all_proxy': None,
 
1388
            'ALL_PROXY': None,
 
1389
            # Nobody cares about ftp_proxy, FTP_PROXY AFAIK. So far at
 
1390
            # least. If you do (care), please update this comment
 
1391
            # -- vila 20080401
 
1392
            'ftp_proxy': None,
 
1393
            'FTP_PROXY': None,
 
1394
            'BZR_REMOTE_PATH': None,
 
1395
        }
 
1396
        self.__old_env = {}
 
1397
        self.addCleanup(self._restoreEnvironment)
 
1398
        for name, value in new_env.iteritems():
 
1399
            self._captureVar(name, value)
 
1400
 
 
1401
    def _captureVar(self, name, newvalue):
 
1402
        """Set an environment variable, and reset it when finished."""
 
1403
        self.__old_env[name] = osutils.set_or_unset_env(name, newvalue)
 
1404
 
 
1405
    def _restore_debug_flags(self):
 
1406
        debug.debug_flags.clear()
 
1407
        debug.debug_flags.update(self._preserved_debug_flags)
 
1408
 
 
1409
    def _restoreEnvironment(self):
 
1410
        for name, value in self.__old_env.iteritems():
 
1411
            osutils.set_or_unset_env(name, value)
 
1412
 
 
1413
    def _restoreHooks(self):
 
1414
        for klass, (name, hooks) in self._preserved_hooks.items():
 
1415
            setattr(klass, name, hooks)
 
1416
 
 
1417
    def knownFailure(self, reason):
 
1418
        """This test has failed for some known reason."""
 
1419
        raise KnownFailure(reason)
 
1420
 
 
1421
    def _do_skip(self, result, reason):
 
1422
        addSkip = getattr(result, 'addSkip', None)
 
1423
        if not callable(addSkip):
 
1424
            result.addError(self, sys.exc_info())
 
1425
        else:
 
1426
            addSkip(self, reason)
 
1427
 
 
1428
    def run(self, result=None):
 
1429
        if result is None: result = self.defaultTestResult()
 
1430
        for feature in getattr(self, '_test_needs_features', []):
 
1431
            if not feature.available():
 
1432
                result.startTest(self)
 
1433
                if getattr(result, 'addNotSupported', None):
 
1434
                    result.addNotSupported(self, feature)
 
1435
                else:
 
1436
                    result.addSuccess(self)
 
1437
                result.stopTest(self)
 
1438
                return result
 
1439
        try:
 
1440
            try:
 
1441
                result.startTest(self)
 
1442
                absent_attr = object()
 
1443
                # Python 2.5
 
1444
                method_name = getattr(self, '_testMethodName', absent_attr)
 
1445
                if method_name is absent_attr:
 
1446
                    # Python 2.4
 
1447
                    method_name = getattr(self, '_TestCase__testMethodName')
 
1448
                testMethod = getattr(self, method_name)
 
1449
                try:
 
1450
                    try:
 
1451
                        self.setUp()
 
1452
                        if not self._bzr_test_setUp_run:
 
1453
                            self.fail(
 
1454
                                "test setUp did not invoke "
 
1455
                                "bzrlib.tests.TestCase's setUp")
 
1456
                    except KeyboardInterrupt:
 
1457
                        self._runCleanups()
 
1458
                        raise
 
1459
                    except TestSkipped, e:
 
1460
                        self._do_skip(result, e.args[0])
 
1461
                        self.tearDown()
 
1462
                        return result
 
1463
                    except:
 
1464
                        result.addError(self, sys.exc_info())
 
1465
                        self._runCleanups()
 
1466
                        return result
 
1467
 
 
1468
                    ok = False
 
1469
                    try:
 
1470
                        testMethod()
 
1471
                        ok = True
 
1472
                    except self.failureException:
 
1473
                        result.addFailure(self, sys.exc_info())
 
1474
                    except TestSkipped, e:
 
1475
                        if not e.args:
 
1476
                            reason = "No reason given."
 
1477
                        else:
 
1478
                            reason = e.args[0]
 
1479
                        self._do_skip(result, reason)
 
1480
                    except KeyboardInterrupt:
 
1481
                        self._runCleanups()
 
1482
                        raise
 
1483
                    except:
 
1484
                        result.addError(self, sys.exc_info())
 
1485
 
 
1486
                    try:
 
1487
                        self.tearDown()
 
1488
                        if not self._bzr_test_tearDown_run:
 
1489
                            self.fail(
 
1490
                                "test tearDown did not invoke "
 
1491
                                "bzrlib.tests.TestCase's tearDown")
 
1492
                    except KeyboardInterrupt:
 
1493
                        self._runCleanups()
 
1494
                        raise
 
1495
                    except:
 
1496
                        result.addError(self, sys.exc_info())
 
1497
                        self._runCleanups()
 
1498
                        ok = False
 
1499
                    if ok: result.addSuccess(self)
 
1500
                finally:
 
1501
                    result.stopTest(self)
 
1502
                return result
 
1503
            except TestNotApplicable:
 
1504
                # Not moved from the result [yet].
 
1505
                self._runCleanups()
 
1506
                raise
 
1507
            except KeyboardInterrupt:
 
1508
                self._runCleanups()
 
1509
                raise
 
1510
        finally:
 
1511
            saved_attrs = {}
 
1512
            for attr_name in self.attrs_to_keep:
 
1513
                if attr_name in self.__dict__:
 
1514
                    saved_attrs[attr_name] = self.__dict__[attr_name]
 
1515
            self.__dict__ = saved_attrs
 
1516
 
 
1517
    def tearDown(self):
 
1518
        self._runCleanups()
 
1519
        self._log_contents = ''
 
1520
        self._bzr_test_tearDown_run = True
 
1521
        unittest.TestCase.tearDown(self)
 
1522
 
 
1523
    def time(self, callable, *args, **kwargs):
 
1524
        """Run callable and accrue the time it takes to the benchmark time.
 
1525
 
 
1526
        If lsprofiling is enabled (i.e. by --lsprof-time to bzr selftest) then
 
1527
        this will cause lsprofile statistics to be gathered and stored in
 
1528
        self._benchcalls.
 
1529
        """
 
1530
        if self._benchtime is None:
 
1531
            self._benchtime = 0
 
1532
        start = time.time()
 
1533
        try:
 
1534
            if not self._gather_lsprof_in_benchmarks:
 
1535
                return callable(*args, **kwargs)
 
1536
            else:
 
1537
                # record this benchmark
 
1538
                ret, stats = bzrlib.lsprof.profile(callable, *args, **kwargs)
 
1539
                stats.sort()
 
1540
                self._benchcalls.append(((callable, args, kwargs), stats))
 
1541
                return ret
 
1542
        finally:
 
1543
            self._benchtime += time.time() - start
 
1544
 
 
1545
    def _runCleanups(self):
 
1546
        """Run registered cleanup functions.
 
1547
 
 
1548
        This should only be called from TestCase.tearDown.
 
1549
        """
 
1550
        # TODO: Perhaps this should keep running cleanups even if
 
1551
        # one of them fails?
 
1552
 
 
1553
        # Actually pop the cleanups from the list so tearDown running
 
1554
        # twice is safe (this happens for skipped tests).
 
1555
        while self._cleanups:
 
1556
            cleanup, args, kwargs = self._cleanups.pop()
 
1557
            cleanup(*args, **kwargs)
 
1558
 
 
1559
    def log(self, *args):
 
1560
        mutter(*args)
 
1561
 
 
1562
    def _get_log(self, keep_log_file=False):
 
1563
        """Get the log from bzrlib.trace calls from this test.
 
1564
 
 
1565
        :param keep_log_file: When True, if the log is still a file on disk
 
1566
            leave it as a file on disk. When False, if the log is still a file
 
1567
            on disk, the log file is deleted and the log preserved as
 
1568
            self._log_contents.
 
1569
        :return: A string containing the log.
 
1570
        """
 
1571
        # flush the log file, to get all content
 
1572
        import bzrlib.trace
 
1573
        if bzrlib.trace._trace_file:
 
1574
            bzrlib.trace._trace_file.flush()
 
1575
        if self._log_contents:
 
1576
            # XXX: this can hardly contain the content flushed above --vila
 
1577
            # 20080128
 
1578
            return self._log_contents
 
1579
        if self._log_file_name is not None:
 
1580
            logfile = open(self._log_file_name)
 
1581
            try:
 
1582
                log_contents = logfile.read()
 
1583
            finally:
 
1584
                logfile.close()
 
1585
            if not keep_log_file:
 
1586
                self._log_contents = log_contents
 
1587
                try:
 
1588
                    os.remove(self._log_file_name)
 
1589
                except OSError, e:
 
1590
                    if sys.platform == 'win32' and e.errno == errno.EACCES:
 
1591
                        sys.stderr.write(('Unable to delete log file '
 
1592
                                             ' %r\n' % self._log_file_name))
 
1593
                    else:
 
1594
                        raise
 
1595
            return log_contents
 
1596
        else:
 
1597
            return "DELETED log file to reduce memory footprint"
 
1598
 
 
1599
    def requireFeature(self, feature):
 
1600
        """This test requires a specific feature is available.
 
1601
 
 
1602
        :raises UnavailableFeature: When feature is not available.
 
1603
        """
 
1604
        if not feature.available():
 
1605
            raise UnavailableFeature(feature)
 
1606
 
 
1607
    def _run_bzr_autosplit(self, args, retcode, encoding, stdin,
 
1608
            working_dir):
 
1609
        """Run bazaar command line, splitting up a string command line."""
 
1610
        if isinstance(args, basestring):
 
1611
            # shlex don't understand unicode strings,
 
1612
            # so args should be plain string (bialix 20070906)
 
1613
            args = list(shlex.split(str(args)))
 
1614
        return self._run_bzr_core(args, retcode=retcode,
 
1615
                encoding=encoding, stdin=stdin, working_dir=working_dir,
 
1616
                )
 
1617
 
 
1618
    def _run_bzr_core(self, args, retcode, encoding, stdin,
 
1619
            working_dir):
 
1620
        if encoding is None:
 
1621
            encoding = osutils.get_user_encoding()
 
1622
        stdout = StringIOWrapper()
 
1623
        stderr = StringIOWrapper()
 
1624
        stdout.encoding = encoding
 
1625
        stderr.encoding = encoding
 
1626
 
 
1627
        self.log('run bzr: %r', args)
 
1628
        # FIXME: don't call into logging here
 
1629
        handler = logging.StreamHandler(stderr)
 
1630
        handler.setLevel(logging.INFO)
 
1631
        logger = logging.getLogger('')
 
1632
        logger.addHandler(handler)
 
1633
        old_ui_factory = ui.ui_factory
 
1634
        ui.ui_factory = TestUIFactory(stdin=stdin, stdout=stdout, stderr=stderr)
 
1635
 
 
1636
        cwd = None
 
1637
        if working_dir is not None:
 
1638
            cwd = osutils.getcwd()
 
1639
            os.chdir(working_dir)
 
1640
 
 
1641
        try:
 
1642
            result = self.apply_redirected(ui.ui_factory.stdin,
 
1643
                stdout, stderr,
 
1644
                bzrlib.commands.run_bzr_catch_user_errors,
 
1645
                args)
 
1646
        finally:
 
1647
            logger.removeHandler(handler)
 
1648
            ui.ui_factory = old_ui_factory
 
1649
            if cwd is not None:
 
1650
                os.chdir(cwd)
 
1651
 
 
1652
        out = stdout.getvalue()
 
1653
        err = stderr.getvalue()
 
1654
        if out:
 
1655
            self.log('output:\n%r', out)
 
1656
        if err:
 
1657
            self.log('errors:\n%r', err)
 
1658
        if retcode is not None:
 
1659
            self.assertEquals(retcode, result,
 
1660
                              message='Unexpected return code')
 
1661
        return out, err
 
1662
 
 
1663
    def run_bzr(self, args, retcode=0, encoding=None, stdin=None,
 
1664
                working_dir=None, error_regexes=[], output_encoding=None):
 
1665
        """Invoke bzr, as if it were run from the command line.
 
1666
 
 
1667
        The argument list should not include the bzr program name - the
 
1668
        first argument is normally the bzr command.  Arguments may be
 
1669
        passed in three ways:
 
1670
 
 
1671
        1- A list of strings, eg ["commit", "a"].  This is recommended
 
1672
        when the command contains whitespace or metacharacters, or
 
1673
        is built up at run time.
 
1674
 
 
1675
        2- A single string, eg "add a".  This is the most convenient
 
1676
        for hardcoded commands.
 
1677
 
 
1678
        This runs bzr through the interface that catches and reports
 
1679
        errors, and with logging set to something approximating the
 
1680
        default, so that error reporting can be checked.
 
1681
 
 
1682
        This should be the main method for tests that want to exercise the
 
1683
        overall behavior of the bzr application (rather than a unit test
 
1684
        or a functional test of the library.)
 
1685
 
 
1686
        This sends the stdout/stderr results into the test's log,
 
1687
        where it may be useful for debugging.  See also run_captured.
 
1688
 
 
1689
        :keyword stdin: A string to be used as stdin for the command.
 
1690
        :keyword retcode: The status code the command should return;
 
1691
            default 0.
 
1692
        :keyword working_dir: The directory to run the command in
 
1693
        :keyword error_regexes: A list of expected error messages.  If
 
1694
            specified they must be seen in the error output of the command.
 
1695
        """
 
1696
        out, err = self._run_bzr_autosplit(
 
1697
            args=args,
 
1698
            retcode=retcode,
 
1699
            encoding=encoding,
 
1700
            stdin=stdin,
 
1701
            working_dir=working_dir,
 
1702
            )
 
1703
        self.assertIsInstance(error_regexes, (list, tuple))
 
1704
        for regex in error_regexes:
 
1705
            self.assertContainsRe(err, regex)
 
1706
        return out, err
 
1707
 
 
1708
    def run_bzr_error(self, error_regexes, *args, **kwargs):
 
1709
        """Run bzr, and check that stderr contains the supplied regexes
 
1710
 
 
1711
        :param error_regexes: Sequence of regular expressions which
 
1712
            must each be found in the error output. The relative ordering
 
1713
            is not enforced.
 
1714
        :param args: command-line arguments for bzr
 
1715
        :param kwargs: Keyword arguments which are interpreted by run_bzr
 
1716
            This function changes the default value of retcode to be 3,
 
1717
            since in most cases this is run when you expect bzr to fail.
 
1718
 
 
1719
        :return: (out, err) The actual output of running the command (in case
 
1720
            you want to do more inspection)
 
1721
 
 
1722
        Examples of use::
 
1723
 
 
1724
            # Make sure that commit is failing because there is nothing to do
 
1725
            self.run_bzr_error(['no changes to commit'],
 
1726
                               ['commit', '-m', 'my commit comment'])
 
1727
            # Make sure --strict is handling an unknown file, rather than
 
1728
            # giving us the 'nothing to do' error
 
1729
            self.build_tree(['unknown'])
 
1730
            self.run_bzr_error(['Commit refused because there are unknown files'],
 
1731
                               ['commit', --strict', '-m', 'my commit comment'])
 
1732
        """
 
1733
        kwargs.setdefault('retcode', 3)
 
1734
        kwargs['error_regexes'] = error_regexes
 
1735
        out, err = self.run_bzr(*args, **kwargs)
 
1736
        return out, err
 
1737
 
 
1738
    def run_bzr_subprocess(self, *args, **kwargs):
 
1739
        """Run bzr in a subprocess for testing.
 
1740
 
 
1741
        This starts a new Python interpreter and runs bzr in there.
 
1742
        This should only be used for tests that have a justifiable need for
 
1743
        this isolation: e.g. they are testing startup time, or signal
 
1744
        handling, or early startup code, etc.  Subprocess code can't be
 
1745
        profiled or debugged so easily.
 
1746
 
 
1747
        :keyword retcode: The status code that is expected.  Defaults to 0.  If
 
1748
            None is supplied, the status code is not checked.
 
1749
        :keyword env_changes: A dictionary which lists changes to environment
 
1750
            variables. A value of None will unset the env variable.
 
1751
            The values must be strings. The change will only occur in the
 
1752
            child, so you don't need to fix the environment after running.
 
1753
        :keyword universal_newlines: Convert CRLF => LF
 
1754
        :keyword allow_plugins: By default the subprocess is run with
 
1755
            --no-plugins to ensure test reproducibility. Also, it is possible
 
1756
            for system-wide plugins to create unexpected output on stderr,
 
1757
            which can cause unnecessary test failures.
 
1758
        """
 
1759
        env_changes = kwargs.get('env_changes', {})
 
1760
        working_dir = kwargs.get('working_dir', None)
 
1761
        allow_plugins = kwargs.get('allow_plugins', False)
 
1762
        if len(args) == 1:
 
1763
            if isinstance(args[0], list):
 
1764
                args = args[0]
 
1765
            elif isinstance(args[0], basestring):
 
1766
                args = list(shlex.split(args[0]))
 
1767
        else:
 
1768
            raise ValueError("passing varargs to run_bzr_subprocess")
 
1769
        process = self.start_bzr_subprocess(args, env_changes=env_changes,
 
1770
                                            working_dir=working_dir,
 
1771
                                            allow_plugins=allow_plugins)
 
1772
        # We distinguish between retcode=None and retcode not passed.
 
1773
        supplied_retcode = kwargs.get('retcode', 0)
 
1774
        return self.finish_bzr_subprocess(process, retcode=supplied_retcode,
 
1775
            universal_newlines=kwargs.get('universal_newlines', False),
 
1776
            process_args=args)
 
1777
 
 
1778
    def start_bzr_subprocess(self, process_args, env_changes=None,
 
1779
                             skip_if_plan_to_signal=False,
 
1780
                             working_dir=None,
 
1781
                             allow_plugins=False):
 
1782
        """Start bzr in a subprocess for testing.
 
1783
 
 
1784
        This starts a new Python interpreter and runs bzr in there.
 
1785
        This should only be used for tests that have a justifiable need for
 
1786
        this isolation: e.g. they are testing startup time, or signal
 
1787
        handling, or early startup code, etc.  Subprocess code can't be
 
1788
        profiled or debugged so easily.
 
1789
 
 
1790
        :param process_args: a list of arguments to pass to the bzr executable,
 
1791
            for example ``['--version']``.
 
1792
        :param env_changes: A dictionary which lists changes to environment
 
1793
            variables. A value of None will unset the env variable.
 
1794
            The values must be strings. The change will only occur in the
 
1795
            child, so you don't need to fix the environment after running.
 
1796
        :param skip_if_plan_to_signal: raise TestSkipped when true and os.kill
 
1797
            is not available.
 
1798
        :param allow_plugins: If False (default) pass --no-plugins to bzr.
 
1799
 
 
1800
        :returns: Popen object for the started process.
 
1801
        """
 
1802
        if skip_if_plan_to_signal:
 
1803
            if not getattr(os, 'kill', None):
 
1804
                raise TestSkipped("os.kill not available.")
 
1805
 
 
1806
        if env_changes is None:
 
1807
            env_changes = {}
 
1808
        old_env = {}
 
1809
 
 
1810
        def cleanup_environment():
 
1811
            for env_var, value in env_changes.iteritems():
 
1812
                old_env[env_var] = osutils.set_or_unset_env(env_var, value)
 
1813
 
 
1814
        def restore_environment():
 
1815
            for env_var, value in old_env.iteritems():
 
1816
                osutils.set_or_unset_env(env_var, value)
 
1817
 
 
1818
        bzr_path = self.get_bzr_path()
 
1819
 
 
1820
        cwd = None
 
1821
        if working_dir is not None:
 
1822
            cwd = osutils.getcwd()
 
1823
            os.chdir(working_dir)
 
1824
 
 
1825
        try:
 
1826
            # win32 subprocess doesn't support preexec_fn
 
1827
            # so we will avoid using it on all platforms, just to
 
1828
            # make sure the code path is used, and we don't break on win32
 
1829
            cleanup_environment()
 
1830
            command = [sys.executable]
 
1831
            # frozen executables don't need the path to bzr
 
1832
            if getattr(sys, "frozen", None) is None:
 
1833
                command.append(bzr_path)
 
1834
            if not allow_plugins:
 
1835
                command.append('--no-plugins')
 
1836
            command.extend(process_args)
 
1837
            process = self._popen(command, stdin=PIPE, stdout=PIPE, stderr=PIPE)
 
1838
        finally:
 
1839
            restore_environment()
 
1840
            if cwd is not None:
 
1841
                os.chdir(cwd)
 
1842
 
 
1843
        return process
 
1844
 
 
1845
    def _popen(self, *args, **kwargs):
 
1846
        """Place a call to Popen.
 
1847
 
 
1848
        Allows tests to override this method to intercept the calls made to
 
1849
        Popen for introspection.
 
1850
        """
 
1851
        return Popen(*args, **kwargs)
 
1852
 
 
1853
    def get_bzr_path(self):
 
1854
        """Return the path of the 'bzr' executable for this test suite."""
 
1855
        bzr_path = os.path.dirname(os.path.dirname(bzrlib.__file__))+'/bzr'
 
1856
        if not os.path.isfile(bzr_path):
 
1857
            # We are probably installed. Assume sys.argv is the right file
 
1858
            bzr_path = sys.argv[0]
 
1859
        return bzr_path
 
1860
 
 
1861
    def finish_bzr_subprocess(self, process, retcode=0, send_signal=None,
 
1862
                              universal_newlines=False, process_args=None):
 
1863
        """Finish the execution of process.
 
1864
 
 
1865
        :param process: the Popen object returned from start_bzr_subprocess.
 
1866
        :param retcode: The status code that is expected.  Defaults to 0.  If
 
1867
            None is supplied, the status code is not checked.
 
1868
        :param send_signal: an optional signal to send to the process.
 
1869
        :param universal_newlines: Convert CRLF => LF
 
1870
        :returns: (stdout, stderr)
 
1871
        """
 
1872
        if send_signal is not None:
 
1873
            os.kill(process.pid, send_signal)
 
1874
        out, err = process.communicate()
 
1875
 
 
1876
        if universal_newlines:
 
1877
            out = out.replace('\r\n', '\n')
 
1878
            err = err.replace('\r\n', '\n')
 
1879
 
 
1880
        if retcode is not None and retcode != process.returncode:
 
1881
            if process_args is None:
 
1882
                process_args = "(unknown args)"
 
1883
            mutter('Output of bzr %s:\n%s', process_args, out)
 
1884
            mutter('Error for bzr %s:\n%s', process_args, err)
 
1885
            self.fail('Command bzr %s failed with retcode %s != %s'
 
1886
                      % (process_args, retcode, process.returncode))
 
1887
        return [out, err]
 
1888
 
 
1889
    def check_inventory_shape(self, inv, shape):
 
1890
        """Compare an inventory to a list of expected names.
 
1891
 
 
1892
        Fail if they are not precisely equal.
 
1893
        """
 
1894
        extras = []
 
1895
        shape = list(shape)             # copy
 
1896
        for path, ie in inv.entries():
 
1897
            name = path.replace('\\', '/')
 
1898
            if ie.kind == 'directory':
 
1899
                name = name + '/'
 
1900
            if name in shape:
 
1901
                shape.remove(name)
 
1902
            else:
 
1903
                extras.append(name)
 
1904
        if shape:
 
1905
            self.fail("expected paths not found in inventory: %r" % shape)
 
1906
        if extras:
 
1907
            self.fail("unexpected paths found in inventory: %r" % extras)
 
1908
 
 
1909
    def apply_redirected(self, stdin=None, stdout=None, stderr=None,
 
1910
                         a_callable=None, *args, **kwargs):
 
1911
        """Call callable with redirected std io pipes.
 
1912
 
 
1913
        Returns the return code."""
 
1914
        if not callable(a_callable):
 
1915
            raise ValueError("a_callable must be callable.")
 
1916
        if stdin is None:
 
1917
            stdin = StringIO("")
 
1918
        if stdout is None:
 
1919
            if getattr(self, "_log_file", None) is not None:
 
1920
                stdout = self._log_file
 
1921
            else:
 
1922
                stdout = StringIO()
 
1923
        if stderr is None:
 
1924
            if getattr(self, "_log_file", None is not None):
 
1925
                stderr = self._log_file
 
1926
            else:
 
1927
                stderr = StringIO()
 
1928
        real_stdin = sys.stdin
 
1929
        real_stdout = sys.stdout
 
1930
        real_stderr = sys.stderr
 
1931
        try:
 
1932
            sys.stdout = stdout
 
1933
            sys.stderr = stderr
 
1934
            sys.stdin = stdin
 
1935
            return a_callable(*args, **kwargs)
 
1936
        finally:
 
1937
            sys.stdout = real_stdout
 
1938
            sys.stderr = real_stderr
 
1939
            sys.stdin = real_stdin
 
1940
 
 
1941
    def reduceLockdirTimeout(self):
 
1942
        """Reduce the default lock timeout for the duration of the test, so that
 
1943
        if LockContention occurs during a test, it does so quickly.
 
1944
 
 
1945
        Tests that expect to provoke LockContention errors should call this.
 
1946
        """
 
1947
        orig_timeout = bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS
 
1948
        def resetTimeout():
 
1949
            bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS = orig_timeout
 
1950
        self.addCleanup(resetTimeout)
 
1951
        bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS = 0
 
1952
 
 
1953
    def make_utf8_encoded_stringio(self, encoding_type=None):
 
1954
        """Return a StringIOWrapper instance, that will encode Unicode
 
1955
        input to UTF-8.
 
1956
        """
 
1957
        if encoding_type is None:
 
1958
            encoding_type = 'strict'
 
1959
        sio = StringIO()
 
1960
        output_encoding = 'utf-8'
 
1961
        sio = codecs.getwriter(output_encoding)(sio, errors=encoding_type)
 
1962
        sio.encoding = output_encoding
 
1963
        return sio
 
1964
 
 
1965
    def disable_verb(self, verb):
 
1966
        """Disable a smart server verb for one test."""
 
1967
        from bzrlib.smart import request
 
1968
        request_handlers = request.request_handlers
 
1969
        orig_method = request_handlers.get(verb)
 
1970
        request_handlers.remove(verb)
 
1971
        def restoreVerb():
 
1972
            request_handlers.register(verb, orig_method)
 
1973
        self.addCleanup(restoreVerb)
 
1974
 
 
1975
 
 
1976
class CapturedCall(object):
 
1977
    """A helper for capturing smart server calls for easy debug analysis."""
 
1978
 
 
1979
    def __init__(self, params, prefix_length):
 
1980
        """Capture the call with params and skip prefix_length stack frames."""
 
1981
        self.call = params
 
1982
        import traceback
 
1983
        # The last 5 frames are the __init__, the hook frame, and 3 smart
 
1984
        # client frames. Beyond this we could get more clever, but this is good
 
1985
        # enough for now.
 
1986
        stack = traceback.extract_stack()[prefix_length:-5]
 
1987
        self.stack = ''.join(traceback.format_list(stack))
 
1988
 
 
1989
    def __str__(self):
 
1990
        return self.call.method
 
1991
 
 
1992
    def __repr__(self):
 
1993
        return self.call.method
 
1994
 
 
1995
    def stack(self):
 
1996
        return self.stack
 
1997
 
 
1998
 
 
1999
class TestCaseWithMemoryTransport(TestCase):
 
2000
    """Common test class for tests that do not need disk resources.
 
2001
 
 
2002
    Tests that need disk resources should derive from TestCaseWithTransport.
 
2003
 
 
2004
    TestCaseWithMemoryTransport sets the TEST_ROOT variable for all bzr tests.
 
2005
 
 
2006
    For TestCaseWithMemoryTransport the test_home_dir is set to the name of
 
2007
    a directory which does not exist. This serves to help ensure test isolation
 
2008
    is preserved. test_dir is set to the TEST_ROOT, as is cwd, because they
 
2009
    must exist. However, TestCaseWithMemoryTransport does not offer local
 
2010
    file defaults for the transport in tests, nor does it obey the command line
 
2011
    override, so tests that accidentally write to the common directory should
 
2012
    be rare.
 
2013
 
 
2014
    :cvar TEST_ROOT: Directory containing all temporary directories, plus
 
2015
    a .bzr directory that stops us ascending higher into the filesystem.
 
2016
    """
 
2017
 
 
2018
    TEST_ROOT = None
 
2019
    _TEST_NAME = 'test'
 
2020
 
 
2021
    def __init__(self, methodName='runTest'):
 
2022
        # allow test parameterization after test construction and before test
 
2023
        # execution. Variables that the parameterizer sets need to be
 
2024
        # ones that are not set by setUp, or setUp will trash them.
 
2025
        super(TestCaseWithMemoryTransport, self).__init__(methodName)
 
2026
        self.vfs_transport_factory = default_transport
 
2027
        self.transport_server = None
 
2028
        self.transport_readonly_server = None
 
2029
        self.__vfs_server = None
 
2030
 
 
2031
    def get_transport(self, relpath=None):
 
2032
        """Return a writeable transport.
 
2033
 
 
2034
        This transport is for the test scratch space relative to
 
2035
        "self._test_root"
 
2036
 
 
2037
        :param relpath: a path relative to the base url.
 
2038
        """
 
2039
        t = get_transport(self.get_url(relpath))
 
2040
        self.assertFalse(t.is_readonly())
 
2041
        return t
 
2042
 
 
2043
    def get_readonly_transport(self, relpath=None):
 
2044
        """Return a readonly transport for the test scratch space
 
2045
 
 
2046
        This can be used to test that operations which should only need
 
2047
        readonly access in fact do not try to write.
 
2048
 
 
2049
        :param relpath: a path relative to the base url.
 
2050
        """
 
2051
        t = get_transport(self.get_readonly_url(relpath))
 
2052
        self.assertTrue(t.is_readonly())
 
2053
        return t
 
2054
 
 
2055
    def create_transport_readonly_server(self):
 
2056
        """Create a transport server from class defined at init.
 
2057
 
 
2058
        This is mostly a hook for daughter classes.
 
2059
        """
 
2060
        return self.transport_readonly_server()
 
2061
 
 
2062
    def get_readonly_server(self):
 
2063
        """Get the server instance for the readonly transport
 
2064
 
 
2065
        This is useful for some tests with specific servers to do diagnostics.
 
2066
        """
 
2067
        if self.__readonly_server is None:
 
2068
            if self.transport_readonly_server is None:
 
2069
                # readonly decorator requested
 
2070
                # bring up the server
 
2071
                self.__readonly_server = ReadonlyServer()
 
2072
                self.__readonly_server.setUp(self.get_vfs_only_server())
 
2073
            else:
 
2074
                self.__readonly_server = self.create_transport_readonly_server()
 
2075
                self.__readonly_server.setUp(self.get_vfs_only_server())
 
2076
            self.addCleanup(self.__readonly_server.tearDown)
 
2077
        return self.__readonly_server
 
2078
 
 
2079
    def get_readonly_url(self, relpath=None):
 
2080
        """Get a URL for the readonly transport.
 
2081
 
 
2082
        This will either be backed by '.' or a decorator to the transport
 
2083
        used by self.get_url()
 
2084
        relpath provides for clients to get a path relative to the base url.
 
2085
        These should only be downwards relative, not upwards.
 
2086
        """
 
2087
        base = self.get_readonly_server().get_url()
 
2088
        return self._adjust_url(base, relpath)
 
2089
 
 
2090
    def get_vfs_only_server(self):
 
2091
        """Get the vfs only read/write server instance.
 
2092
 
 
2093
        This is useful for some tests with specific servers that need
 
2094
        diagnostics.
 
2095
 
 
2096
        For TestCaseWithMemoryTransport this is always a MemoryServer, and there
 
2097
        is no means to override it.
 
2098
        """
 
2099
        if self.__vfs_server is None:
 
2100
            self.__vfs_server = MemoryServer()
 
2101
            self.__vfs_server.setUp()
 
2102
            self.addCleanup(self.__vfs_server.tearDown)
 
2103
        return self.__vfs_server
 
2104
 
 
2105
    def get_server(self):
 
2106
        """Get the read/write server instance.
 
2107
 
 
2108
        This is useful for some tests with specific servers that need
 
2109
        diagnostics.
 
2110
 
 
2111
        This is built from the self.transport_server factory. If that is None,
 
2112
        then the self.get_vfs_server is returned.
 
2113
        """
 
2114
        if self.__server is None:
 
2115
            if self.transport_server is None or self.transport_server is self.vfs_transport_factory:
 
2116
                return self.get_vfs_only_server()
 
2117
            else:
 
2118
                # bring up a decorated means of access to the vfs only server.
 
2119
                self.__server = self.transport_server()
 
2120
                try:
 
2121
                    self.__server.setUp(self.get_vfs_only_server())
 
2122
                except TypeError, e:
 
2123
                    # This should never happen; the try:Except here is to assist
 
2124
                    # developers having to update code rather than seeing an
 
2125
                    # uninformative TypeError.
 
2126
                    raise Exception, "Old server API in use: %s, %s" % (self.__server, e)
 
2127
            self.addCleanup(self.__server.tearDown)
 
2128
        return self.__server
 
2129
 
 
2130
    def _adjust_url(self, base, relpath):
 
2131
        """Get a URL (or maybe a path) for the readwrite transport.
 
2132
 
 
2133
        This will either be backed by '.' or to an equivalent non-file based
 
2134
        facility.
 
2135
        relpath provides for clients to get a path relative to the base url.
 
2136
        These should only be downwards relative, not upwards.
 
2137
        """
 
2138
        if relpath is not None and relpath != '.':
 
2139
            if not base.endswith('/'):
 
2140
                base = base + '/'
 
2141
            # XXX: Really base should be a url; we did after all call
 
2142
            # get_url()!  But sometimes it's just a path (from
 
2143
            # LocalAbspathServer), and it'd be wrong to append urlescaped data
 
2144
            # to a non-escaped local path.
 
2145
            if base.startswith('./') or base.startswith('/'):
 
2146
                base += relpath
 
2147
            else:
 
2148
                base += urlutils.escape(relpath)
 
2149
        return base
 
2150
 
 
2151
    def get_url(self, relpath=None):
 
2152
        """Get a URL (or maybe a path) for the readwrite transport.
 
2153
 
 
2154
        This will either be backed by '.' or to an equivalent non-file based
 
2155
        facility.
 
2156
        relpath provides for clients to get a path relative to the base url.
 
2157
        These should only be downwards relative, not upwards.
 
2158
        """
 
2159
        base = self.get_server().get_url()
 
2160
        return self._adjust_url(base, relpath)
 
2161
 
 
2162
    def get_vfs_only_url(self, relpath=None):
 
2163
        """Get a URL (or maybe a path for the plain old vfs transport.
 
2164
 
 
2165
        This will never be a smart protocol.  It always has all the
 
2166
        capabilities of the local filesystem, but it might actually be a
 
2167
        MemoryTransport or some other similar virtual filesystem.
 
2168
 
 
2169
        This is the backing transport (if any) of the server returned by
 
2170
        get_url and get_readonly_url.
 
2171
 
 
2172
        :param relpath: provides for clients to get a path relative to the base
 
2173
            url.  These should only be downwards relative, not upwards.
 
2174
        :return: A URL
 
2175
        """
 
2176
        base = self.get_vfs_only_server().get_url()
 
2177
        return self._adjust_url(base, relpath)
 
2178
 
 
2179
    def _create_safety_net(self):
 
2180
        """Make a fake bzr directory.
 
2181
 
 
2182
        This prevents any tests propagating up onto the TEST_ROOT directory's
 
2183
        real branch.
 
2184
        """
 
2185
        root = TestCaseWithMemoryTransport.TEST_ROOT
 
2186
        bzrdir.BzrDir.create_standalone_workingtree(root)
 
2187
 
 
2188
    def _check_safety_net(self):
 
2189
        """Check that the safety .bzr directory have not been touched.
 
2190
 
 
2191
        _make_test_root have created a .bzr directory to prevent tests from
 
2192
        propagating. This method ensures than a test did not leaked.
 
2193
        """
 
2194
        root = TestCaseWithMemoryTransport.TEST_ROOT
 
2195
        wt = workingtree.WorkingTree.open(root)
 
2196
        last_rev = wt.last_revision()
 
2197
        if last_rev != 'null:':
 
2198
            # The current test have modified the /bzr directory, we need to
 
2199
            # recreate a new one or all the followng tests will fail.
 
2200
            # If you need to inspect its content uncomment the following line
 
2201
            # import pdb; pdb.set_trace()
 
2202
            _rmtree_temp_dir(root + '/.bzr')
 
2203
            self._create_safety_net()
 
2204
            raise AssertionError('%s/.bzr should not be modified' % root)
 
2205
 
 
2206
    def _make_test_root(self):
 
2207
        if TestCaseWithMemoryTransport.TEST_ROOT is None:
 
2208
            root = osutils.mkdtemp(prefix='testbzr-', suffix='.tmp')
 
2209
            TestCaseWithMemoryTransport.TEST_ROOT = root
 
2210
 
 
2211
            self._create_safety_net()
 
2212
 
 
2213
            # The same directory is used by all tests, and we're not
 
2214
            # specifically told when all tests are finished.  This will do.
 
2215
            atexit.register(_rmtree_temp_dir, root)
 
2216
 
 
2217
        self.addCleanup(self._check_safety_net)
 
2218
 
 
2219
    def makeAndChdirToTestDir(self):
 
2220
        """Create a temporary directories for this one test.
 
2221
 
 
2222
        This must set self.test_home_dir and self.test_dir and chdir to
 
2223
        self.test_dir.
 
2224
 
 
2225
        For TestCaseWithMemoryTransport we chdir to the TEST_ROOT for this test.
 
2226
        """
 
2227
        os.chdir(TestCaseWithMemoryTransport.TEST_ROOT)
 
2228
        self.test_dir = TestCaseWithMemoryTransport.TEST_ROOT
 
2229
        self.test_home_dir = self.test_dir + "/MemoryTransportMissingHomeDir"
 
2230
 
 
2231
    def make_branch(self, relpath, format=None):
 
2232
        """Create a branch on the transport at relpath."""
 
2233
        repo = self.make_repository(relpath, format=format)
 
2234
        return repo.bzrdir.create_branch()
 
2235
 
 
2236
    def make_bzrdir(self, relpath, format=None):
 
2237
        try:
 
2238
            # might be a relative or absolute path
 
2239
            maybe_a_url = self.get_url(relpath)
 
2240
            segments = maybe_a_url.rsplit('/', 1)
 
2241
            t = get_transport(maybe_a_url)
 
2242
            if len(segments) > 1 and segments[-1] not in ('', '.'):
 
2243
                t.ensure_base()
 
2244
            if format is None:
 
2245
                format = 'default'
 
2246
            if isinstance(format, basestring):
 
2247
                format = bzrdir.format_registry.make_bzrdir(format)
 
2248
            return format.initialize_on_transport(t)
 
2249
        except errors.UninitializableFormat:
 
2250
            raise TestSkipped("Format %s is not initializable." % format)
 
2251
 
 
2252
    def make_repository(self, relpath, shared=False, format=None):
 
2253
        """Create a repository on our default transport at relpath.
 
2254
 
 
2255
        Note that relpath must be a relative path, not a full url.
 
2256
        """
 
2257
        # FIXME: If you create a remoterepository this returns the underlying
 
2258
        # real format, which is incorrect.  Actually we should make sure that
 
2259
        # RemoteBzrDir returns a RemoteRepository.
 
2260
        # maybe  mbp 20070410
 
2261
        made_control = self.make_bzrdir(relpath, format=format)
 
2262
        return made_control.create_repository(shared=shared)
 
2263
 
 
2264
    def make_smart_server(self, path):
 
2265
        smart_server = server.SmartTCPServer_for_testing()
 
2266
        smart_server.setUp(self.get_server())
 
2267
        remote_transport = get_transport(smart_server.get_url()).clone(path)
 
2268
        self.addCleanup(smart_server.tearDown)
 
2269
        return remote_transport
 
2270
 
 
2271
    def make_branch_and_memory_tree(self, relpath, format=None):
 
2272
        """Create a branch on the default transport and a MemoryTree for it."""
 
2273
        b = self.make_branch(relpath, format=format)
 
2274
        return memorytree.MemoryTree.create_on_branch(b)
 
2275
 
 
2276
    def make_branch_builder(self, relpath, format=None):
 
2277
        branch = self.make_branch(relpath, format=format)
 
2278
        return branchbuilder.BranchBuilder(branch=branch)
 
2279
 
 
2280
    def overrideEnvironmentForTesting(self):
 
2281
        os.environ['HOME'] = self.test_home_dir
 
2282
        os.environ['BZR_HOME'] = self.test_home_dir
 
2283
 
 
2284
    def setUp(self):
 
2285
        super(TestCaseWithMemoryTransport, self).setUp()
 
2286
        self._make_test_root()
 
2287
        _currentdir = os.getcwdu()
 
2288
        def _leaveDirectory():
 
2289
            os.chdir(_currentdir)
 
2290
        self.addCleanup(_leaveDirectory)
 
2291
        self.makeAndChdirToTestDir()
 
2292
        self.overrideEnvironmentForTesting()
 
2293
        self.__readonly_server = None
 
2294
        self.__server = None
 
2295
        self.reduceLockdirTimeout()
 
2296
 
 
2297
    def setup_smart_server_with_call_log(self):
 
2298
        """Sets up a smart server as the transport server with a call log."""
 
2299
        self.transport_server = server.SmartTCPServer_for_testing
 
2300
        self.hpss_calls = []
 
2301
        import traceback
 
2302
        # Skip the current stack down to the caller of
 
2303
        # setup_smart_server_with_call_log
 
2304
        prefix_length = len(traceback.extract_stack()) - 2
 
2305
        def capture_hpss_call(params):
 
2306
            self.hpss_calls.append(
 
2307
                CapturedCall(params, prefix_length))
 
2308
        client._SmartClient.hooks.install_named_hook(
 
2309
            'call', capture_hpss_call, None)
 
2310
 
 
2311
    def reset_smart_call_log(self):
 
2312
        self.hpss_calls = []
 
2313
 
 
2314
 
 
2315
class TestCaseInTempDir(TestCaseWithMemoryTransport):
 
2316
    """Derived class that runs a test within a temporary directory.
 
2317
 
 
2318
    This is useful for tests that need to create a branch, etc.
 
2319
 
 
2320
    The directory is created in a slightly complex way: for each
 
2321
    Python invocation, a new temporary top-level directory is created.
 
2322
    All test cases create their own directory within that.  If the
 
2323
    tests complete successfully, the directory is removed.
 
2324
 
 
2325
    :ivar test_base_dir: The path of the top-level directory for this
 
2326
    test, which contains a home directory and a work directory.
 
2327
 
 
2328
    :ivar test_home_dir: An initially empty directory under test_base_dir
 
2329
    which is used as $HOME for this test.
 
2330
 
 
2331
    :ivar test_dir: A directory under test_base_dir used as the current
 
2332
    directory when the test proper is run.
 
2333
    """
 
2334
 
 
2335
    OVERRIDE_PYTHON = 'python'
 
2336
 
 
2337
    def check_file_contents(self, filename, expect):
 
2338
        self.log("check contents of file %s" % filename)
 
2339
        contents = file(filename, 'r').read()
 
2340
        if contents != expect:
 
2341
            self.log("expected: %r" % expect)
 
2342
            self.log("actually: %r" % contents)
 
2343
            self.fail("contents of %s not as expected" % filename)
 
2344
 
 
2345
    def _getTestDirPrefix(self):
 
2346
        # create a directory within the top level test directory
 
2347
        if sys.platform == 'win32':
 
2348
            name_prefix = re.sub('[<>*=+",:;_/\\-]', '_', self.id())
 
2349
            # windows is likely to have path-length limits so use a short name
 
2350
            name_prefix = name_prefix[-30:]
 
2351
        else:
 
2352
            name_prefix = re.sub('[/]', '_', self.id())
 
2353
        return name_prefix
 
2354
 
 
2355
    def makeAndChdirToTestDir(self):
 
2356
        """See TestCaseWithMemoryTransport.makeAndChdirToTestDir().
 
2357
 
 
2358
        For TestCaseInTempDir we create a temporary directory based on the test
 
2359
        name and then create two subdirs - test and home under it.
 
2360
        """
 
2361
        name_prefix = osutils.pathjoin(TestCaseWithMemoryTransport.TEST_ROOT,
 
2362
            self._getTestDirPrefix())
 
2363
        name = name_prefix
 
2364
        for i in range(100):
 
2365
            if os.path.exists(name):
 
2366
                name = name_prefix + '_' + str(i)
 
2367
            else:
 
2368
                os.mkdir(name)
 
2369
                break
 
2370
        # now create test and home directories within this dir
 
2371
        self.test_base_dir = name
 
2372
        self.test_home_dir = self.test_base_dir + '/home'
 
2373
        os.mkdir(self.test_home_dir)
 
2374
        self.test_dir = self.test_base_dir + '/work'
 
2375
        os.mkdir(self.test_dir)
 
2376
        os.chdir(self.test_dir)
 
2377
        # put name of test inside
 
2378
        f = file(self.test_base_dir + '/name', 'w')
 
2379
        try:
 
2380
            f.write(self.id())
 
2381
        finally:
 
2382
            f.close()
 
2383
        self.addCleanup(self.deleteTestDir)
 
2384
 
 
2385
    def deleteTestDir(self):
 
2386
        os.chdir(TestCaseWithMemoryTransport.TEST_ROOT)
 
2387
        _rmtree_temp_dir(self.test_base_dir)
 
2388
 
 
2389
    def build_tree(self, shape, line_endings='binary', transport=None):
 
2390
        """Build a test tree according to a pattern.
 
2391
 
 
2392
        shape is a sequence of file specifications.  If the final
 
2393
        character is '/', a directory is created.
 
2394
 
 
2395
        This assumes that all the elements in the tree being built are new.
 
2396
 
 
2397
        This doesn't add anything to a branch.
 
2398
 
 
2399
        :type shape:    list or tuple.
 
2400
        :param line_endings: Either 'binary' or 'native'
 
2401
            in binary mode, exact contents are written in native mode, the
 
2402
            line endings match the default platform endings.
 
2403
        :param transport: A transport to write to, for building trees on VFS's.
 
2404
            If the transport is readonly or None, "." is opened automatically.
 
2405
        :return: None
 
2406
        """
 
2407
        if type(shape) not in (list, tuple):
 
2408
            raise AssertionError("Parameter 'shape' should be "
 
2409
                "a list or a tuple. Got %r instead" % (shape,))
 
2410
        # It's OK to just create them using forward slashes on windows.
 
2411
        if transport is None or transport.is_readonly():
 
2412
            transport = get_transport(".")
 
2413
        for name in shape:
 
2414
            self.assertIsInstance(name, basestring)
 
2415
            if name[-1] == '/':
 
2416
                transport.mkdir(urlutils.escape(name[:-1]))
 
2417
            else:
 
2418
                if line_endings == 'binary':
 
2419
                    end = '\n'
 
2420
                elif line_endings == 'native':
 
2421
                    end = os.linesep
 
2422
                else:
 
2423
                    raise errors.BzrError(
 
2424
                        'Invalid line ending request %r' % line_endings)
 
2425
                content = "contents of %s%s" % (name.encode('utf-8'), end)
 
2426
                transport.put_bytes_non_atomic(urlutils.escape(name), content)
 
2427
 
 
2428
    def build_tree_contents(self, shape):
 
2429
        build_tree_contents(shape)
 
2430
 
 
2431
    def assertInWorkingTree(self, path, root_path='.', tree=None):
 
2432
        """Assert whether path or paths are in the WorkingTree"""
 
2433
        if tree is None:
 
2434
            tree = workingtree.WorkingTree.open(root_path)
 
2435
        if not isinstance(path, basestring):
 
2436
            for p in path:
 
2437
                self.assertInWorkingTree(p, tree=tree)
 
2438
        else:
 
2439
            self.assertIsNot(tree.path2id(path), None,
 
2440
                path+' not in working tree.')
 
2441
 
 
2442
    def assertNotInWorkingTree(self, path, root_path='.', tree=None):
 
2443
        """Assert whether path or paths are not in the WorkingTree"""
 
2444
        if tree is None:
 
2445
            tree = workingtree.WorkingTree.open(root_path)
 
2446
        if not isinstance(path, basestring):
 
2447
            for p in path:
 
2448
                self.assertNotInWorkingTree(p,tree=tree)
 
2449
        else:
 
2450
            self.assertIs(tree.path2id(path), None, path+' in working tree.')
 
2451
 
 
2452
 
 
2453
class TestCaseWithTransport(TestCaseInTempDir):
 
2454
    """A test case that provides get_url and get_readonly_url facilities.
 
2455
 
 
2456
    These back onto two transport servers, one for readonly access and one for
 
2457
    read write access.
 
2458
 
 
2459
    If no explicit class is provided for readonly access, a
 
2460
    ReadonlyTransportDecorator is used instead which allows the use of non disk
 
2461
    based read write transports.
 
2462
 
 
2463
    If an explicit class is provided for readonly access, that server and the
 
2464
    readwrite one must both define get_url() as resolving to os.getcwd().
 
2465
    """
 
2466
 
 
2467
    def get_vfs_only_server(self):
 
2468
        """See TestCaseWithMemoryTransport.
 
2469
 
 
2470
        This is useful for some tests with specific servers that need
 
2471
        diagnostics.
 
2472
        """
 
2473
        if self.__vfs_server is None:
 
2474
            self.__vfs_server = self.vfs_transport_factory()
 
2475
            self.__vfs_server.setUp()
 
2476
            self.addCleanup(self.__vfs_server.tearDown)
 
2477
        return self.__vfs_server
 
2478
 
 
2479
    def make_branch_and_tree(self, relpath, format=None):
 
2480
        """Create a branch on the transport and a tree locally.
 
2481
 
 
2482
        If the transport is not a LocalTransport, the Tree can't be created on
 
2483
        the transport.  In that case if the vfs_transport_factory is
 
2484
        LocalURLServer the working tree is created in the local
 
2485
        directory backing the transport, and the returned tree's branch and
 
2486
        repository will also be accessed locally. Otherwise a lightweight
 
2487
        checkout is created and returned.
 
2488
 
 
2489
        :param format: The BzrDirFormat.
 
2490
        :returns: the WorkingTree.
 
2491
        """
 
2492
        # TODO: always use the local disk path for the working tree,
 
2493
        # this obviously requires a format that supports branch references
 
2494
        # so check for that by checking bzrdir.BzrDirFormat.get_default_format()
 
2495
        # RBC 20060208
 
2496
        b = self.make_branch(relpath, format=format)
 
2497
        try:
 
2498
            return b.bzrdir.create_workingtree()
 
2499
        except errors.NotLocalUrl:
 
2500
            # We can only make working trees locally at the moment.  If the
 
2501
            # transport can't support them, then we keep the non-disk-backed
 
2502
            # branch and create a local checkout.
 
2503
            if self.vfs_transport_factory is LocalURLServer:
 
2504
                # the branch is colocated on disk, we cannot create a checkout.
 
2505
                # hopefully callers will expect this.
 
2506
                local_controldir= bzrdir.BzrDir.open(self.get_vfs_only_url(relpath))
 
2507
                wt = local_controldir.create_workingtree()
 
2508
                if wt.branch._format != b._format:
 
2509
                    wt._branch = b
 
2510
                    # Make sure that assigning to wt._branch fixes wt.branch,
 
2511
                    # in case the implementation details of workingtree objects
 
2512
                    # change.
 
2513
                    self.assertIs(b, wt.branch)
 
2514
                return wt
 
2515
            else:
 
2516
                return b.create_checkout(relpath, lightweight=True)
 
2517
 
 
2518
    def assertIsDirectory(self, relpath, transport):
 
2519
        """Assert that relpath within transport is a directory.
 
2520
 
 
2521
        This may not be possible on all transports; in that case it propagates
 
2522
        a TransportNotPossible.
 
2523
        """
 
2524
        try:
 
2525
            mode = transport.stat(relpath).st_mode
 
2526
        except errors.NoSuchFile:
 
2527
            self.fail("path %s is not a directory; no such file"
 
2528
                      % (relpath))
 
2529
        if not stat.S_ISDIR(mode):
 
2530
            self.fail("path %s is not a directory; has mode %#o"
 
2531
                      % (relpath, mode))
 
2532
 
 
2533
    def assertTreesEqual(self, left, right):
 
2534
        """Check that left and right have the same content and properties."""
 
2535
        # we use a tree delta to check for equality of the content, and we
 
2536
        # manually check for equality of other things such as the parents list.
 
2537
        self.assertEqual(left.get_parent_ids(), right.get_parent_ids())
 
2538
        differences = left.changes_from(right)
 
2539
        self.assertFalse(differences.has_changed(),
 
2540
            "Trees %r and %r are different: %r" % (left, right, differences))
 
2541
 
 
2542
    def setUp(self):
 
2543
        super(TestCaseWithTransport, self).setUp()
 
2544
        self.__vfs_server = None
 
2545
 
 
2546
 
 
2547
class ChrootedTestCase(TestCaseWithTransport):
 
2548
    """A support class that provides readonly urls outside the local namespace.
 
2549
 
 
2550
    This is done by checking if self.transport_server is a MemoryServer. if it
 
2551
    is then we are chrooted already, if it is not then an HttpServer is used
 
2552
    for readonly urls.
 
2553
 
 
2554
    TODO RBC 20060127: make this an option to TestCaseWithTransport so it can
 
2555
                       be used without needed to redo it when a different
 
2556
                       subclass is in use ?
 
2557
    """
 
2558
 
 
2559
    def setUp(self):
 
2560
        super(ChrootedTestCase, self).setUp()
 
2561
        if not self.vfs_transport_factory == MemoryServer:
 
2562
            self.transport_readonly_server = HttpServer
 
2563
 
 
2564
 
 
2565
def condition_id_re(pattern):
 
2566
    """Create a condition filter which performs a re check on a test's id.
 
2567
 
 
2568
    :param pattern: A regular expression string.
 
2569
    :return: A callable that returns True if the re matches.
 
2570
    """
 
2571
    filter_re = osutils.re_compile_checked(pattern, 0,
 
2572
        'test filter')
 
2573
    def condition(test):
 
2574
        test_id = test.id()
 
2575
        return filter_re.search(test_id)
 
2576
    return condition
 
2577
 
 
2578
 
 
2579
def condition_isinstance(klass_or_klass_list):
 
2580
    """Create a condition filter which returns isinstance(param, klass).
 
2581
 
 
2582
    :return: A callable which when called with one parameter obj return the
 
2583
        result of isinstance(obj, klass_or_klass_list).
 
2584
    """
 
2585
    def condition(obj):
 
2586
        return isinstance(obj, klass_or_klass_list)
 
2587
    return condition
 
2588
 
 
2589
 
 
2590
def condition_id_in_list(id_list):
 
2591
    """Create a condition filter which verify that test's id in a list.
 
2592
 
 
2593
    :param id_list: A TestIdList object.
 
2594
    :return: A callable that returns True if the test's id appears in the list.
 
2595
    """
 
2596
    def condition(test):
 
2597
        return id_list.includes(test.id())
 
2598
    return condition
 
2599
 
 
2600
 
 
2601
def condition_id_startswith(starts):
 
2602
    """Create a condition filter verifying that test's id starts with a string.
 
2603
 
 
2604
    :param starts: A list of string.
 
2605
    :return: A callable that returns True if the test's id starts with one of
 
2606
        the given strings.
 
2607
    """
 
2608
    def condition(test):
 
2609
        for start in starts:
 
2610
            if test.id().startswith(start):
 
2611
                return True
 
2612
        return False
 
2613
    return condition
 
2614
 
 
2615
 
 
2616
def exclude_tests_by_condition(suite, condition):
 
2617
    """Create a test suite which excludes some tests from suite.
 
2618
 
 
2619
    :param suite: The suite to get tests from.
 
2620
    :param condition: A callable whose result evaluates True when called with a
 
2621
        test case which should be excluded from the result.
 
2622
    :return: A suite which contains the tests found in suite that fail
 
2623
        condition.
 
2624
    """
 
2625
    result = []
 
2626
    for test in iter_suite_tests(suite):
 
2627
        if not condition(test):
 
2628
            result.append(test)
 
2629
    return TestUtil.TestSuite(result)
 
2630
 
 
2631
 
 
2632
def filter_suite_by_condition(suite, condition):
 
2633
    """Create a test suite by filtering another one.
 
2634
 
 
2635
    :param suite: The source suite.
 
2636
    :param condition: A callable whose result evaluates True when called with a
 
2637
        test case which should be included in the result.
 
2638
    :return: A suite which contains the tests found in suite that pass
 
2639
        condition.
 
2640
    """
 
2641
    result = []
 
2642
    for test in iter_suite_tests(suite):
 
2643
        if condition(test):
 
2644
            result.append(test)
 
2645
    return TestUtil.TestSuite(result)
 
2646
 
 
2647
 
 
2648
def filter_suite_by_re(suite, pattern):
 
2649
    """Create a test suite by filtering another one.
 
2650
 
 
2651
    :param suite:           the source suite
 
2652
    :param pattern:         pattern that names must match
 
2653
    :returns: the newly created suite
 
2654
    """
 
2655
    condition = condition_id_re(pattern)
 
2656
    result_suite = filter_suite_by_condition(suite, condition)
 
2657
    return result_suite
 
2658
 
 
2659
 
 
2660
def filter_suite_by_id_list(suite, test_id_list):
 
2661
    """Create a test suite by filtering another one.
 
2662
 
 
2663
    :param suite: The source suite.
 
2664
    :param test_id_list: A list of the test ids to keep as strings.
 
2665
    :returns: the newly created suite
 
2666
    """
 
2667
    condition = condition_id_in_list(test_id_list)
 
2668
    result_suite = filter_suite_by_condition(suite, condition)
 
2669
    return result_suite
 
2670
 
 
2671
 
 
2672
def filter_suite_by_id_startswith(suite, start):
 
2673
    """Create a test suite by filtering another one.
 
2674
 
 
2675
    :param suite: The source suite.
 
2676
    :param start: A list of string the test id must start with one of.
 
2677
    :returns: the newly created suite
 
2678
    """
 
2679
    condition = condition_id_startswith(start)
 
2680
    result_suite = filter_suite_by_condition(suite, condition)
 
2681
    return result_suite
 
2682
 
 
2683
 
 
2684
def exclude_tests_by_re(suite, pattern):
 
2685
    """Create a test suite which excludes some tests from suite.
 
2686
 
 
2687
    :param suite: The suite to get tests from.
 
2688
    :param pattern: A regular expression string. Test ids that match this
 
2689
        pattern will be excluded from the result.
 
2690
    :return: A TestSuite that contains all the tests from suite without the
 
2691
        tests that matched pattern. The order of tests is the same as it was in
 
2692
        suite.
 
2693
    """
 
2694
    return exclude_tests_by_condition(suite, condition_id_re(pattern))
 
2695
 
 
2696
 
 
2697
def preserve_input(something):
 
2698
    """A helper for performing test suite transformation chains.
 
2699
 
 
2700
    :param something: Anything you want to preserve.
 
2701
    :return: Something.
 
2702
    """
 
2703
    return something
 
2704
 
 
2705
 
 
2706
def randomize_suite(suite):
 
2707
    """Return a new TestSuite with suite's tests in random order.
 
2708
 
 
2709
    The tests in the input suite are flattened into a single suite in order to
 
2710
    accomplish this. Any nested TestSuites are removed to provide global
 
2711
    randomness.
 
2712
    """
 
2713
    tests = list(iter_suite_tests(suite))
 
2714
    random.shuffle(tests)
 
2715
    return TestUtil.TestSuite(tests)
 
2716
 
 
2717
 
 
2718
def split_suite_by_condition(suite, condition):
 
2719
    """Split a test suite into two by a condition.
 
2720
 
 
2721
    :param suite: The suite to split.
 
2722
    :param condition: The condition to match on. Tests that match this
 
2723
        condition are returned in the first test suite, ones that do not match
 
2724
        are in the second suite.
 
2725
    :return: A tuple of two test suites, where the first contains tests from
 
2726
        suite matching the condition, and the second contains the remainder
 
2727
        from suite. The order within each output suite is the same as it was in
 
2728
        suite.
 
2729
    """
 
2730
    matched = []
 
2731
    did_not_match = []
 
2732
    for test in iter_suite_tests(suite):
 
2733
        if condition(test):
 
2734
            matched.append(test)
 
2735
        else:
 
2736
            did_not_match.append(test)
 
2737
    return TestUtil.TestSuite(matched), TestUtil.TestSuite(did_not_match)
 
2738
 
 
2739
 
 
2740
def split_suite_by_re(suite, pattern):
 
2741
    """Split a test suite into two by a regular expression.
 
2742
 
 
2743
    :param suite: The suite to split.
 
2744
    :param pattern: A regular expression string. Test ids that match this
 
2745
        pattern will be in the first test suite returned, and the others in the
 
2746
        second test suite returned.
 
2747
    :return: A tuple of two test suites, where the first contains tests from
 
2748
        suite matching pattern, and the second contains the remainder from
 
2749
        suite. The order within each output suite is the same as it was in
 
2750
        suite.
 
2751
    """
 
2752
    return split_suite_by_condition(suite, condition_id_re(pattern))
 
2753
 
 
2754
 
 
2755
def run_suite(suite, name='test', verbose=False, pattern=".*",
 
2756
              stop_on_failure=False,
 
2757
              transport=None, lsprof_timed=None, bench_history=None,
 
2758
              matching_tests_first=None,
 
2759
              list_only=False,
 
2760
              random_seed=None,
 
2761
              exclude_pattern=None,
 
2762
              strict=False,
 
2763
              runner_class=None,
 
2764
              suite_decorators=None,
 
2765
              stream=None):
 
2766
    """Run a test suite for bzr selftest.
 
2767
 
 
2768
    :param runner_class: The class of runner to use. Must support the
 
2769
        constructor arguments passed by run_suite which are more than standard
 
2770
        python uses.
 
2771
    :return: A boolean indicating success.
 
2772
    """
 
2773
    TestCase._gather_lsprof_in_benchmarks = lsprof_timed
 
2774
    if verbose:
 
2775
        verbosity = 2
 
2776
    else:
 
2777
        verbosity = 1
 
2778
    if runner_class is None:
 
2779
        runner_class = TextTestRunner
 
2780
    if stream is None:
 
2781
        stream = sys.stdout
 
2782
    runner = runner_class(stream=stream,
 
2783
                            descriptions=0,
 
2784
                            verbosity=verbosity,
 
2785
                            bench_history=bench_history,
 
2786
                            list_only=list_only,
 
2787
                            strict=strict,
 
2788
                            )
 
2789
    runner.stop_on_failure=stop_on_failure
 
2790
    # built in decorator factories:
 
2791
    decorators = [
 
2792
        random_order(random_seed, runner),
 
2793
        exclude_tests(exclude_pattern),
 
2794
        ]
 
2795
    if matching_tests_first:
 
2796
        decorators.append(tests_first(pattern))
 
2797
    else:
 
2798
        decorators.append(filter_tests(pattern))
 
2799
    if suite_decorators:
 
2800
        decorators.extend(suite_decorators)
 
2801
    # tell the result object how many tests will be running:
 
2802
    decorators.append(CountingDecorator)
 
2803
    for decorator in decorators:
 
2804
        suite = decorator(suite)
 
2805
    result = runner.run(suite)
 
2806
    if list_only:
 
2807
        return True
 
2808
    result.done()
 
2809
    if strict:
 
2810
        return result.wasStrictlySuccessful()
 
2811
    else:
 
2812
        return result.wasSuccessful()
 
2813
 
 
2814
 
 
2815
# A registry where get() returns a suite decorator.
 
2816
parallel_registry = registry.Registry()
 
2817
 
 
2818
 
 
2819
def fork_decorator(suite):
 
2820
    concurrency = osutils.local_concurrency()
 
2821
    if concurrency == 1:
 
2822
        return suite
 
2823
    from testtools import ConcurrentTestSuite
 
2824
    return ConcurrentTestSuite(suite, fork_for_tests)
 
2825
parallel_registry.register('fork', fork_decorator)
 
2826
 
 
2827
 
 
2828
def subprocess_decorator(suite):
 
2829
    concurrency = osutils.local_concurrency()
 
2830
    if concurrency == 1:
 
2831
        return suite
 
2832
    from testtools import ConcurrentTestSuite
 
2833
    return ConcurrentTestSuite(suite, reinvoke_for_tests)
 
2834
parallel_registry.register('subprocess', subprocess_decorator)
 
2835
 
 
2836
 
 
2837
def exclude_tests(exclude_pattern):
 
2838
    """Return a test suite decorator that excludes tests."""
 
2839
    if exclude_pattern is None:
 
2840
        return identity_decorator
 
2841
    def decorator(suite):
 
2842
        return ExcludeDecorator(suite, exclude_pattern)
 
2843
    return decorator
 
2844
 
 
2845
 
 
2846
def filter_tests(pattern):
 
2847
    if pattern == '.*':
 
2848
        return identity_decorator
 
2849
    def decorator(suite):
 
2850
        return FilterTestsDecorator(suite, pattern)
 
2851
    return decorator
 
2852
 
 
2853
 
 
2854
def random_order(random_seed, runner):
 
2855
    """Return a test suite decorator factory for randomising tests order.
 
2856
    
 
2857
    :param random_seed: now, a string which casts to a long, or a long.
 
2858
    :param runner: A test runner with a stream attribute to report on.
 
2859
    """
 
2860
    if random_seed is None:
 
2861
        return identity_decorator
 
2862
    def decorator(suite):
 
2863
        return RandomDecorator(suite, random_seed, runner.stream)
 
2864
    return decorator
 
2865
 
 
2866
 
 
2867
def tests_first(pattern):
 
2868
    if pattern == '.*':
 
2869
        return identity_decorator
 
2870
    def decorator(suite):
 
2871
        return TestFirstDecorator(suite, pattern)
 
2872
    return decorator
 
2873
 
 
2874
 
 
2875
def identity_decorator(suite):
 
2876
    """Return suite."""
 
2877
    return suite
 
2878
 
 
2879
 
 
2880
class TestDecorator(TestSuite):
 
2881
    """A decorator for TestCase/TestSuite objects.
 
2882
    
 
2883
    Usually, subclasses should override __iter__(used when flattening test
 
2884
    suites), which we do to filter, reorder, parallelise and so on, run() and
 
2885
    debug().
 
2886
    """
 
2887
 
 
2888
    def __init__(self, suite):
 
2889
        TestSuite.__init__(self)
 
2890
        self.addTest(suite)
 
2891
 
 
2892
    def countTestCases(self):
 
2893
        cases = 0
 
2894
        for test in self:
 
2895
            cases += test.countTestCases()
 
2896
        return cases
 
2897
 
 
2898
    def debug(self):
 
2899
        for test in self:
 
2900
            test.debug()
 
2901
 
 
2902
    def run(self, result):
 
2903
        # Use iteration on self, not self._tests, to allow subclasses to hook
 
2904
        # into __iter__.
 
2905
        for test in self:
 
2906
            if result.shouldStop:
 
2907
                break
 
2908
            test.run(result)
 
2909
        return result
 
2910
 
 
2911
 
 
2912
class CountingDecorator(TestDecorator):
 
2913
    """A decorator which calls result.progress(self.countTestCases)."""
 
2914
 
 
2915
    def run(self, result):
 
2916
        progress_method = getattr(result, 'progress', None)
 
2917
        if callable(progress_method):
 
2918
            progress_method(self.countTestCases(), SUBUNIT_SEEK_SET)
 
2919
        return super(CountingDecorator, self).run(result)
 
2920
 
 
2921
 
 
2922
class ExcludeDecorator(TestDecorator):
 
2923
    """A decorator which excludes test matching an exclude pattern."""
 
2924
 
 
2925
    def __init__(self, suite, exclude_pattern):
 
2926
        TestDecorator.__init__(self, suite)
 
2927
        self.exclude_pattern = exclude_pattern
 
2928
        self.excluded = False
 
2929
 
 
2930
    def __iter__(self):
 
2931
        if self.excluded:
 
2932
            return iter(self._tests)
 
2933
        self.excluded = True
 
2934
        suite = exclude_tests_by_re(self, self.exclude_pattern)
 
2935
        del self._tests[:]
 
2936
        self.addTests(suite)
 
2937
        return iter(self._tests)
 
2938
 
 
2939
 
 
2940
class FilterTestsDecorator(TestDecorator):
 
2941
    """A decorator which filters tests to those matching a pattern."""
 
2942
 
 
2943
    def __init__(self, suite, pattern):
 
2944
        TestDecorator.__init__(self, suite)
 
2945
        self.pattern = pattern
 
2946
        self.filtered = False
 
2947
 
 
2948
    def __iter__(self):
 
2949
        if self.filtered:
 
2950
            return iter(self._tests)
 
2951
        self.filtered = True
 
2952
        suite = filter_suite_by_re(self, self.pattern)
 
2953
        del self._tests[:]
 
2954
        self.addTests(suite)
 
2955
        return iter(self._tests)
 
2956
 
 
2957
 
 
2958
class RandomDecorator(TestDecorator):
 
2959
    """A decorator which randomises the order of its tests."""
 
2960
 
 
2961
    def __init__(self, suite, random_seed, stream):
 
2962
        TestDecorator.__init__(self, suite)
 
2963
        self.random_seed = random_seed
 
2964
        self.randomised = False
 
2965
        self.stream = stream
 
2966
 
 
2967
    def __iter__(self):
 
2968
        if self.randomised:
 
2969
            return iter(self._tests)
 
2970
        self.randomised = True
 
2971
        self.stream.writeln("Randomizing test order using seed %s\n" %
 
2972
            (self.actual_seed()))
 
2973
        # Initialise the random number generator.
 
2974
        random.seed(self.actual_seed())
 
2975
        suite = randomize_suite(self)
 
2976
        del self._tests[:]
 
2977
        self.addTests(suite)
 
2978
        return iter(self._tests)
 
2979
 
 
2980
    def actual_seed(self):
 
2981
        if self.random_seed == "now":
 
2982
            # We convert the seed to a long to make it reuseable across
 
2983
            # invocations (because the user can reenter it).
 
2984
            self.random_seed = long(time.time())
 
2985
        else:
 
2986
            # Convert the seed to a long if we can
 
2987
            try:
 
2988
                self.random_seed = long(self.random_seed)
 
2989
            except:
 
2990
                pass
 
2991
        return self.random_seed
 
2992
 
 
2993
 
 
2994
class TestFirstDecorator(TestDecorator):
 
2995
    """A decorator which moves named tests to the front."""
 
2996
 
 
2997
    def __init__(self, suite, pattern):
 
2998
        TestDecorator.__init__(self, suite)
 
2999
        self.pattern = pattern
 
3000
        self.filtered = False
 
3001
 
 
3002
    def __iter__(self):
 
3003
        if self.filtered:
 
3004
            return iter(self._tests)
 
3005
        self.filtered = True
 
3006
        suites = split_suite_by_re(self, self.pattern)
 
3007
        del self._tests[:]
 
3008
        self.addTests(suites)
 
3009
        return iter(self._tests)
 
3010
 
 
3011
 
 
3012
def partition_tests(suite, count):
 
3013
    """Partition suite into count lists of tests."""
 
3014
    result = []
 
3015
    tests = list(iter_suite_tests(suite))
 
3016
    tests_per_process = int(math.ceil(float(len(tests)) / count))
 
3017
    for block in range(count):
 
3018
        low_test = block * tests_per_process
 
3019
        high_test = low_test + tests_per_process
 
3020
        process_tests = tests[low_test:high_test]
 
3021
        result.append(process_tests)
 
3022
    return result
 
3023
 
 
3024
 
 
3025
def fork_for_tests(suite):
 
3026
    """Take suite and start up one runner per CPU by forking()
 
3027
 
 
3028
    :return: An iterable of TestCase-like objects which can each have
 
3029
        run(result) called on them to feed tests to result.
 
3030
    """
 
3031
    concurrency = osutils.local_concurrency()
 
3032
    result = []
 
3033
    from subunit import TestProtocolClient, ProtocolTestCase
 
3034
    try:
 
3035
        from subunit.test_results import AutoTimingTestResultDecorator
 
3036
    except ImportError:
 
3037
        AutoTimingTestResultDecorator = lambda x:x
 
3038
    class TestInOtherProcess(ProtocolTestCase):
 
3039
        # Should be in subunit, I think. RBC.
 
3040
        def __init__(self, stream, pid):
 
3041
            ProtocolTestCase.__init__(self, stream)
 
3042
            self.pid = pid
 
3043
 
 
3044
        def run(self, result):
 
3045
            try:
 
3046
                ProtocolTestCase.run(self, result)
 
3047
            finally:
 
3048
                os.waitpid(self.pid, os.WNOHANG)
 
3049
 
 
3050
    test_blocks = partition_tests(suite, concurrency)
 
3051
    for process_tests in test_blocks:
 
3052
        process_suite = TestSuite()
 
3053
        process_suite.addTests(process_tests)
 
3054
        c2pread, c2pwrite = os.pipe()
 
3055
        pid = os.fork()
 
3056
        if pid == 0:
 
3057
            try:
 
3058
                os.close(c2pread)
 
3059
                # Leave stderr and stdout open so we can see test noise
 
3060
                # Close stdin so that the child goes away if it decides to
 
3061
                # read from stdin (otherwise its a roulette to see what
 
3062
                # child actually gets keystrokes for pdb etc).
 
3063
                sys.stdin.close()
 
3064
                sys.stdin = None
 
3065
                stream = os.fdopen(c2pwrite, 'wb', 1)
 
3066
                subunit_result = AutoTimingTestResultDecorator(
 
3067
                    TestProtocolClient(stream))
 
3068
                process_suite.run(subunit_result)
 
3069
            finally:
 
3070
                os._exit(0)
 
3071
        else:
 
3072
            os.close(c2pwrite)
 
3073
            stream = os.fdopen(c2pread, 'rb', 1)
 
3074
            test = TestInOtherProcess(stream, pid)
 
3075
            result.append(test)
 
3076
    return result
 
3077
 
 
3078
 
 
3079
def reinvoke_for_tests(suite):
 
3080
    """Take suite and start up one runner per CPU using subprocess().
 
3081
 
 
3082
    :return: An iterable of TestCase-like objects which can each have
 
3083
        run(result) called on them to feed tests to result.
 
3084
    """
 
3085
    concurrency = osutils.local_concurrency()
 
3086
    result = []
 
3087
    from subunit import ProtocolTestCase
 
3088
    class TestInSubprocess(ProtocolTestCase):
 
3089
        def __init__(self, process, name):
 
3090
            ProtocolTestCase.__init__(self, process.stdout)
 
3091
            self.process = process
 
3092
            self.process.stdin.close()
 
3093
            self.name = name
 
3094
 
 
3095
        def run(self, result):
 
3096
            try:
 
3097
                ProtocolTestCase.run(self, result)
 
3098
            finally:
 
3099
                self.process.wait()
 
3100
                os.unlink(self.name)
 
3101
            # print "pid %d finished" % finished_process
 
3102
    test_blocks = partition_tests(suite, concurrency)
 
3103
    for process_tests in test_blocks:
 
3104
        # ugly; currently reimplement rather than reuses TestCase methods.
 
3105
        bzr_path = os.path.dirname(os.path.dirname(bzrlib.__file__))+'/bzr'
 
3106
        if not os.path.isfile(bzr_path):
 
3107
            # We are probably installed. Assume sys.argv is the right file
 
3108
            bzr_path = sys.argv[0]
 
3109
        fd, test_list_file_name = tempfile.mkstemp()
 
3110
        test_list_file = os.fdopen(fd, 'wb', 1)
 
3111
        for test in process_tests:
 
3112
            test_list_file.write(test.id() + '\n')
 
3113
        test_list_file.close()
 
3114
        try:
 
3115
            argv = [bzr_path, 'selftest', '--load-list', test_list_file_name,
 
3116
                '--subunit']
 
3117
            if '--no-plugins' in sys.argv:
 
3118
                argv.append('--no-plugins')
 
3119
            # stderr=STDOUT would be ideal, but until we prevent noise on
 
3120
            # stderr it can interrupt the subunit protocol.
 
3121
            process = Popen(argv, stdin=PIPE, stdout=PIPE, stderr=PIPE,
 
3122
                bufsize=1)
 
3123
            test = TestInSubprocess(process, test_list_file_name)
 
3124
            result.append(test)
 
3125
        except:
 
3126
            os.unlink(test_list_file_name)
 
3127
            raise
 
3128
    return result
 
3129
 
 
3130
 
 
3131
class BZRTransformingResult(unittest.TestResult):
 
3132
 
 
3133
    def __init__(self, target):
 
3134
        unittest.TestResult.__init__(self)
 
3135
        self.result = target
 
3136
 
 
3137
    def startTest(self, test):
 
3138
        self.result.startTest(test)
 
3139
 
 
3140
    def stopTest(self, test):
 
3141
        self.result.stopTest(test)
 
3142
 
 
3143
    def addError(self, test, err):
 
3144
        feature = self._error_looks_like('UnavailableFeature: ', err)
 
3145
        if feature is not None:
 
3146
            self.result.addNotSupported(test, feature)
 
3147
        else:
 
3148
            self.result.addError(test, err)
 
3149
 
 
3150
    def addFailure(self, test, err):
 
3151
        known = self._error_looks_like('KnownFailure: ', err)
 
3152
        if known is not None:
 
3153
            self.result._addKnownFailure(test, [KnownFailure,
 
3154
                                                KnownFailure(known), None])
 
3155
        else:
 
3156
            self.result.addFailure(test, err)
 
3157
 
 
3158
    def addSkip(self, test, reason):
 
3159
        self.result.addSkip(test, reason)
 
3160
 
 
3161
    def addSuccess(self, test):
 
3162
        self.result.addSuccess(test)
 
3163
 
 
3164
    def _error_looks_like(self, prefix, err):
 
3165
        """Deserialize exception and returns the stringify value."""
 
3166
        import subunit
 
3167
        value = None
 
3168
        typ, exc, _ = err
 
3169
        if isinstance(exc, subunit.RemoteException):
 
3170
            # stringify the exception gives access to the remote traceback
 
3171
            # We search the last line for 'prefix'
 
3172
            lines = str(exc).split('\n')
 
3173
            while lines and not lines[-1]:
 
3174
                lines.pop(-1)
 
3175
            if lines:
 
3176
                if lines[-1].startswith(prefix):
 
3177
                    value = lines[-1][len(prefix):]
 
3178
        return value
 
3179
 
 
3180
 
 
3181
# Controlled by "bzr selftest -E=..." option
 
3182
# Currently supported:
 
3183
#   -Eallow_debug           Will no longer clear debug.debug_flags() so it
 
3184
#                           preserves any flags supplied at the command line.
 
3185
#   -Edisable_lock_checks   Turns errors in mismatched locks into simple prints
 
3186
#                           rather than failing tests. And no longer raise
 
3187
#                           LockContention when fctnl locks are not being used
 
3188
#                           with proper exclusion rules.
 
3189
selftest_debug_flags = set()
 
3190
 
 
3191
 
 
3192
def selftest(verbose=False, pattern=".*", stop_on_failure=True,
 
3193
             transport=None,
 
3194
             test_suite_factory=None,
 
3195
             lsprof_timed=None,
 
3196
             bench_history=None,
 
3197
             matching_tests_first=None,
 
3198
             list_only=False,
 
3199
             random_seed=None,
 
3200
             exclude_pattern=None,
 
3201
             strict=False,
 
3202
             load_list=None,
 
3203
             debug_flags=None,
 
3204
             starting_with=None,
 
3205
             runner_class=None,
 
3206
             suite_decorators=None,
 
3207
             ):
 
3208
    """Run the whole test suite under the enhanced runner"""
 
3209
    # XXX: Very ugly way to do this...
 
3210
    # Disable warning about old formats because we don't want it to disturb
 
3211
    # any blackbox tests.
 
3212
    from bzrlib import repository
 
3213
    repository._deprecation_warning_done = True
 
3214
 
 
3215
    global default_transport
 
3216
    if transport is None:
 
3217
        transport = default_transport
 
3218
    old_transport = default_transport
 
3219
    default_transport = transport
 
3220
    global selftest_debug_flags
 
3221
    old_debug_flags = selftest_debug_flags
 
3222
    if debug_flags is not None:
 
3223
        selftest_debug_flags = set(debug_flags)
 
3224
    try:
 
3225
        if load_list is None:
 
3226
            keep_only = None
 
3227
        else:
 
3228
            keep_only = load_test_id_list(load_list)
 
3229
        if test_suite_factory is None:
 
3230
            suite = test_suite(keep_only, starting_with)
 
3231
        else:
 
3232
            suite = test_suite_factory()
 
3233
        return run_suite(suite, 'testbzr', verbose=verbose, pattern=pattern,
 
3234
                     stop_on_failure=stop_on_failure,
 
3235
                     transport=transport,
 
3236
                     lsprof_timed=lsprof_timed,
 
3237
                     bench_history=bench_history,
 
3238
                     matching_tests_first=matching_tests_first,
 
3239
                     list_only=list_only,
 
3240
                     random_seed=random_seed,
 
3241
                     exclude_pattern=exclude_pattern,
 
3242
                     strict=strict,
 
3243
                     runner_class=runner_class,
 
3244
                     suite_decorators=suite_decorators,
 
3245
                     )
 
3246
    finally:
 
3247
        default_transport = old_transport
 
3248
        selftest_debug_flags = old_debug_flags
 
3249
 
 
3250
 
 
3251
def load_test_id_list(file_name):
 
3252
    """Load a test id list from a text file.
 
3253
 
 
3254
    The format is one test id by line.  No special care is taken to impose
 
3255
    strict rules, these test ids are used to filter the test suite so a test id
 
3256
    that do not match an existing test will do no harm. This allows user to add
 
3257
    comments, leave blank lines, etc.
 
3258
    """
 
3259
    test_list = []
 
3260
    try:
 
3261
        ftest = open(file_name, 'rt')
 
3262
    except IOError, e:
 
3263
        if e.errno != errno.ENOENT:
 
3264
            raise
 
3265
        else:
 
3266
            raise errors.NoSuchFile(file_name)
 
3267
 
 
3268
    for test_name in ftest.readlines():
 
3269
        test_list.append(test_name.strip())
 
3270
    ftest.close()
 
3271
    return test_list
 
3272
 
 
3273
 
 
3274
def suite_matches_id_list(test_suite, id_list):
 
3275
    """Warns about tests not appearing or appearing more than once.
 
3276
 
 
3277
    :param test_suite: A TestSuite object.
 
3278
    :param test_id_list: The list of test ids that should be found in
 
3279
         test_suite.
 
3280
 
 
3281
    :return: (absents, duplicates) absents is a list containing the test found
 
3282
        in id_list but not in test_suite, duplicates is a list containing the
 
3283
        test found multiple times in test_suite.
 
3284
 
 
3285
    When using a prefined test id list, it may occurs that some tests do not
 
3286
    exist anymore or that some tests use the same id. This function warns the
 
3287
    tester about potential problems in his workflow (test lists are volatile)
 
3288
    or in the test suite itself (using the same id for several tests does not
 
3289
    help to localize defects).
 
3290
    """
 
3291
    # Build a dict counting id occurrences
 
3292
    tests = dict()
 
3293
    for test in iter_suite_tests(test_suite):
 
3294
        id = test.id()
 
3295
        tests[id] = tests.get(id, 0) + 1
 
3296
 
 
3297
    not_found = []
 
3298
    duplicates = []
 
3299
    for id in id_list:
 
3300
        occurs = tests.get(id, 0)
 
3301
        if not occurs:
 
3302
            not_found.append(id)
 
3303
        elif occurs > 1:
 
3304
            duplicates.append(id)
 
3305
 
 
3306
    return not_found, duplicates
 
3307
 
 
3308
 
 
3309
class TestIdList(object):
 
3310
    """Test id list to filter a test suite.
 
3311
 
 
3312
    Relying on the assumption that test ids are built as:
 
3313
    <module>[.<class>.<method>][(<param>+)], <module> being in python dotted
 
3314
    notation, this class offers methods to :
 
3315
    - avoid building a test suite for modules not refered to in the test list,
 
3316
    - keep only the tests listed from the module test suite.
 
3317
    """
 
3318
 
 
3319
    def __init__(self, test_id_list):
 
3320
        # When a test suite needs to be filtered against us we compare test ids
 
3321
        # for equality, so a simple dict offers a quick and simple solution.
 
3322
        self.tests = dict().fromkeys(test_id_list, True)
 
3323
 
 
3324
        # While unittest.TestCase have ids like:
 
3325
        # <module>.<class>.<method>[(<param+)],
 
3326
        # doctest.DocTestCase can have ids like:
 
3327
        # <module>
 
3328
        # <module>.<class>
 
3329
        # <module>.<function>
 
3330
        # <module>.<class>.<method>
 
3331
 
 
3332
        # Since we can't predict a test class from its name only, we settle on
 
3333
        # a simple constraint: a test id always begins with its module name.
 
3334
 
 
3335
        modules = {}
 
3336
        for test_id in test_id_list:
 
3337
            parts = test_id.split('.')
 
3338
            mod_name = parts.pop(0)
 
3339
            modules[mod_name] = True
 
3340
            for part in parts:
 
3341
                mod_name += '.' + part
 
3342
                modules[mod_name] = True
 
3343
        self.modules = modules
 
3344
 
 
3345
    def refers_to(self, module_name):
 
3346
        """Is there tests for the module or one of its sub modules."""
 
3347
        return self.modules.has_key(module_name)
 
3348
 
 
3349
    def includes(self, test_id):
 
3350
        return self.tests.has_key(test_id)
 
3351
 
 
3352
 
 
3353
class TestPrefixAliasRegistry(registry.Registry):
 
3354
    """A registry for test prefix aliases.
 
3355
 
 
3356
    This helps implement shorcuts for the --starting-with selftest
 
3357
    option. Overriding existing prefixes is not allowed but not fatal (a
 
3358
    warning will be emitted).
 
3359
    """
 
3360
 
 
3361
    def register(self, key, obj, help=None, info=None,
 
3362
                 override_existing=False):
 
3363
        """See Registry.register.
 
3364
 
 
3365
        Trying to override an existing alias causes a warning to be emitted,
 
3366
        not a fatal execption.
 
3367
        """
 
3368
        try:
 
3369
            super(TestPrefixAliasRegistry, self).register(
 
3370
                key, obj, help=help, info=info, override_existing=False)
 
3371
        except KeyError:
 
3372
            actual = self.get(key)
 
3373
            note('Test prefix alias %s is already used for %s, ignoring %s'
 
3374
                 % (key, actual, obj))
 
3375
 
 
3376
    def resolve_alias(self, id_start):
 
3377
        """Replace the alias by the prefix in the given string.
 
3378
 
 
3379
        Using an unknown prefix is an error to help catching typos.
 
3380
        """
 
3381
        parts = id_start.split('.')
 
3382
        try:
 
3383
            parts[0] = self.get(parts[0])
 
3384
        except KeyError:
 
3385
            raise errors.BzrCommandError(
 
3386
                '%s is not a known test prefix alias' % parts[0])
 
3387
        return '.'.join(parts)
 
3388
 
 
3389
 
 
3390
test_prefix_alias_registry = TestPrefixAliasRegistry()
 
3391
"""Registry of test prefix aliases."""
 
3392
 
 
3393
 
 
3394
# This alias allows to detect typos ('bzrlin.') by making all valid test ids
 
3395
# appear prefixed ('bzrlib.' is "replaced" by 'bzrlib.').
 
3396
test_prefix_alias_registry.register('bzrlib', 'bzrlib')
 
3397
 
 
3398
# Obvious higest levels prefixes, feel free to add your own via a plugin
 
3399
test_prefix_alias_registry.register('bd', 'bzrlib.doc')
 
3400
test_prefix_alias_registry.register('bu', 'bzrlib.utils')
 
3401
test_prefix_alias_registry.register('bt', 'bzrlib.tests')
 
3402
test_prefix_alias_registry.register('bb', 'bzrlib.tests.blackbox')
 
3403
test_prefix_alias_registry.register('bp', 'bzrlib.plugins')
 
3404
 
 
3405
 
 
3406
def test_suite(keep_only=None, starting_with=None):
 
3407
    """Build and return TestSuite for the whole of bzrlib.
 
3408
 
 
3409
    :param keep_only: A list of test ids limiting the suite returned.
 
3410
 
 
3411
    :param starting_with: An id limiting the suite returned to the tests
 
3412
         starting with it.
 
3413
 
 
3414
    This function can be replaced if you need to change the default test
 
3415
    suite on a global basis, but it is not encouraged.
 
3416
    """
 
3417
    testmod_names = [
 
3418
                   'bzrlib.doc',
 
3419
                   'bzrlib.tests.blackbox',
 
3420
                   'bzrlib.tests.commands',
 
3421
                   'bzrlib.tests.per_branch',
 
3422
                   'bzrlib.tests.per_bzrdir',
 
3423
                   'bzrlib.tests.per_interrepository',
 
3424
                   'bzrlib.tests.per_intertree',
 
3425
                   'bzrlib.tests.per_inventory',
 
3426
                   'bzrlib.tests.per_interbranch',
 
3427
                   'bzrlib.tests.per_lock',
 
3428
                   'bzrlib.tests.per_transport',
 
3429
                   'bzrlib.tests.per_tree',
 
3430
                   'bzrlib.tests.per_pack_repository',
 
3431
                   'bzrlib.tests.per_repository',
 
3432
                   'bzrlib.tests.per_repository_chk',
 
3433
                   'bzrlib.tests.per_repository_reference',
 
3434
                   'bzrlib.tests.per_workingtree',
 
3435
                   'bzrlib.tests.test__annotator',
 
3436
                   'bzrlib.tests.test__chk_map',
 
3437
                   'bzrlib.tests.test__dirstate_helpers',
 
3438
                   'bzrlib.tests.test__groupcompress',
 
3439
                   'bzrlib.tests.test__known_graph',
 
3440
                   'bzrlib.tests.test__rio',
 
3441
                   'bzrlib.tests.test__walkdirs_win32',
 
3442
                   'bzrlib.tests.test_ancestry',
 
3443
                   'bzrlib.tests.test_annotate',
 
3444
                   'bzrlib.tests.test_api',
 
3445
                   'bzrlib.tests.test_atomicfile',
 
3446
                   'bzrlib.tests.test_bad_files',
 
3447
                   'bzrlib.tests.test_bencode',
 
3448
                   'bzrlib.tests.test_bisect_multi',
 
3449
                   'bzrlib.tests.test_branch',
 
3450
                   'bzrlib.tests.test_branchbuilder',
 
3451
                   'bzrlib.tests.test_btree_index',
 
3452
                   'bzrlib.tests.test_bugtracker',
 
3453
                   'bzrlib.tests.test_bundle',
 
3454
                   'bzrlib.tests.test_bzrdir',
 
3455
                   'bzrlib.tests.test__chunks_to_lines',
 
3456
                   'bzrlib.tests.test_cache_utf8',
 
3457
                   'bzrlib.tests.test_chk_map',
 
3458
                   'bzrlib.tests.test_chk_serializer',
 
3459
                   'bzrlib.tests.test_chunk_writer',
 
3460
                   'bzrlib.tests.test_clean_tree',
 
3461
                   'bzrlib.tests.test_commands',
 
3462
                   'bzrlib.tests.test_commit',
 
3463
                   'bzrlib.tests.test_commit_merge',
 
3464
                   'bzrlib.tests.test_config',
 
3465
                   'bzrlib.tests.test_conflicts',
 
3466
                   'bzrlib.tests.test_counted_lock',
 
3467
                   'bzrlib.tests.test_decorators',
 
3468
                   'bzrlib.tests.test_delta',
 
3469
                   'bzrlib.tests.test_debug',
 
3470
                   'bzrlib.tests.test_deprecated_graph',
 
3471
                   'bzrlib.tests.test_diff',
 
3472
                   'bzrlib.tests.test_directory_service',
 
3473
                   'bzrlib.tests.test_dirstate',
 
3474
                   'bzrlib.tests.test_email_message',
 
3475
                   'bzrlib.tests.test_eol_filters',
 
3476
                   'bzrlib.tests.test_errors',
 
3477
                   'bzrlib.tests.test_export',
 
3478
                   'bzrlib.tests.test_extract',
 
3479
                   'bzrlib.tests.test_fetch',
 
3480
                   'bzrlib.tests.test_fifo_cache',
 
3481
                   'bzrlib.tests.test_filters',
 
3482
                   'bzrlib.tests.test_ftp_transport',
 
3483
                   'bzrlib.tests.test_foreign',
 
3484
                   'bzrlib.tests.test_generate_docs',
 
3485
                   'bzrlib.tests.test_generate_ids',
 
3486
                   'bzrlib.tests.test_globbing',
 
3487
                   'bzrlib.tests.test_gpg',
 
3488
                   'bzrlib.tests.test_graph',
 
3489
                   'bzrlib.tests.test_groupcompress',
 
3490
                   'bzrlib.tests.test_hashcache',
 
3491
                   'bzrlib.tests.test_help',
 
3492
                   'bzrlib.tests.test_hooks',
 
3493
                   'bzrlib.tests.test_http',
 
3494
                   'bzrlib.tests.test_http_response',
 
3495
                   'bzrlib.tests.test_https_ca_bundle',
 
3496
                   'bzrlib.tests.test_identitymap',
 
3497
                   'bzrlib.tests.test_ignores',
 
3498
                   'bzrlib.tests.test_index',
 
3499
                   'bzrlib.tests.test_info',
 
3500
                   'bzrlib.tests.test_inv',
 
3501
                   'bzrlib.tests.test_inventory_delta',
 
3502
                   'bzrlib.tests.test_knit',
 
3503
                   'bzrlib.tests.test_lazy_import',
 
3504
                   'bzrlib.tests.test_lazy_regex',
 
3505
                   'bzrlib.tests.test_lock',
 
3506
                   'bzrlib.tests.test_lockable_files',
 
3507
                   'bzrlib.tests.test_lockdir',
 
3508
                   'bzrlib.tests.test_log',
 
3509
                   'bzrlib.tests.test_lru_cache',
 
3510
                   'bzrlib.tests.test_lsprof',
 
3511
                   'bzrlib.tests.test_mail_client',
 
3512
                   'bzrlib.tests.test_memorytree',
 
3513
                   'bzrlib.tests.test_merge',
 
3514
                   'bzrlib.tests.test_merge3',
 
3515
                   'bzrlib.tests.test_merge_core',
 
3516
                   'bzrlib.tests.test_merge_directive',
 
3517
                   'bzrlib.tests.test_missing',
 
3518
                   'bzrlib.tests.test_msgeditor',
 
3519
                   'bzrlib.tests.test_multiparent',
 
3520
                   'bzrlib.tests.test_mutabletree',
 
3521
                   'bzrlib.tests.test_nonascii',
 
3522
                   'bzrlib.tests.test_options',
 
3523
                   'bzrlib.tests.test_osutils',
 
3524
                   'bzrlib.tests.test_osutils_encodings',
 
3525
                   'bzrlib.tests.test_pack',
 
3526
                   'bzrlib.tests.test_patch',
 
3527
                   'bzrlib.tests.test_patches',
 
3528
                   'bzrlib.tests.test_permissions',
 
3529
                   'bzrlib.tests.test_plugins',
 
3530
                   'bzrlib.tests.test_progress',
 
3531
                   'bzrlib.tests.test_read_bundle',
 
3532
                   'bzrlib.tests.test_reconcile',
 
3533
                   'bzrlib.tests.test_reconfigure',
 
3534
                   'bzrlib.tests.test_registry',
 
3535
                   'bzrlib.tests.test_remote',
 
3536
                   'bzrlib.tests.test_rename_map',
 
3537
                   'bzrlib.tests.test_repository',
 
3538
                   'bzrlib.tests.test_revert',
 
3539
                   'bzrlib.tests.test_revision',
 
3540
                   'bzrlib.tests.test_revisionspec',
 
3541
                   'bzrlib.tests.test_revisiontree',
 
3542
                   'bzrlib.tests.test_rio',
 
3543
                   'bzrlib.tests.test_rules',
 
3544
                   'bzrlib.tests.test_sampler',
 
3545
                   'bzrlib.tests.test_selftest',
 
3546
                   'bzrlib.tests.test_serializer',
 
3547
                   'bzrlib.tests.test_setup',
 
3548
                   'bzrlib.tests.test_sftp_transport',
 
3549
                   'bzrlib.tests.test_shelf',
 
3550
                   'bzrlib.tests.test_shelf_ui',
 
3551
                   'bzrlib.tests.test_smart',
 
3552
                   'bzrlib.tests.test_smart_add',
 
3553
                   'bzrlib.tests.test_smart_request',
 
3554
                   'bzrlib.tests.test_smart_transport',
 
3555
                   'bzrlib.tests.test_smtp_connection',
 
3556
                   'bzrlib.tests.test_source',
 
3557
                   'bzrlib.tests.test_ssh_transport',
 
3558
                   'bzrlib.tests.test_status',
 
3559
                   'bzrlib.tests.test_store',
 
3560
                   'bzrlib.tests.test_strace',
 
3561
                   'bzrlib.tests.test_subsume',
 
3562
                   'bzrlib.tests.test_switch',
 
3563
                   'bzrlib.tests.test_symbol_versioning',
 
3564
                   'bzrlib.tests.test_tag',
 
3565
                   'bzrlib.tests.test_testament',
 
3566
                   'bzrlib.tests.test_textfile',
 
3567
                   'bzrlib.tests.test_textmerge',
 
3568
                   'bzrlib.tests.test_timestamp',
 
3569
                   'bzrlib.tests.test_trace',
 
3570
                   'bzrlib.tests.test_transactions',
 
3571
                   'bzrlib.tests.test_transform',
 
3572
                   'bzrlib.tests.test_transport',
 
3573
                   'bzrlib.tests.test_transport_log',
 
3574
                   'bzrlib.tests.test_tree',
 
3575
                   'bzrlib.tests.test_treebuilder',
 
3576
                   'bzrlib.tests.test_tsort',
 
3577
                   'bzrlib.tests.test_tuned_gzip',
 
3578
                   'bzrlib.tests.test_ui',
 
3579
                   'bzrlib.tests.test_uncommit',
 
3580
                   'bzrlib.tests.test_upgrade',
 
3581
                   'bzrlib.tests.test_upgrade_stacked',
 
3582
                   'bzrlib.tests.test_urlutils',
 
3583
                   'bzrlib.tests.test_version',
 
3584
                   'bzrlib.tests.test_version_info',
 
3585
                   'bzrlib.tests.test_versionedfile',
 
3586
                   'bzrlib.tests.test_weave',
 
3587
                   'bzrlib.tests.test_whitebox',
 
3588
                   'bzrlib.tests.test_win32utils',
 
3589
                   'bzrlib.tests.test_workingtree',
 
3590
                   'bzrlib.tests.test_workingtree_4',
 
3591
                   'bzrlib.tests.test_wsgi',
 
3592
                   'bzrlib.tests.test_xml',
 
3593
                   ]
 
3594
 
 
3595
    loader = TestUtil.TestLoader()
 
3596
 
 
3597
    if keep_only is not None:
 
3598
        id_filter = TestIdList(keep_only)
 
3599
    if starting_with:
 
3600
        starting_with = [test_prefix_alias_registry.resolve_alias(start)
 
3601
                         for start in starting_with]
 
3602
        # We take precedence over keep_only because *at loading time* using
 
3603
        # both options means we will load less tests for the same final result.
 
3604
        def interesting_module(name):
 
3605
            for start in starting_with:
 
3606
                if (
 
3607
                    # Either the module name starts with the specified string
 
3608
                    name.startswith(start)
 
3609
                    # or it may contain tests starting with the specified string
 
3610
                    or start.startswith(name)
 
3611
                    ):
 
3612
                    return True
 
3613
            return False
 
3614
        loader = TestUtil.FilteredByModuleTestLoader(interesting_module)
 
3615
 
 
3616
    elif keep_only is not None:
 
3617
        loader = TestUtil.FilteredByModuleTestLoader(id_filter.refers_to)
 
3618
        def interesting_module(name):
 
3619
            return id_filter.refers_to(name)
 
3620
 
 
3621
    else:
 
3622
        loader = TestUtil.TestLoader()
 
3623
        def interesting_module(name):
 
3624
            # No filtering, all modules are interesting
 
3625
            return True
 
3626
 
 
3627
    suite = loader.suiteClass()
 
3628
 
 
3629
    # modules building their suite with loadTestsFromModuleNames
 
3630
    suite.addTest(loader.loadTestsFromModuleNames(testmod_names))
 
3631
 
 
3632
    modules_to_doctest = [
 
3633
        'bzrlib',
 
3634
        'bzrlib.branchbuilder',
 
3635
        'bzrlib.export',
 
3636
        'bzrlib.inventory',
 
3637
        'bzrlib.iterablefile',
 
3638
        'bzrlib.lockdir',
 
3639
        'bzrlib.merge3',
 
3640
        'bzrlib.option',
 
3641
        'bzrlib.symbol_versioning',
 
3642
        'bzrlib.tests',
 
3643
        'bzrlib.timestamp',
 
3644
        'bzrlib.version_info_formats.format_custom',
 
3645
        ]
 
3646
 
 
3647
    for mod in modules_to_doctest:
 
3648
        if not interesting_module(mod):
 
3649
            # No tests to keep here, move along
 
3650
            continue
 
3651
        try:
 
3652
            # note that this really does mean "report only" -- doctest
 
3653
            # still runs the rest of the examples
 
3654
            doc_suite = doctest.DocTestSuite(mod,
 
3655
                optionflags=doctest.REPORT_ONLY_FIRST_FAILURE)
 
3656
        except ValueError, e:
 
3657
            print '**failed to get doctest for: %s\n%s' % (mod, e)
 
3658
            raise
 
3659
        if len(doc_suite._tests) == 0:
 
3660
            raise errors.BzrError("no doctests found in %s" % (mod,))
 
3661
        suite.addTest(doc_suite)
 
3662
 
 
3663
    default_encoding = sys.getdefaultencoding()
 
3664
    for name, plugin in bzrlib.plugin.plugins().items():
 
3665
        if not interesting_module(plugin.module.__name__):
 
3666
            continue
 
3667
        plugin_suite = plugin.test_suite()
 
3668
        # We used to catch ImportError here and turn it into just a warning,
 
3669
        # but really if you don't have --no-plugins this should be a failure.
 
3670
        # mbp 20080213 - see http://bugs.launchpad.net/bugs/189771
 
3671
        if plugin_suite is None:
 
3672
            plugin_suite = plugin.load_plugin_tests(loader)
 
3673
        if plugin_suite is not None:
 
3674
            suite.addTest(plugin_suite)
 
3675
        if default_encoding != sys.getdefaultencoding():
 
3676
            bzrlib.trace.warning(
 
3677
                'Plugin "%s" tried to reset default encoding to: %s', name,
 
3678
                sys.getdefaultencoding())
 
3679
            reload(sys)
 
3680
            sys.setdefaultencoding(default_encoding)
 
3681
 
 
3682
    if starting_with:
 
3683
        suite = filter_suite_by_id_startswith(suite, starting_with)
 
3684
 
 
3685
    if keep_only is not None:
 
3686
        # Now that the referred modules have loaded their tests, keep only the
 
3687
        # requested ones.
 
3688
        suite = filter_suite_by_id_list(suite, id_filter)
 
3689
        # Do some sanity checks on the id_list filtering
 
3690
        not_found, duplicates = suite_matches_id_list(suite, keep_only)
 
3691
        if starting_with:
 
3692
            # The tester has used both keep_only and starting_with, so he is
 
3693
            # already aware that some tests are excluded from the list, there
 
3694
            # is no need to tell him which.
 
3695
            pass
 
3696
        else:
 
3697
            # Some tests mentioned in the list are not in the test suite. The
 
3698
            # list may be out of date, report to the tester.
 
3699
            for id in not_found:
 
3700
                bzrlib.trace.warning('"%s" not found in the test suite', id)
 
3701
        for id in duplicates:
 
3702
            bzrlib.trace.warning('"%s" is used as an id by several tests', id)
 
3703
 
 
3704
    return suite
 
3705
 
 
3706
 
 
3707
def multiply_scenarios(scenarios_left, scenarios_right):
 
3708
    """Multiply two sets of scenarios.
 
3709
 
 
3710
    :returns: the cartesian product of the two sets of scenarios, that is
 
3711
        a scenario for every possible combination of a left scenario and a
 
3712
        right scenario.
 
3713
    """
 
3714
    return [
 
3715
        ('%s,%s' % (left_name, right_name),
 
3716
         dict(left_dict.items() + right_dict.items()))
 
3717
        for left_name, left_dict in scenarios_left
 
3718
        for right_name, right_dict in scenarios_right]
 
3719
 
 
3720
 
 
3721
def multiply_tests(tests, scenarios, result):
 
3722
    """Multiply tests_list by scenarios into result.
 
3723
 
 
3724
    This is the core workhorse for test parameterisation.
 
3725
 
 
3726
    Typically the load_tests() method for a per-implementation test suite will
 
3727
    call multiply_tests and return the result.
 
3728
 
 
3729
    :param tests: The tests to parameterise.
 
3730
    :param scenarios: The scenarios to apply: pairs of (scenario_name,
 
3731
        scenario_param_dict).
 
3732
    :param result: A TestSuite to add created tests to.
 
3733
 
 
3734
    This returns the passed in result TestSuite with the cross product of all
 
3735
    the tests repeated once for each scenario.  Each test is adapted by adding
 
3736
    the scenario name at the end of its id(), and updating the test object's
 
3737
    __dict__ with the scenario_param_dict.
 
3738
 
 
3739
    >>> import bzrlib.tests.test_sampler
 
3740
    >>> r = multiply_tests(
 
3741
    ...     bzrlib.tests.test_sampler.DemoTest('test_nothing'),
 
3742
    ...     [('one', dict(param=1)),
 
3743
    ...      ('two', dict(param=2))],
 
3744
    ...     TestSuite())
 
3745
    >>> tests = list(iter_suite_tests(r))
 
3746
    >>> len(tests)
 
3747
    2
 
3748
    >>> tests[0].id()
 
3749
    'bzrlib.tests.test_sampler.DemoTest.test_nothing(one)'
 
3750
    >>> tests[0].param
 
3751
    1
 
3752
    >>> tests[1].param
 
3753
    2
 
3754
    """
 
3755
    for test in iter_suite_tests(tests):
 
3756
        apply_scenarios(test, scenarios, result)
 
3757
    return result
 
3758
 
 
3759
 
 
3760
def apply_scenarios(test, scenarios, result):
 
3761
    """Apply the scenarios in scenarios to test and add to result.
 
3762
 
 
3763
    :param test: The test to apply scenarios to.
 
3764
    :param scenarios: An iterable of scenarios to apply to test.
 
3765
    :return: result
 
3766
    :seealso: apply_scenario
 
3767
    """
 
3768
    for scenario in scenarios:
 
3769
        result.addTest(apply_scenario(test, scenario))
 
3770
    return result
 
3771
 
 
3772
 
 
3773
def apply_scenario(test, scenario):
 
3774
    """Copy test and apply scenario to it.
 
3775
 
 
3776
    :param test: A test to adapt.
 
3777
    :param scenario: A tuple describing the scenarion.
 
3778
        The first element of the tuple is the new test id.
 
3779
        The second element is a dict containing attributes to set on the
 
3780
        test.
 
3781
    :return: The adapted test.
 
3782
    """
 
3783
    new_id = "%s(%s)" % (test.id(), scenario[0])
 
3784
    new_test = clone_test(test, new_id)
 
3785
    for name, value in scenario[1].items():
 
3786
        setattr(new_test, name, value)
 
3787
    return new_test
 
3788
 
 
3789
 
 
3790
def clone_test(test, new_id):
 
3791
    """Clone a test giving it a new id.
 
3792
 
 
3793
    :param test: The test to clone.
 
3794
    :param new_id: The id to assign to it.
 
3795
    :return: The new test.
 
3796
    """
 
3797
    from copy import deepcopy
 
3798
    new_test = deepcopy(test)
 
3799
    new_test.id = lambda: new_id
 
3800
    return new_test
 
3801
 
 
3802
 
 
3803
def _rmtree_temp_dir(dirname):
 
3804
    # If LANG=C we probably have created some bogus paths
 
3805
    # which rmtree(unicode) will fail to delete
 
3806
    # so make sure we are using rmtree(str) to delete everything
 
3807
    # except on win32, where rmtree(str) will fail
 
3808
    # since it doesn't have the property of byte-stream paths
 
3809
    # (they are either ascii or mbcs)
 
3810
    if sys.platform == 'win32':
 
3811
        # make sure we are using the unicode win32 api
 
3812
        dirname = unicode(dirname)
 
3813
    else:
 
3814
        dirname = dirname.encode(sys.getfilesystemencoding())
 
3815
    try:
 
3816
        osutils.rmtree(dirname)
 
3817
    except OSError, e:
 
3818
        if sys.platform == 'win32' and e.errno == errno.EACCES:
 
3819
            sys.stderr.write('Permission denied: '
 
3820
                             'unable to remove testing dir '
 
3821
                             '%s\n%s'
 
3822
                             % (os.path.basename(dirname), e))
 
3823
        else:
 
3824
            raise
 
3825
 
 
3826
 
 
3827
class Feature(object):
 
3828
    """An operating system Feature."""
 
3829
 
 
3830
    def __init__(self):
 
3831
        self._available = None
 
3832
 
 
3833
    def available(self):
 
3834
        """Is the feature available?
 
3835
 
 
3836
        :return: True if the feature is available.
 
3837
        """
 
3838
        if self._available is None:
 
3839
            self._available = self._probe()
 
3840
        return self._available
 
3841
 
 
3842
    def _probe(self):
 
3843
        """Implement this method in concrete features.
 
3844
 
 
3845
        :return: True if the feature is available.
 
3846
        """
 
3847
        raise NotImplementedError
 
3848
 
 
3849
    def __str__(self):
 
3850
        if getattr(self, 'feature_name', None):
 
3851
            return self.feature_name()
 
3852
        return self.__class__.__name__
 
3853
 
 
3854
 
 
3855
class _SymlinkFeature(Feature):
 
3856
 
 
3857
    def _probe(self):
 
3858
        return osutils.has_symlinks()
 
3859
 
 
3860
    def feature_name(self):
 
3861
        return 'symlinks'
 
3862
 
 
3863
SymlinkFeature = _SymlinkFeature()
 
3864
 
 
3865
 
 
3866
class _HardlinkFeature(Feature):
 
3867
 
 
3868
    def _probe(self):
 
3869
        return osutils.has_hardlinks()
 
3870
 
 
3871
    def feature_name(self):
 
3872
        return 'hardlinks'
 
3873
 
 
3874
HardlinkFeature = _HardlinkFeature()
 
3875
 
 
3876
 
 
3877
class _OsFifoFeature(Feature):
 
3878
 
 
3879
    def _probe(self):
 
3880
        return getattr(os, 'mkfifo', None)
 
3881
 
 
3882
    def feature_name(self):
 
3883
        return 'filesystem fifos'
 
3884
 
 
3885
OsFifoFeature = _OsFifoFeature()
 
3886
 
 
3887
 
 
3888
class _UnicodeFilenameFeature(Feature):
 
3889
    """Does the filesystem support Unicode filenames?"""
 
3890
 
 
3891
    def _probe(self):
 
3892
        try:
 
3893
            # Check for character combinations unlikely to be covered by any
 
3894
            # single non-unicode encoding. We use the characters
 
3895
            # - greek small letter alpha (U+03B1) and
 
3896
            # - braille pattern dots-123456 (U+283F).
 
3897
            os.stat(u'\u03b1\u283f')
 
3898
        except UnicodeEncodeError:
 
3899
            return False
 
3900
        except (IOError, OSError):
 
3901
            # The filesystem allows the Unicode filename but the file doesn't
 
3902
            # exist.
 
3903
            return True
 
3904
        else:
 
3905
            # The filesystem allows the Unicode filename and the file exists,
 
3906
            # for some reason.
 
3907
            return True
 
3908
 
 
3909
UnicodeFilenameFeature = _UnicodeFilenameFeature()
 
3910
 
 
3911
 
 
3912
def probe_unicode_in_user_encoding():
 
3913
    """Try to encode several unicode strings to use in unicode-aware tests.
 
3914
    Return first successfull match.
 
3915
 
 
3916
    :return:  (unicode value, encoded plain string value) or (None, None)
 
3917
    """
 
3918
    possible_vals = [u'm\xb5', u'\xe1', u'\u0410']
 
3919
    for uni_val in possible_vals:
 
3920
        try:
 
3921
            str_val = uni_val.encode(osutils.get_user_encoding())
 
3922
        except UnicodeEncodeError:
 
3923
            # Try a different character
 
3924
            pass
 
3925
        else:
 
3926
            return uni_val, str_val
 
3927
    return None, None
 
3928
 
 
3929
 
 
3930
def probe_bad_non_ascii(encoding):
 
3931
    """Try to find [bad] character with code [128..255]
 
3932
    that cannot be decoded to unicode in some encoding.
 
3933
    Return None if all non-ascii characters is valid
 
3934
    for given encoding.
 
3935
    """
 
3936
    for i in xrange(128, 256):
 
3937
        char = chr(i)
 
3938
        try:
 
3939
            char.decode(encoding)
 
3940
        except UnicodeDecodeError:
 
3941
            return char
 
3942
    return None
 
3943
 
 
3944
 
 
3945
class _HTTPSServerFeature(Feature):
 
3946
    """Some tests want an https Server, check if one is available.
 
3947
 
 
3948
    Right now, the only way this is available is under python2.6 which provides
 
3949
    an ssl module.
 
3950
    """
 
3951
 
 
3952
    def _probe(self):
 
3953
        try:
 
3954
            import ssl
 
3955
            return True
 
3956
        except ImportError:
 
3957
            return False
 
3958
 
 
3959
    def feature_name(self):
 
3960
        return 'HTTPSServer'
 
3961
 
 
3962
 
 
3963
HTTPSServerFeature = _HTTPSServerFeature()
 
3964
 
 
3965
 
 
3966
class _UnicodeFilename(Feature):
 
3967
    """Does the filesystem support Unicode filenames?"""
 
3968
 
 
3969
    def _probe(self):
 
3970
        try:
 
3971
            os.stat(u'\u03b1')
 
3972
        except UnicodeEncodeError:
 
3973
            return False
 
3974
        except (IOError, OSError):
 
3975
            # The filesystem allows the Unicode filename but the file doesn't
 
3976
            # exist.
 
3977
            return True
 
3978
        else:
 
3979
            # The filesystem allows the Unicode filename and the file exists,
 
3980
            # for some reason.
 
3981
            return True
 
3982
 
 
3983
UnicodeFilename = _UnicodeFilename()
 
3984
 
 
3985
 
 
3986
class _UTF8Filesystem(Feature):
 
3987
    """Is the filesystem UTF-8?"""
 
3988
 
 
3989
    def _probe(self):
 
3990
        if osutils._fs_enc.upper() in ('UTF-8', 'UTF8'):
 
3991
            return True
 
3992
        return False
 
3993
 
 
3994
UTF8Filesystem = _UTF8Filesystem()
 
3995
 
 
3996
 
 
3997
class _CaseInsCasePresFilenameFeature(Feature):
 
3998
    """Is the file-system case insensitive, but case-preserving?"""
 
3999
 
 
4000
    def _probe(self):
 
4001
        fileno, name = tempfile.mkstemp(prefix='MixedCase')
 
4002
        try:
 
4003
            # first check truly case-preserving for created files, then check
 
4004
            # case insensitive when opening existing files.
 
4005
            name = osutils.normpath(name)
 
4006
            base, rel = osutils.split(name)
 
4007
            found_rel = osutils.canonical_relpath(base, name)
 
4008
            return (found_rel == rel
 
4009
                    and os.path.isfile(name.upper())
 
4010
                    and os.path.isfile(name.lower()))
 
4011
        finally:
 
4012
            os.close(fileno)
 
4013
            os.remove(name)
 
4014
 
 
4015
    def feature_name(self):
 
4016
        return "case-insensitive case-preserving filesystem"
 
4017
 
 
4018
CaseInsCasePresFilenameFeature = _CaseInsCasePresFilenameFeature()
 
4019
 
 
4020
 
 
4021
class _CaseInsensitiveFilesystemFeature(Feature):
 
4022
    """Check if underlying filesystem is case-insensitive but *not* case
 
4023
    preserving.
 
4024
    """
 
4025
    # Note that on Windows, Cygwin, MacOS etc, the file-systems are far
 
4026
    # more likely to be case preserving, so this case is rare.
 
4027
 
 
4028
    def _probe(self):
 
4029
        if CaseInsCasePresFilenameFeature.available():
 
4030
            return False
 
4031
 
 
4032
        if TestCaseWithMemoryTransport.TEST_ROOT is None:
 
4033
            root = osutils.mkdtemp(prefix='testbzr-', suffix='.tmp')
 
4034
            TestCaseWithMemoryTransport.TEST_ROOT = root
 
4035
        else:
 
4036
            root = TestCaseWithMemoryTransport.TEST_ROOT
 
4037
        tdir = osutils.mkdtemp(prefix='case-sensitive-probe-', suffix='',
 
4038
            dir=root)
 
4039
        name_a = osutils.pathjoin(tdir, 'a')
 
4040
        name_A = osutils.pathjoin(tdir, 'A')
 
4041
        os.mkdir(name_a)
 
4042
        result = osutils.isdir(name_A)
 
4043
        _rmtree_temp_dir(tdir)
 
4044
        return result
 
4045
 
 
4046
    def feature_name(self):
 
4047
        return 'case-insensitive filesystem'
 
4048
 
 
4049
CaseInsensitiveFilesystemFeature = _CaseInsensitiveFilesystemFeature()
 
4050
 
 
4051
 
 
4052
class _SubUnitFeature(Feature):
 
4053
    """Check if subunit is available."""
 
4054
 
 
4055
    def _probe(self):
 
4056
        try:
 
4057
            import subunit
 
4058
            return True
 
4059
        except ImportError:
 
4060
            return False
 
4061
 
 
4062
    def feature_name(self):
 
4063
        return 'subunit'
 
4064
 
 
4065
SubUnitFeature = _SubUnitFeature()
 
4066
# Only define SubUnitBzrRunner if subunit is available.
 
4067
try:
 
4068
    from subunit import TestProtocolClient
 
4069
    try:
 
4070
        from subunit.test_results import AutoTimingTestResultDecorator
 
4071
    except ImportError:
 
4072
        AutoTimingTestResultDecorator = lambda x:x
 
4073
    class SubUnitBzrRunner(TextTestRunner):
 
4074
        def run(self, test):
 
4075
            result = AutoTimingTestResultDecorator(
 
4076
                TestProtocolClient(self.stream))
 
4077
            test.run(result)
 
4078
            return result
 
4079
except ImportError:
 
4080
    pass