/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/tests/__init__.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2009-08-15 09:15:03 UTC
  • mfrom: (4595.7.4 409137-lsb-release)
  • Revision ID: pqm@pqm.ubuntu.com-20090815091503-qwbm6glvv31rnujw
(mbp) show platform in selftest, version and backtrace

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005, 2006, 2007, 2008, 2009 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
 
 
18
# TODO: Perhaps there should be an API to find out if bzr running under the
 
19
# test suite -- some plugins might want to avoid making intrusive changes if
 
20
# this is the case.  However, we want behaviour under to test to diverge as
 
21
# little as possible, so this should be used rarely if it's added at all.
 
22
# (Suggestion from j-a-meinel, 2005-11-24)
 
23
 
 
24
# NOTE: Some classes in here use camelCaseNaming() rather than
 
25
# underscore_naming().  That's for consistency with unittest; it's not the
 
26
# general style of bzrlib.  Please continue that consistency when adding e.g.
 
27
# new assertFoo() methods.
 
28
 
 
29
import atexit
 
30
import codecs
 
31
from cStringIO import StringIO
 
32
import difflib
 
33
import doctest
 
34
import errno
 
35
import logging
 
36
import math
 
37
import os
 
38
from pprint import pformat
 
39
import random
 
40
import re
 
41
import shlex
 
42
import stat
 
43
from subprocess import Popen, PIPE, STDOUT
 
44
import sys
 
45
import tempfile
 
46
import threading
 
47
import time
 
48
import unittest
 
49
import warnings
 
50
 
 
51
 
 
52
from bzrlib import (
 
53
    branchbuilder,
 
54
    bzrdir,
 
55
    debug,
 
56
    errors,
 
57
    hooks,
 
58
    lock as _mod_lock,
 
59
    memorytree,
 
60
    osutils,
 
61
    progress,
 
62
    ui,
 
63
    urlutils,
 
64
    registry,
 
65
    workingtree,
 
66
    )
 
67
import bzrlib.branch
 
68
import bzrlib.commands
 
69
import bzrlib.timestamp
 
70
import bzrlib.export
 
71
import bzrlib.inventory
 
72
import bzrlib.iterablefile
 
73
import bzrlib.lockdir
 
74
try:
 
75
    import bzrlib.lsprof
 
76
except ImportError:
 
77
    # lsprof not available
 
78
    pass
 
79
from bzrlib.merge import merge_inner
 
80
import bzrlib.merge3
 
81
import bzrlib.plugin
 
82
from bzrlib.smart import client, request, server
 
83
import bzrlib.store
 
84
from bzrlib import symbol_versioning
 
85
from bzrlib.symbol_versioning import (
 
86
    DEPRECATED_PARAMETER,
 
87
    deprecated_function,
 
88
    deprecated_method,
 
89
    deprecated_passed,
 
90
    )
 
91
import bzrlib.trace
 
92
from bzrlib.transport import get_transport
 
93
import bzrlib.transport
 
94
from bzrlib.transport.local import LocalURLServer
 
95
from bzrlib.transport.memory import MemoryServer
 
96
from bzrlib.transport.readonly import ReadonlyServer
 
97
from bzrlib.trace import mutter, note
 
98
from bzrlib.tests import TestUtil
 
99
from bzrlib.tests.http_server import HttpServer
 
100
from bzrlib.tests.TestUtil import (
 
101
                          TestSuite,
 
102
                          TestLoader,
 
103
                          )
 
104
from bzrlib.tests.treeshape import build_tree_contents
 
105
from bzrlib.ui import NullProgressView
 
106
from bzrlib.ui.text import TextUIFactory
 
107
import bzrlib.version_info_formats.format_custom
 
108
from bzrlib.workingtree import WorkingTree, WorkingTreeFormat2
 
109
 
 
110
# Mark this python module as being part of the implementation
 
111
# of unittest: this gives us better tracebacks where the last
 
112
# shown frame is the test code, not our assertXYZ.
 
113
__unittest = 1
 
114
 
 
115
default_transport = LocalURLServer
 
116
 
 
117
# Subunit result codes, defined here to prevent a hard dependency on subunit.
 
118
SUBUNIT_SEEK_SET = 0
 
119
SUBUNIT_SEEK_CUR = 1
 
120
 
 
121
 
 
122
class ExtendedTestResult(unittest._TextTestResult):
 
123
    """Accepts, reports and accumulates the results of running tests.
 
124
 
 
125
    Compared to the unittest version this class adds support for
 
126
    profiling, benchmarking, stopping as soon as a test fails,  and
 
127
    skipping tests.  There are further-specialized subclasses for
 
128
    different types of display.
 
129
 
 
130
    When a test finishes, in whatever way, it calls one of the addSuccess,
 
131
    addFailure or addError classes.  These in turn may redirect to a more
 
132
    specific case for the special test results supported by our extended
 
133
    tests.
 
134
 
 
135
    Note that just one of these objects is fed the results from many tests.
 
136
    """
 
137
 
 
138
    stop_early = False
 
139
 
 
140
    def __init__(self, stream, descriptions, verbosity,
 
141
                 bench_history=None,
 
142
                 strict=False,
 
143
                 ):
 
144
        """Construct new TestResult.
 
145
 
 
146
        :param bench_history: Optionally, a writable file object to accumulate
 
147
            benchmark results.
 
148
        """
 
149
        unittest._TextTestResult.__init__(self, stream, descriptions, verbosity)
 
150
        if bench_history is not None:
 
151
            from bzrlib.version import _get_bzr_source_tree
 
152
            src_tree = _get_bzr_source_tree()
 
153
            if src_tree:
 
154
                try:
 
155
                    revision_id = src_tree.get_parent_ids()[0]
 
156
                except IndexError:
 
157
                    # XXX: if this is a brand new tree, do the same as if there
 
158
                    # is no branch.
 
159
                    revision_id = ''
 
160
            else:
 
161
                # XXX: If there's no branch, what should we do?
 
162
                revision_id = ''
 
163
            bench_history.write("--date %s %s\n" % (time.time(), revision_id))
 
164
        self._bench_history = bench_history
 
165
        self.ui = ui.ui_factory
 
166
        self.num_tests = 0
 
167
        self.error_count = 0
 
168
        self.failure_count = 0
 
169
        self.known_failure_count = 0
 
170
        self.skip_count = 0
 
171
        self.not_applicable_count = 0
 
172
        self.unsupported = {}
 
173
        self.count = 0
 
174
        self._overall_start_time = time.time()
 
175
        self._strict = strict
 
176
 
 
177
    def done(self):
 
178
        # nb: called stopTestRun in the version of this that Python merged
 
179
        # upstream, according to lifeless 20090803
 
180
        if self._strict:
 
181
            ok = self.wasStrictlySuccessful()
 
182
        else:
 
183
            ok = self.wasSuccessful()
 
184
        if ok:
 
185
            self.stream.write('tests passed\n')
 
186
        else:
 
187
            self.stream.write('tests failed\n')
 
188
        if TestCase._first_thread_leaker_id:
 
189
            self.stream.write(
 
190
                '%s is leaking threads among %d leaking tests.\n' % (
 
191
                TestCase._first_thread_leaker_id,
 
192
                TestCase._leaking_threads_tests))
 
193
 
 
194
    def _extractBenchmarkTime(self, testCase):
 
195
        """Add a benchmark time for the current test case."""
 
196
        return getattr(testCase, "_benchtime", None)
 
197
 
 
198
    def _elapsedTestTimeString(self):
 
199
        """Return a time string for the overall time the current test has taken."""
 
200
        return self._formatTime(time.time() - self._start_time)
 
201
 
 
202
    def _testTimeString(self, testCase):
 
203
        benchmark_time = self._extractBenchmarkTime(testCase)
 
204
        if benchmark_time is not None:
 
205
            return self._formatTime(benchmark_time) + "*"
 
206
        else:
 
207
            return self._elapsedTestTimeString()
 
208
 
 
209
    def _formatTime(self, seconds):
 
210
        """Format seconds as milliseconds with leading spaces."""
 
211
        # some benchmarks can take thousands of seconds to run, so we need 8
 
212
        # places
 
213
        return "%8dms" % (1000 * seconds)
 
214
 
 
215
    def _shortened_test_description(self, test):
 
216
        what = test.id()
 
217
        what = re.sub(r'^bzrlib\.(tests|benchmarks)\.', '', what)
 
218
        return what
 
219
 
 
220
    def startTest(self, test):
 
221
        unittest.TestResult.startTest(self, test)
 
222
        if self.count == 0:
 
223
            self.startTests()
 
224
        self.report_test_start(test)
 
225
        test.number = self.count
 
226
        self._recordTestStartTime()
 
227
 
 
228
    def startTests(self):
 
229
        import platform
 
230
        self.stream.write(
 
231
            'testing: %s\n' % (osutils.realpath(sys.argv[0]),))
 
232
        self.stream.write(
 
233
            '   %s\n' % (
 
234
                    bzrlib.__path__[0],))
 
235
        self.stream.write(
 
236
            '   bzr-%s python-%s %s\n' % (
 
237
                    bzrlib.version_string,
 
238
                    bzrlib._format_version_tuple(sys.version_info),
 
239
                    platform.platform(aliased=1),
 
240
                    ))
 
241
        self.stream.write('\n')
 
242
 
 
243
    def _recordTestStartTime(self):
 
244
        """Record that a test has started."""
 
245
        self._start_time = time.time()
 
246
 
 
247
    def _cleanupLogFile(self, test):
 
248
        # We can only do this if we have one of our TestCases, not if
 
249
        # we have a doctest.
 
250
        setKeepLogfile = getattr(test, 'setKeepLogfile', None)
 
251
        if setKeepLogfile is not None:
 
252
            setKeepLogfile()
 
253
 
 
254
    def addError(self, test, err):
 
255
        """Tell result that test finished with an error.
 
256
 
 
257
        Called from the TestCase run() method when the test
 
258
        fails with an unexpected error.
 
259
        """
 
260
        self._testConcluded(test)
 
261
        if isinstance(err[1], TestNotApplicable):
 
262
            return self._addNotApplicable(test, err)
 
263
        elif isinstance(err[1], UnavailableFeature):
 
264
            return self.addNotSupported(test, err[1].args[0])
 
265
        else:
 
266
            unittest.TestResult.addError(self, test, err)
 
267
            self.error_count += 1
 
268
            self.report_error(test, err)
 
269
            if self.stop_early:
 
270
                self.stop()
 
271
            self._cleanupLogFile(test)
 
272
 
 
273
    def addFailure(self, test, err):
 
274
        """Tell result that test failed.
 
275
 
 
276
        Called from the TestCase run() method when the test
 
277
        fails because e.g. an assert() method failed.
 
278
        """
 
279
        self._testConcluded(test)
 
280
        if isinstance(err[1], KnownFailure):
 
281
            return self._addKnownFailure(test, err)
 
282
        else:
 
283
            unittest.TestResult.addFailure(self, test, err)
 
284
            self.failure_count += 1
 
285
            self.report_failure(test, err)
 
286
            if self.stop_early:
 
287
                self.stop()
 
288
            self._cleanupLogFile(test)
 
289
 
 
290
    def addSuccess(self, test):
 
291
        """Tell result that test completed successfully.
 
292
 
 
293
        Called from the TestCase run()
 
294
        """
 
295
        self._testConcluded(test)
 
296
        if self._bench_history is not None:
 
297
            benchmark_time = self._extractBenchmarkTime(test)
 
298
            if benchmark_time is not None:
 
299
                self._bench_history.write("%s %s\n" % (
 
300
                    self._formatTime(benchmark_time),
 
301
                    test.id()))
 
302
        self.report_success(test)
 
303
        self._cleanupLogFile(test)
 
304
        unittest.TestResult.addSuccess(self, test)
 
305
        test._log_contents = ''
 
306
 
 
307
    def _testConcluded(self, test):
 
308
        """Common code when a test has finished.
 
309
 
 
310
        Called regardless of whether it succeded, failed, etc.
 
311
        """
 
312
        pass
 
313
 
 
314
    def _addKnownFailure(self, test, err):
 
315
        self.known_failure_count += 1
 
316
        self.report_known_failure(test, err)
 
317
 
 
318
    def addNotSupported(self, test, feature):
 
319
        """The test will not be run because of a missing feature.
 
320
        """
 
321
        # this can be called in two different ways: it may be that the
 
322
        # test started running, and then raised (through addError)
 
323
        # UnavailableFeature.  Alternatively this method can be called
 
324
        # while probing for features before running the tests; in that
 
325
        # case we will see startTest and stopTest, but the test will never
 
326
        # actually run.
 
327
        self.unsupported.setdefault(str(feature), 0)
 
328
        self.unsupported[str(feature)] += 1
 
329
        self.report_unsupported(test, feature)
 
330
 
 
331
    def addSkip(self, test, reason):
 
332
        """A test has not run for 'reason'."""
 
333
        self.skip_count += 1
 
334
        self.report_skip(test, reason)
 
335
 
 
336
    def _addNotApplicable(self, test, skip_excinfo):
 
337
        if isinstance(skip_excinfo[1], TestNotApplicable):
 
338
            self.not_applicable_count += 1
 
339
            self.report_not_applicable(test, skip_excinfo)
 
340
        try:
 
341
            test.tearDown()
 
342
        except KeyboardInterrupt:
 
343
            raise
 
344
        except:
 
345
            self.addError(test, test.exc_info())
 
346
        else:
 
347
            # seems best to treat this as success from point-of-view of unittest
 
348
            # -- it actually does nothing so it barely matters :)
 
349
            unittest.TestResult.addSuccess(self, test)
 
350
            test._log_contents = ''
 
351
 
 
352
    def printErrorList(self, flavour, errors):
 
353
        for test, err in errors:
 
354
            self.stream.writeln(self.separator1)
 
355
            self.stream.write("%s: " % flavour)
 
356
            self.stream.writeln(self.getDescription(test))
 
357
            if getattr(test, '_get_log', None) is not None:
 
358
                log_contents = test._get_log()
 
359
                if log_contents:
 
360
                    self.stream.write('\n')
 
361
                    self.stream.write(
 
362
                            ('vvvv[log from %s]' % test.id()).ljust(78,'-'))
 
363
                    self.stream.write('\n')
 
364
                    self.stream.write(log_contents)
 
365
                    self.stream.write('\n')
 
366
                    self.stream.write(
 
367
                            ('^^^^[log from %s]' % test.id()).ljust(78,'-'))
 
368
                    self.stream.write('\n')
 
369
            self.stream.writeln(self.separator2)
 
370
            self.stream.writeln("%s" % err)
 
371
 
 
372
    def progress(self, offset, whence):
 
373
        """The test is adjusting the count of tests to run."""
 
374
        if whence == SUBUNIT_SEEK_SET:
 
375
            self.num_tests = offset
 
376
        elif whence == SUBUNIT_SEEK_CUR:
 
377
            self.num_tests += offset
 
378
        else:
 
379
            raise errors.BzrError("Unknown whence %r" % whence)
 
380
 
 
381
    def finished(self):
 
382
        pass
 
383
 
 
384
    def report_cleaning_up(self):
 
385
        pass
 
386
 
 
387
    def report_success(self, test):
 
388
        pass
 
389
 
 
390
    def wasStrictlySuccessful(self):
 
391
        if self.unsupported or self.known_failure_count:
 
392
            return False
 
393
        return self.wasSuccessful()
 
394
 
 
395
 
 
396
class TextTestResult(ExtendedTestResult):
 
397
    """Displays progress and results of tests in text form"""
 
398
 
 
399
    def __init__(self, stream, descriptions, verbosity,
 
400
                 bench_history=None,
 
401
                 pb=None,
 
402
                 strict=None,
 
403
                 ):
 
404
        ExtendedTestResult.__init__(self, stream, descriptions, verbosity,
 
405
            bench_history, strict)
 
406
        # We no longer pass them around, but just rely on the UIFactory stack
 
407
        # for state
 
408
        if pb is not None:
 
409
            warnings.warn("Passing pb to TextTestResult is deprecated")
 
410
        self.pb = self.ui.nested_progress_bar()
 
411
        self.pb.show_pct = False
 
412
        self.pb.show_spinner = False
 
413
        self.pb.show_eta = False,
 
414
        self.pb.show_count = False
 
415
        self.pb.show_bar = False
 
416
        self.pb.update_latency = 0
 
417
        self.pb.show_transport_activity = False
 
418
 
 
419
    def done(self):
 
420
        # called when the tests that are going to run have run
 
421
        self.pb.clear()
 
422
        super(TextTestResult, self).done()
 
423
 
 
424
    def finished(self):
 
425
        self.pb.finished()
 
426
 
 
427
    def report_starting(self):
 
428
        self.pb.update('[test 0/%d] Starting' % (self.num_tests))
 
429
 
 
430
    def printErrors(self):
 
431
        # clear the pb to make room for the error listing
 
432
        self.pb.clear()
 
433
        super(TextTestResult, self).printErrors()
 
434
 
 
435
    def _progress_prefix_text(self):
 
436
        # the longer this text, the less space we have to show the test
 
437
        # name...
 
438
        a = '[%d' % self.count              # total that have been run
 
439
        # tests skipped as known not to be relevant are not important enough
 
440
        # to show here
 
441
        ## if self.skip_count:
 
442
        ##     a += ', %d skip' % self.skip_count
 
443
        ## if self.known_failure_count:
 
444
        ##     a += '+%dX' % self.known_failure_count
 
445
        if self.num_tests:
 
446
            a +='/%d' % self.num_tests
 
447
        a += ' in '
 
448
        runtime = time.time() - self._overall_start_time
 
449
        if runtime >= 60:
 
450
            a += '%dm%ds' % (runtime / 60, runtime % 60)
 
451
        else:
 
452
            a += '%ds' % runtime
 
453
        if self.error_count:
 
454
            a += ', %d err' % self.error_count
 
455
        if self.failure_count:
 
456
            a += ', %d fail' % self.failure_count
 
457
        if self.unsupported:
 
458
            a += ', %d missing' % len(self.unsupported)
 
459
        a += ']'
 
460
        return a
 
461
 
 
462
    def report_test_start(self, test):
 
463
        self.count += 1
 
464
        self.pb.update(
 
465
                self._progress_prefix_text()
 
466
                + ' '
 
467
                + self._shortened_test_description(test))
 
468
 
 
469
    def _test_description(self, test):
 
470
        return self._shortened_test_description(test)
 
471
 
 
472
    def report_error(self, test, err):
 
473
        self.pb.note('ERROR: %s\n    %s\n',
 
474
            self._test_description(test),
 
475
            err[1],
 
476
            )
 
477
 
 
478
    def report_failure(self, test, err):
 
479
        self.pb.note('FAIL: %s\n    %s\n',
 
480
            self._test_description(test),
 
481
            err[1],
 
482
            )
 
483
 
 
484
    def report_known_failure(self, test, err):
 
485
        self.pb.note('XFAIL: %s\n%s\n',
 
486
            self._test_description(test), err[1])
 
487
 
 
488
    def report_skip(self, test, reason):
 
489
        pass
 
490
 
 
491
    def report_not_applicable(self, test, skip_excinfo):
 
492
        pass
 
493
 
 
494
    def report_unsupported(self, test, feature):
 
495
        """test cannot be run because feature is missing."""
 
496
 
 
497
    def report_cleaning_up(self):
 
498
        self.pb.update('Cleaning up')
 
499
 
 
500
 
 
501
class VerboseTestResult(ExtendedTestResult):
 
502
    """Produce long output, with one line per test run plus times"""
 
503
 
 
504
    def _ellipsize_to_right(self, a_string, final_width):
 
505
        """Truncate and pad a string, keeping the right hand side"""
 
506
        if len(a_string) > final_width:
 
507
            result = '...' + a_string[3-final_width:]
 
508
        else:
 
509
            result = a_string
 
510
        return result.ljust(final_width)
 
511
 
 
512
    def report_starting(self):
 
513
        self.stream.write('running %d tests...\n' % self.num_tests)
 
514
 
 
515
    def report_test_start(self, test):
 
516
        self.count += 1
 
517
        name = self._shortened_test_description(test)
 
518
        # width needs space for 6 char status, plus 1 for slash, plus an
 
519
        # 11-char time string, plus a trailing blank
 
520
        # when NUMBERED_DIRS: plus 5 chars on test number, plus 1 char on space
 
521
        self.stream.write(self._ellipsize_to_right(name,
 
522
                          osutils.terminal_width()-18))
 
523
        self.stream.flush()
 
524
 
 
525
    def _error_summary(self, err):
 
526
        indent = ' ' * 4
 
527
        return '%s%s' % (indent, err[1])
 
528
 
 
529
    def report_error(self, test, err):
 
530
        self.stream.writeln('ERROR %s\n%s'
 
531
                % (self._testTimeString(test),
 
532
                   self._error_summary(err)))
 
533
 
 
534
    def report_failure(self, test, err):
 
535
        self.stream.writeln(' FAIL %s\n%s'
 
536
                % (self._testTimeString(test),
 
537
                   self._error_summary(err)))
 
538
 
 
539
    def report_known_failure(self, test, err):
 
540
        self.stream.writeln('XFAIL %s\n%s'
 
541
                % (self._testTimeString(test),
 
542
                   self._error_summary(err)))
 
543
 
 
544
    def report_success(self, test):
 
545
        self.stream.writeln('   OK %s' % self._testTimeString(test))
 
546
        for bench_called, stats in getattr(test, '_benchcalls', []):
 
547
            self.stream.writeln('LSProf output for %s(%s, %s)' % bench_called)
 
548
            stats.pprint(file=self.stream)
 
549
        # flush the stream so that we get smooth output. This verbose mode is
 
550
        # used to show the output in PQM.
 
551
        self.stream.flush()
 
552
 
 
553
    def report_skip(self, test, reason):
 
554
        self.stream.writeln(' SKIP %s\n%s'
 
555
                % (self._testTimeString(test), reason))
 
556
 
 
557
    def report_not_applicable(self, test, skip_excinfo):
 
558
        self.stream.writeln('  N/A %s\n%s'
 
559
                % (self._testTimeString(test),
 
560
                   self._error_summary(skip_excinfo)))
 
561
 
 
562
    def report_unsupported(self, test, feature):
 
563
        """test cannot be run because feature is missing."""
 
564
        self.stream.writeln("NODEP %s\n    The feature '%s' is not available."
 
565
                %(self._testTimeString(test), feature))
 
566
 
 
567
 
 
568
class TextTestRunner(object):
 
569
    stop_on_failure = False
 
570
 
 
571
    def __init__(self,
 
572
                 stream=sys.stderr,
 
573
                 descriptions=0,
 
574
                 verbosity=1,
 
575
                 bench_history=None,
 
576
                 list_only=False,
 
577
                 strict=False,
 
578
                 ):
 
579
        self.stream = unittest._WritelnDecorator(stream)
 
580
        self.descriptions = descriptions
 
581
        self.verbosity = verbosity
 
582
        self._bench_history = bench_history
 
583
        self.list_only = list_only
 
584
        self._strict = strict
 
585
 
 
586
    def run(self, test):
 
587
        "Run the given test case or test suite."
 
588
        startTime = time.time()
 
589
        if self.verbosity == 1:
 
590
            result_class = TextTestResult
 
591
        elif self.verbosity >= 2:
 
592
            result_class = VerboseTestResult
 
593
        result = result_class(self.stream,
 
594
                              self.descriptions,
 
595
                              self.verbosity,
 
596
                              bench_history=self._bench_history,
 
597
                              strict=self._strict,
 
598
                              )
 
599
        result.stop_early = self.stop_on_failure
 
600
        result.report_starting()
 
601
        if self.list_only:
 
602
            if self.verbosity >= 2:
 
603
                self.stream.writeln("Listing tests only ...\n")
 
604
            run = 0
 
605
            for t in iter_suite_tests(test):
 
606
                self.stream.writeln("%s" % (t.id()))
 
607
                run += 1
 
608
            return None
 
609
        else:
 
610
            try:
 
611
                import testtools
 
612
            except ImportError:
 
613
                test.run(result)
 
614
            else:
 
615
                if isinstance(test, testtools.ConcurrentTestSuite):
 
616
                    # We need to catch bzr specific behaviors
 
617
                    test.run(BZRTransformingResult(result))
 
618
                else:
 
619
                    test.run(result)
 
620
            run = result.testsRun
 
621
            actionTaken = "Ran"
 
622
        stopTime = time.time()
 
623
        timeTaken = stopTime - startTime
 
624
        result.printErrors()
 
625
        self.stream.writeln(result.separator2)
 
626
        self.stream.writeln("%s %d test%s in %.3fs" % (actionTaken,
 
627
                            run, run != 1 and "s" or "", timeTaken))
 
628
        self.stream.writeln()
 
629
        if not result.wasSuccessful():
 
630
            self.stream.write("FAILED (")
 
631
            failed, errored = map(len, (result.failures, result.errors))
 
632
            if failed:
 
633
                self.stream.write("failures=%d" % failed)
 
634
            if errored:
 
635
                if failed: self.stream.write(", ")
 
636
                self.stream.write("errors=%d" % errored)
 
637
            if result.known_failure_count:
 
638
                if failed or errored: self.stream.write(", ")
 
639
                self.stream.write("known_failure_count=%d" %
 
640
                    result.known_failure_count)
 
641
            self.stream.writeln(")")
 
642
        else:
 
643
            if result.known_failure_count:
 
644
                self.stream.writeln("OK (known_failures=%d)" %
 
645
                    result.known_failure_count)
 
646
            else:
 
647
                self.stream.writeln("OK")
 
648
        if result.skip_count > 0:
 
649
            skipped = result.skip_count
 
650
            self.stream.writeln('%d test%s skipped' %
 
651
                                (skipped, skipped != 1 and "s" or ""))
 
652
        if result.unsupported:
 
653
            for feature, count in sorted(result.unsupported.items()):
 
654
                self.stream.writeln("Missing feature '%s' skipped %d tests." %
 
655
                    (feature, count))
 
656
        result.finished()
 
657
        return result
 
658
 
 
659
 
 
660
def iter_suite_tests(suite):
 
661
    """Return all tests in a suite, recursing through nested suites"""
 
662
    if isinstance(suite, unittest.TestCase):
 
663
        yield suite
 
664
    elif isinstance(suite, unittest.TestSuite):
 
665
        for item in suite:
 
666
            for r in iter_suite_tests(item):
 
667
                yield r
 
668
    else:
 
669
        raise Exception('unknown type %r for object %r'
 
670
                        % (type(suite), suite))
 
671
 
 
672
 
 
673
class TestSkipped(Exception):
 
674
    """Indicates that a test was intentionally skipped, rather than failing."""
 
675
 
 
676
 
 
677
class TestNotApplicable(TestSkipped):
 
678
    """A test is not applicable to the situation where it was run.
 
679
 
 
680
    This is only normally raised by parameterized tests, if they find that
 
681
    the instance they're constructed upon does not support one aspect
 
682
    of its interface.
 
683
    """
 
684
 
 
685
 
 
686
class KnownFailure(AssertionError):
 
687
    """Indicates that a test failed in a precisely expected manner.
 
688
 
 
689
    Such failures dont block the whole test suite from passing because they are
 
690
    indicators of partially completed code or of future work. We have an
 
691
    explicit error for them so that we can ensure that they are always visible:
 
692
    KnownFailures are always shown in the output of bzr selftest.
 
693
    """
 
694
 
 
695
 
 
696
class UnavailableFeature(Exception):
 
697
    """A feature required for this test was not available.
 
698
 
 
699
    The feature should be used to construct the exception.
 
700
    """
 
701
 
 
702
 
 
703
class CommandFailed(Exception):
 
704
    pass
 
705
 
 
706
 
 
707
class StringIOWrapper(object):
 
708
    """A wrapper around cStringIO which just adds an encoding attribute.
 
709
 
 
710
    Internally we can check sys.stdout to see what the output encoding
 
711
    should be. However, cStringIO has no encoding attribute that we can
 
712
    set. So we wrap it instead.
 
713
    """
 
714
    encoding='ascii'
 
715
    _cstring = None
 
716
 
 
717
    def __init__(self, s=None):
 
718
        if s is not None:
 
719
            self.__dict__['_cstring'] = StringIO(s)
 
720
        else:
 
721
            self.__dict__['_cstring'] = StringIO()
 
722
 
 
723
    def __getattr__(self, name, getattr=getattr):
 
724
        return getattr(self.__dict__['_cstring'], name)
 
725
 
 
726
    def __setattr__(self, name, val):
 
727
        if name == 'encoding':
 
728
            self.__dict__['encoding'] = val
 
729
        else:
 
730
            return setattr(self._cstring, name, val)
 
731
 
 
732
 
 
733
class TestUIFactory(TextUIFactory):
 
734
    """A UI Factory for testing.
 
735
 
 
736
    Hide the progress bar but emit note()s.
 
737
    Redirect stdin.
 
738
    Allows get_password to be tested without real tty attached.
 
739
 
 
740
    See also CannedInputUIFactory which lets you provide programmatic input in
 
741
    a structured way.
 
742
    """
 
743
    # TODO: Capture progress events at the model level and allow them to be
 
744
    # observed by tests that care.
 
745
    #
 
746
    # XXX: Should probably unify more with CannedInputUIFactory or a
 
747
    # particular configuration of TextUIFactory, or otherwise have a clearer
 
748
    # idea of how they're supposed to be different.
 
749
    # See https://bugs.edge.launchpad.net/bzr/+bug/408213
 
750
 
 
751
    def __init__(self, stdout=None, stderr=None, stdin=None):
 
752
        if stdin is not None:
 
753
            # We use a StringIOWrapper to be able to test various
 
754
            # encodings, but the user is still responsible to
 
755
            # encode the string and to set the encoding attribute
 
756
            # of StringIOWrapper.
 
757
            stdin = StringIOWrapper(stdin)
 
758
        super(TestUIFactory, self).__init__(stdin, stdout, stderr)
 
759
 
 
760
    def get_non_echoed_password(self):
 
761
        """Get password from stdin without trying to handle the echo mode"""
 
762
        password = self.stdin.readline()
 
763
        if not password:
 
764
            raise EOFError
 
765
        if password[-1] == '\n':
 
766
            password = password[:-1]
 
767
        return password
 
768
 
 
769
    def make_progress_view(self):
 
770
        return NullProgressView()
 
771
 
 
772
 
 
773
class TestCase(unittest.TestCase):
 
774
    """Base class for bzr unit tests.
 
775
 
 
776
    Tests that need access to disk resources should subclass
 
777
    TestCaseInTempDir not TestCase.
 
778
 
 
779
    Error and debug log messages are redirected from their usual
 
780
    location into a temporary file, the contents of which can be
 
781
    retrieved by _get_log().  We use a real OS file, not an in-memory object,
 
782
    so that it can also capture file IO.  When the test completes this file
 
783
    is read into memory and removed from disk.
 
784
 
 
785
    There are also convenience functions to invoke bzr's command-line
 
786
    routine, and to build and check bzr trees.
 
787
 
 
788
    In addition to the usual method of overriding tearDown(), this class also
 
789
    allows subclasses to register functions into the _cleanups list, which is
 
790
    run in order as the object is torn down.  It's less likely this will be
 
791
    accidentally overlooked.
 
792
    """
 
793
 
 
794
    _active_threads = None
 
795
    _leaking_threads_tests = 0
 
796
    _first_thread_leaker_id = None
 
797
    _log_file_name = None
 
798
    _log_contents = ''
 
799
    _keep_log_file = False
 
800
    # record lsprof data when performing benchmark calls.
 
801
    _gather_lsprof_in_benchmarks = False
 
802
    attrs_to_keep = ('id', '_testMethodName', '_testMethodDoc',
 
803
                     '_log_contents', '_log_file_name', '_benchtime',
 
804
                     '_TestCase__testMethodName', '_TestCase__testMethodDoc',)
 
805
 
 
806
    def __init__(self, methodName='testMethod'):
 
807
        super(TestCase, self).__init__(methodName)
 
808
        self._cleanups = []
 
809
        self._bzr_test_setUp_run = False
 
810
        self._bzr_test_tearDown_run = False
 
811
 
 
812
    def setUp(self):
 
813
        unittest.TestCase.setUp(self)
 
814
        self._bzr_test_setUp_run = True
 
815
        self._cleanEnvironment()
 
816
        self._silenceUI()
 
817
        self._startLogFile()
 
818
        self._benchcalls = []
 
819
        self._benchtime = None
 
820
        self._clear_hooks()
 
821
        self._track_locks()
 
822
        self._clear_debug_flags()
 
823
        TestCase._active_threads = threading.activeCount()
 
824
        self.addCleanup(self._check_leaked_threads)
 
825
 
 
826
    def debug(self):
 
827
        # debug a frame up.
 
828
        import pdb
 
829
        pdb.Pdb().set_trace(sys._getframe().f_back)
 
830
 
 
831
    def _check_leaked_threads(self):
 
832
        active = threading.activeCount()
 
833
        leaked_threads = active - TestCase._active_threads
 
834
        TestCase._active_threads = active
 
835
        if leaked_threads:
 
836
            TestCase._leaking_threads_tests += 1
 
837
            if TestCase._first_thread_leaker_id is None:
 
838
                TestCase._first_thread_leaker_id = self.id()
 
839
 
 
840
    def _clear_debug_flags(self):
 
841
        """Prevent externally set debug flags affecting tests.
 
842
 
 
843
        Tests that want to use debug flags can just set them in the
 
844
        debug_flags set during setup/teardown.
 
845
        """
 
846
        self._preserved_debug_flags = set(debug.debug_flags)
 
847
        if 'allow_debug' not in selftest_debug_flags:
 
848
            debug.debug_flags.clear()
 
849
        if 'disable_lock_checks' not in selftest_debug_flags:
 
850
            debug.debug_flags.add('strict_locks')
 
851
        self.addCleanup(self._restore_debug_flags)
 
852
 
 
853
    def _clear_hooks(self):
 
854
        # prevent hooks affecting tests
 
855
        self._preserved_hooks = {}
 
856
        for key, factory in hooks.known_hooks.items():
 
857
            parent, name = hooks.known_hooks_key_to_parent_and_attribute(key)
 
858
            current_hooks = hooks.known_hooks_key_to_object(key)
 
859
            self._preserved_hooks[parent] = (name, current_hooks)
 
860
        self.addCleanup(self._restoreHooks)
 
861
        for key, factory in hooks.known_hooks.items():
 
862
            parent, name = hooks.known_hooks_key_to_parent_and_attribute(key)
 
863
            setattr(parent, name, factory())
 
864
        # this hook should always be installed
 
865
        request._install_hook()
 
866
 
 
867
    def _silenceUI(self):
 
868
        """Turn off UI for duration of test"""
 
869
        # by default the UI is off; tests can turn it on if they want it.
 
870
        saved = ui.ui_factory
 
871
        def _restore():
 
872
            ui.ui_factory = saved
 
873
        ui.ui_factory = ui.SilentUIFactory()
 
874
        self.addCleanup(_restore)
 
875
 
 
876
    def _check_locks(self):
 
877
        """Check that all lock take/release actions have been paired."""
 
878
        # We always check for mismatched locks. If a mismatch is found, we
 
879
        # fail unless -Edisable_lock_checks is supplied to selftest, in which
 
880
        # case we just print a warning.
 
881
        # unhook:
 
882
        acquired_locks = [lock for action, lock in self._lock_actions
 
883
                          if action == 'acquired']
 
884
        released_locks = [lock for action, lock in self._lock_actions
 
885
                          if action == 'released']
 
886
        broken_locks = [lock for action, lock in self._lock_actions
 
887
                        if action == 'broken']
 
888
        # trivially, given the tests for lock acquistion and release, if we
 
889
        # have as many in each list, it should be ok. Some lock tests also
 
890
        # break some locks on purpose and should be taken into account by
 
891
        # considering that breaking a lock is just a dirty way of releasing it.
 
892
        if len(acquired_locks) != (len(released_locks) + len(broken_locks)):
 
893
            message = ('Different number of acquired and '
 
894
                       'released or broken locks. (%s, %s + %s)' %
 
895
                       (acquired_locks, released_locks, broken_locks))
 
896
            if not self._lock_check_thorough:
 
897
                # Rather than fail, just warn
 
898
                print "Broken test %s: %s" % (self, message)
 
899
                return
 
900
            self.fail(message)
 
901
 
 
902
    def _track_locks(self):
 
903
        """Track lock activity during tests."""
 
904
        self._lock_actions = []
 
905
        if 'disable_lock_checks' in selftest_debug_flags:
 
906
            self._lock_check_thorough = False
 
907
        else:
 
908
            self._lock_check_thorough = True
 
909
            
 
910
        self.addCleanup(self._check_locks)
 
911
        _mod_lock.Lock.hooks.install_named_hook('lock_acquired',
 
912
                                                self._lock_acquired, None)
 
913
        _mod_lock.Lock.hooks.install_named_hook('lock_released',
 
914
                                                self._lock_released, None)
 
915
        _mod_lock.Lock.hooks.install_named_hook('lock_broken',
 
916
                                                self._lock_broken, None)
 
917
 
 
918
    def _lock_acquired(self, result):
 
919
        self._lock_actions.append(('acquired', result))
 
920
 
 
921
    def _lock_released(self, result):
 
922
        self._lock_actions.append(('released', result))
 
923
 
 
924
    def _lock_broken(self, result):
 
925
        self._lock_actions.append(('broken', result))
 
926
 
 
927
    def _ndiff_strings(self, a, b):
 
928
        """Return ndiff between two strings containing lines.
 
929
 
 
930
        A trailing newline is added if missing to make the strings
 
931
        print properly."""
 
932
        if b and b[-1] != '\n':
 
933
            b += '\n'
 
934
        if a and a[-1] != '\n':
 
935
            a += '\n'
 
936
        difflines = difflib.ndiff(a.splitlines(True),
 
937
                                  b.splitlines(True),
 
938
                                  linejunk=lambda x: False,
 
939
                                  charjunk=lambda x: False)
 
940
        return ''.join(difflines)
 
941
 
 
942
    def assertEqual(self, a, b, message=''):
 
943
        try:
 
944
            if a == b:
 
945
                return
 
946
        except UnicodeError, e:
 
947
            # If we can't compare without getting a UnicodeError, then
 
948
            # obviously they are different
 
949
            mutter('UnicodeError: %s', e)
 
950
        if message:
 
951
            message += '\n'
 
952
        raise AssertionError("%snot equal:\na = %s\nb = %s\n"
 
953
            % (message,
 
954
               pformat(a), pformat(b)))
 
955
 
 
956
    assertEquals = assertEqual
 
957
 
 
958
    def assertEqualDiff(self, a, b, message=None):
 
959
        """Assert two texts are equal, if not raise an exception.
 
960
 
 
961
        This is intended for use with multi-line strings where it can
 
962
        be hard to find the differences by eye.
 
963
        """
 
964
        # TODO: perhaps override assertEquals to call this for strings?
 
965
        if a == b:
 
966
            return
 
967
        if message is None:
 
968
            message = "texts not equal:\n"
 
969
        if a == b + '\n':
 
970
            message = 'first string is missing a final newline.\n'
 
971
        if a + '\n' == b:
 
972
            message = 'second string is missing a final newline.\n'
 
973
        raise AssertionError(message +
 
974
                             self._ndiff_strings(a, b))
 
975
 
 
976
    def assertEqualMode(self, mode, mode_test):
 
977
        self.assertEqual(mode, mode_test,
 
978
                         'mode mismatch %o != %o' % (mode, mode_test))
 
979
 
 
980
    def assertEqualStat(self, expected, actual):
 
981
        """assert that expected and actual are the same stat result.
 
982
 
 
983
        :param expected: A stat result.
 
984
        :param actual: A stat result.
 
985
        :raises AssertionError: If the expected and actual stat values differ
 
986
            other than by atime.
 
987
        """
 
988
        self.assertEqual(expected.st_size, actual.st_size)
 
989
        self.assertEqual(expected.st_mtime, actual.st_mtime)
 
990
        self.assertEqual(expected.st_ctime, actual.st_ctime)
 
991
        self.assertEqual(expected.st_dev, actual.st_dev)
 
992
        self.assertEqual(expected.st_ino, actual.st_ino)
 
993
        self.assertEqual(expected.st_mode, actual.st_mode)
 
994
 
 
995
    def assertLength(self, length, obj_with_len):
 
996
        """Assert that obj_with_len is of length length."""
 
997
        if len(obj_with_len) != length:
 
998
            self.fail("Incorrect length: wanted %d, got %d for %r" % (
 
999
                length, len(obj_with_len), obj_with_len))
 
1000
 
 
1001
    def assertPositive(self, val):
 
1002
        """Assert that val is greater than 0."""
 
1003
        self.assertTrue(val > 0, 'expected a positive value, but got %s' % val)
 
1004
 
 
1005
    def assertNegative(self, val):
 
1006
        """Assert that val is less than 0."""
 
1007
        self.assertTrue(val < 0, 'expected a negative value, but got %s' % val)
 
1008
 
 
1009
    def assertStartsWith(self, s, prefix):
 
1010
        if not s.startswith(prefix):
 
1011
            raise AssertionError('string %r does not start with %r' % (s, prefix))
 
1012
 
 
1013
    def assertEndsWith(self, s, suffix):
 
1014
        """Asserts that s ends with suffix."""
 
1015
        if not s.endswith(suffix):
 
1016
            raise AssertionError('string %r does not end with %r' % (s, suffix))
 
1017
 
 
1018
    def assertContainsRe(self, haystack, needle_re, flags=0):
 
1019
        """Assert that a contains something matching a regular expression."""
 
1020
        if not re.search(needle_re, haystack, flags):
 
1021
            if '\n' in haystack or len(haystack) > 60:
 
1022
                # a long string, format it in a more readable way
 
1023
                raise AssertionError(
 
1024
                        'pattern "%s" not found in\n"""\\\n%s"""\n'
 
1025
                        % (needle_re, haystack))
 
1026
            else:
 
1027
                raise AssertionError('pattern "%s" not found in "%s"'
 
1028
                        % (needle_re, haystack))
 
1029
 
 
1030
    def assertNotContainsRe(self, haystack, needle_re, flags=0):
 
1031
        """Assert that a does not match a regular expression"""
 
1032
        if re.search(needle_re, haystack, flags):
 
1033
            raise AssertionError('pattern "%s" found in "%s"'
 
1034
                    % (needle_re, haystack))
 
1035
 
 
1036
    def assertSubset(self, sublist, superlist):
 
1037
        """Assert that every entry in sublist is present in superlist."""
 
1038
        missing = set(sublist) - set(superlist)
 
1039
        if len(missing) > 0:
 
1040
            raise AssertionError("value(s) %r not present in container %r" %
 
1041
                                 (missing, superlist))
 
1042
 
 
1043
    def assertListRaises(self, excClass, func, *args, **kwargs):
 
1044
        """Fail unless excClass is raised when the iterator from func is used.
 
1045
 
 
1046
        Many functions can return generators this makes sure
 
1047
        to wrap them in a list() call to make sure the whole generator
 
1048
        is run, and that the proper exception is raised.
 
1049
        """
 
1050
        try:
 
1051
            list(func(*args, **kwargs))
 
1052
        except excClass, e:
 
1053
            return e
 
1054
        else:
 
1055
            if getattr(excClass,'__name__', None) is not None:
 
1056
                excName = excClass.__name__
 
1057
            else:
 
1058
                excName = str(excClass)
 
1059
            raise self.failureException, "%s not raised" % excName
 
1060
 
 
1061
    def assertRaises(self, excClass, callableObj, *args, **kwargs):
 
1062
        """Assert that a callable raises a particular exception.
 
1063
 
 
1064
        :param excClass: As for the except statement, this may be either an
 
1065
            exception class, or a tuple of classes.
 
1066
        :param callableObj: A callable, will be passed ``*args`` and
 
1067
            ``**kwargs``.
 
1068
 
 
1069
        Returns the exception so that you can examine it.
 
1070
        """
 
1071
        try:
 
1072
            callableObj(*args, **kwargs)
 
1073
        except excClass, e:
 
1074
            return e
 
1075
        else:
 
1076
            if getattr(excClass,'__name__', None) is not None:
 
1077
                excName = excClass.__name__
 
1078
            else:
 
1079
                # probably a tuple
 
1080
                excName = str(excClass)
 
1081
            raise self.failureException, "%s not raised" % excName
 
1082
 
 
1083
    def assertIs(self, left, right, message=None):
 
1084
        if not (left is right):
 
1085
            if message is not None:
 
1086
                raise AssertionError(message)
 
1087
            else:
 
1088
                raise AssertionError("%r is not %r." % (left, right))
 
1089
 
 
1090
    def assertIsNot(self, left, right, message=None):
 
1091
        if (left is right):
 
1092
            if message is not None:
 
1093
                raise AssertionError(message)
 
1094
            else:
 
1095
                raise AssertionError("%r is %r." % (left, right))
 
1096
 
 
1097
    def assertTransportMode(self, transport, path, mode):
 
1098
        """Fail if a path does not have mode "mode".
 
1099
 
 
1100
        If modes are not supported on this transport, the assertion is ignored.
 
1101
        """
 
1102
        if not transport._can_roundtrip_unix_modebits():
 
1103
            return
 
1104
        path_stat = transport.stat(path)
 
1105
        actual_mode = stat.S_IMODE(path_stat.st_mode)
 
1106
        self.assertEqual(mode, actual_mode,
 
1107
                         'mode of %r incorrect (%s != %s)'
 
1108
                         % (path, oct(mode), oct(actual_mode)))
 
1109
 
 
1110
    def assertIsSameRealPath(self, path1, path2):
 
1111
        """Fail if path1 and path2 points to different files"""
 
1112
        self.assertEqual(osutils.realpath(path1),
 
1113
                         osutils.realpath(path2),
 
1114
                         "apparent paths:\na = %s\nb = %s\n," % (path1, path2))
 
1115
 
 
1116
    def assertIsInstance(self, obj, kls, msg=None):
 
1117
        """Fail if obj is not an instance of kls
 
1118
        
 
1119
        :param msg: Supplementary message to show if the assertion fails.
 
1120
        """
 
1121
        if not isinstance(obj, kls):
 
1122
            m = "%r is an instance of %s rather than %s" % (
 
1123
                obj, obj.__class__, kls)
 
1124
            if msg:
 
1125
                m += ": " + msg
 
1126
            self.fail(m)
 
1127
 
 
1128
    def expectFailure(self, reason, assertion, *args, **kwargs):
 
1129
        """Invoke a test, expecting it to fail for the given reason.
 
1130
 
 
1131
        This is for assertions that ought to succeed, but currently fail.
 
1132
        (The failure is *expected* but not *wanted*.)  Please be very precise
 
1133
        about the failure you're expecting.  If a new bug is introduced,
 
1134
        AssertionError should be raised, not KnownFailure.
 
1135
 
 
1136
        Frequently, expectFailure should be followed by an opposite assertion.
 
1137
        See example below.
 
1138
 
 
1139
        Intended to be used with a callable that raises AssertionError as the
 
1140
        'assertion' parameter.  args and kwargs are passed to the 'assertion'.
 
1141
 
 
1142
        Raises KnownFailure if the test fails.  Raises AssertionError if the
 
1143
        test succeeds.
 
1144
 
 
1145
        example usage::
 
1146
 
 
1147
          self.expectFailure('Math is broken', self.assertNotEqual, 54,
 
1148
                             dynamic_val)
 
1149
          self.assertEqual(42, dynamic_val)
 
1150
 
 
1151
          This means that a dynamic_val of 54 will cause the test to raise
 
1152
          a KnownFailure.  Once math is fixed and the expectFailure is removed,
 
1153
          only a dynamic_val of 42 will allow the test to pass.  Anything other
 
1154
          than 54 or 42 will cause an AssertionError.
 
1155
        """
 
1156
        try:
 
1157
            assertion(*args, **kwargs)
 
1158
        except AssertionError:
 
1159
            raise KnownFailure(reason)
 
1160
        else:
 
1161
            self.fail('Unexpected success.  Should have failed: %s' % reason)
 
1162
 
 
1163
    def assertFileEqual(self, content, path):
 
1164
        """Fail if path does not contain 'content'."""
 
1165
        self.failUnlessExists(path)
 
1166
        f = file(path, 'rb')
 
1167
        try:
 
1168
            s = f.read()
 
1169
        finally:
 
1170
            f.close()
 
1171
        self.assertEqualDiff(content, s)
 
1172
 
 
1173
    def failUnlessExists(self, path):
 
1174
        """Fail unless path or paths, which may be abs or relative, exist."""
 
1175
        if not isinstance(path, basestring):
 
1176
            for p in path:
 
1177
                self.failUnlessExists(p)
 
1178
        else:
 
1179
            self.failUnless(osutils.lexists(path),path+" does not exist")
 
1180
 
 
1181
    def failIfExists(self, path):
 
1182
        """Fail if path or paths, which may be abs or relative, exist."""
 
1183
        if not isinstance(path, basestring):
 
1184
            for p in path:
 
1185
                self.failIfExists(p)
 
1186
        else:
 
1187
            self.failIf(osutils.lexists(path),path+" exists")
 
1188
 
 
1189
    def _capture_deprecation_warnings(self, a_callable, *args, **kwargs):
 
1190
        """A helper for callDeprecated and applyDeprecated.
 
1191
 
 
1192
        :param a_callable: A callable to call.
 
1193
        :param args: The positional arguments for the callable
 
1194
        :param kwargs: The keyword arguments for the callable
 
1195
        :return: A tuple (warnings, result). result is the result of calling
 
1196
            a_callable(``*args``, ``**kwargs``).
 
1197
        """
 
1198
        local_warnings = []
 
1199
        def capture_warnings(msg, cls=None, stacklevel=None):
 
1200
            # we've hooked into a deprecation specific callpath,
 
1201
            # only deprecations should getting sent via it.
 
1202
            self.assertEqual(cls, DeprecationWarning)
 
1203
            local_warnings.append(msg)
 
1204
        original_warning_method = symbol_versioning.warn
 
1205
        symbol_versioning.set_warning_method(capture_warnings)
 
1206
        try:
 
1207
            result = a_callable(*args, **kwargs)
 
1208
        finally:
 
1209
            symbol_versioning.set_warning_method(original_warning_method)
 
1210
        return (local_warnings, result)
 
1211
 
 
1212
    def applyDeprecated(self, deprecation_format, a_callable, *args, **kwargs):
 
1213
        """Call a deprecated callable without warning the user.
 
1214
 
 
1215
        Note that this only captures warnings raised by symbol_versioning.warn,
 
1216
        not other callers that go direct to the warning module.
 
1217
 
 
1218
        To test that a deprecated method raises an error, do something like
 
1219
        this::
 
1220
 
 
1221
            self.assertRaises(errors.ReservedId,
 
1222
                self.applyDeprecated,
 
1223
                deprecated_in((1, 5, 0)),
 
1224
                br.append_revision,
 
1225
                'current:')
 
1226
 
 
1227
        :param deprecation_format: The deprecation format that the callable
 
1228
            should have been deprecated with. This is the same type as the
 
1229
            parameter to deprecated_method/deprecated_function. If the
 
1230
            callable is not deprecated with this format, an assertion error
 
1231
            will be raised.
 
1232
        :param a_callable: A callable to call. This may be a bound method or
 
1233
            a regular function. It will be called with ``*args`` and
 
1234
            ``**kwargs``.
 
1235
        :param args: The positional arguments for the callable
 
1236
        :param kwargs: The keyword arguments for the callable
 
1237
        :return: The result of a_callable(``*args``, ``**kwargs``)
 
1238
        """
 
1239
        call_warnings, result = self._capture_deprecation_warnings(a_callable,
 
1240
            *args, **kwargs)
 
1241
        expected_first_warning = symbol_versioning.deprecation_string(
 
1242
            a_callable, deprecation_format)
 
1243
        if len(call_warnings) == 0:
 
1244
            self.fail("No deprecation warning generated by call to %s" %
 
1245
                a_callable)
 
1246
        self.assertEqual(expected_first_warning, call_warnings[0])
 
1247
        return result
 
1248
 
 
1249
    def callCatchWarnings(self, fn, *args, **kw):
 
1250
        """Call a callable that raises python warnings.
 
1251
 
 
1252
        The caller's responsible for examining the returned warnings.
 
1253
 
 
1254
        If the callable raises an exception, the exception is not
 
1255
        caught and propagates up to the caller.  In that case, the list
 
1256
        of warnings is not available.
 
1257
 
 
1258
        :returns: ([warning_object, ...], fn_result)
 
1259
        """
 
1260
        # XXX: This is not perfect, because it completely overrides the
 
1261
        # warnings filters, and some code may depend on suppressing particular
 
1262
        # warnings.  It's the easiest way to insulate ourselves from -Werror,
 
1263
        # though.  -- Andrew, 20071062
 
1264
        wlist = []
 
1265
        def _catcher(message, category, filename, lineno, file=None, line=None):
 
1266
            # despite the name, 'message' is normally(?) a Warning subclass
 
1267
            # instance
 
1268
            wlist.append(message)
 
1269
        saved_showwarning = warnings.showwarning
 
1270
        saved_filters = warnings.filters
 
1271
        try:
 
1272
            warnings.showwarning = _catcher
 
1273
            warnings.filters = []
 
1274
            result = fn(*args, **kw)
 
1275
        finally:
 
1276
            warnings.showwarning = saved_showwarning
 
1277
            warnings.filters = saved_filters
 
1278
        return wlist, result
 
1279
 
 
1280
    def callDeprecated(self, expected, callable, *args, **kwargs):
 
1281
        """Assert that a callable is deprecated in a particular way.
 
1282
 
 
1283
        This is a very precise test for unusual requirements. The
 
1284
        applyDeprecated helper function is probably more suited for most tests
 
1285
        as it allows you to simply specify the deprecation format being used
 
1286
        and will ensure that that is issued for the function being called.
 
1287
 
 
1288
        Note that this only captures warnings raised by symbol_versioning.warn,
 
1289
        not other callers that go direct to the warning module.  To catch
 
1290
        general warnings, use callCatchWarnings.
 
1291
 
 
1292
        :param expected: a list of the deprecation warnings expected, in order
 
1293
        :param callable: The callable to call
 
1294
        :param args: The positional arguments for the callable
 
1295
        :param kwargs: The keyword arguments for the callable
 
1296
        """
 
1297
        call_warnings, result = self._capture_deprecation_warnings(callable,
 
1298
            *args, **kwargs)
 
1299
        self.assertEqual(expected, call_warnings)
 
1300
        return result
 
1301
 
 
1302
    def _startLogFile(self):
 
1303
        """Send bzr and test log messages to a temporary file.
 
1304
 
 
1305
        The file is removed as the test is torn down.
 
1306
        """
 
1307
        fileno, name = tempfile.mkstemp(suffix='.log', prefix='testbzr')
 
1308
        self._log_file = os.fdopen(fileno, 'w+')
 
1309
        self._log_memento = bzrlib.trace.push_log_file(self._log_file)
 
1310
        self._log_file_name = name
 
1311
        self.addCleanup(self._finishLogFile)
 
1312
 
 
1313
    def _finishLogFile(self):
 
1314
        """Finished with the log file.
 
1315
 
 
1316
        Close the file and delete it, unless setKeepLogfile was called.
 
1317
        """
 
1318
        if self._log_file is None:
 
1319
            return
 
1320
        bzrlib.trace.pop_log_file(self._log_memento)
 
1321
        self._log_file.close()
 
1322
        self._log_file = None
 
1323
        if not self._keep_log_file:
 
1324
            os.remove(self._log_file_name)
 
1325
            self._log_file_name = None
 
1326
 
 
1327
    def setKeepLogfile(self):
 
1328
        """Make the logfile not be deleted when _finishLogFile is called."""
 
1329
        self._keep_log_file = True
 
1330
 
 
1331
    def thisFailsStrictLockCheck(self):
 
1332
        """It is known that this test would fail with -Dstrict_locks.
 
1333
 
 
1334
        By default, all tests are run with strict lock checking unless
 
1335
        -Edisable_lock_checks is supplied. However there are some tests which
 
1336
        we know fail strict locks at this point that have not been fixed.
 
1337
        They should call this function to disable the strict checking.
 
1338
 
 
1339
        This should be used sparingly, it is much better to fix the locking
 
1340
        issues rather than papering over the problem by calling this function.
 
1341
        """
 
1342
        debug.debug_flags.discard('strict_locks')
 
1343
 
 
1344
    def addCleanup(self, callable, *args, **kwargs):
 
1345
        """Arrange to run a callable when this case is torn down.
 
1346
 
 
1347
        Callables are run in the reverse of the order they are registered,
 
1348
        ie last-in first-out.
 
1349
        """
 
1350
        self._cleanups.append((callable, args, kwargs))
 
1351
 
 
1352
    def _cleanEnvironment(self):
 
1353
        new_env = {
 
1354
            'BZR_HOME': None, # Don't inherit BZR_HOME to all the tests.
 
1355
            'HOME': os.getcwd(),
 
1356
            # bzr now uses the Win32 API and doesn't rely on APPDATA, but the
 
1357
            # tests do check our impls match APPDATA
 
1358
            'BZR_EDITOR': None, # test_msgeditor manipulates this variable
 
1359
            'VISUAL': None,
 
1360
            'EDITOR': None,
 
1361
            'BZR_EMAIL': None,
 
1362
            'BZREMAIL': None, # may still be present in the environment
 
1363
            'EMAIL': None,
 
1364
            'BZR_PROGRESS_BAR': None,
 
1365
            'BZR_LOG': None,
 
1366
            'BZR_PLUGIN_PATH': None,
 
1367
            # Make sure that any text ui tests are consistent regardless of
 
1368
            # the environment the test case is run in; you may want tests that
 
1369
            # test other combinations.  'dumb' is a reasonable guess for tests
 
1370
            # going to a pipe or a StringIO.
 
1371
            'TERM': 'dumb',
 
1372
            'LINES': '25',
 
1373
            'COLUMNS': '80',
 
1374
            # SSH Agent
 
1375
            'SSH_AUTH_SOCK': None,
 
1376
            # Proxies
 
1377
            'http_proxy': None,
 
1378
            'HTTP_PROXY': None,
 
1379
            'https_proxy': None,
 
1380
            'HTTPS_PROXY': None,
 
1381
            'no_proxy': None,
 
1382
            'NO_PROXY': None,
 
1383
            'all_proxy': None,
 
1384
            'ALL_PROXY': None,
 
1385
            # Nobody cares about ftp_proxy, FTP_PROXY AFAIK. So far at
 
1386
            # least. If you do (care), please update this comment
 
1387
            # -- vila 20080401
 
1388
            'ftp_proxy': None,
 
1389
            'FTP_PROXY': None,
 
1390
            'BZR_REMOTE_PATH': None,
 
1391
        }
 
1392
        self.__old_env = {}
 
1393
        self.addCleanup(self._restoreEnvironment)
 
1394
        for name, value in new_env.iteritems():
 
1395
            self._captureVar(name, value)
 
1396
 
 
1397
    def _captureVar(self, name, newvalue):
 
1398
        """Set an environment variable, and reset it when finished."""
 
1399
        self.__old_env[name] = osutils.set_or_unset_env(name, newvalue)
 
1400
 
 
1401
    def _restore_debug_flags(self):
 
1402
        debug.debug_flags.clear()
 
1403
        debug.debug_flags.update(self._preserved_debug_flags)
 
1404
 
 
1405
    def _restoreEnvironment(self):
 
1406
        for name, value in self.__old_env.iteritems():
 
1407
            osutils.set_or_unset_env(name, value)
 
1408
 
 
1409
    def _restoreHooks(self):
 
1410
        for klass, (name, hooks) in self._preserved_hooks.items():
 
1411
            setattr(klass, name, hooks)
 
1412
 
 
1413
    def knownFailure(self, reason):
 
1414
        """This test has failed for some known reason."""
 
1415
        raise KnownFailure(reason)
 
1416
 
 
1417
    def _do_skip(self, result, reason):
 
1418
        addSkip = getattr(result, 'addSkip', None)
 
1419
        if not callable(addSkip):
 
1420
            result.addError(self, sys.exc_info())
 
1421
        else:
 
1422
            addSkip(self, reason)
 
1423
 
 
1424
    def run(self, result=None):
 
1425
        if result is None: result = self.defaultTestResult()
 
1426
        for feature in getattr(self, '_test_needs_features', []):
 
1427
            if not feature.available():
 
1428
                result.startTest(self)
 
1429
                if getattr(result, 'addNotSupported', None):
 
1430
                    result.addNotSupported(self, feature)
 
1431
                else:
 
1432
                    result.addSuccess(self)
 
1433
                result.stopTest(self)
 
1434
                return result
 
1435
        try:
 
1436
            try:
 
1437
                result.startTest(self)
 
1438
                absent_attr = object()
 
1439
                # Python 2.5
 
1440
                method_name = getattr(self, '_testMethodName', absent_attr)
 
1441
                if method_name is absent_attr:
 
1442
                    # Python 2.4
 
1443
                    method_name = getattr(self, '_TestCase__testMethodName')
 
1444
                testMethod = getattr(self, method_name)
 
1445
                try:
 
1446
                    try:
 
1447
                        self.setUp()
 
1448
                        if not self._bzr_test_setUp_run:
 
1449
                            self.fail(
 
1450
                                "test setUp did not invoke "
 
1451
                                "bzrlib.tests.TestCase's setUp")
 
1452
                    except KeyboardInterrupt:
 
1453
                        self._runCleanups()
 
1454
                        raise
 
1455
                    except TestSkipped, e:
 
1456
                        self._do_skip(result, e.args[0])
 
1457
                        self.tearDown()
 
1458
                        return result
 
1459
                    except:
 
1460
                        result.addError(self, sys.exc_info())
 
1461
                        self._runCleanups()
 
1462
                        return result
 
1463
 
 
1464
                    ok = False
 
1465
                    try:
 
1466
                        testMethod()
 
1467
                        ok = True
 
1468
                    except self.failureException:
 
1469
                        result.addFailure(self, sys.exc_info())
 
1470
                    except TestSkipped, e:
 
1471
                        if not e.args:
 
1472
                            reason = "No reason given."
 
1473
                        else:
 
1474
                            reason = e.args[0]
 
1475
                        self._do_skip(result, reason)
 
1476
                    except KeyboardInterrupt:
 
1477
                        self._runCleanups()
 
1478
                        raise
 
1479
                    except:
 
1480
                        result.addError(self, sys.exc_info())
 
1481
 
 
1482
                    try:
 
1483
                        self.tearDown()
 
1484
                        if not self._bzr_test_tearDown_run:
 
1485
                            self.fail(
 
1486
                                "test tearDown did not invoke "
 
1487
                                "bzrlib.tests.TestCase's tearDown")
 
1488
                    except KeyboardInterrupt:
 
1489
                        self._runCleanups()
 
1490
                        raise
 
1491
                    except:
 
1492
                        result.addError(self, sys.exc_info())
 
1493
                        self._runCleanups()
 
1494
                        ok = False
 
1495
                    if ok: result.addSuccess(self)
 
1496
                finally:
 
1497
                    result.stopTest(self)
 
1498
                return result
 
1499
            except TestNotApplicable:
 
1500
                # Not moved from the result [yet].
 
1501
                self._runCleanups()
 
1502
                raise
 
1503
            except KeyboardInterrupt:
 
1504
                self._runCleanups()
 
1505
                raise
 
1506
        finally:
 
1507
            saved_attrs = {}
 
1508
            for attr_name in self.attrs_to_keep:
 
1509
                if attr_name in self.__dict__:
 
1510
                    saved_attrs[attr_name] = self.__dict__[attr_name]
 
1511
            self.__dict__ = saved_attrs
 
1512
 
 
1513
    def tearDown(self):
 
1514
        self._runCleanups()
 
1515
        self._log_contents = ''
 
1516
        self._bzr_test_tearDown_run = True
 
1517
        unittest.TestCase.tearDown(self)
 
1518
 
 
1519
    def time(self, callable, *args, **kwargs):
 
1520
        """Run callable and accrue the time it takes to the benchmark time.
 
1521
 
 
1522
        If lsprofiling is enabled (i.e. by --lsprof-time to bzr selftest) then
 
1523
        this will cause lsprofile statistics to be gathered and stored in
 
1524
        self._benchcalls.
 
1525
        """
 
1526
        if self._benchtime is None:
 
1527
            self._benchtime = 0
 
1528
        start = time.time()
 
1529
        try:
 
1530
            if not self._gather_lsprof_in_benchmarks:
 
1531
                return callable(*args, **kwargs)
 
1532
            else:
 
1533
                # record this benchmark
 
1534
                ret, stats = bzrlib.lsprof.profile(callable, *args, **kwargs)
 
1535
                stats.sort()
 
1536
                self._benchcalls.append(((callable, args, kwargs), stats))
 
1537
                return ret
 
1538
        finally:
 
1539
            self._benchtime += time.time() - start
 
1540
 
 
1541
    def _runCleanups(self):
 
1542
        """Run registered cleanup functions.
 
1543
 
 
1544
        This should only be called from TestCase.tearDown.
 
1545
        """
 
1546
        # TODO: Perhaps this should keep running cleanups even if
 
1547
        # one of them fails?
 
1548
 
 
1549
        # Actually pop the cleanups from the list so tearDown running
 
1550
        # twice is safe (this happens for skipped tests).
 
1551
        while self._cleanups:
 
1552
            cleanup, args, kwargs = self._cleanups.pop()
 
1553
            cleanup(*args, **kwargs)
 
1554
 
 
1555
    def log(self, *args):
 
1556
        mutter(*args)
 
1557
 
 
1558
    def _get_log(self, keep_log_file=False):
 
1559
        """Get the log from bzrlib.trace calls from this test.
 
1560
 
 
1561
        :param keep_log_file: When True, if the log is still a file on disk
 
1562
            leave it as a file on disk. When False, if the log is still a file
 
1563
            on disk, the log file is deleted and the log preserved as
 
1564
            self._log_contents.
 
1565
        :return: A string containing the log.
 
1566
        """
 
1567
        # flush the log file, to get all content
 
1568
        import bzrlib.trace
 
1569
        if bzrlib.trace._trace_file:
 
1570
            bzrlib.trace._trace_file.flush()
 
1571
        if self._log_contents:
 
1572
            # XXX: this can hardly contain the content flushed above --vila
 
1573
            # 20080128
 
1574
            return self._log_contents
 
1575
        if self._log_file_name is not None:
 
1576
            logfile = open(self._log_file_name)
 
1577
            try:
 
1578
                log_contents = logfile.read()
 
1579
            finally:
 
1580
                logfile.close()
 
1581
            if not keep_log_file:
 
1582
                self._log_contents = log_contents
 
1583
                try:
 
1584
                    os.remove(self._log_file_name)
 
1585
                except OSError, e:
 
1586
                    if sys.platform == 'win32' and e.errno == errno.EACCES:
 
1587
                        sys.stderr.write(('Unable to delete log file '
 
1588
                                             ' %r\n' % self._log_file_name))
 
1589
                    else:
 
1590
                        raise
 
1591
            return log_contents
 
1592
        else:
 
1593
            return "DELETED log file to reduce memory footprint"
 
1594
 
 
1595
    def requireFeature(self, feature):
 
1596
        """This test requires a specific feature is available.
 
1597
 
 
1598
        :raises UnavailableFeature: When feature is not available.
 
1599
        """
 
1600
        if not feature.available():
 
1601
            raise UnavailableFeature(feature)
 
1602
 
 
1603
    def _run_bzr_autosplit(self, args, retcode, encoding, stdin,
 
1604
            working_dir):
 
1605
        """Run bazaar command line, splitting up a string command line."""
 
1606
        if isinstance(args, basestring):
 
1607
            # shlex don't understand unicode strings,
 
1608
            # so args should be plain string (bialix 20070906)
 
1609
            args = list(shlex.split(str(args)))
 
1610
        return self._run_bzr_core(args, retcode=retcode,
 
1611
                encoding=encoding, stdin=stdin, working_dir=working_dir,
 
1612
                )
 
1613
 
 
1614
    def _run_bzr_core(self, args, retcode, encoding, stdin,
 
1615
            working_dir):
 
1616
        if encoding is None:
 
1617
            encoding = osutils.get_user_encoding()
 
1618
        stdout = StringIOWrapper()
 
1619
        stderr = StringIOWrapper()
 
1620
        stdout.encoding = encoding
 
1621
        stderr.encoding = encoding
 
1622
 
 
1623
        self.log('run bzr: %r', args)
 
1624
        # FIXME: don't call into logging here
 
1625
        handler = logging.StreamHandler(stderr)
 
1626
        handler.setLevel(logging.INFO)
 
1627
        logger = logging.getLogger('')
 
1628
        logger.addHandler(handler)
 
1629
        old_ui_factory = ui.ui_factory
 
1630
        ui.ui_factory = TestUIFactory(stdin=stdin, stdout=stdout, stderr=stderr)
 
1631
 
 
1632
        cwd = None
 
1633
        if working_dir is not None:
 
1634
            cwd = osutils.getcwd()
 
1635
            os.chdir(working_dir)
 
1636
 
 
1637
        try:
 
1638
            result = self.apply_redirected(ui.ui_factory.stdin,
 
1639
                stdout, stderr,
 
1640
                bzrlib.commands.run_bzr_catch_user_errors,
 
1641
                args)
 
1642
        finally:
 
1643
            logger.removeHandler(handler)
 
1644
            ui.ui_factory = old_ui_factory
 
1645
            if cwd is not None:
 
1646
                os.chdir(cwd)
 
1647
 
 
1648
        out = stdout.getvalue()
 
1649
        err = stderr.getvalue()
 
1650
        if out:
 
1651
            self.log('output:\n%r', out)
 
1652
        if err:
 
1653
            self.log('errors:\n%r', err)
 
1654
        if retcode is not None:
 
1655
            self.assertEquals(retcode, result,
 
1656
                              message='Unexpected return code')
 
1657
        return out, err
 
1658
 
 
1659
    def run_bzr(self, args, retcode=0, encoding=None, stdin=None,
 
1660
                working_dir=None, error_regexes=[], output_encoding=None):
 
1661
        """Invoke bzr, as if it were run from the command line.
 
1662
 
 
1663
        The argument list should not include the bzr program name - the
 
1664
        first argument is normally the bzr command.  Arguments may be
 
1665
        passed in three ways:
 
1666
 
 
1667
        1- A list of strings, eg ["commit", "a"].  This is recommended
 
1668
        when the command contains whitespace or metacharacters, or
 
1669
        is built up at run time.
 
1670
 
 
1671
        2- A single string, eg "add a".  This is the most convenient
 
1672
        for hardcoded commands.
 
1673
 
 
1674
        This runs bzr through the interface that catches and reports
 
1675
        errors, and with logging set to something approximating the
 
1676
        default, so that error reporting can be checked.
 
1677
 
 
1678
        This should be the main method for tests that want to exercise the
 
1679
        overall behavior of the bzr application (rather than a unit test
 
1680
        or a functional test of the library.)
 
1681
 
 
1682
        This sends the stdout/stderr results into the test's log,
 
1683
        where it may be useful for debugging.  See also run_captured.
 
1684
 
 
1685
        :keyword stdin: A string to be used as stdin for the command.
 
1686
        :keyword retcode: The status code the command should return;
 
1687
            default 0.
 
1688
        :keyword working_dir: The directory to run the command in
 
1689
        :keyword error_regexes: A list of expected error messages.  If
 
1690
            specified they must be seen in the error output of the command.
 
1691
        """
 
1692
        out, err = self._run_bzr_autosplit(
 
1693
            args=args,
 
1694
            retcode=retcode,
 
1695
            encoding=encoding,
 
1696
            stdin=stdin,
 
1697
            working_dir=working_dir,
 
1698
            )
 
1699
        self.assertIsInstance(error_regexes, (list, tuple))
 
1700
        for regex in error_regexes:
 
1701
            self.assertContainsRe(err, regex)
 
1702
        return out, err
 
1703
 
 
1704
    def run_bzr_error(self, error_regexes, *args, **kwargs):
 
1705
        """Run bzr, and check that stderr contains the supplied regexes
 
1706
 
 
1707
        :param error_regexes: Sequence of regular expressions which
 
1708
            must each be found in the error output. The relative ordering
 
1709
            is not enforced.
 
1710
        :param args: command-line arguments for bzr
 
1711
        :param kwargs: Keyword arguments which are interpreted by run_bzr
 
1712
            This function changes the default value of retcode to be 3,
 
1713
            since in most cases this is run when you expect bzr to fail.
 
1714
 
 
1715
        :return: (out, err) The actual output of running the command (in case
 
1716
            you want to do more inspection)
 
1717
 
 
1718
        Examples of use::
 
1719
 
 
1720
            # Make sure that commit is failing because there is nothing to do
 
1721
            self.run_bzr_error(['no changes to commit'],
 
1722
                               ['commit', '-m', 'my commit comment'])
 
1723
            # Make sure --strict is handling an unknown file, rather than
 
1724
            # giving us the 'nothing to do' error
 
1725
            self.build_tree(['unknown'])
 
1726
            self.run_bzr_error(['Commit refused because there are unknown files'],
 
1727
                               ['commit', --strict', '-m', 'my commit comment'])
 
1728
        """
 
1729
        kwargs.setdefault('retcode', 3)
 
1730
        kwargs['error_regexes'] = error_regexes
 
1731
        out, err = self.run_bzr(*args, **kwargs)
 
1732
        return out, err
 
1733
 
 
1734
    def run_bzr_subprocess(self, *args, **kwargs):
 
1735
        """Run bzr in a subprocess for testing.
 
1736
 
 
1737
        This starts a new Python interpreter and runs bzr in there.
 
1738
        This should only be used for tests that have a justifiable need for
 
1739
        this isolation: e.g. they are testing startup time, or signal
 
1740
        handling, or early startup code, etc.  Subprocess code can't be
 
1741
        profiled or debugged so easily.
 
1742
 
 
1743
        :keyword retcode: The status code that is expected.  Defaults to 0.  If
 
1744
            None is supplied, the status code is not checked.
 
1745
        :keyword env_changes: A dictionary which lists changes to environment
 
1746
            variables. A value of None will unset the env variable.
 
1747
            The values must be strings. The change will only occur in the
 
1748
            child, so you don't need to fix the environment after running.
 
1749
        :keyword universal_newlines: Convert CRLF => LF
 
1750
        :keyword allow_plugins: By default the subprocess is run with
 
1751
            --no-plugins to ensure test reproducibility. Also, it is possible
 
1752
            for system-wide plugins to create unexpected output on stderr,
 
1753
            which can cause unnecessary test failures.
 
1754
        """
 
1755
        env_changes = kwargs.get('env_changes', {})
 
1756
        working_dir = kwargs.get('working_dir', None)
 
1757
        allow_plugins = kwargs.get('allow_plugins', False)
 
1758
        if len(args) == 1:
 
1759
            if isinstance(args[0], list):
 
1760
                args = args[0]
 
1761
            elif isinstance(args[0], basestring):
 
1762
                args = list(shlex.split(args[0]))
 
1763
        else:
 
1764
            raise ValueError("passing varargs to run_bzr_subprocess")
 
1765
        process = self.start_bzr_subprocess(args, env_changes=env_changes,
 
1766
                                            working_dir=working_dir,
 
1767
                                            allow_plugins=allow_plugins)
 
1768
        # We distinguish between retcode=None and retcode not passed.
 
1769
        supplied_retcode = kwargs.get('retcode', 0)
 
1770
        return self.finish_bzr_subprocess(process, retcode=supplied_retcode,
 
1771
            universal_newlines=kwargs.get('universal_newlines', False),
 
1772
            process_args=args)
 
1773
 
 
1774
    def start_bzr_subprocess(self, process_args, env_changes=None,
 
1775
                             skip_if_plan_to_signal=False,
 
1776
                             working_dir=None,
 
1777
                             allow_plugins=False):
 
1778
        """Start bzr in a subprocess for testing.
 
1779
 
 
1780
        This starts a new Python interpreter and runs bzr in there.
 
1781
        This should only be used for tests that have a justifiable need for
 
1782
        this isolation: e.g. they are testing startup time, or signal
 
1783
        handling, or early startup code, etc.  Subprocess code can't be
 
1784
        profiled or debugged so easily.
 
1785
 
 
1786
        :param process_args: a list of arguments to pass to the bzr executable,
 
1787
            for example ``['--version']``.
 
1788
        :param env_changes: A dictionary which lists changes to environment
 
1789
            variables. A value of None will unset the env variable.
 
1790
            The values must be strings. The change will only occur in the
 
1791
            child, so you don't need to fix the environment after running.
 
1792
        :param skip_if_plan_to_signal: raise TestSkipped when true and os.kill
 
1793
            is not available.
 
1794
        :param allow_plugins: If False (default) pass --no-plugins to bzr.
 
1795
 
 
1796
        :returns: Popen object for the started process.
 
1797
        """
 
1798
        if skip_if_plan_to_signal:
 
1799
            if not getattr(os, 'kill', None):
 
1800
                raise TestSkipped("os.kill not available.")
 
1801
 
 
1802
        if env_changes is None:
 
1803
            env_changes = {}
 
1804
        old_env = {}
 
1805
 
 
1806
        def cleanup_environment():
 
1807
            for env_var, value in env_changes.iteritems():
 
1808
                old_env[env_var] = osutils.set_or_unset_env(env_var, value)
 
1809
 
 
1810
        def restore_environment():
 
1811
            for env_var, value in old_env.iteritems():
 
1812
                osutils.set_or_unset_env(env_var, value)
 
1813
 
 
1814
        bzr_path = self.get_bzr_path()
 
1815
 
 
1816
        cwd = None
 
1817
        if working_dir is not None:
 
1818
            cwd = osutils.getcwd()
 
1819
            os.chdir(working_dir)
 
1820
 
 
1821
        try:
 
1822
            # win32 subprocess doesn't support preexec_fn
 
1823
            # so we will avoid using it on all platforms, just to
 
1824
            # make sure the code path is used, and we don't break on win32
 
1825
            cleanup_environment()
 
1826
            command = [sys.executable]
 
1827
            # frozen executables don't need the path to bzr
 
1828
            if getattr(sys, "frozen", None) is None:
 
1829
                command.append(bzr_path)
 
1830
            if not allow_plugins:
 
1831
                command.append('--no-plugins')
 
1832
            command.extend(process_args)
 
1833
            process = self._popen(command, stdin=PIPE, stdout=PIPE, stderr=PIPE)
 
1834
        finally:
 
1835
            restore_environment()
 
1836
            if cwd is not None:
 
1837
                os.chdir(cwd)
 
1838
 
 
1839
        return process
 
1840
 
 
1841
    def _popen(self, *args, **kwargs):
 
1842
        """Place a call to Popen.
 
1843
 
 
1844
        Allows tests to override this method to intercept the calls made to
 
1845
        Popen for introspection.
 
1846
        """
 
1847
        return Popen(*args, **kwargs)
 
1848
 
 
1849
    def get_bzr_path(self):
 
1850
        """Return the path of the 'bzr' executable for this test suite."""
 
1851
        bzr_path = os.path.dirname(os.path.dirname(bzrlib.__file__))+'/bzr'
 
1852
        if not os.path.isfile(bzr_path):
 
1853
            # We are probably installed. Assume sys.argv is the right file
 
1854
            bzr_path = sys.argv[0]
 
1855
        return bzr_path
 
1856
 
 
1857
    def finish_bzr_subprocess(self, process, retcode=0, send_signal=None,
 
1858
                              universal_newlines=False, process_args=None):
 
1859
        """Finish the execution of process.
 
1860
 
 
1861
        :param process: the Popen object returned from start_bzr_subprocess.
 
1862
        :param retcode: The status code that is expected.  Defaults to 0.  If
 
1863
            None is supplied, the status code is not checked.
 
1864
        :param send_signal: an optional signal to send to the process.
 
1865
        :param universal_newlines: Convert CRLF => LF
 
1866
        :returns: (stdout, stderr)
 
1867
        """
 
1868
        if send_signal is not None:
 
1869
            os.kill(process.pid, send_signal)
 
1870
        out, err = process.communicate()
 
1871
 
 
1872
        if universal_newlines:
 
1873
            out = out.replace('\r\n', '\n')
 
1874
            err = err.replace('\r\n', '\n')
 
1875
 
 
1876
        if retcode is not None and retcode != process.returncode:
 
1877
            if process_args is None:
 
1878
                process_args = "(unknown args)"
 
1879
            mutter('Output of bzr %s:\n%s', process_args, out)
 
1880
            mutter('Error for bzr %s:\n%s', process_args, err)
 
1881
            self.fail('Command bzr %s failed with retcode %s != %s'
 
1882
                      % (process_args, retcode, process.returncode))
 
1883
        return [out, err]
 
1884
 
 
1885
    def check_inventory_shape(self, inv, shape):
 
1886
        """Compare an inventory to a list of expected names.
 
1887
 
 
1888
        Fail if they are not precisely equal.
 
1889
        """
 
1890
        extras = []
 
1891
        shape = list(shape)             # copy
 
1892
        for path, ie in inv.entries():
 
1893
            name = path.replace('\\', '/')
 
1894
            if ie.kind == 'directory':
 
1895
                name = name + '/'
 
1896
            if name in shape:
 
1897
                shape.remove(name)
 
1898
            else:
 
1899
                extras.append(name)
 
1900
        if shape:
 
1901
            self.fail("expected paths not found in inventory: %r" % shape)
 
1902
        if extras:
 
1903
            self.fail("unexpected paths found in inventory: %r" % extras)
 
1904
 
 
1905
    def apply_redirected(self, stdin=None, stdout=None, stderr=None,
 
1906
                         a_callable=None, *args, **kwargs):
 
1907
        """Call callable with redirected std io pipes.
 
1908
 
 
1909
        Returns the return code."""
 
1910
        if not callable(a_callable):
 
1911
            raise ValueError("a_callable must be callable.")
 
1912
        if stdin is None:
 
1913
            stdin = StringIO("")
 
1914
        if stdout is None:
 
1915
            if getattr(self, "_log_file", None) is not None:
 
1916
                stdout = self._log_file
 
1917
            else:
 
1918
                stdout = StringIO()
 
1919
        if stderr is None:
 
1920
            if getattr(self, "_log_file", None is not None):
 
1921
                stderr = self._log_file
 
1922
            else:
 
1923
                stderr = StringIO()
 
1924
        real_stdin = sys.stdin
 
1925
        real_stdout = sys.stdout
 
1926
        real_stderr = sys.stderr
 
1927
        try:
 
1928
            sys.stdout = stdout
 
1929
            sys.stderr = stderr
 
1930
            sys.stdin = stdin
 
1931
            return a_callable(*args, **kwargs)
 
1932
        finally:
 
1933
            sys.stdout = real_stdout
 
1934
            sys.stderr = real_stderr
 
1935
            sys.stdin = real_stdin
 
1936
 
 
1937
    def reduceLockdirTimeout(self):
 
1938
        """Reduce the default lock timeout for the duration of the test, so that
 
1939
        if LockContention occurs during a test, it does so quickly.
 
1940
 
 
1941
        Tests that expect to provoke LockContention errors should call this.
 
1942
        """
 
1943
        orig_timeout = bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS
 
1944
        def resetTimeout():
 
1945
            bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS = orig_timeout
 
1946
        self.addCleanup(resetTimeout)
 
1947
        bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS = 0
 
1948
 
 
1949
    def make_utf8_encoded_stringio(self, encoding_type=None):
 
1950
        """Return a StringIOWrapper instance, that will encode Unicode
 
1951
        input to UTF-8.
 
1952
        """
 
1953
        if encoding_type is None:
 
1954
            encoding_type = 'strict'
 
1955
        sio = StringIO()
 
1956
        output_encoding = 'utf-8'
 
1957
        sio = codecs.getwriter(output_encoding)(sio, errors=encoding_type)
 
1958
        sio.encoding = output_encoding
 
1959
        return sio
 
1960
 
 
1961
    def disable_verb(self, verb):
 
1962
        """Disable a smart server verb for one test."""
 
1963
        from bzrlib.smart import request
 
1964
        request_handlers = request.request_handlers
 
1965
        orig_method = request_handlers.get(verb)
 
1966
        request_handlers.remove(verb)
 
1967
        def restoreVerb():
 
1968
            request_handlers.register(verb, orig_method)
 
1969
        self.addCleanup(restoreVerb)
 
1970
 
 
1971
 
 
1972
class CapturedCall(object):
 
1973
    """A helper for capturing smart server calls for easy debug analysis."""
 
1974
 
 
1975
    def __init__(self, params, prefix_length):
 
1976
        """Capture the call with params and skip prefix_length stack frames."""
 
1977
        self.call = params
 
1978
        import traceback
 
1979
        # The last 5 frames are the __init__, the hook frame, and 3 smart
 
1980
        # client frames. Beyond this we could get more clever, but this is good
 
1981
        # enough for now.
 
1982
        stack = traceback.extract_stack()[prefix_length:-5]
 
1983
        self.stack = ''.join(traceback.format_list(stack))
 
1984
 
 
1985
    def __str__(self):
 
1986
        return self.call.method
 
1987
 
 
1988
    def __repr__(self):
 
1989
        return self.call.method
 
1990
 
 
1991
    def stack(self):
 
1992
        return self.stack
 
1993
 
 
1994
 
 
1995
class TestCaseWithMemoryTransport(TestCase):
 
1996
    """Common test class for tests that do not need disk resources.
 
1997
 
 
1998
    Tests that need disk resources should derive from TestCaseWithTransport.
 
1999
 
 
2000
    TestCaseWithMemoryTransport sets the TEST_ROOT variable for all bzr tests.
 
2001
 
 
2002
    For TestCaseWithMemoryTransport the test_home_dir is set to the name of
 
2003
    a directory which does not exist. This serves to help ensure test isolation
 
2004
    is preserved. test_dir is set to the TEST_ROOT, as is cwd, because they
 
2005
    must exist. However, TestCaseWithMemoryTransport does not offer local
 
2006
    file defaults for the transport in tests, nor does it obey the command line
 
2007
    override, so tests that accidentally write to the common directory should
 
2008
    be rare.
 
2009
 
 
2010
    :cvar TEST_ROOT: Directory containing all temporary directories, plus
 
2011
    a .bzr directory that stops us ascending higher into the filesystem.
 
2012
    """
 
2013
 
 
2014
    TEST_ROOT = None
 
2015
    _TEST_NAME = 'test'
 
2016
 
 
2017
    def __init__(self, methodName='runTest'):
 
2018
        # allow test parameterization after test construction and before test
 
2019
        # execution. Variables that the parameterizer sets need to be
 
2020
        # ones that are not set by setUp, or setUp will trash them.
 
2021
        super(TestCaseWithMemoryTransport, self).__init__(methodName)
 
2022
        self.vfs_transport_factory = default_transport
 
2023
        self.transport_server = None
 
2024
        self.transport_readonly_server = None
 
2025
        self.__vfs_server = None
 
2026
 
 
2027
    def get_transport(self, relpath=None):
 
2028
        """Return a writeable transport.
 
2029
 
 
2030
        This transport is for the test scratch space relative to
 
2031
        "self._test_root"
 
2032
 
 
2033
        :param relpath: a path relative to the base url.
 
2034
        """
 
2035
        t = get_transport(self.get_url(relpath))
 
2036
        self.assertFalse(t.is_readonly())
 
2037
        return t
 
2038
 
 
2039
    def get_readonly_transport(self, relpath=None):
 
2040
        """Return a readonly transport for the test scratch space
 
2041
 
 
2042
        This can be used to test that operations which should only need
 
2043
        readonly access in fact do not try to write.
 
2044
 
 
2045
        :param relpath: a path relative to the base url.
 
2046
        """
 
2047
        t = get_transport(self.get_readonly_url(relpath))
 
2048
        self.assertTrue(t.is_readonly())
 
2049
        return t
 
2050
 
 
2051
    def create_transport_readonly_server(self):
 
2052
        """Create a transport server from class defined at init.
 
2053
 
 
2054
        This is mostly a hook for daughter classes.
 
2055
        """
 
2056
        return self.transport_readonly_server()
 
2057
 
 
2058
    def get_readonly_server(self):
 
2059
        """Get the server instance for the readonly transport
 
2060
 
 
2061
        This is useful for some tests with specific servers to do diagnostics.
 
2062
        """
 
2063
        if self.__readonly_server is None:
 
2064
            if self.transport_readonly_server is None:
 
2065
                # readonly decorator requested
 
2066
                # bring up the server
 
2067
                self.__readonly_server = ReadonlyServer()
 
2068
                self.__readonly_server.setUp(self.get_vfs_only_server())
 
2069
            else:
 
2070
                self.__readonly_server = self.create_transport_readonly_server()
 
2071
                self.__readonly_server.setUp(self.get_vfs_only_server())
 
2072
            self.addCleanup(self.__readonly_server.tearDown)
 
2073
        return self.__readonly_server
 
2074
 
 
2075
    def get_readonly_url(self, relpath=None):
 
2076
        """Get a URL for the readonly transport.
 
2077
 
 
2078
        This will either be backed by '.' or a decorator to the transport
 
2079
        used by self.get_url()
 
2080
        relpath provides for clients to get a path relative to the base url.
 
2081
        These should only be downwards relative, not upwards.
 
2082
        """
 
2083
        base = self.get_readonly_server().get_url()
 
2084
        return self._adjust_url(base, relpath)
 
2085
 
 
2086
    def get_vfs_only_server(self):
 
2087
        """Get the vfs only read/write server instance.
 
2088
 
 
2089
        This is useful for some tests with specific servers that need
 
2090
        diagnostics.
 
2091
 
 
2092
        For TestCaseWithMemoryTransport this is always a MemoryServer, and there
 
2093
        is no means to override it.
 
2094
        """
 
2095
        if self.__vfs_server is None:
 
2096
            self.__vfs_server = MemoryServer()
 
2097
            self.__vfs_server.setUp()
 
2098
            self.addCleanup(self.__vfs_server.tearDown)
 
2099
        return self.__vfs_server
 
2100
 
 
2101
    def get_server(self):
 
2102
        """Get the read/write server instance.
 
2103
 
 
2104
        This is useful for some tests with specific servers that need
 
2105
        diagnostics.
 
2106
 
 
2107
        This is built from the self.transport_server factory. If that is None,
 
2108
        then the self.get_vfs_server is returned.
 
2109
        """
 
2110
        if self.__server is None:
 
2111
            if self.transport_server is None or self.transport_server is self.vfs_transport_factory:
 
2112
                return self.get_vfs_only_server()
 
2113
            else:
 
2114
                # bring up a decorated means of access to the vfs only server.
 
2115
                self.__server = self.transport_server()
 
2116
                try:
 
2117
                    self.__server.setUp(self.get_vfs_only_server())
 
2118
                except TypeError, e:
 
2119
                    # This should never happen; the try:Except here is to assist
 
2120
                    # developers having to update code rather than seeing an
 
2121
                    # uninformative TypeError.
 
2122
                    raise Exception, "Old server API in use: %s, %s" % (self.__server, e)
 
2123
            self.addCleanup(self.__server.tearDown)
 
2124
        return self.__server
 
2125
 
 
2126
    def _adjust_url(self, base, relpath):
 
2127
        """Get a URL (or maybe a path) for the readwrite transport.
 
2128
 
 
2129
        This will either be backed by '.' or to an equivalent non-file based
 
2130
        facility.
 
2131
        relpath provides for clients to get a path relative to the base url.
 
2132
        These should only be downwards relative, not upwards.
 
2133
        """
 
2134
        if relpath is not None and relpath != '.':
 
2135
            if not base.endswith('/'):
 
2136
                base = base + '/'
 
2137
            # XXX: Really base should be a url; we did after all call
 
2138
            # get_url()!  But sometimes it's just a path (from
 
2139
            # LocalAbspathServer), and it'd be wrong to append urlescaped data
 
2140
            # to a non-escaped local path.
 
2141
            if base.startswith('./') or base.startswith('/'):
 
2142
                base += relpath
 
2143
            else:
 
2144
                base += urlutils.escape(relpath)
 
2145
        return base
 
2146
 
 
2147
    def get_url(self, relpath=None):
 
2148
        """Get a URL (or maybe a path) for the readwrite transport.
 
2149
 
 
2150
        This will either be backed by '.' or to an equivalent non-file based
 
2151
        facility.
 
2152
        relpath provides for clients to get a path relative to the base url.
 
2153
        These should only be downwards relative, not upwards.
 
2154
        """
 
2155
        base = self.get_server().get_url()
 
2156
        return self._adjust_url(base, relpath)
 
2157
 
 
2158
    def get_vfs_only_url(self, relpath=None):
 
2159
        """Get a URL (or maybe a path for the plain old vfs transport.
 
2160
 
 
2161
        This will never be a smart protocol.  It always has all the
 
2162
        capabilities of the local filesystem, but it might actually be a
 
2163
        MemoryTransport or some other similar virtual filesystem.
 
2164
 
 
2165
        This is the backing transport (if any) of the server returned by
 
2166
        get_url and get_readonly_url.
 
2167
 
 
2168
        :param relpath: provides for clients to get a path relative to the base
 
2169
            url.  These should only be downwards relative, not upwards.
 
2170
        :return: A URL
 
2171
        """
 
2172
        base = self.get_vfs_only_server().get_url()
 
2173
        return self._adjust_url(base, relpath)
 
2174
 
 
2175
    def _create_safety_net(self):
 
2176
        """Make a fake bzr directory.
 
2177
 
 
2178
        This prevents any tests propagating up onto the TEST_ROOT directory's
 
2179
        real branch.
 
2180
        """
 
2181
        root = TestCaseWithMemoryTransport.TEST_ROOT
 
2182
        bzrdir.BzrDir.create_standalone_workingtree(root)
 
2183
 
 
2184
    def _check_safety_net(self):
 
2185
        """Check that the safety .bzr directory have not been touched.
 
2186
 
 
2187
        _make_test_root have created a .bzr directory to prevent tests from
 
2188
        propagating. This method ensures than a test did not leaked.
 
2189
        """
 
2190
        root = TestCaseWithMemoryTransport.TEST_ROOT
 
2191
        wt = workingtree.WorkingTree.open(root)
 
2192
        last_rev = wt.last_revision()
 
2193
        if last_rev != 'null:':
 
2194
            # The current test have modified the /bzr directory, we need to
 
2195
            # recreate a new one or all the followng tests will fail.
 
2196
            # If you need to inspect its content uncomment the following line
 
2197
            # import pdb; pdb.set_trace()
 
2198
            _rmtree_temp_dir(root + '/.bzr')
 
2199
            self._create_safety_net()
 
2200
            raise AssertionError('%s/.bzr should not be modified' % root)
 
2201
 
 
2202
    def _make_test_root(self):
 
2203
        if TestCaseWithMemoryTransport.TEST_ROOT is None:
 
2204
            root = osutils.mkdtemp(prefix='testbzr-', suffix='.tmp')
 
2205
            TestCaseWithMemoryTransport.TEST_ROOT = root
 
2206
 
 
2207
            self._create_safety_net()
 
2208
 
 
2209
            # The same directory is used by all tests, and we're not
 
2210
            # specifically told when all tests are finished.  This will do.
 
2211
            atexit.register(_rmtree_temp_dir, root)
 
2212
 
 
2213
        self.addCleanup(self._check_safety_net)
 
2214
 
 
2215
    def makeAndChdirToTestDir(self):
 
2216
        """Create a temporary directories for this one test.
 
2217
 
 
2218
        This must set self.test_home_dir and self.test_dir and chdir to
 
2219
        self.test_dir.
 
2220
 
 
2221
        For TestCaseWithMemoryTransport we chdir to the TEST_ROOT for this test.
 
2222
        """
 
2223
        os.chdir(TestCaseWithMemoryTransport.TEST_ROOT)
 
2224
        self.test_dir = TestCaseWithMemoryTransport.TEST_ROOT
 
2225
        self.test_home_dir = self.test_dir + "/MemoryTransportMissingHomeDir"
 
2226
 
 
2227
    def make_branch(self, relpath, format=None):
 
2228
        """Create a branch on the transport at relpath."""
 
2229
        repo = self.make_repository(relpath, format=format)
 
2230
        return repo.bzrdir.create_branch()
 
2231
 
 
2232
    def make_bzrdir(self, relpath, format=None):
 
2233
        try:
 
2234
            # might be a relative or absolute path
 
2235
            maybe_a_url = self.get_url(relpath)
 
2236
            segments = maybe_a_url.rsplit('/', 1)
 
2237
            t = get_transport(maybe_a_url)
 
2238
            if len(segments) > 1 and segments[-1] not in ('', '.'):
 
2239
                t.ensure_base()
 
2240
            if format is None:
 
2241
                format = 'default'
 
2242
            if isinstance(format, basestring):
 
2243
                format = bzrdir.format_registry.make_bzrdir(format)
 
2244
            return format.initialize_on_transport(t)
 
2245
        except errors.UninitializableFormat:
 
2246
            raise TestSkipped("Format %s is not initializable." % format)
 
2247
 
 
2248
    def make_repository(self, relpath, shared=False, format=None):
 
2249
        """Create a repository on our default transport at relpath.
 
2250
 
 
2251
        Note that relpath must be a relative path, not a full url.
 
2252
        """
 
2253
        # FIXME: If you create a remoterepository this returns the underlying
 
2254
        # real format, which is incorrect.  Actually we should make sure that
 
2255
        # RemoteBzrDir returns a RemoteRepository.
 
2256
        # maybe  mbp 20070410
 
2257
        made_control = self.make_bzrdir(relpath, format=format)
 
2258
        return made_control.create_repository(shared=shared)
 
2259
 
 
2260
    def make_smart_server(self, path):
 
2261
        smart_server = server.SmartTCPServer_for_testing()
 
2262
        smart_server.setUp(self.get_server())
 
2263
        remote_transport = get_transport(smart_server.get_url()).clone(path)
 
2264
        self.addCleanup(smart_server.tearDown)
 
2265
        return remote_transport
 
2266
 
 
2267
    def make_branch_and_memory_tree(self, relpath, format=None):
 
2268
        """Create a branch on the default transport and a MemoryTree for it."""
 
2269
        b = self.make_branch(relpath, format=format)
 
2270
        return memorytree.MemoryTree.create_on_branch(b)
 
2271
 
 
2272
    def make_branch_builder(self, relpath, format=None):
 
2273
        branch = self.make_branch(relpath, format=format)
 
2274
        return branchbuilder.BranchBuilder(branch=branch)
 
2275
 
 
2276
    def overrideEnvironmentForTesting(self):
 
2277
        os.environ['HOME'] = self.test_home_dir
 
2278
        os.environ['BZR_HOME'] = self.test_home_dir
 
2279
 
 
2280
    def setUp(self):
 
2281
        super(TestCaseWithMemoryTransport, self).setUp()
 
2282
        self._make_test_root()
 
2283
        _currentdir = os.getcwdu()
 
2284
        def _leaveDirectory():
 
2285
            os.chdir(_currentdir)
 
2286
        self.addCleanup(_leaveDirectory)
 
2287
        self.makeAndChdirToTestDir()
 
2288
        self.overrideEnvironmentForTesting()
 
2289
        self.__readonly_server = None
 
2290
        self.__server = None
 
2291
        self.reduceLockdirTimeout()
 
2292
 
 
2293
    def setup_smart_server_with_call_log(self):
 
2294
        """Sets up a smart server as the transport server with a call log."""
 
2295
        self.transport_server = server.SmartTCPServer_for_testing
 
2296
        self.hpss_calls = []
 
2297
        import traceback
 
2298
        # Skip the current stack down to the caller of
 
2299
        # setup_smart_server_with_call_log
 
2300
        prefix_length = len(traceback.extract_stack()) - 2
 
2301
        def capture_hpss_call(params):
 
2302
            self.hpss_calls.append(
 
2303
                CapturedCall(params, prefix_length))
 
2304
        client._SmartClient.hooks.install_named_hook(
 
2305
            'call', capture_hpss_call, None)
 
2306
 
 
2307
    def reset_smart_call_log(self):
 
2308
        self.hpss_calls = []
 
2309
 
 
2310
 
 
2311
class TestCaseInTempDir(TestCaseWithMemoryTransport):
 
2312
    """Derived class that runs a test within a temporary directory.
 
2313
 
 
2314
    This is useful for tests that need to create a branch, etc.
 
2315
 
 
2316
    The directory is created in a slightly complex way: for each
 
2317
    Python invocation, a new temporary top-level directory is created.
 
2318
    All test cases create their own directory within that.  If the
 
2319
    tests complete successfully, the directory is removed.
 
2320
 
 
2321
    :ivar test_base_dir: The path of the top-level directory for this
 
2322
    test, which contains a home directory and a work directory.
 
2323
 
 
2324
    :ivar test_home_dir: An initially empty directory under test_base_dir
 
2325
    which is used as $HOME for this test.
 
2326
 
 
2327
    :ivar test_dir: A directory under test_base_dir used as the current
 
2328
    directory when the test proper is run.
 
2329
    """
 
2330
 
 
2331
    OVERRIDE_PYTHON = 'python'
 
2332
 
 
2333
    def check_file_contents(self, filename, expect):
 
2334
        self.log("check contents of file %s" % filename)
 
2335
        contents = file(filename, 'r').read()
 
2336
        if contents != expect:
 
2337
            self.log("expected: %r" % expect)
 
2338
            self.log("actually: %r" % contents)
 
2339
            self.fail("contents of %s not as expected" % filename)
 
2340
 
 
2341
    def _getTestDirPrefix(self):
 
2342
        # create a directory within the top level test directory
 
2343
        if sys.platform == 'win32':
 
2344
            name_prefix = re.sub('[<>*=+",:;_/\\-]', '_', self.id())
 
2345
            # windows is likely to have path-length limits so use a short name
 
2346
            name_prefix = name_prefix[-30:]
 
2347
        else:
 
2348
            name_prefix = re.sub('[/]', '_', self.id())
 
2349
        return name_prefix
 
2350
 
 
2351
    def makeAndChdirToTestDir(self):
 
2352
        """See TestCaseWithMemoryTransport.makeAndChdirToTestDir().
 
2353
 
 
2354
        For TestCaseInTempDir we create a temporary directory based on the test
 
2355
        name and then create two subdirs - test and home under it.
 
2356
        """
 
2357
        name_prefix = osutils.pathjoin(TestCaseWithMemoryTransport.TEST_ROOT,
 
2358
            self._getTestDirPrefix())
 
2359
        name = name_prefix
 
2360
        for i in range(100):
 
2361
            if os.path.exists(name):
 
2362
                name = name_prefix + '_' + str(i)
 
2363
            else:
 
2364
                os.mkdir(name)
 
2365
                break
 
2366
        # now create test and home directories within this dir
 
2367
        self.test_base_dir = name
 
2368
        self.test_home_dir = self.test_base_dir + '/home'
 
2369
        os.mkdir(self.test_home_dir)
 
2370
        self.test_dir = self.test_base_dir + '/work'
 
2371
        os.mkdir(self.test_dir)
 
2372
        os.chdir(self.test_dir)
 
2373
        # put name of test inside
 
2374
        f = file(self.test_base_dir + '/name', 'w')
 
2375
        try:
 
2376
            f.write(self.id())
 
2377
        finally:
 
2378
            f.close()
 
2379
        self.addCleanup(self.deleteTestDir)
 
2380
 
 
2381
    def deleteTestDir(self):
 
2382
        os.chdir(TestCaseWithMemoryTransport.TEST_ROOT)
 
2383
        _rmtree_temp_dir(self.test_base_dir)
 
2384
 
 
2385
    def build_tree(self, shape, line_endings='binary', transport=None):
 
2386
        """Build a test tree according to a pattern.
 
2387
 
 
2388
        shape is a sequence of file specifications.  If the final
 
2389
        character is '/', a directory is created.
 
2390
 
 
2391
        This assumes that all the elements in the tree being built are new.
 
2392
 
 
2393
        This doesn't add anything to a branch.
 
2394
 
 
2395
        :type shape:    list or tuple.
 
2396
        :param line_endings: Either 'binary' or 'native'
 
2397
            in binary mode, exact contents are written in native mode, the
 
2398
            line endings match the default platform endings.
 
2399
        :param transport: A transport to write to, for building trees on VFS's.
 
2400
            If the transport is readonly or None, "." is opened automatically.
 
2401
        :return: None
 
2402
        """
 
2403
        if type(shape) not in (list, tuple):
 
2404
            raise AssertionError("Parameter 'shape' should be "
 
2405
                "a list or a tuple. Got %r instead" % (shape,))
 
2406
        # It's OK to just create them using forward slashes on windows.
 
2407
        if transport is None or transport.is_readonly():
 
2408
            transport = get_transport(".")
 
2409
        for name in shape:
 
2410
            self.assertIsInstance(name, basestring)
 
2411
            if name[-1] == '/':
 
2412
                transport.mkdir(urlutils.escape(name[:-1]))
 
2413
            else:
 
2414
                if line_endings == 'binary':
 
2415
                    end = '\n'
 
2416
                elif line_endings == 'native':
 
2417
                    end = os.linesep
 
2418
                else:
 
2419
                    raise errors.BzrError(
 
2420
                        'Invalid line ending request %r' % line_endings)
 
2421
                content = "contents of %s%s" % (name.encode('utf-8'), end)
 
2422
                transport.put_bytes_non_atomic(urlutils.escape(name), content)
 
2423
 
 
2424
    def build_tree_contents(self, shape):
 
2425
        build_tree_contents(shape)
 
2426
 
 
2427
    def assertInWorkingTree(self, path, root_path='.', tree=None):
 
2428
        """Assert whether path or paths are in the WorkingTree"""
 
2429
        if tree is None:
 
2430
            tree = workingtree.WorkingTree.open(root_path)
 
2431
        if not isinstance(path, basestring):
 
2432
            for p in path:
 
2433
                self.assertInWorkingTree(p, tree=tree)
 
2434
        else:
 
2435
            self.assertIsNot(tree.path2id(path), None,
 
2436
                path+' not in working tree.')
 
2437
 
 
2438
    def assertNotInWorkingTree(self, path, root_path='.', tree=None):
 
2439
        """Assert whether path or paths are not in the WorkingTree"""
 
2440
        if tree is None:
 
2441
            tree = workingtree.WorkingTree.open(root_path)
 
2442
        if not isinstance(path, basestring):
 
2443
            for p in path:
 
2444
                self.assertNotInWorkingTree(p,tree=tree)
 
2445
        else:
 
2446
            self.assertIs(tree.path2id(path), None, path+' in working tree.')
 
2447
 
 
2448
 
 
2449
class TestCaseWithTransport(TestCaseInTempDir):
 
2450
    """A test case that provides get_url and get_readonly_url facilities.
 
2451
 
 
2452
    These back onto two transport servers, one for readonly access and one for
 
2453
    read write access.
 
2454
 
 
2455
    If no explicit class is provided for readonly access, a
 
2456
    ReadonlyTransportDecorator is used instead which allows the use of non disk
 
2457
    based read write transports.
 
2458
 
 
2459
    If an explicit class is provided for readonly access, that server and the
 
2460
    readwrite one must both define get_url() as resolving to os.getcwd().
 
2461
    """
 
2462
 
 
2463
    def get_vfs_only_server(self):
 
2464
        """See TestCaseWithMemoryTransport.
 
2465
 
 
2466
        This is useful for some tests with specific servers that need
 
2467
        diagnostics.
 
2468
        """
 
2469
        if self.__vfs_server is None:
 
2470
            self.__vfs_server = self.vfs_transport_factory()
 
2471
            self.__vfs_server.setUp()
 
2472
            self.addCleanup(self.__vfs_server.tearDown)
 
2473
        return self.__vfs_server
 
2474
 
 
2475
    def make_branch_and_tree(self, relpath, format=None):
 
2476
        """Create a branch on the transport and a tree locally.
 
2477
 
 
2478
        If the transport is not a LocalTransport, the Tree can't be created on
 
2479
        the transport.  In that case if the vfs_transport_factory is
 
2480
        LocalURLServer the working tree is created in the local
 
2481
        directory backing the transport, and the returned tree's branch and
 
2482
        repository will also be accessed locally. Otherwise a lightweight
 
2483
        checkout is created and returned.
 
2484
 
 
2485
        :param format: The BzrDirFormat.
 
2486
        :returns: the WorkingTree.
 
2487
        """
 
2488
        # TODO: always use the local disk path for the working tree,
 
2489
        # this obviously requires a format that supports branch references
 
2490
        # so check for that by checking bzrdir.BzrDirFormat.get_default_format()
 
2491
        # RBC 20060208
 
2492
        b = self.make_branch(relpath, format=format)
 
2493
        try:
 
2494
            return b.bzrdir.create_workingtree()
 
2495
        except errors.NotLocalUrl:
 
2496
            # We can only make working trees locally at the moment.  If the
 
2497
            # transport can't support them, then we keep the non-disk-backed
 
2498
            # branch and create a local checkout.
 
2499
            if self.vfs_transport_factory is LocalURLServer:
 
2500
                # the branch is colocated on disk, we cannot create a checkout.
 
2501
                # hopefully callers will expect this.
 
2502
                local_controldir= bzrdir.BzrDir.open(self.get_vfs_only_url(relpath))
 
2503
                wt = local_controldir.create_workingtree()
 
2504
                if wt.branch._format != b._format:
 
2505
                    wt._branch = b
 
2506
                    # Make sure that assigning to wt._branch fixes wt.branch,
 
2507
                    # in case the implementation details of workingtree objects
 
2508
                    # change.
 
2509
                    self.assertIs(b, wt.branch)
 
2510
                return wt
 
2511
            else:
 
2512
                return b.create_checkout(relpath, lightweight=True)
 
2513
 
 
2514
    def assertIsDirectory(self, relpath, transport):
 
2515
        """Assert that relpath within transport is a directory.
 
2516
 
 
2517
        This may not be possible on all transports; in that case it propagates
 
2518
        a TransportNotPossible.
 
2519
        """
 
2520
        try:
 
2521
            mode = transport.stat(relpath).st_mode
 
2522
        except errors.NoSuchFile:
 
2523
            self.fail("path %s is not a directory; no such file"
 
2524
                      % (relpath))
 
2525
        if not stat.S_ISDIR(mode):
 
2526
            self.fail("path %s is not a directory; has mode %#o"
 
2527
                      % (relpath, mode))
 
2528
 
 
2529
    def assertTreesEqual(self, left, right):
 
2530
        """Check that left and right have the same content and properties."""
 
2531
        # we use a tree delta to check for equality of the content, and we
 
2532
        # manually check for equality of other things such as the parents list.
 
2533
        self.assertEqual(left.get_parent_ids(), right.get_parent_ids())
 
2534
        differences = left.changes_from(right)
 
2535
        self.assertFalse(differences.has_changed(),
 
2536
            "Trees %r and %r are different: %r" % (left, right, differences))
 
2537
 
 
2538
    def setUp(self):
 
2539
        super(TestCaseWithTransport, self).setUp()
 
2540
        self.__vfs_server = None
 
2541
 
 
2542
 
 
2543
class ChrootedTestCase(TestCaseWithTransport):
 
2544
    """A support class that provides readonly urls outside the local namespace.
 
2545
 
 
2546
    This is done by checking if self.transport_server is a MemoryServer. if it
 
2547
    is then we are chrooted already, if it is not then an HttpServer is used
 
2548
    for readonly urls.
 
2549
 
 
2550
    TODO RBC 20060127: make this an option to TestCaseWithTransport so it can
 
2551
                       be used without needed to redo it when a different
 
2552
                       subclass is in use ?
 
2553
    """
 
2554
 
 
2555
    def setUp(self):
 
2556
        super(ChrootedTestCase, self).setUp()
 
2557
        if not self.vfs_transport_factory == MemoryServer:
 
2558
            self.transport_readonly_server = HttpServer
 
2559
 
 
2560
 
 
2561
def condition_id_re(pattern):
 
2562
    """Create a condition filter which performs a re check on a test's id.
 
2563
 
 
2564
    :param pattern: A regular expression string.
 
2565
    :return: A callable that returns True if the re matches.
 
2566
    """
 
2567
    filter_re = osutils.re_compile_checked(pattern, 0,
 
2568
        'test filter')
 
2569
    def condition(test):
 
2570
        test_id = test.id()
 
2571
        return filter_re.search(test_id)
 
2572
    return condition
 
2573
 
 
2574
 
 
2575
def condition_isinstance(klass_or_klass_list):
 
2576
    """Create a condition filter which returns isinstance(param, klass).
 
2577
 
 
2578
    :return: A callable which when called with one parameter obj return the
 
2579
        result of isinstance(obj, klass_or_klass_list).
 
2580
    """
 
2581
    def condition(obj):
 
2582
        return isinstance(obj, klass_or_klass_list)
 
2583
    return condition
 
2584
 
 
2585
 
 
2586
def condition_id_in_list(id_list):
 
2587
    """Create a condition filter which verify that test's id in a list.
 
2588
 
 
2589
    :param id_list: A TestIdList object.
 
2590
    :return: A callable that returns True if the test's id appears in the list.
 
2591
    """
 
2592
    def condition(test):
 
2593
        return id_list.includes(test.id())
 
2594
    return condition
 
2595
 
 
2596
 
 
2597
def condition_id_startswith(starts):
 
2598
    """Create a condition filter verifying that test's id starts with a string.
 
2599
 
 
2600
    :param starts: A list of string.
 
2601
    :return: A callable that returns True if the test's id starts with one of
 
2602
        the given strings.
 
2603
    """
 
2604
    def condition(test):
 
2605
        for start in starts:
 
2606
            if test.id().startswith(start):
 
2607
                return True
 
2608
        return False
 
2609
    return condition
 
2610
 
 
2611
 
 
2612
def exclude_tests_by_condition(suite, condition):
 
2613
    """Create a test suite which excludes some tests from suite.
 
2614
 
 
2615
    :param suite: The suite to get tests from.
 
2616
    :param condition: A callable whose result evaluates True when called with a
 
2617
        test case which should be excluded from the result.
 
2618
    :return: A suite which contains the tests found in suite that fail
 
2619
        condition.
 
2620
    """
 
2621
    result = []
 
2622
    for test in iter_suite_tests(suite):
 
2623
        if not condition(test):
 
2624
            result.append(test)
 
2625
    return TestUtil.TestSuite(result)
 
2626
 
 
2627
 
 
2628
def filter_suite_by_condition(suite, condition):
 
2629
    """Create a test suite by filtering another one.
 
2630
 
 
2631
    :param suite: The source suite.
 
2632
    :param condition: A callable whose result evaluates True when called with a
 
2633
        test case which should be included in the result.
 
2634
    :return: A suite which contains the tests found in suite that pass
 
2635
        condition.
 
2636
    """
 
2637
    result = []
 
2638
    for test in iter_suite_tests(suite):
 
2639
        if condition(test):
 
2640
            result.append(test)
 
2641
    return TestUtil.TestSuite(result)
 
2642
 
 
2643
 
 
2644
def filter_suite_by_re(suite, pattern):
 
2645
    """Create a test suite by filtering another one.
 
2646
 
 
2647
    :param suite:           the source suite
 
2648
    :param pattern:         pattern that names must match
 
2649
    :returns: the newly created suite
 
2650
    """
 
2651
    condition = condition_id_re(pattern)
 
2652
    result_suite = filter_suite_by_condition(suite, condition)
 
2653
    return result_suite
 
2654
 
 
2655
 
 
2656
def filter_suite_by_id_list(suite, test_id_list):
 
2657
    """Create a test suite by filtering another one.
 
2658
 
 
2659
    :param suite: The source suite.
 
2660
    :param test_id_list: A list of the test ids to keep as strings.
 
2661
    :returns: the newly created suite
 
2662
    """
 
2663
    condition = condition_id_in_list(test_id_list)
 
2664
    result_suite = filter_suite_by_condition(suite, condition)
 
2665
    return result_suite
 
2666
 
 
2667
 
 
2668
def filter_suite_by_id_startswith(suite, start):
 
2669
    """Create a test suite by filtering another one.
 
2670
 
 
2671
    :param suite: The source suite.
 
2672
    :param start: A list of string the test id must start with one of.
 
2673
    :returns: the newly created suite
 
2674
    """
 
2675
    condition = condition_id_startswith(start)
 
2676
    result_suite = filter_suite_by_condition(suite, condition)
 
2677
    return result_suite
 
2678
 
 
2679
 
 
2680
def exclude_tests_by_re(suite, pattern):
 
2681
    """Create a test suite which excludes some tests from suite.
 
2682
 
 
2683
    :param suite: The suite to get tests from.
 
2684
    :param pattern: A regular expression string. Test ids that match this
 
2685
        pattern will be excluded from the result.
 
2686
    :return: A TestSuite that contains all the tests from suite without the
 
2687
        tests that matched pattern. The order of tests is the same as it was in
 
2688
        suite.
 
2689
    """
 
2690
    return exclude_tests_by_condition(suite, condition_id_re(pattern))
 
2691
 
 
2692
 
 
2693
def preserve_input(something):
 
2694
    """A helper for performing test suite transformation chains.
 
2695
 
 
2696
    :param something: Anything you want to preserve.
 
2697
    :return: Something.
 
2698
    """
 
2699
    return something
 
2700
 
 
2701
 
 
2702
def randomize_suite(suite):
 
2703
    """Return a new TestSuite with suite's tests in random order.
 
2704
 
 
2705
    The tests in the input suite are flattened into a single suite in order to
 
2706
    accomplish this. Any nested TestSuites are removed to provide global
 
2707
    randomness.
 
2708
    """
 
2709
    tests = list(iter_suite_tests(suite))
 
2710
    random.shuffle(tests)
 
2711
    return TestUtil.TestSuite(tests)
 
2712
 
 
2713
 
 
2714
def split_suite_by_condition(suite, condition):
 
2715
    """Split a test suite into two by a condition.
 
2716
 
 
2717
    :param suite: The suite to split.
 
2718
    :param condition: The condition to match on. Tests that match this
 
2719
        condition are returned in the first test suite, ones that do not match
 
2720
        are in the second suite.
 
2721
    :return: A tuple of two test suites, where the first contains tests from
 
2722
        suite matching the condition, and the second contains the remainder
 
2723
        from suite. The order within each output suite is the same as it was in
 
2724
        suite.
 
2725
    """
 
2726
    matched = []
 
2727
    did_not_match = []
 
2728
    for test in iter_suite_tests(suite):
 
2729
        if condition(test):
 
2730
            matched.append(test)
 
2731
        else:
 
2732
            did_not_match.append(test)
 
2733
    return TestUtil.TestSuite(matched), TestUtil.TestSuite(did_not_match)
 
2734
 
 
2735
 
 
2736
def split_suite_by_re(suite, pattern):
 
2737
    """Split a test suite into two by a regular expression.
 
2738
 
 
2739
    :param suite: The suite to split.
 
2740
    :param pattern: A regular expression string. Test ids that match this
 
2741
        pattern will be in the first test suite returned, and the others in the
 
2742
        second test suite returned.
 
2743
    :return: A tuple of two test suites, where the first contains tests from
 
2744
        suite matching pattern, and the second contains the remainder from
 
2745
        suite. The order within each output suite is the same as it was in
 
2746
        suite.
 
2747
    """
 
2748
    return split_suite_by_condition(suite, condition_id_re(pattern))
 
2749
 
 
2750
 
 
2751
def run_suite(suite, name='test', verbose=False, pattern=".*",
 
2752
              stop_on_failure=False,
 
2753
              transport=None, lsprof_timed=None, bench_history=None,
 
2754
              matching_tests_first=None,
 
2755
              list_only=False,
 
2756
              random_seed=None,
 
2757
              exclude_pattern=None,
 
2758
              strict=False,
 
2759
              runner_class=None,
 
2760
              suite_decorators=None,
 
2761
              stream=None):
 
2762
    """Run a test suite for bzr selftest.
 
2763
 
 
2764
    :param runner_class: The class of runner to use. Must support the
 
2765
        constructor arguments passed by run_suite which are more than standard
 
2766
        python uses.
 
2767
    :return: A boolean indicating success.
 
2768
    """
 
2769
    TestCase._gather_lsprof_in_benchmarks = lsprof_timed
 
2770
    if verbose:
 
2771
        verbosity = 2
 
2772
    else:
 
2773
        verbosity = 1
 
2774
    if runner_class is None:
 
2775
        runner_class = TextTestRunner
 
2776
    if stream is None:
 
2777
        stream = sys.stdout
 
2778
    runner = runner_class(stream=stream,
 
2779
                            descriptions=0,
 
2780
                            verbosity=verbosity,
 
2781
                            bench_history=bench_history,
 
2782
                            list_only=list_only,
 
2783
                            strict=strict,
 
2784
                            )
 
2785
    runner.stop_on_failure=stop_on_failure
 
2786
    # built in decorator factories:
 
2787
    decorators = [
 
2788
        random_order(random_seed, runner),
 
2789
        exclude_tests(exclude_pattern),
 
2790
        ]
 
2791
    if matching_tests_first:
 
2792
        decorators.append(tests_first(pattern))
 
2793
    else:
 
2794
        decorators.append(filter_tests(pattern))
 
2795
    if suite_decorators:
 
2796
        decorators.extend(suite_decorators)
 
2797
    # tell the result object how many tests will be running:
 
2798
    decorators.append(CountingDecorator)
 
2799
    for decorator in decorators:
 
2800
        suite = decorator(suite)
 
2801
    result = runner.run(suite)
 
2802
    if list_only:
 
2803
        return True
 
2804
    result.done()
 
2805
    if strict:
 
2806
        return result.wasStrictlySuccessful()
 
2807
    else:
 
2808
        return result.wasSuccessful()
 
2809
 
 
2810
 
 
2811
# A registry where get() returns a suite decorator.
 
2812
parallel_registry = registry.Registry()
 
2813
 
 
2814
 
 
2815
def fork_decorator(suite):
 
2816
    concurrency = osutils.local_concurrency()
 
2817
    if concurrency == 1:
 
2818
        return suite
 
2819
    from testtools import ConcurrentTestSuite
 
2820
    return ConcurrentTestSuite(suite, fork_for_tests)
 
2821
parallel_registry.register('fork', fork_decorator)
 
2822
 
 
2823
 
 
2824
def subprocess_decorator(suite):
 
2825
    concurrency = osutils.local_concurrency()
 
2826
    if concurrency == 1:
 
2827
        return suite
 
2828
    from testtools import ConcurrentTestSuite
 
2829
    return ConcurrentTestSuite(suite, reinvoke_for_tests)
 
2830
parallel_registry.register('subprocess', subprocess_decorator)
 
2831
 
 
2832
 
 
2833
def exclude_tests(exclude_pattern):
 
2834
    """Return a test suite decorator that excludes tests."""
 
2835
    if exclude_pattern is None:
 
2836
        return identity_decorator
 
2837
    def decorator(suite):
 
2838
        return ExcludeDecorator(suite, exclude_pattern)
 
2839
    return decorator
 
2840
 
 
2841
 
 
2842
def filter_tests(pattern):
 
2843
    if pattern == '.*':
 
2844
        return identity_decorator
 
2845
    def decorator(suite):
 
2846
        return FilterTestsDecorator(suite, pattern)
 
2847
    return decorator
 
2848
 
 
2849
 
 
2850
def random_order(random_seed, runner):
 
2851
    """Return a test suite decorator factory for randomising tests order.
 
2852
    
 
2853
    :param random_seed: now, a string which casts to a long, or a long.
 
2854
    :param runner: A test runner with a stream attribute to report on.
 
2855
    """
 
2856
    if random_seed is None:
 
2857
        return identity_decorator
 
2858
    def decorator(suite):
 
2859
        return RandomDecorator(suite, random_seed, runner.stream)
 
2860
    return decorator
 
2861
 
 
2862
 
 
2863
def tests_first(pattern):
 
2864
    if pattern == '.*':
 
2865
        return identity_decorator
 
2866
    def decorator(suite):
 
2867
        return TestFirstDecorator(suite, pattern)
 
2868
    return decorator
 
2869
 
 
2870
 
 
2871
def identity_decorator(suite):
 
2872
    """Return suite."""
 
2873
    return suite
 
2874
 
 
2875
 
 
2876
class TestDecorator(TestSuite):
 
2877
    """A decorator for TestCase/TestSuite objects.
 
2878
    
 
2879
    Usually, subclasses should override __iter__(used when flattening test
 
2880
    suites), which we do to filter, reorder, parallelise and so on, run() and
 
2881
    debug().
 
2882
    """
 
2883
 
 
2884
    def __init__(self, suite):
 
2885
        TestSuite.__init__(self)
 
2886
        self.addTest(suite)
 
2887
 
 
2888
    def countTestCases(self):
 
2889
        cases = 0
 
2890
        for test in self:
 
2891
            cases += test.countTestCases()
 
2892
        return cases
 
2893
 
 
2894
    def debug(self):
 
2895
        for test in self:
 
2896
            test.debug()
 
2897
 
 
2898
    def run(self, result):
 
2899
        # Use iteration on self, not self._tests, to allow subclasses to hook
 
2900
        # into __iter__.
 
2901
        for test in self:
 
2902
            if result.shouldStop:
 
2903
                break
 
2904
            test.run(result)
 
2905
        return result
 
2906
 
 
2907
 
 
2908
class CountingDecorator(TestDecorator):
 
2909
    """A decorator which calls result.progress(self.countTestCases)."""
 
2910
 
 
2911
    def run(self, result):
 
2912
        progress_method = getattr(result, 'progress', None)
 
2913
        if callable(progress_method):
 
2914
            progress_method(self.countTestCases(), SUBUNIT_SEEK_SET)
 
2915
        return super(CountingDecorator, self).run(result)
 
2916
 
 
2917
 
 
2918
class ExcludeDecorator(TestDecorator):
 
2919
    """A decorator which excludes test matching an exclude pattern."""
 
2920
 
 
2921
    def __init__(self, suite, exclude_pattern):
 
2922
        TestDecorator.__init__(self, suite)
 
2923
        self.exclude_pattern = exclude_pattern
 
2924
        self.excluded = False
 
2925
 
 
2926
    def __iter__(self):
 
2927
        if self.excluded:
 
2928
            return iter(self._tests)
 
2929
        self.excluded = True
 
2930
        suite = exclude_tests_by_re(self, self.exclude_pattern)
 
2931
        del self._tests[:]
 
2932
        self.addTests(suite)
 
2933
        return iter(self._tests)
 
2934
 
 
2935
 
 
2936
class FilterTestsDecorator(TestDecorator):
 
2937
    """A decorator which filters tests to those matching a pattern."""
 
2938
 
 
2939
    def __init__(self, suite, pattern):
 
2940
        TestDecorator.__init__(self, suite)
 
2941
        self.pattern = pattern
 
2942
        self.filtered = False
 
2943
 
 
2944
    def __iter__(self):
 
2945
        if self.filtered:
 
2946
            return iter(self._tests)
 
2947
        self.filtered = True
 
2948
        suite = filter_suite_by_re(self, self.pattern)
 
2949
        del self._tests[:]
 
2950
        self.addTests(suite)
 
2951
        return iter(self._tests)
 
2952
 
 
2953
 
 
2954
class RandomDecorator(TestDecorator):
 
2955
    """A decorator which randomises the order of its tests."""
 
2956
 
 
2957
    def __init__(self, suite, random_seed, stream):
 
2958
        TestDecorator.__init__(self, suite)
 
2959
        self.random_seed = random_seed
 
2960
        self.randomised = False
 
2961
        self.stream = stream
 
2962
 
 
2963
    def __iter__(self):
 
2964
        if self.randomised:
 
2965
            return iter(self._tests)
 
2966
        self.randomised = True
 
2967
        self.stream.writeln("Randomizing test order using seed %s\n" %
 
2968
            (self.actual_seed()))
 
2969
        # Initialise the random number generator.
 
2970
        random.seed(self.actual_seed())
 
2971
        suite = randomize_suite(self)
 
2972
        del self._tests[:]
 
2973
        self.addTests(suite)
 
2974
        return iter(self._tests)
 
2975
 
 
2976
    def actual_seed(self):
 
2977
        if self.random_seed == "now":
 
2978
            # We convert the seed to a long to make it reuseable across
 
2979
            # invocations (because the user can reenter it).
 
2980
            self.random_seed = long(time.time())
 
2981
        else:
 
2982
            # Convert the seed to a long if we can
 
2983
            try:
 
2984
                self.random_seed = long(self.random_seed)
 
2985
            except:
 
2986
                pass
 
2987
        return self.random_seed
 
2988
 
 
2989
 
 
2990
class TestFirstDecorator(TestDecorator):
 
2991
    """A decorator which moves named tests to the front."""
 
2992
 
 
2993
    def __init__(self, suite, pattern):
 
2994
        TestDecorator.__init__(self, suite)
 
2995
        self.pattern = pattern
 
2996
        self.filtered = False
 
2997
 
 
2998
    def __iter__(self):
 
2999
        if self.filtered:
 
3000
            return iter(self._tests)
 
3001
        self.filtered = True
 
3002
        suites = split_suite_by_re(self, self.pattern)
 
3003
        del self._tests[:]
 
3004
        self.addTests(suites)
 
3005
        return iter(self._tests)
 
3006
 
 
3007
 
 
3008
def partition_tests(suite, count):
 
3009
    """Partition suite into count lists of tests."""
 
3010
    result = []
 
3011
    tests = list(iter_suite_tests(suite))
 
3012
    tests_per_process = int(math.ceil(float(len(tests)) / count))
 
3013
    for block in range(count):
 
3014
        low_test = block * tests_per_process
 
3015
        high_test = low_test + tests_per_process
 
3016
        process_tests = tests[low_test:high_test]
 
3017
        result.append(process_tests)
 
3018
    return result
 
3019
 
 
3020
 
 
3021
def fork_for_tests(suite):
 
3022
    """Take suite and start up one runner per CPU by forking()
 
3023
 
 
3024
    :return: An iterable of TestCase-like objects which can each have
 
3025
        run(result) called on them to feed tests to result.
 
3026
    """
 
3027
    concurrency = osutils.local_concurrency()
 
3028
    result = []
 
3029
    from subunit import TestProtocolClient, ProtocolTestCase
 
3030
    try:
 
3031
        from subunit.test_results import AutoTimingTestResultDecorator
 
3032
    except ImportError:
 
3033
        AutoTimingTestResultDecorator = lambda x:x
 
3034
    class TestInOtherProcess(ProtocolTestCase):
 
3035
        # Should be in subunit, I think. RBC.
 
3036
        def __init__(self, stream, pid):
 
3037
            ProtocolTestCase.__init__(self, stream)
 
3038
            self.pid = pid
 
3039
 
 
3040
        def run(self, result):
 
3041
            try:
 
3042
                ProtocolTestCase.run(self, result)
 
3043
            finally:
 
3044
                os.waitpid(self.pid, os.WNOHANG)
 
3045
 
 
3046
    test_blocks = partition_tests(suite, concurrency)
 
3047
    for process_tests in test_blocks:
 
3048
        process_suite = TestSuite()
 
3049
        process_suite.addTests(process_tests)
 
3050
        c2pread, c2pwrite = os.pipe()
 
3051
        pid = os.fork()
 
3052
        if pid == 0:
 
3053
            try:
 
3054
                os.close(c2pread)
 
3055
                # Leave stderr and stdout open so we can see test noise
 
3056
                # Close stdin so that the child goes away if it decides to
 
3057
                # read from stdin (otherwise its a roulette to see what
 
3058
                # child actually gets keystrokes for pdb etc).
 
3059
                sys.stdin.close()
 
3060
                sys.stdin = None
 
3061
                stream = os.fdopen(c2pwrite, 'wb', 1)
 
3062
                subunit_result = AutoTimingTestResultDecorator(
 
3063
                    TestProtocolClient(stream))
 
3064
                process_suite.run(subunit_result)
 
3065
            finally:
 
3066
                os._exit(0)
 
3067
        else:
 
3068
            os.close(c2pwrite)
 
3069
            stream = os.fdopen(c2pread, 'rb', 1)
 
3070
            test = TestInOtherProcess(stream, pid)
 
3071
            result.append(test)
 
3072
    return result
 
3073
 
 
3074
 
 
3075
def reinvoke_for_tests(suite):
 
3076
    """Take suite and start up one runner per CPU using subprocess().
 
3077
 
 
3078
    :return: An iterable of TestCase-like objects which can each have
 
3079
        run(result) called on them to feed tests to result.
 
3080
    """
 
3081
    concurrency = osutils.local_concurrency()
 
3082
    result = []
 
3083
    from subunit import ProtocolTestCase
 
3084
    class TestInSubprocess(ProtocolTestCase):
 
3085
        def __init__(self, process, name):
 
3086
            ProtocolTestCase.__init__(self, process.stdout)
 
3087
            self.process = process
 
3088
            self.process.stdin.close()
 
3089
            self.name = name
 
3090
 
 
3091
        def run(self, result):
 
3092
            try:
 
3093
                ProtocolTestCase.run(self, result)
 
3094
            finally:
 
3095
                self.process.wait()
 
3096
                os.unlink(self.name)
 
3097
            # print "pid %d finished" % finished_process
 
3098
    test_blocks = partition_tests(suite, concurrency)
 
3099
    for process_tests in test_blocks:
 
3100
        # ugly; currently reimplement rather than reuses TestCase methods.
 
3101
        bzr_path = os.path.dirname(os.path.dirname(bzrlib.__file__))+'/bzr'
 
3102
        if not os.path.isfile(bzr_path):
 
3103
            # We are probably installed. Assume sys.argv is the right file
 
3104
            bzr_path = sys.argv[0]
 
3105
        fd, test_list_file_name = tempfile.mkstemp()
 
3106
        test_list_file = os.fdopen(fd, 'wb', 1)
 
3107
        for test in process_tests:
 
3108
            test_list_file.write(test.id() + '\n')
 
3109
        test_list_file.close()
 
3110
        try:
 
3111
            argv = [bzr_path, 'selftest', '--load-list', test_list_file_name,
 
3112
                '--subunit']
 
3113
            if '--no-plugins' in sys.argv:
 
3114
                argv.append('--no-plugins')
 
3115
            # stderr=STDOUT would be ideal, but until we prevent noise on
 
3116
            # stderr it can interrupt the subunit protocol.
 
3117
            process = Popen(argv, stdin=PIPE, stdout=PIPE, stderr=PIPE,
 
3118
                bufsize=1)
 
3119
            test = TestInSubprocess(process, test_list_file_name)
 
3120
            result.append(test)
 
3121
        except:
 
3122
            os.unlink(test_list_file_name)
 
3123
            raise
 
3124
    return result
 
3125
 
 
3126
 
 
3127
class BZRTransformingResult(unittest.TestResult):
 
3128
 
 
3129
    def __init__(self, target):
 
3130
        unittest.TestResult.__init__(self)
 
3131
        self.result = target
 
3132
 
 
3133
    def startTest(self, test):
 
3134
        self.result.startTest(test)
 
3135
 
 
3136
    def stopTest(self, test):
 
3137
        self.result.stopTest(test)
 
3138
 
 
3139
    def addError(self, test, err):
 
3140
        feature = self._error_looks_like('UnavailableFeature: ', err)
 
3141
        if feature is not None:
 
3142
            self.result.addNotSupported(test, feature)
 
3143
        else:
 
3144
            self.result.addError(test, err)
 
3145
 
 
3146
    def addFailure(self, test, err):
 
3147
        known = self._error_looks_like('KnownFailure: ', err)
 
3148
        if known is not None:
 
3149
            self.result._addKnownFailure(test, [KnownFailure,
 
3150
                                                KnownFailure(known), None])
 
3151
        else:
 
3152
            self.result.addFailure(test, err)
 
3153
 
 
3154
    def addSkip(self, test, reason):
 
3155
        self.result.addSkip(test, reason)
 
3156
 
 
3157
    def addSuccess(self, test):
 
3158
        self.result.addSuccess(test)
 
3159
 
 
3160
    def _error_looks_like(self, prefix, err):
 
3161
        """Deserialize exception and returns the stringify value."""
 
3162
        import subunit
 
3163
        value = None
 
3164
        typ, exc, _ = err
 
3165
        if isinstance(exc, subunit.RemoteException):
 
3166
            # stringify the exception gives access to the remote traceback
 
3167
            # We search the last line for 'prefix'
 
3168
            lines = str(exc).split('\n')
 
3169
            while lines and not lines[-1]:
 
3170
                lines.pop(-1)
 
3171
            if lines:
 
3172
                if lines[-1].startswith(prefix):
 
3173
                    value = lines[-1][len(prefix):]
 
3174
        return value
 
3175
 
 
3176
 
 
3177
# Controlled by "bzr selftest -E=..." option
 
3178
# Currently supported:
 
3179
#   -Eallow_debug           Will no longer clear debug.debug_flags() so it
 
3180
#                           preserves any flags supplied at the command line.
 
3181
#   -Edisable_lock_checks   Turns errors in mismatched locks into simple prints
 
3182
#                           rather than failing tests. And no longer raise
 
3183
#                           LockContention when fctnl locks are not being used
 
3184
#                           with proper exclusion rules.
 
3185
selftest_debug_flags = set()
 
3186
 
 
3187
 
 
3188
def selftest(verbose=False, pattern=".*", stop_on_failure=True,
 
3189
             transport=None,
 
3190
             test_suite_factory=None,
 
3191
             lsprof_timed=None,
 
3192
             bench_history=None,
 
3193
             matching_tests_first=None,
 
3194
             list_only=False,
 
3195
             random_seed=None,
 
3196
             exclude_pattern=None,
 
3197
             strict=False,
 
3198
             load_list=None,
 
3199
             debug_flags=None,
 
3200
             starting_with=None,
 
3201
             runner_class=None,
 
3202
             suite_decorators=None,
 
3203
             ):
 
3204
    """Run the whole test suite under the enhanced runner"""
 
3205
    # XXX: Very ugly way to do this...
 
3206
    # Disable warning about old formats because we don't want it to disturb
 
3207
    # any blackbox tests.
 
3208
    from bzrlib import repository
 
3209
    repository._deprecation_warning_done = True
 
3210
 
 
3211
    global default_transport
 
3212
    if transport is None:
 
3213
        transport = default_transport
 
3214
    old_transport = default_transport
 
3215
    default_transport = transport
 
3216
    global selftest_debug_flags
 
3217
    old_debug_flags = selftest_debug_flags
 
3218
    if debug_flags is not None:
 
3219
        selftest_debug_flags = set(debug_flags)
 
3220
    try:
 
3221
        if load_list is None:
 
3222
            keep_only = None
 
3223
        else:
 
3224
            keep_only = load_test_id_list(load_list)
 
3225
        if test_suite_factory is None:
 
3226
            suite = test_suite(keep_only, starting_with)
 
3227
        else:
 
3228
            suite = test_suite_factory()
 
3229
        return run_suite(suite, 'testbzr', verbose=verbose, pattern=pattern,
 
3230
                     stop_on_failure=stop_on_failure,
 
3231
                     transport=transport,
 
3232
                     lsprof_timed=lsprof_timed,
 
3233
                     bench_history=bench_history,
 
3234
                     matching_tests_first=matching_tests_first,
 
3235
                     list_only=list_only,
 
3236
                     random_seed=random_seed,
 
3237
                     exclude_pattern=exclude_pattern,
 
3238
                     strict=strict,
 
3239
                     runner_class=runner_class,
 
3240
                     suite_decorators=suite_decorators,
 
3241
                     )
 
3242
    finally:
 
3243
        default_transport = old_transport
 
3244
        selftest_debug_flags = old_debug_flags
 
3245
 
 
3246
 
 
3247
def load_test_id_list(file_name):
 
3248
    """Load a test id list from a text file.
 
3249
 
 
3250
    The format is one test id by line.  No special care is taken to impose
 
3251
    strict rules, these test ids are used to filter the test suite so a test id
 
3252
    that do not match an existing test will do no harm. This allows user to add
 
3253
    comments, leave blank lines, etc.
 
3254
    """
 
3255
    test_list = []
 
3256
    try:
 
3257
        ftest = open(file_name, 'rt')
 
3258
    except IOError, e:
 
3259
        if e.errno != errno.ENOENT:
 
3260
            raise
 
3261
        else:
 
3262
            raise errors.NoSuchFile(file_name)
 
3263
 
 
3264
    for test_name in ftest.readlines():
 
3265
        test_list.append(test_name.strip())
 
3266
    ftest.close()
 
3267
    return test_list
 
3268
 
 
3269
 
 
3270
def suite_matches_id_list(test_suite, id_list):
 
3271
    """Warns about tests not appearing or appearing more than once.
 
3272
 
 
3273
    :param test_suite: A TestSuite object.
 
3274
    :param test_id_list: The list of test ids that should be found in
 
3275
         test_suite.
 
3276
 
 
3277
    :return: (absents, duplicates) absents is a list containing the test found
 
3278
        in id_list but not in test_suite, duplicates is a list containing the
 
3279
        test found multiple times in test_suite.
 
3280
 
 
3281
    When using a prefined test id list, it may occurs that some tests do not
 
3282
    exist anymore or that some tests use the same id. This function warns the
 
3283
    tester about potential problems in his workflow (test lists are volatile)
 
3284
    or in the test suite itself (using the same id for several tests does not
 
3285
    help to localize defects).
 
3286
    """
 
3287
    # Build a dict counting id occurrences
 
3288
    tests = dict()
 
3289
    for test in iter_suite_tests(test_suite):
 
3290
        id = test.id()
 
3291
        tests[id] = tests.get(id, 0) + 1
 
3292
 
 
3293
    not_found = []
 
3294
    duplicates = []
 
3295
    for id in id_list:
 
3296
        occurs = tests.get(id, 0)
 
3297
        if not occurs:
 
3298
            not_found.append(id)
 
3299
        elif occurs > 1:
 
3300
            duplicates.append(id)
 
3301
 
 
3302
    return not_found, duplicates
 
3303
 
 
3304
 
 
3305
class TestIdList(object):
 
3306
    """Test id list to filter a test suite.
 
3307
 
 
3308
    Relying on the assumption that test ids are built as:
 
3309
    <module>[.<class>.<method>][(<param>+)], <module> being in python dotted
 
3310
    notation, this class offers methods to :
 
3311
    - avoid building a test suite for modules not refered to in the test list,
 
3312
    - keep only the tests listed from the module test suite.
 
3313
    """
 
3314
 
 
3315
    def __init__(self, test_id_list):
 
3316
        # When a test suite needs to be filtered against us we compare test ids
 
3317
        # for equality, so a simple dict offers a quick and simple solution.
 
3318
        self.tests = dict().fromkeys(test_id_list, True)
 
3319
 
 
3320
        # While unittest.TestCase have ids like:
 
3321
        # <module>.<class>.<method>[(<param+)],
 
3322
        # doctest.DocTestCase can have ids like:
 
3323
        # <module>
 
3324
        # <module>.<class>
 
3325
        # <module>.<function>
 
3326
        # <module>.<class>.<method>
 
3327
 
 
3328
        # Since we can't predict a test class from its name only, we settle on
 
3329
        # a simple constraint: a test id always begins with its module name.
 
3330
 
 
3331
        modules = {}
 
3332
        for test_id in test_id_list:
 
3333
            parts = test_id.split('.')
 
3334
            mod_name = parts.pop(0)
 
3335
            modules[mod_name] = True
 
3336
            for part in parts:
 
3337
                mod_name += '.' + part
 
3338
                modules[mod_name] = True
 
3339
        self.modules = modules
 
3340
 
 
3341
    def refers_to(self, module_name):
 
3342
        """Is there tests for the module or one of its sub modules."""
 
3343
        return self.modules.has_key(module_name)
 
3344
 
 
3345
    def includes(self, test_id):
 
3346
        return self.tests.has_key(test_id)
 
3347
 
 
3348
 
 
3349
class TestPrefixAliasRegistry(registry.Registry):
 
3350
    """A registry for test prefix aliases.
 
3351
 
 
3352
    This helps implement shorcuts for the --starting-with selftest
 
3353
    option. Overriding existing prefixes is not allowed but not fatal (a
 
3354
    warning will be emitted).
 
3355
    """
 
3356
 
 
3357
    def register(self, key, obj, help=None, info=None,
 
3358
                 override_existing=False):
 
3359
        """See Registry.register.
 
3360
 
 
3361
        Trying to override an existing alias causes a warning to be emitted,
 
3362
        not a fatal execption.
 
3363
        """
 
3364
        try:
 
3365
            super(TestPrefixAliasRegistry, self).register(
 
3366
                key, obj, help=help, info=info, override_existing=False)
 
3367
        except KeyError:
 
3368
            actual = self.get(key)
 
3369
            note('Test prefix alias %s is already used for %s, ignoring %s'
 
3370
                 % (key, actual, obj))
 
3371
 
 
3372
    def resolve_alias(self, id_start):
 
3373
        """Replace the alias by the prefix in the given string.
 
3374
 
 
3375
        Using an unknown prefix is an error to help catching typos.
 
3376
        """
 
3377
        parts = id_start.split('.')
 
3378
        try:
 
3379
            parts[0] = self.get(parts[0])
 
3380
        except KeyError:
 
3381
            raise errors.BzrCommandError(
 
3382
                '%s is not a known test prefix alias' % parts[0])
 
3383
        return '.'.join(parts)
 
3384
 
 
3385
 
 
3386
test_prefix_alias_registry = TestPrefixAliasRegistry()
 
3387
"""Registry of test prefix aliases."""
 
3388
 
 
3389
 
 
3390
# This alias allows to detect typos ('bzrlin.') by making all valid test ids
 
3391
# appear prefixed ('bzrlib.' is "replaced" by 'bzrlib.').
 
3392
test_prefix_alias_registry.register('bzrlib', 'bzrlib')
 
3393
 
 
3394
# Obvious higest levels prefixes, feel free to add your own via a plugin
 
3395
test_prefix_alias_registry.register('bd', 'bzrlib.doc')
 
3396
test_prefix_alias_registry.register('bu', 'bzrlib.utils')
 
3397
test_prefix_alias_registry.register('bt', 'bzrlib.tests')
 
3398
test_prefix_alias_registry.register('bb', 'bzrlib.tests.blackbox')
 
3399
test_prefix_alias_registry.register('bp', 'bzrlib.plugins')
 
3400
 
 
3401
 
 
3402
def test_suite(keep_only=None, starting_with=None):
 
3403
    """Build and return TestSuite for the whole of bzrlib.
 
3404
 
 
3405
    :param keep_only: A list of test ids limiting the suite returned.
 
3406
 
 
3407
    :param starting_with: An id limiting the suite returned to the tests
 
3408
         starting with it.
 
3409
 
 
3410
    This function can be replaced if you need to change the default test
 
3411
    suite on a global basis, but it is not encouraged.
 
3412
    """
 
3413
    testmod_names = [
 
3414
                   'bzrlib.doc',
 
3415
                   'bzrlib.tests.blackbox',
 
3416
                   'bzrlib.tests.commands',
 
3417
                   'bzrlib.tests.per_branch',
 
3418
                   'bzrlib.tests.per_bzrdir',
 
3419
                   'bzrlib.tests.per_interrepository',
 
3420
                   'bzrlib.tests.per_intertree',
 
3421
                   'bzrlib.tests.per_inventory',
 
3422
                   'bzrlib.tests.per_interbranch',
 
3423
                   'bzrlib.tests.per_lock',
 
3424
                   'bzrlib.tests.per_transport',
 
3425
                   'bzrlib.tests.per_tree',
 
3426
                   'bzrlib.tests.per_pack_repository',
 
3427
                   'bzrlib.tests.per_repository',
 
3428
                   'bzrlib.tests.per_repository_chk',
 
3429
                   'bzrlib.tests.per_repository_reference',
 
3430
                   'bzrlib.tests.per_workingtree',
 
3431
                   'bzrlib.tests.test__annotator',
 
3432
                   'bzrlib.tests.test__chk_map',
 
3433
                   'bzrlib.tests.test__dirstate_helpers',
 
3434
                   'bzrlib.tests.test__groupcompress',
 
3435
                   'bzrlib.tests.test__known_graph',
 
3436
                   'bzrlib.tests.test__rio',
 
3437
                   'bzrlib.tests.test__walkdirs_win32',
 
3438
                   'bzrlib.tests.test_ancestry',
 
3439
                   'bzrlib.tests.test_annotate',
 
3440
                   'bzrlib.tests.test_api',
 
3441
                   'bzrlib.tests.test_atomicfile',
 
3442
                   'bzrlib.tests.test_bad_files',
 
3443
                   'bzrlib.tests.test_bencode',
 
3444
                   'bzrlib.tests.test_bisect_multi',
 
3445
                   'bzrlib.tests.test_branch',
 
3446
                   'bzrlib.tests.test_branchbuilder',
 
3447
                   'bzrlib.tests.test_btree_index',
 
3448
                   'bzrlib.tests.test_bugtracker',
 
3449
                   'bzrlib.tests.test_bundle',
 
3450
                   'bzrlib.tests.test_bzrdir',
 
3451
                   'bzrlib.tests.test__chunks_to_lines',
 
3452
                   'bzrlib.tests.test_cache_utf8',
 
3453
                   'bzrlib.tests.test_chk_map',
 
3454
                   'bzrlib.tests.test_chk_serializer',
 
3455
                   'bzrlib.tests.test_chunk_writer',
 
3456
                   'bzrlib.tests.test_clean_tree',
 
3457
                   'bzrlib.tests.test_commands',
 
3458
                   'bzrlib.tests.test_commit',
 
3459
                   'bzrlib.tests.test_commit_merge',
 
3460
                   'bzrlib.tests.test_config',
 
3461
                   'bzrlib.tests.test_conflicts',
 
3462
                   'bzrlib.tests.test_counted_lock',
 
3463
                   'bzrlib.tests.test_decorators',
 
3464
                   'bzrlib.tests.test_delta',
 
3465
                   'bzrlib.tests.test_debug',
 
3466
                   'bzrlib.tests.test_deprecated_graph',
 
3467
                   'bzrlib.tests.test_diff',
 
3468
                   'bzrlib.tests.test_directory_service',
 
3469
                   'bzrlib.tests.test_dirstate',
 
3470
                   'bzrlib.tests.test_email_message',
 
3471
                   'bzrlib.tests.test_eol_filters',
 
3472
                   'bzrlib.tests.test_errors',
 
3473
                   'bzrlib.tests.test_export',
 
3474
                   'bzrlib.tests.test_extract',
 
3475
                   'bzrlib.tests.test_fetch',
 
3476
                   'bzrlib.tests.test_fifo_cache',
 
3477
                   'bzrlib.tests.test_filters',
 
3478
                   'bzrlib.tests.test_ftp_transport',
 
3479
                   'bzrlib.tests.test_foreign',
 
3480
                   'bzrlib.tests.test_generate_docs',
 
3481
                   'bzrlib.tests.test_generate_ids',
 
3482
                   'bzrlib.tests.test_globbing',
 
3483
                   'bzrlib.tests.test_gpg',
 
3484
                   'bzrlib.tests.test_graph',
 
3485
                   'bzrlib.tests.test_groupcompress',
 
3486
                   'bzrlib.tests.test_hashcache',
 
3487
                   'bzrlib.tests.test_help',
 
3488
                   'bzrlib.tests.test_hooks',
 
3489
                   'bzrlib.tests.test_http',
 
3490
                   'bzrlib.tests.test_http_response',
 
3491
                   'bzrlib.tests.test_https_ca_bundle',
 
3492
                   'bzrlib.tests.test_identitymap',
 
3493
                   'bzrlib.tests.test_ignores',
 
3494
                   'bzrlib.tests.test_index',
 
3495
                   'bzrlib.tests.test_info',
 
3496
                   'bzrlib.tests.test_inv',
 
3497
                   'bzrlib.tests.test_inventory_delta',
 
3498
                   'bzrlib.tests.test_knit',
 
3499
                   'bzrlib.tests.test_lazy_import',
 
3500
                   'bzrlib.tests.test_lazy_regex',
 
3501
                   'bzrlib.tests.test_lock',
 
3502
                   'bzrlib.tests.test_lockable_files',
 
3503
                   'bzrlib.tests.test_lockdir',
 
3504
                   'bzrlib.tests.test_log',
 
3505
                   'bzrlib.tests.test_lru_cache',
 
3506
                   'bzrlib.tests.test_lsprof',
 
3507
                   'bzrlib.tests.test_mail_client',
 
3508
                   'bzrlib.tests.test_memorytree',
 
3509
                   'bzrlib.tests.test_merge',
 
3510
                   'bzrlib.tests.test_merge3',
 
3511
                   'bzrlib.tests.test_merge_core',
 
3512
                   'bzrlib.tests.test_merge_directive',
 
3513
                   'bzrlib.tests.test_missing',
 
3514
                   'bzrlib.tests.test_msgeditor',
 
3515
                   'bzrlib.tests.test_multiparent',
 
3516
                   'bzrlib.tests.test_mutabletree',
 
3517
                   'bzrlib.tests.test_nonascii',
 
3518
                   'bzrlib.tests.test_options',
 
3519
                   'bzrlib.tests.test_osutils',
 
3520
                   'bzrlib.tests.test_osutils_encodings',
 
3521
                   'bzrlib.tests.test_pack',
 
3522
                   'bzrlib.tests.test_patch',
 
3523
                   'bzrlib.tests.test_patches',
 
3524
                   'bzrlib.tests.test_permissions',
 
3525
                   'bzrlib.tests.test_plugins',
 
3526
                   'bzrlib.tests.test_progress',
 
3527
                   'bzrlib.tests.test_read_bundle',
 
3528
                   'bzrlib.tests.test_reconcile',
 
3529
                   'bzrlib.tests.test_reconfigure',
 
3530
                   'bzrlib.tests.test_registry',
 
3531
                   'bzrlib.tests.test_remote',
 
3532
                   'bzrlib.tests.test_rename_map',
 
3533
                   'bzrlib.tests.test_repository',
 
3534
                   'bzrlib.tests.test_revert',
 
3535
                   'bzrlib.tests.test_revision',
 
3536
                   'bzrlib.tests.test_revisionspec',
 
3537
                   'bzrlib.tests.test_revisiontree',
 
3538
                   'bzrlib.tests.test_rio',
 
3539
                   'bzrlib.tests.test_rules',
 
3540
                   'bzrlib.tests.test_sampler',
 
3541
                   'bzrlib.tests.test_selftest',
 
3542
                   'bzrlib.tests.test_serializer',
 
3543
                   'bzrlib.tests.test_setup',
 
3544
                   'bzrlib.tests.test_sftp_transport',
 
3545
                   'bzrlib.tests.test_shelf',
 
3546
                   'bzrlib.tests.test_shelf_ui',
 
3547
                   'bzrlib.tests.test_smart',
 
3548
                   'bzrlib.tests.test_smart_add',
 
3549
                   'bzrlib.tests.test_smart_request',
 
3550
                   'bzrlib.tests.test_smart_transport',
 
3551
                   'bzrlib.tests.test_smtp_connection',
 
3552
                   'bzrlib.tests.test_source',
 
3553
                   'bzrlib.tests.test_ssh_transport',
 
3554
                   'bzrlib.tests.test_status',
 
3555
                   'bzrlib.tests.test_store',
 
3556
                   'bzrlib.tests.test_strace',
 
3557
                   'bzrlib.tests.test_subsume',
 
3558
                   'bzrlib.tests.test_switch',
 
3559
                   'bzrlib.tests.test_symbol_versioning',
 
3560
                   'bzrlib.tests.test_tag',
 
3561
                   'bzrlib.tests.test_testament',
 
3562
                   'bzrlib.tests.test_textfile',
 
3563
                   'bzrlib.tests.test_textmerge',
 
3564
                   'bzrlib.tests.test_timestamp',
 
3565
                   'bzrlib.tests.test_trace',
 
3566
                   'bzrlib.tests.test_transactions',
 
3567
                   'bzrlib.tests.test_transform',
 
3568
                   'bzrlib.tests.test_transport',
 
3569
                   'bzrlib.tests.test_transport_log',
 
3570
                   'bzrlib.tests.test_tree',
 
3571
                   'bzrlib.tests.test_treebuilder',
 
3572
                   'bzrlib.tests.test_tsort',
 
3573
                   'bzrlib.tests.test_tuned_gzip',
 
3574
                   'bzrlib.tests.test_ui',
 
3575
                   'bzrlib.tests.test_uncommit',
 
3576
                   'bzrlib.tests.test_upgrade',
 
3577
                   'bzrlib.tests.test_upgrade_stacked',
 
3578
                   'bzrlib.tests.test_urlutils',
 
3579
                   'bzrlib.tests.test_version',
 
3580
                   'bzrlib.tests.test_version_info',
 
3581
                   'bzrlib.tests.test_versionedfile',
 
3582
                   'bzrlib.tests.test_weave',
 
3583
                   'bzrlib.tests.test_whitebox',
 
3584
                   'bzrlib.tests.test_win32utils',
 
3585
                   'bzrlib.tests.test_workingtree',
 
3586
                   'bzrlib.tests.test_workingtree_4',
 
3587
                   'bzrlib.tests.test_wsgi',
 
3588
                   'bzrlib.tests.test_xml',
 
3589
                   ]
 
3590
 
 
3591
    loader = TestUtil.TestLoader()
 
3592
 
 
3593
    if keep_only is not None:
 
3594
        id_filter = TestIdList(keep_only)
 
3595
    if starting_with:
 
3596
        starting_with = [test_prefix_alias_registry.resolve_alias(start)
 
3597
                         for start in starting_with]
 
3598
        # We take precedence over keep_only because *at loading time* using
 
3599
        # both options means we will load less tests for the same final result.
 
3600
        def interesting_module(name):
 
3601
            for start in starting_with:
 
3602
                if (
 
3603
                    # Either the module name starts with the specified string
 
3604
                    name.startswith(start)
 
3605
                    # or it may contain tests starting with the specified string
 
3606
                    or start.startswith(name)
 
3607
                    ):
 
3608
                    return True
 
3609
            return False
 
3610
        loader = TestUtil.FilteredByModuleTestLoader(interesting_module)
 
3611
 
 
3612
    elif keep_only is not None:
 
3613
        loader = TestUtil.FilteredByModuleTestLoader(id_filter.refers_to)
 
3614
        def interesting_module(name):
 
3615
            return id_filter.refers_to(name)
 
3616
 
 
3617
    else:
 
3618
        loader = TestUtil.TestLoader()
 
3619
        def interesting_module(name):
 
3620
            # No filtering, all modules are interesting
 
3621
            return True
 
3622
 
 
3623
    suite = loader.suiteClass()
 
3624
 
 
3625
    # modules building their suite with loadTestsFromModuleNames
 
3626
    suite.addTest(loader.loadTestsFromModuleNames(testmod_names))
 
3627
 
 
3628
    modules_to_doctest = [
 
3629
        'bzrlib',
 
3630
        'bzrlib.branchbuilder',
 
3631
        'bzrlib.export',
 
3632
        'bzrlib.inventory',
 
3633
        'bzrlib.iterablefile',
 
3634
        'bzrlib.lockdir',
 
3635
        'bzrlib.merge3',
 
3636
        'bzrlib.option',
 
3637
        'bzrlib.symbol_versioning',
 
3638
        'bzrlib.tests',
 
3639
        'bzrlib.timestamp',
 
3640
        'bzrlib.version_info_formats.format_custom',
 
3641
        ]
 
3642
 
 
3643
    for mod in modules_to_doctest:
 
3644
        if not interesting_module(mod):
 
3645
            # No tests to keep here, move along
 
3646
            continue
 
3647
        try:
 
3648
            # note that this really does mean "report only" -- doctest
 
3649
            # still runs the rest of the examples
 
3650
            doc_suite = doctest.DocTestSuite(mod,
 
3651
                optionflags=doctest.REPORT_ONLY_FIRST_FAILURE)
 
3652
        except ValueError, e:
 
3653
            print '**failed to get doctest for: %s\n%s' % (mod, e)
 
3654
            raise
 
3655
        if len(doc_suite._tests) == 0:
 
3656
            raise errors.BzrError("no doctests found in %s" % (mod,))
 
3657
        suite.addTest(doc_suite)
 
3658
 
 
3659
    default_encoding = sys.getdefaultencoding()
 
3660
    for name, plugin in bzrlib.plugin.plugins().items():
 
3661
        if not interesting_module(plugin.module.__name__):
 
3662
            continue
 
3663
        plugin_suite = plugin.test_suite()
 
3664
        # We used to catch ImportError here and turn it into just a warning,
 
3665
        # but really if you don't have --no-plugins this should be a failure.
 
3666
        # mbp 20080213 - see http://bugs.launchpad.net/bugs/189771
 
3667
        if plugin_suite is None:
 
3668
            plugin_suite = plugin.load_plugin_tests(loader)
 
3669
        if plugin_suite is not None:
 
3670
            suite.addTest(plugin_suite)
 
3671
        if default_encoding != sys.getdefaultencoding():
 
3672
            bzrlib.trace.warning(
 
3673
                'Plugin "%s" tried to reset default encoding to: %s', name,
 
3674
                sys.getdefaultencoding())
 
3675
            reload(sys)
 
3676
            sys.setdefaultencoding(default_encoding)
 
3677
 
 
3678
    if starting_with:
 
3679
        suite = filter_suite_by_id_startswith(suite, starting_with)
 
3680
 
 
3681
    if keep_only is not None:
 
3682
        # Now that the referred modules have loaded their tests, keep only the
 
3683
        # requested ones.
 
3684
        suite = filter_suite_by_id_list(suite, id_filter)
 
3685
        # Do some sanity checks on the id_list filtering
 
3686
        not_found, duplicates = suite_matches_id_list(suite, keep_only)
 
3687
        if starting_with:
 
3688
            # The tester has used both keep_only and starting_with, so he is
 
3689
            # already aware that some tests are excluded from the list, there
 
3690
            # is no need to tell him which.
 
3691
            pass
 
3692
        else:
 
3693
            # Some tests mentioned in the list are not in the test suite. The
 
3694
            # list may be out of date, report to the tester.
 
3695
            for id in not_found:
 
3696
                bzrlib.trace.warning('"%s" not found in the test suite', id)
 
3697
        for id in duplicates:
 
3698
            bzrlib.trace.warning('"%s" is used as an id by several tests', id)
 
3699
 
 
3700
    return suite
 
3701
 
 
3702
 
 
3703
def multiply_scenarios(scenarios_left, scenarios_right):
 
3704
    """Multiply two sets of scenarios.
 
3705
 
 
3706
    :returns: the cartesian product of the two sets of scenarios, that is
 
3707
        a scenario for every possible combination of a left scenario and a
 
3708
        right scenario.
 
3709
    """
 
3710
    return [
 
3711
        ('%s,%s' % (left_name, right_name),
 
3712
         dict(left_dict.items() + right_dict.items()))
 
3713
        for left_name, left_dict in scenarios_left
 
3714
        for right_name, right_dict in scenarios_right]
 
3715
 
 
3716
 
 
3717
def multiply_tests(tests, scenarios, result):
 
3718
    """Multiply tests_list by scenarios into result.
 
3719
 
 
3720
    This is the core workhorse for test parameterisation.
 
3721
 
 
3722
    Typically the load_tests() method for a per-implementation test suite will
 
3723
    call multiply_tests and return the result.
 
3724
 
 
3725
    :param tests: The tests to parameterise.
 
3726
    :param scenarios: The scenarios to apply: pairs of (scenario_name,
 
3727
        scenario_param_dict).
 
3728
    :param result: A TestSuite to add created tests to.
 
3729
 
 
3730
    This returns the passed in result TestSuite with the cross product of all
 
3731
    the tests repeated once for each scenario.  Each test is adapted by adding
 
3732
    the scenario name at the end of its id(), and updating the test object's
 
3733
    __dict__ with the scenario_param_dict.
 
3734
 
 
3735
    >>> import bzrlib.tests.test_sampler
 
3736
    >>> r = multiply_tests(
 
3737
    ...     bzrlib.tests.test_sampler.DemoTest('test_nothing'),
 
3738
    ...     [('one', dict(param=1)),
 
3739
    ...      ('two', dict(param=2))],
 
3740
    ...     TestSuite())
 
3741
    >>> tests = list(iter_suite_tests(r))
 
3742
    >>> len(tests)
 
3743
    2
 
3744
    >>> tests[0].id()
 
3745
    'bzrlib.tests.test_sampler.DemoTest.test_nothing(one)'
 
3746
    >>> tests[0].param
 
3747
    1
 
3748
    >>> tests[1].param
 
3749
    2
 
3750
    """
 
3751
    for test in iter_suite_tests(tests):
 
3752
        apply_scenarios(test, scenarios, result)
 
3753
    return result
 
3754
 
 
3755
 
 
3756
def apply_scenarios(test, scenarios, result):
 
3757
    """Apply the scenarios in scenarios to test and add to result.
 
3758
 
 
3759
    :param test: The test to apply scenarios to.
 
3760
    :param scenarios: An iterable of scenarios to apply to test.
 
3761
    :return: result
 
3762
    :seealso: apply_scenario
 
3763
    """
 
3764
    for scenario in scenarios:
 
3765
        result.addTest(apply_scenario(test, scenario))
 
3766
    return result
 
3767
 
 
3768
 
 
3769
def apply_scenario(test, scenario):
 
3770
    """Copy test and apply scenario to it.
 
3771
 
 
3772
    :param test: A test to adapt.
 
3773
    :param scenario: A tuple describing the scenarion.
 
3774
        The first element of the tuple is the new test id.
 
3775
        The second element is a dict containing attributes to set on the
 
3776
        test.
 
3777
    :return: The adapted test.
 
3778
    """
 
3779
    new_id = "%s(%s)" % (test.id(), scenario[0])
 
3780
    new_test = clone_test(test, new_id)
 
3781
    for name, value in scenario[1].items():
 
3782
        setattr(new_test, name, value)
 
3783
    return new_test
 
3784
 
 
3785
 
 
3786
def clone_test(test, new_id):
 
3787
    """Clone a test giving it a new id.
 
3788
 
 
3789
    :param test: The test to clone.
 
3790
    :param new_id: The id to assign to it.
 
3791
    :return: The new test.
 
3792
    """
 
3793
    from copy import deepcopy
 
3794
    new_test = deepcopy(test)
 
3795
    new_test.id = lambda: new_id
 
3796
    return new_test
 
3797
 
 
3798
 
 
3799
def _rmtree_temp_dir(dirname):
 
3800
    # If LANG=C we probably have created some bogus paths
 
3801
    # which rmtree(unicode) will fail to delete
 
3802
    # so make sure we are using rmtree(str) to delete everything
 
3803
    # except on win32, where rmtree(str) will fail
 
3804
    # since it doesn't have the property of byte-stream paths
 
3805
    # (they are either ascii or mbcs)
 
3806
    if sys.platform == 'win32':
 
3807
        # make sure we are using the unicode win32 api
 
3808
        dirname = unicode(dirname)
 
3809
    else:
 
3810
        dirname = dirname.encode(sys.getfilesystemencoding())
 
3811
    try:
 
3812
        osutils.rmtree(dirname)
 
3813
    except OSError, e:
 
3814
        if sys.platform == 'win32' and e.errno == errno.EACCES:
 
3815
            sys.stderr.write('Permission denied: '
 
3816
                             'unable to remove testing dir '
 
3817
                             '%s\n%s'
 
3818
                             % (os.path.basename(dirname), e))
 
3819
        else:
 
3820
            raise
 
3821
 
 
3822
 
 
3823
class Feature(object):
 
3824
    """An operating system Feature."""
 
3825
 
 
3826
    def __init__(self):
 
3827
        self._available = None
 
3828
 
 
3829
    def available(self):
 
3830
        """Is the feature available?
 
3831
 
 
3832
        :return: True if the feature is available.
 
3833
        """
 
3834
        if self._available is None:
 
3835
            self._available = self._probe()
 
3836
        return self._available
 
3837
 
 
3838
    def _probe(self):
 
3839
        """Implement this method in concrete features.
 
3840
 
 
3841
        :return: True if the feature is available.
 
3842
        """
 
3843
        raise NotImplementedError
 
3844
 
 
3845
    def __str__(self):
 
3846
        if getattr(self, 'feature_name', None):
 
3847
            return self.feature_name()
 
3848
        return self.__class__.__name__
 
3849
 
 
3850
 
 
3851
class _SymlinkFeature(Feature):
 
3852
 
 
3853
    def _probe(self):
 
3854
        return osutils.has_symlinks()
 
3855
 
 
3856
    def feature_name(self):
 
3857
        return 'symlinks'
 
3858
 
 
3859
SymlinkFeature = _SymlinkFeature()
 
3860
 
 
3861
 
 
3862
class _HardlinkFeature(Feature):
 
3863
 
 
3864
    def _probe(self):
 
3865
        return osutils.has_hardlinks()
 
3866
 
 
3867
    def feature_name(self):
 
3868
        return 'hardlinks'
 
3869
 
 
3870
HardlinkFeature = _HardlinkFeature()
 
3871
 
 
3872
 
 
3873
class _OsFifoFeature(Feature):
 
3874
 
 
3875
    def _probe(self):
 
3876
        return getattr(os, 'mkfifo', None)
 
3877
 
 
3878
    def feature_name(self):
 
3879
        return 'filesystem fifos'
 
3880
 
 
3881
OsFifoFeature = _OsFifoFeature()
 
3882
 
 
3883
 
 
3884
class _UnicodeFilenameFeature(Feature):
 
3885
    """Does the filesystem support Unicode filenames?"""
 
3886
 
 
3887
    def _probe(self):
 
3888
        try:
 
3889
            # Check for character combinations unlikely to be covered by any
 
3890
            # single non-unicode encoding. We use the characters
 
3891
            # - greek small letter alpha (U+03B1) and
 
3892
            # - braille pattern dots-123456 (U+283F).
 
3893
            os.stat(u'\u03b1\u283f')
 
3894
        except UnicodeEncodeError:
 
3895
            return False
 
3896
        except (IOError, OSError):
 
3897
            # The filesystem allows the Unicode filename but the file doesn't
 
3898
            # exist.
 
3899
            return True
 
3900
        else:
 
3901
            # The filesystem allows the Unicode filename and the file exists,
 
3902
            # for some reason.
 
3903
            return True
 
3904
 
 
3905
UnicodeFilenameFeature = _UnicodeFilenameFeature()
 
3906
 
 
3907
 
 
3908
def probe_unicode_in_user_encoding():
 
3909
    """Try to encode several unicode strings to use in unicode-aware tests.
 
3910
    Return first successfull match.
 
3911
 
 
3912
    :return:  (unicode value, encoded plain string value) or (None, None)
 
3913
    """
 
3914
    possible_vals = [u'm\xb5', u'\xe1', u'\u0410']
 
3915
    for uni_val in possible_vals:
 
3916
        try:
 
3917
            str_val = uni_val.encode(osutils.get_user_encoding())
 
3918
        except UnicodeEncodeError:
 
3919
            # Try a different character
 
3920
            pass
 
3921
        else:
 
3922
            return uni_val, str_val
 
3923
    return None, None
 
3924
 
 
3925
 
 
3926
def probe_bad_non_ascii(encoding):
 
3927
    """Try to find [bad] character with code [128..255]
 
3928
    that cannot be decoded to unicode in some encoding.
 
3929
    Return None if all non-ascii characters is valid
 
3930
    for given encoding.
 
3931
    """
 
3932
    for i in xrange(128, 256):
 
3933
        char = chr(i)
 
3934
        try:
 
3935
            char.decode(encoding)
 
3936
        except UnicodeDecodeError:
 
3937
            return char
 
3938
    return None
 
3939
 
 
3940
 
 
3941
class _HTTPSServerFeature(Feature):
 
3942
    """Some tests want an https Server, check if one is available.
 
3943
 
 
3944
    Right now, the only way this is available is under python2.6 which provides
 
3945
    an ssl module.
 
3946
    """
 
3947
 
 
3948
    def _probe(self):
 
3949
        try:
 
3950
            import ssl
 
3951
            return True
 
3952
        except ImportError:
 
3953
            return False
 
3954
 
 
3955
    def feature_name(self):
 
3956
        return 'HTTPSServer'
 
3957
 
 
3958
 
 
3959
HTTPSServerFeature = _HTTPSServerFeature()
 
3960
 
 
3961
 
 
3962
class _UnicodeFilename(Feature):
 
3963
    """Does the filesystem support Unicode filenames?"""
 
3964
 
 
3965
    def _probe(self):
 
3966
        try:
 
3967
            os.stat(u'\u03b1')
 
3968
        except UnicodeEncodeError:
 
3969
            return False
 
3970
        except (IOError, OSError):
 
3971
            # The filesystem allows the Unicode filename but the file doesn't
 
3972
            # exist.
 
3973
            return True
 
3974
        else:
 
3975
            # The filesystem allows the Unicode filename and the file exists,
 
3976
            # for some reason.
 
3977
            return True
 
3978
 
 
3979
UnicodeFilename = _UnicodeFilename()
 
3980
 
 
3981
 
 
3982
class _UTF8Filesystem(Feature):
 
3983
    """Is the filesystem UTF-8?"""
 
3984
 
 
3985
    def _probe(self):
 
3986
        if osutils._fs_enc.upper() in ('UTF-8', 'UTF8'):
 
3987
            return True
 
3988
        return False
 
3989
 
 
3990
UTF8Filesystem = _UTF8Filesystem()
 
3991
 
 
3992
 
 
3993
class _CaseInsCasePresFilenameFeature(Feature):
 
3994
    """Is the file-system case insensitive, but case-preserving?"""
 
3995
 
 
3996
    def _probe(self):
 
3997
        fileno, name = tempfile.mkstemp(prefix='MixedCase')
 
3998
        try:
 
3999
            # first check truly case-preserving for created files, then check
 
4000
            # case insensitive when opening existing files.
 
4001
            name = osutils.normpath(name)
 
4002
            base, rel = osutils.split(name)
 
4003
            found_rel = osutils.canonical_relpath(base, name)
 
4004
            return (found_rel == rel
 
4005
                    and os.path.isfile(name.upper())
 
4006
                    and os.path.isfile(name.lower()))
 
4007
        finally:
 
4008
            os.close(fileno)
 
4009
            os.remove(name)
 
4010
 
 
4011
    def feature_name(self):
 
4012
        return "case-insensitive case-preserving filesystem"
 
4013
 
 
4014
CaseInsCasePresFilenameFeature = _CaseInsCasePresFilenameFeature()
 
4015
 
 
4016
 
 
4017
class _CaseInsensitiveFilesystemFeature(Feature):
 
4018
    """Check if underlying filesystem is case-insensitive but *not* case
 
4019
    preserving.
 
4020
    """
 
4021
    # Note that on Windows, Cygwin, MacOS etc, the file-systems are far
 
4022
    # more likely to be case preserving, so this case is rare.
 
4023
 
 
4024
    def _probe(self):
 
4025
        if CaseInsCasePresFilenameFeature.available():
 
4026
            return False
 
4027
 
 
4028
        if TestCaseWithMemoryTransport.TEST_ROOT is None:
 
4029
            root = osutils.mkdtemp(prefix='testbzr-', suffix='.tmp')
 
4030
            TestCaseWithMemoryTransport.TEST_ROOT = root
 
4031
        else:
 
4032
            root = TestCaseWithMemoryTransport.TEST_ROOT
 
4033
        tdir = osutils.mkdtemp(prefix='case-sensitive-probe-', suffix='',
 
4034
            dir=root)
 
4035
        name_a = osutils.pathjoin(tdir, 'a')
 
4036
        name_A = osutils.pathjoin(tdir, 'A')
 
4037
        os.mkdir(name_a)
 
4038
        result = osutils.isdir(name_A)
 
4039
        _rmtree_temp_dir(tdir)
 
4040
        return result
 
4041
 
 
4042
    def feature_name(self):
 
4043
        return 'case-insensitive filesystem'
 
4044
 
 
4045
CaseInsensitiveFilesystemFeature = _CaseInsensitiveFilesystemFeature()
 
4046
 
 
4047
 
 
4048
class _SubUnitFeature(Feature):
 
4049
    """Check if subunit is available."""
 
4050
 
 
4051
    def _probe(self):
 
4052
        try:
 
4053
            import subunit
 
4054
            return True
 
4055
        except ImportError:
 
4056
            return False
 
4057
 
 
4058
    def feature_name(self):
 
4059
        return 'subunit'
 
4060
 
 
4061
SubUnitFeature = _SubUnitFeature()
 
4062
# Only define SubUnitBzrRunner if subunit is available.
 
4063
try:
 
4064
    from subunit import TestProtocolClient
 
4065
    try:
 
4066
        from subunit.test_results import AutoTimingTestResultDecorator
 
4067
    except ImportError:
 
4068
        AutoTimingTestResultDecorator = lambda x:x
 
4069
    class SubUnitBzrRunner(TextTestRunner):
 
4070
        def run(self, test):
 
4071
            result = AutoTimingTestResultDecorator(
 
4072
                TestProtocolClient(self.stream))
 
4073
            test.run(result)
 
4074
            return result
 
4075
except ImportError:
 
4076
    pass