/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/tests/__init__.py

  • Committer: Aaron Bentley
  • Date: 2008-03-28 02:28:52 UTC
  • mto: This revision was merged to the branch mainline in revision 3371.
  • Revision ID: aaron@aaronbentley.com-20080328022852-fa7wsm7g7dhdr7b3
Handle format 5 revision

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005, 2006, 2007, 2008 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
 
 
18
# TODO: Perhaps there should be an API to find out if bzr running under the
 
19
# test suite -- some plugins might want to avoid making intrusive changes if
 
20
# this is the case.  However, we want behaviour under to test to diverge as
 
21
# little as possible, so this should be used rarely if it's added at all.
 
22
# (Suggestion from j-a-meinel, 2005-11-24)
 
23
 
 
24
# NOTE: Some classes in here use camelCaseNaming() rather than
 
25
# underscore_naming().  That's for consistency with unittest; it's not the
 
26
# general style of bzrlib.  Please continue that consistency when adding e.g.
 
27
# new assertFoo() methods.
 
28
 
 
29
import atexit
 
30
import codecs
 
31
from cStringIO import StringIO
 
32
import difflib
 
33
import doctest
 
34
import errno
 
35
import logging
 
36
import os
 
37
from pprint import pformat
 
38
import random
 
39
import re
 
40
import shlex
 
41
import stat
 
42
from subprocess import Popen, PIPE
 
43
import sys
 
44
import tempfile
 
45
import time
 
46
import unittest
 
47
import warnings
 
48
 
 
49
 
 
50
from bzrlib import (
 
51
    bzrdir,
 
52
    debug,
 
53
    errors,
 
54
    memorytree,
 
55
    osutils,
 
56
    progress,
 
57
    ui,
 
58
    urlutils,
 
59
    workingtree,
 
60
    )
 
61
import bzrlib.branch
 
62
import bzrlib.commands
 
63
import bzrlib.timestamp
 
64
import bzrlib.export
 
65
import bzrlib.inventory
 
66
import bzrlib.iterablefile
 
67
import bzrlib.lockdir
 
68
try:
 
69
    import bzrlib.lsprof
 
70
except ImportError:
 
71
    # lsprof not available
 
72
    pass
 
73
from bzrlib.merge import merge_inner
 
74
import bzrlib.merge3
 
75
import bzrlib.plugin
 
76
from bzrlib.revision import common_ancestor
 
77
import bzrlib.store
 
78
from bzrlib import symbol_versioning
 
79
from bzrlib.symbol_versioning import (
 
80
    DEPRECATED_PARAMETER,
 
81
    deprecated_function,
 
82
    deprecated_method,
 
83
    deprecated_passed,
 
84
    zero_ninetyone,
 
85
    zero_ninetytwo,
 
86
    one_zero,
 
87
    )
 
88
import bzrlib.trace
 
89
from bzrlib.transport import get_transport
 
90
import bzrlib.transport
 
91
from bzrlib.transport.local import LocalURLServer
 
92
from bzrlib.transport.memory import MemoryServer
 
93
from bzrlib.transport.readonly import ReadonlyServer
 
94
from bzrlib.trace import mutter, note
 
95
from bzrlib.tests import TestUtil
 
96
from bzrlib.tests.http_server import HttpServer
 
97
from bzrlib.tests.TestUtil import (
 
98
                          TestSuite,
 
99
                          TestLoader,
 
100
                          )
 
101
from bzrlib.tests.treeshape import build_tree_contents
 
102
import bzrlib.version_info_formats.format_custom
 
103
from bzrlib.workingtree import WorkingTree, WorkingTreeFormat2
 
104
 
 
105
# Mark this python module as being part of the implementation
 
106
# of unittest: this gives us better tracebacks where the last
 
107
# shown frame is the test code, not our assertXYZ.
 
108
__unittest = 1
 
109
 
 
110
default_transport = LocalURLServer
 
111
 
 
112
MODULES_TO_TEST = []
 
113
MODULES_TO_DOCTEST = [
 
114
        bzrlib,
 
115
        bzrlib.timestamp,
 
116
        bzrlib.errors,
 
117
        bzrlib.export,
 
118
        bzrlib.inventory,
 
119
        bzrlib.iterablefile,
 
120
        bzrlib.lockdir,
 
121
        bzrlib.merge3,
 
122
        bzrlib.option,
 
123
        bzrlib.store,
 
124
        bzrlib.version_info_formats.format_custom,
 
125
        # quoted to avoid module-loading circularity
 
126
        'bzrlib.tests',
 
127
        ]
 
128
 
 
129
 
 
130
def packages_to_test():
 
131
    """Return a list of packages to test.
 
132
 
 
133
    The packages are not globally imported so that import failures are
 
134
    triggered when running selftest, not when importing the command.
 
135
    """
 
136
    import bzrlib.doc
 
137
    import bzrlib.tests.blackbox
 
138
    import bzrlib.tests.branch_implementations
 
139
    import bzrlib.tests.bzrdir_implementations
 
140
    import bzrlib.tests.commands
 
141
    import bzrlib.tests.interrepository_implementations
 
142
    import bzrlib.tests.interversionedfile_implementations
 
143
    import bzrlib.tests.intertree_implementations
 
144
    import bzrlib.tests.inventory_implementations
 
145
    import bzrlib.tests.per_lock
 
146
    import bzrlib.tests.repository_implementations
 
147
    import bzrlib.tests.revisionstore_implementations
 
148
    import bzrlib.tests.tree_implementations
 
149
    import bzrlib.tests.workingtree_implementations
 
150
    return [
 
151
            bzrlib.doc,
 
152
            bzrlib.tests.blackbox,
 
153
            bzrlib.tests.branch_implementations,
 
154
            bzrlib.tests.bzrdir_implementations,
 
155
            bzrlib.tests.commands,
 
156
            bzrlib.tests.interrepository_implementations,
 
157
            bzrlib.tests.interversionedfile_implementations,
 
158
            bzrlib.tests.intertree_implementations,
 
159
            bzrlib.tests.inventory_implementations,
 
160
            bzrlib.tests.per_lock,
 
161
            bzrlib.tests.repository_implementations,
 
162
            bzrlib.tests.revisionstore_implementations,
 
163
            bzrlib.tests.tree_implementations,
 
164
            bzrlib.tests.workingtree_implementations,
 
165
            ]
 
166
 
 
167
 
 
168
class ExtendedTestResult(unittest._TextTestResult):
 
169
    """Accepts, reports and accumulates the results of running tests.
 
170
 
 
171
    Compared to the unittest version this class adds support for
 
172
    profiling, benchmarking, stopping as soon as a test fails,  and
 
173
    skipping tests.  There are further-specialized subclasses for
 
174
    different types of display.
 
175
 
 
176
    When a test finishes, in whatever way, it calls one of the addSuccess,
 
177
    addFailure or addError classes.  These in turn may redirect to a more
 
178
    specific case for the special test results supported by our extended
 
179
    tests.
 
180
 
 
181
    Note that just one of these objects is fed the results from many tests.
 
182
    """
 
183
 
 
184
    stop_early = False
 
185
    
 
186
    def __init__(self, stream, descriptions, verbosity,
 
187
                 bench_history=None,
 
188
                 num_tests=None,
 
189
                 ):
 
190
        """Construct new TestResult.
 
191
 
 
192
        :param bench_history: Optionally, a writable file object to accumulate
 
193
            benchmark results.
 
194
        """
 
195
        unittest._TextTestResult.__init__(self, stream, descriptions, verbosity)
 
196
        if bench_history is not None:
 
197
            from bzrlib.version import _get_bzr_source_tree
 
198
            src_tree = _get_bzr_source_tree()
 
199
            if src_tree:
 
200
                try:
 
201
                    revision_id = src_tree.get_parent_ids()[0]
 
202
                except IndexError:
 
203
                    # XXX: if this is a brand new tree, do the same as if there
 
204
                    # is no branch.
 
205
                    revision_id = ''
 
206
            else:
 
207
                # XXX: If there's no branch, what should we do?
 
208
                revision_id = ''
 
209
            bench_history.write("--date %s %s\n" % (time.time(), revision_id))
 
210
        self._bench_history = bench_history
 
211
        self.ui = ui.ui_factory
 
212
        self.num_tests = num_tests
 
213
        self.error_count = 0
 
214
        self.failure_count = 0
 
215
        self.known_failure_count = 0
 
216
        self.skip_count = 0
 
217
        self.not_applicable_count = 0
 
218
        self.unsupported = {}
 
219
        self.count = 0
 
220
        self._overall_start_time = time.time()
 
221
    
 
222
    def _extractBenchmarkTime(self, testCase):
 
223
        """Add a benchmark time for the current test case."""
 
224
        return getattr(testCase, "_benchtime", None)
 
225
    
 
226
    def _elapsedTestTimeString(self):
 
227
        """Return a time string for the overall time the current test has taken."""
 
228
        return self._formatTime(time.time() - self._start_time)
 
229
 
 
230
    def _testTimeString(self, testCase):
 
231
        benchmark_time = self._extractBenchmarkTime(testCase)
 
232
        if benchmark_time is not None:
 
233
            return "%s/%s" % (
 
234
                self._formatTime(benchmark_time),
 
235
                self._elapsedTestTimeString())
 
236
        else:
 
237
            return "           %s" % self._elapsedTestTimeString()
 
238
 
 
239
    def _formatTime(self, seconds):
 
240
        """Format seconds as milliseconds with leading spaces."""
 
241
        # some benchmarks can take thousands of seconds to run, so we need 8
 
242
        # places
 
243
        return "%8dms" % (1000 * seconds)
 
244
 
 
245
    def _shortened_test_description(self, test):
 
246
        what = test.id()
 
247
        what = re.sub(r'^bzrlib\.(tests|benchmarks)\.', '', what)
 
248
        return what
 
249
 
 
250
    def startTest(self, test):
 
251
        unittest.TestResult.startTest(self, test)
 
252
        self.report_test_start(test)
 
253
        test.number = self.count
 
254
        self._recordTestStartTime()
 
255
 
 
256
    def _recordTestStartTime(self):
 
257
        """Record that a test has started."""
 
258
        self._start_time = time.time()
 
259
 
 
260
    def _cleanupLogFile(self, test):
 
261
        # We can only do this if we have one of our TestCases, not if
 
262
        # we have a doctest.
 
263
        setKeepLogfile = getattr(test, 'setKeepLogfile', None)
 
264
        if setKeepLogfile is not None:
 
265
            setKeepLogfile()
 
266
 
 
267
    def addError(self, test, err):
 
268
        """Tell result that test finished with an error.
 
269
 
 
270
        Called from the TestCase run() method when the test
 
271
        fails with an unexpected error.
 
272
        """
 
273
        self._testConcluded(test)
 
274
        if isinstance(err[1], TestSkipped):
 
275
            return self._addSkipped(test, err)
 
276
        elif isinstance(err[1], UnavailableFeature):
 
277
            return self.addNotSupported(test, err[1].args[0])
 
278
        else:
 
279
            self._cleanupLogFile(test)
 
280
            unittest.TestResult.addError(self, test, err)
 
281
            self.error_count += 1
 
282
            self.report_error(test, err)
 
283
            if self.stop_early:
 
284
                self.stop()
 
285
 
 
286
    def addFailure(self, test, err):
 
287
        """Tell result that test failed.
 
288
 
 
289
        Called from the TestCase run() method when the test
 
290
        fails because e.g. an assert() method failed.
 
291
        """
 
292
        self._testConcluded(test)
 
293
        if isinstance(err[1], KnownFailure):
 
294
            return self._addKnownFailure(test, err)
 
295
        else:
 
296
            self._cleanupLogFile(test)
 
297
            unittest.TestResult.addFailure(self, test, err)
 
298
            self.failure_count += 1
 
299
            self.report_failure(test, err)
 
300
            if self.stop_early:
 
301
                self.stop()
 
302
 
 
303
    def addSuccess(self, test):
 
304
        """Tell result that test completed successfully.
 
305
 
 
306
        Called from the TestCase run()
 
307
        """
 
308
        self._testConcluded(test)
 
309
        if self._bench_history is not None:
 
310
            benchmark_time = self._extractBenchmarkTime(test)
 
311
            if benchmark_time is not None:
 
312
                self._bench_history.write("%s %s\n" % (
 
313
                    self._formatTime(benchmark_time),
 
314
                    test.id()))
 
315
        self.report_success(test)
 
316
        self._cleanupLogFile(test)
 
317
        unittest.TestResult.addSuccess(self, test)
 
318
        test._log_contents = ''
 
319
 
 
320
    def _testConcluded(self, test):
 
321
        """Common code when a test has finished.
 
322
 
 
323
        Called regardless of whether it succeded, failed, etc.
 
324
        """
 
325
        pass
 
326
 
 
327
    def _addKnownFailure(self, test, err):
 
328
        self.known_failure_count += 1
 
329
        self.report_known_failure(test, err)
 
330
 
 
331
    def addNotSupported(self, test, feature):
 
332
        """The test will not be run because of a missing feature.
 
333
        """
 
334
        # this can be called in two different ways: it may be that the
 
335
        # test started running, and then raised (through addError) 
 
336
        # UnavailableFeature.  Alternatively this method can be called
 
337
        # while probing for features before running the tests; in that
 
338
        # case we will see startTest and stopTest, but the test will never
 
339
        # actually run.
 
340
        self.unsupported.setdefault(str(feature), 0)
 
341
        self.unsupported[str(feature)] += 1
 
342
        self.report_unsupported(test, feature)
 
343
 
 
344
    def _addSkipped(self, test, skip_excinfo):
 
345
        if isinstance(skip_excinfo[1], TestNotApplicable):
 
346
            self.not_applicable_count += 1
 
347
            self.report_not_applicable(test, skip_excinfo)
 
348
        else:
 
349
            self.skip_count += 1
 
350
            self.report_skip(test, skip_excinfo)
 
351
        try:
 
352
            test.tearDown()
 
353
        except KeyboardInterrupt:
 
354
            raise
 
355
        except:
 
356
            self.addError(test, test._exc_info())
 
357
        else:
 
358
            # seems best to treat this as success from point-of-view of unittest
 
359
            # -- it actually does nothing so it barely matters :)
 
360
            unittest.TestResult.addSuccess(self, test)
 
361
            test._log_contents = ''
 
362
 
 
363
    def printErrorList(self, flavour, errors):
 
364
        for test, err in errors:
 
365
            self.stream.writeln(self.separator1)
 
366
            self.stream.write("%s: " % flavour)
 
367
            self.stream.writeln(self.getDescription(test))
 
368
            if getattr(test, '_get_log', None) is not None:
 
369
                self.stream.write('\n')
 
370
                self.stream.write(
 
371
                        ('vvvv[log from %s]' % test.id()).ljust(78,'-'))
 
372
                self.stream.write('\n')
 
373
                self.stream.write(test._get_log())
 
374
                self.stream.write('\n')
 
375
                self.stream.write(
 
376
                        ('^^^^[log from %s]' % test.id()).ljust(78,'-'))
 
377
                self.stream.write('\n')
 
378
            self.stream.writeln(self.separator2)
 
379
            self.stream.writeln("%s" % err)
 
380
 
 
381
    def finished(self):
 
382
        pass
 
383
 
 
384
    def report_cleaning_up(self):
 
385
        pass
 
386
 
 
387
    def report_success(self, test):
 
388
        pass
 
389
 
 
390
    def wasStrictlySuccessful(self):
 
391
        if self.unsupported or self.known_failure_count:
 
392
            return False
 
393
        return self.wasSuccessful()
 
394
 
 
395
 
 
396
class TextTestResult(ExtendedTestResult):
 
397
    """Displays progress and results of tests in text form"""
 
398
 
 
399
    def __init__(self, stream, descriptions, verbosity,
 
400
                 bench_history=None,
 
401
                 num_tests=None,
 
402
                 pb=None,
 
403
                 ):
 
404
        ExtendedTestResult.__init__(self, stream, descriptions, verbosity,
 
405
            bench_history, num_tests)
 
406
        if pb is None:
 
407
            self.pb = self.ui.nested_progress_bar()
 
408
            self._supplied_pb = False
 
409
        else:
 
410
            self.pb = pb
 
411
            self._supplied_pb = True
 
412
        self.pb.show_pct = False
 
413
        self.pb.show_spinner = False
 
414
        self.pb.show_eta = False,
 
415
        self.pb.show_count = False
 
416
        self.pb.show_bar = False
 
417
 
 
418
    def report_starting(self):
 
419
        self.pb.update('[test 0/%d] starting...' % (self.num_tests))
 
420
 
 
421
    def _progress_prefix_text(self):
 
422
        a = '[%d' % self.count
 
423
        if self.num_tests is not None:
 
424
            a +='/%d' % self.num_tests
 
425
        a += ' in %ds' % (time.time() - self._overall_start_time)
 
426
        if self.error_count:
 
427
            a += ', %d errors' % self.error_count
 
428
        if self.failure_count:
 
429
            a += ', %d failed' % self.failure_count
 
430
        if self.known_failure_count:
 
431
            a += ', %d known failures' % self.known_failure_count
 
432
        if self.skip_count:
 
433
            a += ', %d skipped' % self.skip_count
 
434
        if self.unsupported:
 
435
            a += ', %d missing features' % len(self.unsupported)
 
436
        a += ']'
 
437
        return a
 
438
 
 
439
    def report_test_start(self, test):
 
440
        self.count += 1
 
441
        self.pb.update(
 
442
                self._progress_prefix_text()
 
443
                + ' ' 
 
444
                + self._shortened_test_description(test))
 
445
 
 
446
    def _test_description(self, test):
 
447
        return self._shortened_test_description(test)
 
448
 
 
449
    def report_error(self, test, err):
 
450
        self.pb.note('ERROR: %s\n    %s\n', 
 
451
            self._test_description(test),
 
452
            err[1],
 
453
            )
 
454
 
 
455
    def report_failure(self, test, err):
 
456
        self.pb.note('FAIL: %s\n    %s\n', 
 
457
            self._test_description(test),
 
458
            err[1],
 
459
            )
 
460
 
 
461
    def report_known_failure(self, test, err):
 
462
        self.pb.note('XFAIL: %s\n%s\n',
 
463
            self._test_description(test), err[1])
 
464
 
 
465
    def report_skip(self, test, skip_excinfo):
 
466
        pass
 
467
 
 
468
    def report_not_applicable(self, test, skip_excinfo):
 
469
        pass
 
470
 
 
471
    def report_unsupported(self, test, feature):
 
472
        """test cannot be run because feature is missing."""
 
473
                  
 
474
    def report_cleaning_up(self):
 
475
        self.pb.update('cleaning up...')
 
476
 
 
477
    def finished(self):
 
478
        if not self._supplied_pb:
 
479
            self.pb.finished()
 
480
 
 
481
 
 
482
class VerboseTestResult(ExtendedTestResult):
 
483
    """Produce long output, with one line per test run plus times"""
 
484
 
 
485
    def _ellipsize_to_right(self, a_string, final_width):
 
486
        """Truncate and pad a string, keeping the right hand side"""
 
487
        if len(a_string) > final_width:
 
488
            result = '...' + a_string[3-final_width:]
 
489
        else:
 
490
            result = a_string
 
491
        return result.ljust(final_width)
 
492
 
 
493
    def report_starting(self):
 
494
        self.stream.write('running %d tests...\n' % self.num_tests)
 
495
 
 
496
    def report_test_start(self, test):
 
497
        self.count += 1
 
498
        name = self._shortened_test_description(test)
 
499
        # width needs space for 6 char status, plus 1 for slash, plus 2 10-char
 
500
        # numbers, plus a trailing blank
 
501
        # when NUMBERED_DIRS: plus 5 chars on test number, plus 1 char on space
 
502
        self.stream.write(self._ellipsize_to_right(name,
 
503
                          osutils.terminal_width()-30))
 
504
        self.stream.flush()
 
505
 
 
506
    def _error_summary(self, err):
 
507
        indent = ' ' * 4
 
508
        return '%s%s' % (indent, err[1])
 
509
 
 
510
    def report_error(self, test, err):
 
511
        self.stream.writeln('ERROR %s\n%s'
 
512
                % (self._testTimeString(test),
 
513
                   self._error_summary(err)))
 
514
 
 
515
    def report_failure(self, test, err):
 
516
        self.stream.writeln(' FAIL %s\n%s'
 
517
                % (self._testTimeString(test),
 
518
                   self._error_summary(err)))
 
519
 
 
520
    def report_known_failure(self, test, err):
 
521
        self.stream.writeln('XFAIL %s\n%s'
 
522
                % (self._testTimeString(test),
 
523
                   self._error_summary(err)))
 
524
 
 
525
    def report_success(self, test):
 
526
        self.stream.writeln('   OK %s' % self._testTimeString(test))
 
527
        for bench_called, stats in getattr(test, '_benchcalls', []):
 
528
            self.stream.writeln('LSProf output for %s(%s, %s)' % bench_called)
 
529
            stats.pprint(file=self.stream)
 
530
        # flush the stream so that we get smooth output. This verbose mode is
 
531
        # used to show the output in PQM.
 
532
        self.stream.flush()
 
533
 
 
534
    def report_skip(self, test, skip_excinfo):
 
535
        self.stream.writeln(' SKIP %s\n%s'
 
536
                % (self._testTimeString(test),
 
537
                   self._error_summary(skip_excinfo)))
 
538
 
 
539
    def report_not_applicable(self, test, skip_excinfo):
 
540
        self.stream.writeln('  N/A %s\n%s'
 
541
                % (self._testTimeString(test),
 
542
                   self._error_summary(skip_excinfo)))
 
543
 
 
544
    def report_unsupported(self, test, feature):
 
545
        """test cannot be run because feature is missing."""
 
546
        self.stream.writeln("NODEP %s\n    The feature '%s' is not available."
 
547
                %(self._testTimeString(test), feature))
 
548
 
 
549
 
 
550
class TextTestRunner(object):
 
551
    stop_on_failure = False
 
552
 
 
553
    def __init__(self,
 
554
                 stream=sys.stderr,
 
555
                 descriptions=0,
 
556
                 verbosity=1,
 
557
                 bench_history=None,
 
558
                 list_only=False
 
559
                 ):
 
560
        self.stream = unittest._WritelnDecorator(stream)
 
561
        self.descriptions = descriptions
 
562
        self.verbosity = verbosity
 
563
        self._bench_history = bench_history
 
564
        self.list_only = list_only
 
565
 
 
566
    def run(self, test):
 
567
        "Run the given test case or test suite."
 
568
        startTime = time.time()
 
569
        if self.verbosity == 1:
 
570
            result_class = TextTestResult
 
571
        elif self.verbosity >= 2:
 
572
            result_class = VerboseTestResult
 
573
        result = result_class(self.stream,
 
574
                              self.descriptions,
 
575
                              self.verbosity,
 
576
                              bench_history=self._bench_history,
 
577
                              num_tests=test.countTestCases(),
 
578
                              )
 
579
        result.stop_early = self.stop_on_failure
 
580
        result.report_starting()
 
581
        if self.list_only:
 
582
            if self.verbosity >= 2:
 
583
                self.stream.writeln("Listing tests only ...\n")
 
584
            run = 0
 
585
            for t in iter_suite_tests(test):
 
586
                self.stream.writeln("%s" % (t.id()))
 
587
                run += 1
 
588
            actionTaken = "Listed"
 
589
        else: 
 
590
            test.run(result)
 
591
            run = result.testsRun
 
592
            actionTaken = "Ran"
 
593
        stopTime = time.time()
 
594
        timeTaken = stopTime - startTime
 
595
        result.printErrors()
 
596
        self.stream.writeln(result.separator2)
 
597
        self.stream.writeln("%s %d test%s in %.3fs" % (actionTaken,
 
598
                            run, run != 1 and "s" or "", timeTaken))
 
599
        self.stream.writeln()
 
600
        if not result.wasSuccessful():
 
601
            self.stream.write("FAILED (")
 
602
            failed, errored = map(len, (result.failures, result.errors))
 
603
            if failed:
 
604
                self.stream.write("failures=%d" % failed)
 
605
            if errored:
 
606
                if failed: self.stream.write(", ")
 
607
                self.stream.write("errors=%d" % errored)
 
608
            if result.known_failure_count:
 
609
                if failed or errored: self.stream.write(", ")
 
610
                self.stream.write("known_failure_count=%d" %
 
611
                    result.known_failure_count)
 
612
            self.stream.writeln(")")
 
613
        else:
 
614
            if result.known_failure_count:
 
615
                self.stream.writeln("OK (known_failures=%d)" %
 
616
                    result.known_failure_count)
 
617
            else:
 
618
                self.stream.writeln("OK")
 
619
        if result.skip_count > 0:
 
620
            skipped = result.skip_count
 
621
            self.stream.writeln('%d test%s skipped' %
 
622
                                (skipped, skipped != 1 and "s" or ""))
 
623
        if result.unsupported:
 
624
            for feature, count in sorted(result.unsupported.items()):
 
625
                self.stream.writeln("Missing feature '%s' skipped %d tests." %
 
626
                    (feature, count))
 
627
        result.finished()
 
628
        return result
 
629
 
 
630
 
 
631
def iter_suite_tests(suite):
 
632
    """Return all tests in a suite, recursing through nested suites"""
 
633
    for item in suite._tests:
 
634
        if isinstance(item, unittest.TestCase):
 
635
            yield item
 
636
        elif isinstance(item, unittest.TestSuite):
 
637
            for r in iter_suite_tests(item):
 
638
                yield r
 
639
        else:
 
640
            raise Exception('unknown object %r inside test suite %r'
 
641
                            % (item, suite))
 
642
 
 
643
 
 
644
class TestSkipped(Exception):
 
645
    """Indicates that a test was intentionally skipped, rather than failing."""
 
646
 
 
647
 
 
648
class TestNotApplicable(TestSkipped):
 
649
    """A test is not applicable to the situation where it was run.
 
650
 
 
651
    This is only normally raised by parameterized tests, if they find that 
 
652
    the instance they're constructed upon does not support one aspect 
 
653
    of its interface.
 
654
    """
 
655
 
 
656
 
 
657
class KnownFailure(AssertionError):
 
658
    """Indicates that a test failed in a precisely expected manner.
 
659
 
 
660
    Such failures dont block the whole test suite from passing because they are
 
661
    indicators of partially completed code or of future work. We have an
 
662
    explicit error for them so that we can ensure that they are always visible:
 
663
    KnownFailures are always shown in the output of bzr selftest.
 
664
    """
 
665
 
 
666
 
 
667
class UnavailableFeature(Exception):
 
668
    """A feature required for this test was not available.
 
669
 
 
670
    The feature should be used to construct the exception.
 
671
    """
 
672
 
 
673
 
 
674
class CommandFailed(Exception):
 
675
    pass
 
676
 
 
677
 
 
678
class StringIOWrapper(object):
 
679
    """A wrapper around cStringIO which just adds an encoding attribute.
 
680
    
 
681
    Internally we can check sys.stdout to see what the output encoding
 
682
    should be. However, cStringIO has no encoding attribute that we can
 
683
    set. So we wrap it instead.
 
684
    """
 
685
    encoding='ascii'
 
686
    _cstring = None
 
687
 
 
688
    def __init__(self, s=None):
 
689
        if s is not None:
 
690
            self.__dict__['_cstring'] = StringIO(s)
 
691
        else:
 
692
            self.__dict__['_cstring'] = StringIO()
 
693
 
 
694
    def __getattr__(self, name, getattr=getattr):
 
695
        return getattr(self.__dict__['_cstring'], name)
 
696
 
 
697
    def __setattr__(self, name, val):
 
698
        if name == 'encoding':
 
699
            self.__dict__['encoding'] = val
 
700
        else:
 
701
            return setattr(self._cstring, name, val)
 
702
 
 
703
 
 
704
class TestUIFactory(ui.CLIUIFactory):
 
705
    """A UI Factory for testing.
 
706
 
 
707
    Hide the progress bar but emit note()s.
 
708
    Redirect stdin.
 
709
    Allows get_password to be tested without real tty attached.
 
710
    """
 
711
 
 
712
    def __init__(self,
 
713
                 stdout=None,
 
714
                 stderr=None,
 
715
                 stdin=None):
 
716
        super(TestUIFactory, self).__init__()
 
717
        if stdin is not None:
 
718
            # We use a StringIOWrapper to be able to test various
 
719
            # encodings, but the user is still responsible to
 
720
            # encode the string and to set the encoding attribute
 
721
            # of StringIOWrapper.
 
722
            self.stdin = StringIOWrapper(stdin)
 
723
        if stdout is None:
 
724
            self.stdout = sys.stdout
 
725
        else:
 
726
            self.stdout = stdout
 
727
        if stderr is None:
 
728
            self.stderr = sys.stderr
 
729
        else:
 
730
            self.stderr = stderr
 
731
 
 
732
    def clear(self):
 
733
        """See progress.ProgressBar.clear()."""
 
734
 
 
735
    def clear_term(self):
 
736
        """See progress.ProgressBar.clear_term()."""
 
737
 
 
738
    def clear_term(self):
 
739
        """See progress.ProgressBar.clear_term()."""
 
740
 
 
741
    def finished(self):
 
742
        """See progress.ProgressBar.finished()."""
 
743
 
 
744
    def note(self, fmt_string, *args, **kwargs):
 
745
        """See progress.ProgressBar.note()."""
 
746
        self.stdout.write((fmt_string + "\n") % args)
 
747
 
 
748
    def progress_bar(self):
 
749
        return self
 
750
 
 
751
    def nested_progress_bar(self):
 
752
        return self
 
753
 
 
754
    def update(self, message, count=None, total=None):
 
755
        """See progress.ProgressBar.update()."""
 
756
 
 
757
    def get_non_echoed_password(self, prompt):
 
758
        """Get password from stdin without trying to handle the echo mode"""
 
759
        if prompt:
 
760
            self.stdout.write(prompt.encode(self.stdout.encoding, 'replace'))
 
761
        password = self.stdin.readline()
 
762
        if not password:
 
763
            raise EOFError
 
764
        if password[-1] == '\n':
 
765
            password = password[:-1]
 
766
        return password
 
767
 
 
768
 
 
769
class TestCase(unittest.TestCase):
 
770
    """Base class for bzr unit tests.
 
771
    
 
772
    Tests that need access to disk resources should subclass 
 
773
    TestCaseInTempDir not TestCase.
 
774
 
 
775
    Error and debug log messages are redirected from their usual
 
776
    location into a temporary file, the contents of which can be
 
777
    retrieved by _get_log().  We use a real OS file, not an in-memory object,
 
778
    so that it can also capture file IO.  When the test completes this file
 
779
    is read into memory and removed from disk.
 
780
       
 
781
    There are also convenience functions to invoke bzr's command-line
 
782
    routine, and to build and check bzr trees.
 
783
   
 
784
    In addition to the usual method of overriding tearDown(), this class also
 
785
    allows subclasses to register functions into the _cleanups list, which is
 
786
    run in order as the object is torn down.  It's less likely this will be
 
787
    accidentally overlooked.
 
788
    """
 
789
 
 
790
    _log_file_name = None
 
791
    _log_contents = ''
 
792
    _keep_log_file = False
 
793
    # record lsprof data when performing benchmark calls.
 
794
    _gather_lsprof_in_benchmarks = False
 
795
    attrs_to_keep = ('_testMethodName', '_testMethodDoc',
 
796
                     '_log_contents', '_log_file_name', '_benchtime',
 
797
                     '_TestCase__testMethodName')
 
798
 
 
799
    def __init__(self, methodName='testMethod'):
 
800
        super(TestCase, self).__init__(methodName)
 
801
        self._cleanups = []
 
802
 
 
803
    def setUp(self):
 
804
        unittest.TestCase.setUp(self)
 
805
        self._cleanEnvironment()
 
806
        self._silenceUI()
 
807
        self._startLogFile()
 
808
        self._benchcalls = []
 
809
        self._benchtime = None
 
810
        self._clear_hooks()
 
811
        self._clear_debug_flags()
 
812
 
 
813
    def _clear_debug_flags(self):
 
814
        """Prevent externally set debug flags affecting tests.
 
815
        
 
816
        Tests that want to use debug flags can just set them in the
 
817
        debug_flags set during setup/teardown.
 
818
        """
 
819
        if 'selftest_debug' not in debug.debug_flags:
 
820
            self._preserved_debug_flags = set(debug.debug_flags)
 
821
            debug.debug_flags.clear()
 
822
            self.addCleanup(self._restore_debug_flags)
 
823
 
 
824
    def _clear_hooks(self):
 
825
        # prevent hooks affecting tests
 
826
        import bzrlib.branch
 
827
        import bzrlib.smart.server
 
828
        self._preserved_hooks = {
 
829
            bzrlib.branch.Branch: bzrlib.branch.Branch.hooks,
 
830
            bzrlib.smart.server.SmartTCPServer: bzrlib.smart.server.SmartTCPServer.hooks,
 
831
            }
 
832
        self.addCleanup(self._restoreHooks)
 
833
        # reset all hooks to an empty instance of the appropriate type
 
834
        bzrlib.branch.Branch.hooks = bzrlib.branch.BranchHooks()
 
835
        bzrlib.smart.server.SmartTCPServer.hooks = bzrlib.smart.server.SmartServerHooks()
 
836
 
 
837
    def _silenceUI(self):
 
838
        """Turn off UI for duration of test"""
 
839
        # by default the UI is off; tests can turn it on if they want it.
 
840
        saved = ui.ui_factory
 
841
        def _restore():
 
842
            ui.ui_factory = saved
 
843
        ui.ui_factory = ui.SilentUIFactory()
 
844
        self.addCleanup(_restore)
 
845
 
 
846
    def _ndiff_strings(self, a, b):
 
847
        """Return ndiff between two strings containing lines.
 
848
        
 
849
        A trailing newline is added if missing to make the strings
 
850
        print properly."""
 
851
        if b and b[-1] != '\n':
 
852
            b += '\n'
 
853
        if a and a[-1] != '\n':
 
854
            a += '\n'
 
855
        difflines = difflib.ndiff(a.splitlines(True),
 
856
                                  b.splitlines(True),
 
857
                                  linejunk=lambda x: False,
 
858
                                  charjunk=lambda x: False)
 
859
        return ''.join(difflines)
 
860
 
 
861
    def assertEqual(self, a, b, message=''):
 
862
        try:
 
863
            if a == b:
 
864
                return
 
865
        except UnicodeError, e:
 
866
            # If we can't compare without getting a UnicodeError, then
 
867
            # obviously they are different
 
868
            mutter('UnicodeError: %s', e)
 
869
        if message:
 
870
            message += '\n'
 
871
        raise AssertionError("%snot equal:\na = %s\nb = %s\n"
 
872
            % (message,
 
873
               pformat(a), pformat(b)))
 
874
 
 
875
    assertEquals = assertEqual
 
876
 
 
877
    def assertEqualDiff(self, a, b, message=None):
 
878
        """Assert two texts are equal, if not raise an exception.
 
879
        
 
880
        This is intended for use with multi-line strings where it can 
 
881
        be hard to find the differences by eye.
 
882
        """
 
883
        # TODO: perhaps override assertEquals to call this for strings?
 
884
        if a == b:
 
885
            return
 
886
        if message is None:
 
887
            message = "texts not equal:\n"
 
888
        raise AssertionError(message +
 
889
                             self._ndiff_strings(a, b))
 
890
        
 
891
    def assertEqualMode(self, mode, mode_test):
 
892
        self.assertEqual(mode, mode_test,
 
893
                         'mode mismatch %o != %o' % (mode, mode_test))
 
894
 
 
895
    def assertPositive(self, val):
 
896
        """Assert that val is greater than 0."""
 
897
        self.assertTrue(val > 0, 'expected a positive value, but got %s' % val)
 
898
 
 
899
    def assertNegative(self, val):
 
900
        """Assert that val is less than 0."""
 
901
        self.assertTrue(val < 0, 'expected a negative value, but got %s' % val)
 
902
 
 
903
    def assertStartsWith(self, s, prefix):
 
904
        if not s.startswith(prefix):
 
905
            raise AssertionError('string %r does not start with %r' % (s, prefix))
 
906
 
 
907
    def assertEndsWith(self, s, suffix):
 
908
        """Asserts that s ends with suffix."""
 
909
        if not s.endswith(suffix):
 
910
            raise AssertionError('string %r does not end with %r' % (s, suffix))
 
911
 
 
912
    def assertContainsRe(self, haystack, needle_re):
 
913
        """Assert that a contains something matching a regular expression."""
 
914
        if not re.search(needle_re, haystack):
 
915
            if '\n' in haystack or len(haystack) > 60:
 
916
                # a long string, format it in a more readable way
 
917
                raise AssertionError(
 
918
                        'pattern "%s" not found in\n"""\\\n%s"""\n'
 
919
                        % (needle_re, haystack))
 
920
            else:
 
921
                raise AssertionError('pattern "%s" not found in "%s"'
 
922
                        % (needle_re, haystack))
 
923
 
 
924
    def assertNotContainsRe(self, haystack, needle_re):
 
925
        """Assert that a does not match a regular expression"""
 
926
        if re.search(needle_re, haystack):
 
927
            raise AssertionError('pattern "%s" found in "%s"'
 
928
                    % (needle_re, haystack))
 
929
 
 
930
    def assertSubset(self, sublist, superlist):
 
931
        """Assert that every entry in sublist is present in superlist."""
 
932
        missing = set(sublist) - set(superlist)
 
933
        if len(missing) > 0:
 
934
            raise AssertionError("value(s) %r not present in container %r" %
 
935
                                 (missing, superlist))
 
936
 
 
937
    def assertListRaises(self, excClass, func, *args, **kwargs):
 
938
        """Fail unless excClass is raised when the iterator from func is used.
 
939
        
 
940
        Many functions can return generators this makes sure
 
941
        to wrap them in a list() call to make sure the whole generator
 
942
        is run, and that the proper exception is raised.
 
943
        """
 
944
        try:
 
945
            list(func(*args, **kwargs))
 
946
        except excClass:
 
947
            return
 
948
        else:
 
949
            if getattr(excClass,'__name__', None) is not None:
 
950
                excName = excClass.__name__
 
951
            else:
 
952
                excName = str(excClass)
 
953
            raise self.failureException, "%s not raised" % excName
 
954
 
 
955
    def assertRaises(self, excClass, callableObj, *args, **kwargs):
 
956
        """Assert that a callable raises a particular exception.
 
957
 
 
958
        :param excClass: As for the except statement, this may be either an
 
959
            exception class, or a tuple of classes.
 
960
        :param callableObj: A callable, will be passed ``*args`` and
 
961
            ``**kwargs``.
 
962
 
 
963
        Returns the exception so that you can examine it.
 
964
        """
 
965
        try:
 
966
            callableObj(*args, **kwargs)
 
967
        except excClass, e:
 
968
            return e
 
969
        else:
 
970
            if getattr(excClass,'__name__', None) is not None:
 
971
                excName = excClass.__name__
 
972
            else:
 
973
                # probably a tuple
 
974
                excName = str(excClass)
 
975
            raise self.failureException, "%s not raised" % excName
 
976
 
 
977
    def assertIs(self, left, right, message=None):
 
978
        if not (left is right):
 
979
            if message is not None:
 
980
                raise AssertionError(message)
 
981
            else:
 
982
                raise AssertionError("%r is not %r." % (left, right))
 
983
 
 
984
    def assertIsNot(self, left, right, message=None):
 
985
        if (left is right):
 
986
            if message is not None:
 
987
                raise AssertionError(message)
 
988
            else:
 
989
                raise AssertionError("%r is %r." % (left, right))
 
990
 
 
991
    def assertTransportMode(self, transport, path, mode):
 
992
        """Fail if a path does not have mode mode.
 
993
        
 
994
        If modes are not supported on this transport, the assertion is ignored.
 
995
        """
 
996
        if not transport._can_roundtrip_unix_modebits():
 
997
            return
 
998
        path_stat = transport.stat(path)
 
999
        actual_mode = stat.S_IMODE(path_stat.st_mode)
 
1000
        self.assertEqual(mode, actual_mode,
 
1001
            'mode of %r incorrect (%o != %o)' % (path, mode, actual_mode))
 
1002
 
 
1003
    def assertIsSameRealPath(self, path1, path2):
 
1004
        """Fail if path1 and path2 points to different files"""
 
1005
        self.assertEqual(osutils.realpath(path1),
 
1006
                         osutils.realpath(path2),
 
1007
                         "apparent paths:\na = %s\nb = %s\n," % (path1, path2))
 
1008
 
 
1009
    def assertIsInstance(self, obj, kls):
 
1010
        """Fail if obj is not an instance of kls"""
 
1011
        if not isinstance(obj, kls):
 
1012
            self.fail("%r is an instance of %s rather than %s" % (
 
1013
                obj, obj.__class__, kls))
 
1014
 
 
1015
    def expectFailure(self, reason, assertion, *args, **kwargs):
 
1016
        """Invoke a test, expecting it to fail for the given reason.
 
1017
 
 
1018
        This is for assertions that ought to succeed, but currently fail.
 
1019
        (The failure is *expected* but not *wanted*.)  Please be very precise
 
1020
        about the failure you're expecting.  If a new bug is introduced,
 
1021
        AssertionError should be raised, not KnownFailure.
 
1022
 
 
1023
        Frequently, expectFailure should be followed by an opposite assertion.
 
1024
        See example below.
 
1025
 
 
1026
        Intended to be used with a callable that raises AssertionError as the
 
1027
        'assertion' parameter.  args and kwargs are passed to the 'assertion'.
 
1028
 
 
1029
        Raises KnownFailure if the test fails.  Raises AssertionError if the
 
1030
        test succeeds.
 
1031
 
 
1032
        example usage::
 
1033
 
 
1034
          self.expectFailure('Math is broken', self.assertNotEqual, 54,
 
1035
                             dynamic_val)
 
1036
          self.assertEqual(42, dynamic_val)
 
1037
 
 
1038
          This means that a dynamic_val of 54 will cause the test to raise
 
1039
          a KnownFailure.  Once math is fixed and the expectFailure is removed,
 
1040
          only a dynamic_val of 42 will allow the test to pass.  Anything other
 
1041
          than 54 or 42 will cause an AssertionError.
 
1042
        """
 
1043
        try:
 
1044
            assertion(*args, **kwargs)
 
1045
        except AssertionError:
 
1046
            raise KnownFailure(reason)
 
1047
        else:
 
1048
            self.fail('Unexpected success.  Should have failed: %s' % reason)
 
1049
 
 
1050
    def assertFileEqual(self, content, path):
 
1051
        """Fail if path does not contain 'content'."""
 
1052
        self.failUnlessExists(path)
 
1053
        f = file(path, 'rb')
 
1054
        try:
 
1055
            s = f.read()
 
1056
        finally:
 
1057
            f.close()
 
1058
        self.assertEqualDiff(content, s)
 
1059
 
 
1060
    def failUnlessExists(self, path):
 
1061
        """Fail unless path or paths, which may be abs or relative, exist."""
 
1062
        if not isinstance(path, basestring):
 
1063
            for p in path:
 
1064
                self.failUnlessExists(p)
 
1065
        else:
 
1066
            self.failUnless(osutils.lexists(path),path+" does not exist")
 
1067
 
 
1068
    def failIfExists(self, path):
 
1069
        """Fail if path or paths, which may be abs or relative, exist."""
 
1070
        if not isinstance(path, basestring):
 
1071
            for p in path:
 
1072
                self.failIfExists(p)
 
1073
        else:
 
1074
            self.failIf(osutils.lexists(path),path+" exists")
 
1075
 
 
1076
    def _capture_deprecation_warnings(self, a_callable, *args, **kwargs):
 
1077
        """A helper for callDeprecated and applyDeprecated.
 
1078
 
 
1079
        :param a_callable: A callable to call.
 
1080
        :param args: The positional arguments for the callable
 
1081
        :param kwargs: The keyword arguments for the callable
 
1082
        :return: A tuple (warnings, result). result is the result of calling
 
1083
            a_callable(``*args``, ``**kwargs``).
 
1084
        """
 
1085
        local_warnings = []
 
1086
        def capture_warnings(msg, cls=None, stacklevel=None):
 
1087
            # we've hooked into a deprecation specific callpath,
 
1088
            # only deprecations should getting sent via it.
 
1089
            self.assertEqual(cls, DeprecationWarning)
 
1090
            local_warnings.append(msg)
 
1091
        original_warning_method = symbol_versioning.warn
 
1092
        symbol_versioning.set_warning_method(capture_warnings)
 
1093
        try:
 
1094
            result = a_callable(*args, **kwargs)
 
1095
        finally:
 
1096
            symbol_versioning.set_warning_method(original_warning_method)
 
1097
        return (local_warnings, result)
 
1098
 
 
1099
    def applyDeprecated(self, deprecation_format, a_callable, *args, **kwargs):
 
1100
        """Call a deprecated callable without warning the user.
 
1101
 
 
1102
        Note that this only captures warnings raised by symbol_versioning.warn,
 
1103
        not other callers that go direct to the warning module.
 
1104
 
 
1105
        To test that a deprecated method raises an error, do something like
 
1106
        this::
 
1107
 
 
1108
        self.assertRaises(errors.ReservedId,
 
1109
            self.applyDeprecated, zero_ninetyone,
 
1110
                br.append_revision, 'current:')
 
1111
 
 
1112
        :param deprecation_format: The deprecation format that the callable
 
1113
            should have been deprecated with. This is the same type as the
 
1114
            parameter to deprecated_method/deprecated_function. If the
 
1115
            callable is not deprecated with this format, an assertion error
 
1116
            will be raised.
 
1117
        :param a_callable: A callable to call. This may be a bound method or
 
1118
            a regular function. It will be called with ``*args`` and
 
1119
            ``**kwargs``.
 
1120
        :param args: The positional arguments for the callable
 
1121
        :param kwargs: The keyword arguments for the callable
 
1122
        :return: The result of a_callable(``*args``, ``**kwargs``)
 
1123
        """
 
1124
        call_warnings, result = self._capture_deprecation_warnings(a_callable,
 
1125
            *args, **kwargs)
 
1126
        expected_first_warning = symbol_versioning.deprecation_string(
 
1127
            a_callable, deprecation_format)
 
1128
        if len(call_warnings) == 0:
 
1129
            self.fail("No deprecation warning generated by call to %s" %
 
1130
                a_callable)
 
1131
        self.assertEqual(expected_first_warning, call_warnings[0])
 
1132
        return result
 
1133
 
 
1134
    def callCatchWarnings(self, fn, *args, **kw):
 
1135
        """Call a callable that raises python warnings.
 
1136
 
 
1137
        The caller's responsible for examining the returned warnings.
 
1138
 
 
1139
        If the callable raises an exception, the exception is not
 
1140
        caught and propagates up to the caller.  In that case, the list
 
1141
        of warnings is not available.
 
1142
 
 
1143
        :returns: ([warning_object, ...], fn_result)
 
1144
        """
 
1145
        # XXX: This is not perfect, because it completely overrides the
 
1146
        # warnings filters, and some code may depend on suppressing particular
 
1147
        # warnings.  It's the easiest way to insulate ourselves from -Werror,
 
1148
        # though.  -- Andrew, 20071062
 
1149
        wlist = []
 
1150
        def _catcher(message, category, filename, lineno, file=None):
 
1151
            # despite the name, 'message' is normally(?) a Warning subclass
 
1152
            # instance
 
1153
            wlist.append(message)
 
1154
        saved_showwarning = warnings.showwarning
 
1155
        saved_filters = warnings.filters
 
1156
        try:
 
1157
            warnings.showwarning = _catcher
 
1158
            warnings.filters = []
 
1159
            result = fn(*args, **kw)
 
1160
        finally:
 
1161
            warnings.showwarning = saved_showwarning
 
1162
            warnings.filters = saved_filters
 
1163
        return wlist, result
 
1164
 
 
1165
    def callDeprecated(self, expected, callable, *args, **kwargs):
 
1166
        """Assert that a callable is deprecated in a particular way.
 
1167
 
 
1168
        This is a very precise test for unusual requirements. The 
 
1169
        applyDeprecated helper function is probably more suited for most tests
 
1170
        as it allows you to simply specify the deprecation format being used
 
1171
        and will ensure that that is issued for the function being called.
 
1172
 
 
1173
        Note that this only captures warnings raised by symbol_versioning.warn,
 
1174
        not other callers that go direct to the warning module.  To catch
 
1175
        general warnings, use callCatchWarnings.
 
1176
 
 
1177
        :param expected: a list of the deprecation warnings expected, in order
 
1178
        :param callable: The callable to call
 
1179
        :param args: The positional arguments for the callable
 
1180
        :param kwargs: The keyword arguments for the callable
 
1181
        """
 
1182
        call_warnings, result = self._capture_deprecation_warnings(callable,
 
1183
            *args, **kwargs)
 
1184
        self.assertEqual(expected, call_warnings)
 
1185
        return result
 
1186
 
 
1187
    def _startLogFile(self):
 
1188
        """Send bzr and test log messages to a temporary file.
 
1189
 
 
1190
        The file is removed as the test is torn down.
 
1191
        """
 
1192
        fileno, name = tempfile.mkstemp(suffix='.log', prefix='testbzr')
 
1193
        self._log_file = os.fdopen(fileno, 'w+')
 
1194
        self._log_memento = bzrlib.trace.push_log_file(self._log_file)
 
1195
        self._log_file_name = name
 
1196
        self.addCleanup(self._finishLogFile)
 
1197
 
 
1198
    def _finishLogFile(self):
 
1199
        """Finished with the log file.
 
1200
 
 
1201
        Close the file and delete it, unless setKeepLogfile was called.
 
1202
        """
 
1203
        if self._log_file is None:
 
1204
            return
 
1205
        bzrlib.trace.pop_log_file(self._log_memento)
 
1206
        self._log_file.close()
 
1207
        self._log_file = None
 
1208
        if not self._keep_log_file:
 
1209
            os.remove(self._log_file_name)
 
1210
            self._log_file_name = None
 
1211
 
 
1212
    def setKeepLogfile(self):
 
1213
        """Make the logfile not be deleted when _finishLogFile is called."""
 
1214
        self._keep_log_file = True
 
1215
 
 
1216
    def addCleanup(self, callable):
 
1217
        """Arrange to run a callable when this case is torn down.
 
1218
 
 
1219
        Callables are run in the reverse of the order they are registered, 
 
1220
        ie last-in first-out.
 
1221
        """
 
1222
        if callable in self._cleanups:
 
1223
            raise ValueError("cleanup function %r already registered on %s" 
 
1224
                    % (callable, self))
 
1225
        self._cleanups.append(callable)
 
1226
 
 
1227
    def _cleanEnvironment(self):
 
1228
        new_env = {
 
1229
            'BZR_HOME': None, # Don't inherit BZR_HOME to all the tests.
 
1230
            'HOME': os.getcwd(),
 
1231
            'APPDATA': None,  # bzr now use Win32 API and don't rely on APPDATA
 
1232
            'BZR_EDITOR': None, # test_msgeditor manipulates this variable
 
1233
            'BZR_EMAIL': None,
 
1234
            'BZREMAIL': None, # may still be present in the environment
 
1235
            'EMAIL': None,
 
1236
            'BZR_PROGRESS_BAR': None,
 
1237
            'BZR_LOG': None,
 
1238
            # SSH Agent
 
1239
            'SSH_AUTH_SOCK': None,
 
1240
            # Proxies
 
1241
            'http_proxy': None,
 
1242
            'HTTP_PROXY': None,
 
1243
            'https_proxy': None,
 
1244
            'HTTPS_PROXY': None,
 
1245
            'no_proxy': None,
 
1246
            'NO_PROXY': None,
 
1247
            'all_proxy': None,
 
1248
            'ALL_PROXY': None,
 
1249
            # Nobody cares about these ones AFAIK. So far at
 
1250
            # least. If you do (care), please update this comment
 
1251
            # -- vila 20061212
 
1252
            'ftp_proxy': None,
 
1253
            'FTP_PROXY': None,
 
1254
            'BZR_REMOTE_PATH': None,
 
1255
        }
 
1256
        self.__old_env = {}
 
1257
        self.addCleanup(self._restoreEnvironment)
 
1258
        for name, value in new_env.iteritems():
 
1259
            self._captureVar(name, value)
 
1260
 
 
1261
    def _captureVar(self, name, newvalue):
 
1262
        """Set an environment variable, and reset it when finished."""
 
1263
        self.__old_env[name] = osutils.set_or_unset_env(name, newvalue)
 
1264
 
 
1265
    def _restore_debug_flags(self):
 
1266
        debug.debug_flags.clear()
 
1267
        debug.debug_flags.update(self._preserved_debug_flags)
 
1268
 
 
1269
    def _restoreEnvironment(self):
 
1270
        for name, value in self.__old_env.iteritems():
 
1271
            osutils.set_or_unset_env(name, value)
 
1272
 
 
1273
    def _restoreHooks(self):
 
1274
        for klass, hooks in self._preserved_hooks.items():
 
1275
            setattr(klass, 'hooks', hooks)
 
1276
 
 
1277
    def knownFailure(self, reason):
 
1278
        """This test has failed for some known reason."""
 
1279
        raise KnownFailure(reason)
 
1280
 
 
1281
    def run(self, result=None):
 
1282
        if result is None: result = self.defaultTestResult()
 
1283
        for feature in getattr(self, '_test_needs_features', []):
 
1284
            if not feature.available():
 
1285
                result.startTest(self)
 
1286
                if getattr(result, 'addNotSupported', None):
 
1287
                    result.addNotSupported(self, feature)
 
1288
                else:
 
1289
                    result.addSuccess(self)
 
1290
                result.stopTest(self)
 
1291
                return
 
1292
        try:
 
1293
            return unittest.TestCase.run(self, result)
 
1294
        finally:
 
1295
            saved_attrs = {}
 
1296
            absent_attr = object()
 
1297
            for attr_name in self.attrs_to_keep:
 
1298
                attr = getattr(self, attr_name, absent_attr)
 
1299
                if attr is not absent_attr:
 
1300
                    saved_attrs[attr_name] = attr
 
1301
            self.__dict__ = saved_attrs
 
1302
 
 
1303
    def tearDown(self):
 
1304
        self._runCleanups()
 
1305
        unittest.TestCase.tearDown(self)
 
1306
 
 
1307
    def time(self, callable, *args, **kwargs):
 
1308
        """Run callable and accrue the time it takes to the benchmark time.
 
1309
        
 
1310
        If lsprofiling is enabled (i.e. by --lsprof-time to bzr selftest) then
 
1311
        this will cause lsprofile statistics to be gathered and stored in
 
1312
        self._benchcalls.
 
1313
        """
 
1314
        if self._benchtime is None:
 
1315
            self._benchtime = 0
 
1316
        start = time.time()
 
1317
        try:
 
1318
            if not self._gather_lsprof_in_benchmarks:
 
1319
                return callable(*args, **kwargs)
 
1320
            else:
 
1321
                # record this benchmark
 
1322
                ret, stats = bzrlib.lsprof.profile(callable, *args, **kwargs)
 
1323
                stats.sort()
 
1324
                self._benchcalls.append(((callable, args, kwargs), stats))
 
1325
                return ret
 
1326
        finally:
 
1327
            self._benchtime += time.time() - start
 
1328
 
 
1329
    def _runCleanups(self):
 
1330
        """Run registered cleanup functions. 
 
1331
 
 
1332
        This should only be called from TestCase.tearDown.
 
1333
        """
 
1334
        # TODO: Perhaps this should keep running cleanups even if 
 
1335
        # one of them fails?
 
1336
 
 
1337
        # Actually pop the cleanups from the list so tearDown running
 
1338
        # twice is safe (this happens for skipped tests).
 
1339
        while self._cleanups:
 
1340
            self._cleanups.pop()()
 
1341
 
 
1342
    def log(self, *args):
 
1343
        mutter(*args)
 
1344
 
 
1345
    def _get_log(self, keep_log_file=False):
 
1346
        """Get the log from bzrlib.trace calls from this test.
 
1347
 
 
1348
        :param keep_log_file: When True, if the log is still a file on disk
 
1349
            leave it as a file on disk. When False, if the log is still a file
 
1350
            on disk, the log file is deleted and the log preserved as
 
1351
            self._log_contents.
 
1352
        :return: A string containing the log.
 
1353
        """
 
1354
        # flush the log file, to get all content
 
1355
        import bzrlib.trace
 
1356
        bzrlib.trace._trace_file.flush()
 
1357
        if self._log_contents:
 
1358
            # XXX: this can hardly contain the content flushed above --vila
 
1359
            # 20080128
 
1360
            return self._log_contents
 
1361
        if self._log_file_name is not None:
 
1362
            logfile = open(self._log_file_name)
 
1363
            try:
 
1364
                log_contents = logfile.read()
 
1365
            finally:
 
1366
                logfile.close()
 
1367
            if not keep_log_file:
 
1368
                self._log_contents = log_contents
 
1369
                try:
 
1370
                    os.remove(self._log_file_name)
 
1371
                except OSError, e:
 
1372
                    if sys.platform == 'win32' and e.errno == errno.EACCES:
 
1373
                        sys.stderr.write(('Unable to delete log file '
 
1374
                                             ' %r\n' % self._log_file_name))
 
1375
                    else:
 
1376
                        raise
 
1377
            return log_contents
 
1378
        else:
 
1379
            return "DELETED log file to reduce memory footprint"
 
1380
 
 
1381
    def requireFeature(self, feature):
 
1382
        """This test requires a specific feature is available.
 
1383
 
 
1384
        :raises UnavailableFeature: When feature is not available.
 
1385
        """
 
1386
        if not feature.available():
 
1387
            raise UnavailableFeature(feature)
 
1388
 
 
1389
    def _run_bzr_autosplit(self, args, retcode, encoding, stdin,
 
1390
            working_dir):
 
1391
        """Run bazaar command line, splitting up a string command line."""
 
1392
        if isinstance(args, basestring):
 
1393
            # shlex don't understand unicode strings,
 
1394
            # so args should be plain string (bialix 20070906)
 
1395
            args = list(shlex.split(str(args)))
 
1396
        return self._run_bzr_core(args, retcode=retcode,
 
1397
                encoding=encoding, stdin=stdin, working_dir=working_dir,
 
1398
                )
 
1399
 
 
1400
    def _run_bzr_core(self, args, retcode, encoding, stdin,
 
1401
            working_dir):
 
1402
        if encoding is None:
 
1403
            encoding = bzrlib.user_encoding
 
1404
        stdout = StringIOWrapper()
 
1405
        stderr = StringIOWrapper()
 
1406
        stdout.encoding = encoding
 
1407
        stderr.encoding = encoding
 
1408
 
 
1409
        self.log('run bzr: %r', args)
 
1410
        # FIXME: don't call into logging here
 
1411
        handler = logging.StreamHandler(stderr)
 
1412
        handler.setLevel(logging.INFO)
 
1413
        logger = logging.getLogger('')
 
1414
        logger.addHandler(handler)
 
1415
        old_ui_factory = ui.ui_factory
 
1416
        ui.ui_factory = TestUIFactory(stdin=stdin, stdout=stdout, stderr=stderr)
 
1417
 
 
1418
        cwd = None
 
1419
        if working_dir is not None:
 
1420
            cwd = osutils.getcwd()
 
1421
            os.chdir(working_dir)
 
1422
 
 
1423
        try:
 
1424
            result = self.apply_redirected(ui.ui_factory.stdin,
 
1425
                stdout, stderr,
 
1426
                bzrlib.commands.run_bzr_catch_user_errors,
 
1427
                args)
 
1428
        finally:
 
1429
            logger.removeHandler(handler)
 
1430
            ui.ui_factory = old_ui_factory
 
1431
            if cwd is not None:
 
1432
                os.chdir(cwd)
 
1433
 
 
1434
        out = stdout.getvalue()
 
1435
        err = stderr.getvalue()
 
1436
        if out:
 
1437
            self.log('output:\n%r', out)
 
1438
        if err:
 
1439
            self.log('errors:\n%r', err)
 
1440
        if retcode is not None:
 
1441
            self.assertEquals(retcode, result,
 
1442
                              message='Unexpected return code')
 
1443
        return out, err
 
1444
 
 
1445
    def run_bzr(self, args, retcode=0, encoding=None, stdin=None,
 
1446
                working_dir=None, error_regexes=[], output_encoding=None):
 
1447
        """Invoke bzr, as if it were run from the command line.
 
1448
 
 
1449
        The argument list should not include the bzr program name - the
 
1450
        first argument is normally the bzr command.  Arguments may be
 
1451
        passed in three ways:
 
1452
 
 
1453
        1- A list of strings, eg ["commit", "a"].  This is recommended
 
1454
        when the command contains whitespace or metacharacters, or 
 
1455
        is built up at run time.
 
1456
 
 
1457
        2- A single string, eg "add a".  This is the most convenient 
 
1458
        for hardcoded commands.
 
1459
 
 
1460
        This runs bzr through the interface that catches and reports
 
1461
        errors, and with logging set to something approximating the
 
1462
        default, so that error reporting can be checked.
 
1463
 
 
1464
        This should be the main method for tests that want to exercise the
 
1465
        overall behavior of the bzr application (rather than a unit test
 
1466
        or a functional test of the library.)
 
1467
 
 
1468
        This sends the stdout/stderr results into the test's log,
 
1469
        where it may be useful for debugging.  See also run_captured.
 
1470
 
 
1471
        :keyword stdin: A string to be used as stdin for the command.
 
1472
        :keyword retcode: The status code the command should return;
 
1473
            default 0.
 
1474
        :keyword working_dir: The directory to run the command in
 
1475
        :keyword error_regexes: A list of expected error messages.  If
 
1476
            specified they must be seen in the error output of the command.
 
1477
        """
 
1478
        out, err = self._run_bzr_autosplit(
 
1479
            args=args,
 
1480
            retcode=retcode,
 
1481
            encoding=encoding,
 
1482
            stdin=stdin,
 
1483
            working_dir=working_dir,
 
1484
            )
 
1485
        for regex in error_regexes:
 
1486
            self.assertContainsRe(err, regex)
 
1487
        return out, err
 
1488
 
 
1489
    def run_bzr_error(self, error_regexes, *args, **kwargs):
 
1490
        """Run bzr, and check that stderr contains the supplied regexes
 
1491
 
 
1492
        :param error_regexes: Sequence of regular expressions which
 
1493
            must each be found in the error output. The relative ordering
 
1494
            is not enforced.
 
1495
        :param args: command-line arguments for bzr
 
1496
        :param kwargs: Keyword arguments which are interpreted by run_bzr
 
1497
            This function changes the default value of retcode to be 3,
 
1498
            since in most cases this is run when you expect bzr to fail.
 
1499
 
 
1500
        :return: (out, err) The actual output of running the command (in case
 
1501
            you want to do more inspection)
 
1502
 
 
1503
        Examples of use::
 
1504
 
 
1505
            # Make sure that commit is failing because there is nothing to do
 
1506
            self.run_bzr_error(['no changes to commit'],
 
1507
                               ['commit', '-m', 'my commit comment'])
 
1508
            # Make sure --strict is handling an unknown file, rather than
 
1509
            # giving us the 'nothing to do' error
 
1510
            self.build_tree(['unknown'])
 
1511
            self.run_bzr_error(['Commit refused because there are unknown files'],
 
1512
                               ['commit', --strict', '-m', 'my commit comment'])
 
1513
        """
 
1514
        kwargs.setdefault('retcode', 3)
 
1515
        kwargs['error_regexes'] = error_regexes
 
1516
        out, err = self.run_bzr(*args, **kwargs)
 
1517
        return out, err
 
1518
 
 
1519
    def run_bzr_subprocess(self, *args, **kwargs):
 
1520
        """Run bzr in a subprocess for testing.
 
1521
 
 
1522
        This starts a new Python interpreter and runs bzr in there. 
 
1523
        This should only be used for tests that have a justifiable need for
 
1524
        this isolation: e.g. they are testing startup time, or signal
 
1525
        handling, or early startup code, etc.  Subprocess code can't be 
 
1526
        profiled or debugged so easily.
 
1527
 
 
1528
        :keyword retcode: The status code that is expected.  Defaults to 0.  If
 
1529
            None is supplied, the status code is not checked.
 
1530
        :keyword env_changes: A dictionary which lists changes to environment
 
1531
            variables. A value of None will unset the env variable.
 
1532
            The values must be strings. The change will only occur in the
 
1533
            child, so you don't need to fix the environment after running.
 
1534
        :keyword universal_newlines: Convert CRLF => LF
 
1535
        :keyword allow_plugins: By default the subprocess is run with
 
1536
            --no-plugins to ensure test reproducibility. Also, it is possible
 
1537
            for system-wide plugins to create unexpected output on stderr,
 
1538
            which can cause unnecessary test failures.
 
1539
        """
 
1540
        env_changes = kwargs.get('env_changes', {})
 
1541
        working_dir = kwargs.get('working_dir', None)
 
1542
        allow_plugins = kwargs.get('allow_plugins', False)
 
1543
        if len(args) == 1:
 
1544
            if isinstance(args[0], list):
 
1545
                args = args[0]
 
1546
            elif isinstance(args[0], basestring):
 
1547
                args = list(shlex.split(args[0]))
 
1548
        else:
 
1549
            symbol_versioning.warn(zero_ninetyone %
 
1550
                                   "passing varargs to run_bzr_subprocess",
 
1551
                                   DeprecationWarning, stacklevel=3)
 
1552
        process = self.start_bzr_subprocess(args, env_changes=env_changes,
 
1553
                                            working_dir=working_dir,
 
1554
                                            allow_plugins=allow_plugins)
 
1555
        # We distinguish between retcode=None and retcode not passed.
 
1556
        supplied_retcode = kwargs.get('retcode', 0)
 
1557
        return self.finish_bzr_subprocess(process, retcode=supplied_retcode,
 
1558
            universal_newlines=kwargs.get('universal_newlines', False),
 
1559
            process_args=args)
 
1560
 
 
1561
    def start_bzr_subprocess(self, process_args, env_changes=None,
 
1562
                             skip_if_plan_to_signal=False,
 
1563
                             working_dir=None,
 
1564
                             allow_plugins=False):
 
1565
        """Start bzr in a subprocess for testing.
 
1566
 
 
1567
        This starts a new Python interpreter and runs bzr in there.
 
1568
        This should only be used for tests that have a justifiable need for
 
1569
        this isolation: e.g. they are testing startup time, or signal
 
1570
        handling, or early startup code, etc.  Subprocess code can't be
 
1571
        profiled or debugged so easily.
 
1572
 
 
1573
        :param process_args: a list of arguments to pass to the bzr executable,
 
1574
            for example ``['--version']``.
 
1575
        :param env_changes: A dictionary which lists changes to environment
 
1576
            variables. A value of None will unset the env variable.
 
1577
            The values must be strings. The change will only occur in the
 
1578
            child, so you don't need to fix the environment after running.
 
1579
        :param skip_if_plan_to_signal: raise TestSkipped when true and os.kill
 
1580
            is not available.
 
1581
        :param allow_plugins: If False (default) pass --no-plugins to bzr.
 
1582
 
 
1583
        :returns: Popen object for the started process.
 
1584
        """
 
1585
        if skip_if_plan_to_signal:
 
1586
            if not getattr(os, 'kill', None):
 
1587
                raise TestSkipped("os.kill not available.")
 
1588
 
 
1589
        if env_changes is None:
 
1590
            env_changes = {}
 
1591
        old_env = {}
 
1592
 
 
1593
        def cleanup_environment():
 
1594
            for env_var, value in env_changes.iteritems():
 
1595
                old_env[env_var] = osutils.set_or_unset_env(env_var, value)
 
1596
 
 
1597
        def restore_environment():
 
1598
            for env_var, value in old_env.iteritems():
 
1599
                osutils.set_or_unset_env(env_var, value)
 
1600
 
 
1601
        bzr_path = self.get_bzr_path()
 
1602
 
 
1603
        cwd = None
 
1604
        if working_dir is not None:
 
1605
            cwd = osutils.getcwd()
 
1606
            os.chdir(working_dir)
 
1607
 
 
1608
        try:
 
1609
            # win32 subprocess doesn't support preexec_fn
 
1610
            # so we will avoid using it on all platforms, just to
 
1611
            # make sure the code path is used, and we don't break on win32
 
1612
            cleanup_environment()
 
1613
            command = [sys.executable, bzr_path]
 
1614
            if not allow_plugins:
 
1615
                command.append('--no-plugins')
 
1616
            command.extend(process_args)
 
1617
            process = self._popen(command, stdin=PIPE, stdout=PIPE, stderr=PIPE)
 
1618
        finally:
 
1619
            restore_environment()
 
1620
            if cwd is not None:
 
1621
                os.chdir(cwd)
 
1622
 
 
1623
        return process
 
1624
 
 
1625
    def _popen(self, *args, **kwargs):
 
1626
        """Place a call to Popen.
 
1627
 
 
1628
        Allows tests to override this method to intercept the calls made to
 
1629
        Popen for introspection.
 
1630
        """
 
1631
        return Popen(*args, **kwargs)
 
1632
 
 
1633
    def get_bzr_path(self):
 
1634
        """Return the path of the 'bzr' executable for this test suite."""
 
1635
        bzr_path = os.path.dirname(os.path.dirname(bzrlib.__file__))+'/bzr'
 
1636
        if not os.path.isfile(bzr_path):
 
1637
            # We are probably installed. Assume sys.argv is the right file
 
1638
            bzr_path = sys.argv[0]
 
1639
        return bzr_path
 
1640
 
 
1641
    def finish_bzr_subprocess(self, process, retcode=0, send_signal=None,
 
1642
                              universal_newlines=False, process_args=None):
 
1643
        """Finish the execution of process.
 
1644
 
 
1645
        :param process: the Popen object returned from start_bzr_subprocess.
 
1646
        :param retcode: The status code that is expected.  Defaults to 0.  If
 
1647
            None is supplied, the status code is not checked.
 
1648
        :param send_signal: an optional signal to send to the process.
 
1649
        :param universal_newlines: Convert CRLF => LF
 
1650
        :returns: (stdout, stderr)
 
1651
        """
 
1652
        if send_signal is not None:
 
1653
            os.kill(process.pid, send_signal)
 
1654
        out, err = process.communicate()
 
1655
 
 
1656
        if universal_newlines:
 
1657
            out = out.replace('\r\n', '\n')
 
1658
            err = err.replace('\r\n', '\n')
 
1659
 
 
1660
        if retcode is not None and retcode != process.returncode:
 
1661
            if process_args is None:
 
1662
                process_args = "(unknown args)"
 
1663
            mutter('Output of bzr %s:\n%s', process_args, out)
 
1664
            mutter('Error for bzr %s:\n%s', process_args, err)
 
1665
            self.fail('Command bzr %s failed with retcode %s != %s'
 
1666
                      % (process_args, retcode, process.returncode))
 
1667
        return [out, err]
 
1668
 
 
1669
    def check_inventory_shape(self, inv, shape):
 
1670
        """Compare an inventory to a list of expected names.
 
1671
 
 
1672
        Fail if they are not precisely equal.
 
1673
        """
 
1674
        extras = []
 
1675
        shape = list(shape)             # copy
 
1676
        for path, ie in inv.entries():
 
1677
            name = path.replace('\\', '/')
 
1678
            if ie.kind == 'directory':
 
1679
                name = name + '/'
 
1680
            if name in shape:
 
1681
                shape.remove(name)
 
1682
            else:
 
1683
                extras.append(name)
 
1684
        if shape:
 
1685
            self.fail("expected paths not found in inventory: %r" % shape)
 
1686
        if extras:
 
1687
            self.fail("unexpected paths found in inventory: %r" % extras)
 
1688
 
 
1689
    def apply_redirected(self, stdin=None, stdout=None, stderr=None,
 
1690
                         a_callable=None, *args, **kwargs):
 
1691
        """Call callable with redirected std io pipes.
 
1692
 
 
1693
        Returns the return code."""
 
1694
        if not callable(a_callable):
 
1695
            raise ValueError("a_callable must be callable.")
 
1696
        if stdin is None:
 
1697
            stdin = StringIO("")
 
1698
        if stdout is None:
 
1699
            if getattr(self, "_log_file", None) is not None:
 
1700
                stdout = self._log_file
 
1701
            else:
 
1702
                stdout = StringIO()
 
1703
        if stderr is None:
 
1704
            if getattr(self, "_log_file", None is not None):
 
1705
                stderr = self._log_file
 
1706
            else:
 
1707
                stderr = StringIO()
 
1708
        real_stdin = sys.stdin
 
1709
        real_stdout = sys.stdout
 
1710
        real_stderr = sys.stderr
 
1711
        try:
 
1712
            sys.stdout = stdout
 
1713
            sys.stderr = stderr
 
1714
            sys.stdin = stdin
 
1715
            return a_callable(*args, **kwargs)
 
1716
        finally:
 
1717
            sys.stdout = real_stdout
 
1718
            sys.stderr = real_stderr
 
1719
            sys.stdin = real_stdin
 
1720
 
 
1721
    def reduceLockdirTimeout(self):
 
1722
        """Reduce the default lock timeout for the duration of the test, so that
 
1723
        if LockContention occurs during a test, it does so quickly.
 
1724
 
 
1725
        Tests that expect to provoke LockContention errors should call this.
 
1726
        """
 
1727
        orig_timeout = bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS
 
1728
        def resetTimeout():
 
1729
            bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS = orig_timeout
 
1730
        self.addCleanup(resetTimeout)
 
1731
        bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS = 0
 
1732
 
 
1733
    def make_utf8_encoded_stringio(self, encoding_type=None):
 
1734
        """Return a StringIOWrapper instance, that will encode Unicode
 
1735
        input to UTF-8.
 
1736
        """
 
1737
        if encoding_type is None:
 
1738
            encoding_type = 'strict'
 
1739
        sio = StringIO()
 
1740
        output_encoding = 'utf-8'
 
1741
        sio = codecs.getwriter(output_encoding)(sio, errors=encoding_type)
 
1742
        sio.encoding = output_encoding
 
1743
        return sio
 
1744
 
 
1745
 
 
1746
class TestCaseWithMemoryTransport(TestCase):
 
1747
    """Common test class for tests that do not need disk resources.
 
1748
 
 
1749
    Tests that need disk resources should derive from TestCaseWithTransport.
 
1750
 
 
1751
    TestCaseWithMemoryTransport sets the TEST_ROOT variable for all bzr tests.
 
1752
 
 
1753
    For TestCaseWithMemoryTransport the test_home_dir is set to the name of
 
1754
    a directory which does not exist. This serves to help ensure test isolation
 
1755
    is preserved. test_dir is set to the TEST_ROOT, as is cwd, because they
 
1756
    must exist. However, TestCaseWithMemoryTransport does not offer local
 
1757
    file defaults for the transport in tests, nor does it obey the command line
 
1758
    override, so tests that accidentally write to the common directory should
 
1759
    be rare.
 
1760
 
 
1761
    :cvar TEST_ROOT: Directory containing all temporary directories, plus
 
1762
    a .bzr directory that stops us ascending higher into the filesystem.
 
1763
    """
 
1764
 
 
1765
    TEST_ROOT = None
 
1766
    _TEST_NAME = 'test'
 
1767
 
 
1768
    def __init__(self, methodName='runTest'):
 
1769
        # allow test parameterization after test construction and before test
 
1770
        # execution. Variables that the parameterizer sets need to be 
 
1771
        # ones that are not set by setUp, or setUp will trash them.
 
1772
        super(TestCaseWithMemoryTransport, self).__init__(methodName)
 
1773
        self.vfs_transport_factory = default_transport
 
1774
        self.transport_server = None
 
1775
        self.transport_readonly_server = None
 
1776
        self.__vfs_server = None
 
1777
 
 
1778
    def get_transport(self, relpath=None):
 
1779
        """Return a writeable transport.
 
1780
 
 
1781
        This transport is for the test scratch space relative to
 
1782
        "self._test_root"
 
1783
        
 
1784
        :param relpath: a path relative to the base url.
 
1785
        """
 
1786
        t = get_transport(self.get_url(relpath))
 
1787
        self.assertFalse(t.is_readonly())
 
1788
        return t
 
1789
 
 
1790
    def get_readonly_transport(self, relpath=None):
 
1791
        """Return a readonly transport for the test scratch space
 
1792
        
 
1793
        This can be used to test that operations which should only need
 
1794
        readonly access in fact do not try to write.
 
1795
 
 
1796
        :param relpath: a path relative to the base url.
 
1797
        """
 
1798
        t = get_transport(self.get_readonly_url(relpath))
 
1799
        self.assertTrue(t.is_readonly())
 
1800
        return t
 
1801
 
 
1802
    def create_transport_readonly_server(self):
 
1803
        """Create a transport server from class defined at init.
 
1804
 
 
1805
        This is mostly a hook for daughter classes.
 
1806
        """
 
1807
        return self.transport_readonly_server()
 
1808
 
 
1809
    def get_readonly_server(self):
 
1810
        """Get the server instance for the readonly transport
 
1811
 
 
1812
        This is useful for some tests with specific servers to do diagnostics.
 
1813
        """
 
1814
        if self.__readonly_server is None:
 
1815
            if self.transport_readonly_server is None:
 
1816
                # readonly decorator requested
 
1817
                # bring up the server
 
1818
                self.__readonly_server = ReadonlyServer()
 
1819
                self.__readonly_server.setUp(self.get_vfs_only_server())
 
1820
            else:
 
1821
                self.__readonly_server = self.create_transport_readonly_server()
 
1822
                self.__readonly_server.setUp(self.get_vfs_only_server())
 
1823
            self.addCleanup(self.__readonly_server.tearDown)
 
1824
        return self.__readonly_server
 
1825
 
 
1826
    def get_readonly_url(self, relpath=None):
 
1827
        """Get a URL for the readonly transport.
 
1828
 
 
1829
        This will either be backed by '.' or a decorator to the transport 
 
1830
        used by self.get_url()
 
1831
        relpath provides for clients to get a path relative to the base url.
 
1832
        These should only be downwards relative, not upwards.
 
1833
        """
 
1834
        base = self.get_readonly_server().get_url()
 
1835
        return self._adjust_url(base, relpath)
 
1836
 
 
1837
    def get_vfs_only_server(self):
 
1838
        """Get the vfs only read/write server instance.
 
1839
 
 
1840
        This is useful for some tests with specific servers that need
 
1841
        diagnostics.
 
1842
 
 
1843
        For TestCaseWithMemoryTransport this is always a MemoryServer, and there
 
1844
        is no means to override it.
 
1845
        """
 
1846
        if self.__vfs_server is None:
 
1847
            self.__vfs_server = MemoryServer()
 
1848
            self.__vfs_server.setUp()
 
1849
            self.addCleanup(self.__vfs_server.tearDown)
 
1850
        return self.__vfs_server
 
1851
 
 
1852
    def get_server(self):
 
1853
        """Get the read/write server instance.
 
1854
 
 
1855
        This is useful for some tests with specific servers that need
 
1856
        diagnostics.
 
1857
 
 
1858
        This is built from the self.transport_server factory. If that is None,
 
1859
        then the self.get_vfs_server is returned.
 
1860
        """
 
1861
        if self.__server is None:
 
1862
            if self.transport_server is None or self.transport_server is self.vfs_transport_factory:
 
1863
                return self.get_vfs_only_server()
 
1864
            else:
 
1865
                # bring up a decorated means of access to the vfs only server.
 
1866
                self.__server = self.transport_server()
 
1867
                try:
 
1868
                    self.__server.setUp(self.get_vfs_only_server())
 
1869
                except TypeError, e:
 
1870
                    # This should never happen; the try:Except here is to assist
 
1871
                    # developers having to update code rather than seeing an
 
1872
                    # uninformative TypeError.
 
1873
                    raise Exception, "Old server API in use: %s, %s" % (self.__server, e)
 
1874
            self.addCleanup(self.__server.tearDown)
 
1875
        return self.__server
 
1876
 
 
1877
    def _adjust_url(self, base, relpath):
 
1878
        """Get a URL (or maybe a path) for the readwrite transport.
 
1879
 
 
1880
        This will either be backed by '.' or to an equivalent non-file based
 
1881
        facility.
 
1882
        relpath provides for clients to get a path relative to the base url.
 
1883
        These should only be downwards relative, not upwards.
 
1884
        """
 
1885
        if relpath is not None and relpath != '.':
 
1886
            if not base.endswith('/'):
 
1887
                base = base + '/'
 
1888
            # XXX: Really base should be a url; we did after all call
 
1889
            # get_url()!  But sometimes it's just a path (from
 
1890
            # LocalAbspathServer), and it'd be wrong to append urlescaped data
 
1891
            # to a non-escaped local path.
 
1892
            if base.startswith('./') or base.startswith('/'):
 
1893
                base += relpath
 
1894
            else:
 
1895
                base += urlutils.escape(relpath)
 
1896
        return base
 
1897
 
 
1898
    def get_url(self, relpath=None):
 
1899
        """Get a URL (or maybe a path) for the readwrite transport.
 
1900
 
 
1901
        This will either be backed by '.' or to an equivalent non-file based
 
1902
        facility.
 
1903
        relpath provides for clients to get a path relative to the base url.
 
1904
        These should only be downwards relative, not upwards.
 
1905
        """
 
1906
        base = self.get_server().get_url()
 
1907
        return self._adjust_url(base, relpath)
 
1908
 
 
1909
    def get_vfs_only_url(self, relpath=None):
 
1910
        """Get a URL (or maybe a path for the plain old vfs transport.
 
1911
 
 
1912
        This will never be a smart protocol.  It always has all the
 
1913
        capabilities of the local filesystem, but it might actually be a
 
1914
        MemoryTransport or some other similar virtual filesystem.
 
1915
 
 
1916
        This is the backing transport (if any) of the server returned by
 
1917
        get_url and get_readonly_url.
 
1918
 
 
1919
        :param relpath: provides for clients to get a path relative to the base
 
1920
            url.  These should only be downwards relative, not upwards.
 
1921
        :return: A URL
 
1922
        """
 
1923
        base = self.get_vfs_only_server().get_url()
 
1924
        return self._adjust_url(base, relpath)
 
1925
 
 
1926
    def _create_safety_net(self):
 
1927
        """Make a fake bzr directory.
 
1928
 
 
1929
        This prevents any tests propagating up onto the TEST_ROOT directory's
 
1930
        real branch.
 
1931
        """
 
1932
        root = TestCaseWithMemoryTransport.TEST_ROOT
 
1933
        bzrdir.BzrDir.create_standalone_workingtree(root)
 
1934
 
 
1935
    def _check_safety_net(self):
 
1936
        """Check that the safety .bzr directory have not been touched.
 
1937
 
 
1938
        _make_test_root have created a .bzr directory to prevent tests from
 
1939
        propagating. This method ensures than a test did not leaked.
 
1940
        """
 
1941
        root = TestCaseWithMemoryTransport.TEST_ROOT
 
1942
        wt = workingtree.WorkingTree.open(root)
 
1943
        last_rev = wt.last_revision()
 
1944
        if last_rev != 'null:':
 
1945
            # The current test have modified the /bzr directory, we need to
 
1946
            # recreate a new one or all the followng tests will fail.
 
1947
            # If you need to inspect its content uncomment the following line
 
1948
            # import pdb; pdb.set_trace()
 
1949
            _rmtree_temp_dir(root + '/.bzr')
 
1950
            self._create_safety_net()
 
1951
            raise AssertionError('%s/.bzr should not be modified' % root)
 
1952
 
 
1953
    def _make_test_root(self):
 
1954
        if TestCaseWithMemoryTransport.TEST_ROOT is None:
 
1955
            root = osutils.mkdtemp(prefix='testbzr-', suffix='.tmp')
 
1956
            TestCaseWithMemoryTransport.TEST_ROOT = root
 
1957
 
 
1958
            self._create_safety_net()
 
1959
 
 
1960
            # The same directory is used by all tests, and we're not
 
1961
            # specifically told when all tests are finished.  This will do.
 
1962
            atexit.register(_rmtree_temp_dir, root)
 
1963
 
 
1964
        self.addCleanup(self._check_safety_net)
 
1965
 
 
1966
    def makeAndChdirToTestDir(self):
 
1967
        """Create a temporary directories for this one test.
 
1968
        
 
1969
        This must set self.test_home_dir and self.test_dir and chdir to
 
1970
        self.test_dir.
 
1971
        
 
1972
        For TestCaseWithMemoryTransport we chdir to the TEST_ROOT for this test.
 
1973
        """
 
1974
        os.chdir(TestCaseWithMemoryTransport.TEST_ROOT)
 
1975
        self.test_dir = TestCaseWithMemoryTransport.TEST_ROOT
 
1976
        self.test_home_dir = self.test_dir + "/MemoryTransportMissingHomeDir"
 
1977
        
 
1978
    def make_branch(self, relpath, format=None):
 
1979
        """Create a branch on the transport at relpath."""
 
1980
        repo = self.make_repository(relpath, format=format)
 
1981
        return repo.bzrdir.create_branch()
 
1982
 
 
1983
    def make_bzrdir(self, relpath, format=None):
 
1984
        try:
 
1985
            # might be a relative or absolute path
 
1986
            maybe_a_url = self.get_url(relpath)
 
1987
            segments = maybe_a_url.rsplit('/', 1)
 
1988
            t = get_transport(maybe_a_url)
 
1989
            if len(segments) > 1 and segments[-1] not in ('', '.'):
 
1990
                t.ensure_base()
 
1991
            if format is None:
 
1992
                format = 'default'
 
1993
            if isinstance(format, basestring):
 
1994
                format = bzrdir.format_registry.make_bzrdir(format)
 
1995
            return format.initialize_on_transport(t)
 
1996
        except errors.UninitializableFormat:
 
1997
            raise TestSkipped("Format %s is not initializable." % format)
 
1998
 
 
1999
    def make_repository(self, relpath, shared=False, format=None):
 
2000
        """Create a repository on our default transport at relpath.
 
2001
        
 
2002
        Note that relpath must be a relative path, not a full url.
 
2003
        """
 
2004
        # FIXME: If you create a remoterepository this returns the underlying
 
2005
        # real format, which is incorrect.  Actually we should make sure that 
 
2006
        # RemoteBzrDir returns a RemoteRepository.
 
2007
        # maybe  mbp 20070410
 
2008
        made_control = self.make_bzrdir(relpath, format=format)
 
2009
        return made_control.create_repository(shared=shared)
 
2010
 
 
2011
    def make_branch_and_memory_tree(self, relpath, format=None):
 
2012
        """Create a branch on the default transport and a MemoryTree for it."""
 
2013
        b = self.make_branch(relpath, format=format)
 
2014
        return memorytree.MemoryTree.create_on_branch(b)
 
2015
 
 
2016
    def overrideEnvironmentForTesting(self):
 
2017
        os.environ['HOME'] = self.test_home_dir
 
2018
        os.environ['BZR_HOME'] = self.test_home_dir
 
2019
        
 
2020
    def setUp(self):
 
2021
        super(TestCaseWithMemoryTransport, self).setUp()
 
2022
        self._make_test_root()
 
2023
        _currentdir = os.getcwdu()
 
2024
        def _leaveDirectory():
 
2025
            os.chdir(_currentdir)
 
2026
        self.addCleanup(_leaveDirectory)
 
2027
        self.makeAndChdirToTestDir()
 
2028
        self.overrideEnvironmentForTesting()
 
2029
        self.__readonly_server = None
 
2030
        self.__server = None
 
2031
        self.reduceLockdirTimeout()
 
2032
 
 
2033
     
 
2034
class TestCaseInTempDir(TestCaseWithMemoryTransport):
 
2035
    """Derived class that runs a test within a temporary directory.
 
2036
 
 
2037
    This is useful for tests that need to create a branch, etc.
 
2038
 
 
2039
    The directory is created in a slightly complex way: for each
 
2040
    Python invocation, a new temporary top-level directory is created.
 
2041
    All test cases create their own directory within that.  If the
 
2042
    tests complete successfully, the directory is removed.
 
2043
 
 
2044
    :ivar test_base_dir: The path of the top-level directory for this 
 
2045
    test, which contains a home directory and a work directory.
 
2046
 
 
2047
    :ivar test_home_dir: An initially empty directory under test_base_dir
 
2048
    which is used as $HOME for this test.
 
2049
 
 
2050
    :ivar test_dir: A directory under test_base_dir used as the current
 
2051
    directory when the test proper is run.
 
2052
    """
 
2053
 
 
2054
    OVERRIDE_PYTHON = 'python'
 
2055
 
 
2056
    def check_file_contents(self, filename, expect):
 
2057
        self.log("check contents of file %s" % filename)
 
2058
        contents = file(filename, 'r').read()
 
2059
        if contents != expect:
 
2060
            self.log("expected: %r" % expect)
 
2061
            self.log("actually: %r" % contents)
 
2062
            self.fail("contents of %s not as expected" % filename)
 
2063
 
 
2064
    def makeAndChdirToTestDir(self):
 
2065
        """See TestCaseWithMemoryTransport.makeAndChdirToTestDir().
 
2066
        
 
2067
        For TestCaseInTempDir we create a temporary directory based on the test
 
2068
        name and then create two subdirs - test and home under it.
 
2069
        """
 
2070
        # create a directory within the top level test directory
 
2071
        candidate_dir = osutils.mkdtemp(dir=self.TEST_ROOT)
 
2072
        # now create test and home directories within this dir
 
2073
        self.test_base_dir = candidate_dir
 
2074
        self.test_home_dir = self.test_base_dir + '/home'
 
2075
        os.mkdir(self.test_home_dir)
 
2076
        self.test_dir = self.test_base_dir + '/work'
 
2077
        os.mkdir(self.test_dir)
 
2078
        os.chdir(self.test_dir)
 
2079
        # put name of test inside
 
2080
        f = file(self.test_base_dir + '/name', 'w')
 
2081
        try:
 
2082
            f.write(self.id())
 
2083
        finally:
 
2084
            f.close()
 
2085
        self.addCleanup(self.deleteTestDir)
 
2086
 
 
2087
    def deleteTestDir(self):
 
2088
        os.chdir(self.TEST_ROOT)
 
2089
        _rmtree_temp_dir(self.test_base_dir)
 
2090
 
 
2091
    def build_tree(self, shape, line_endings='binary', transport=None):
 
2092
        """Build a test tree according to a pattern.
 
2093
 
 
2094
        shape is a sequence of file specifications.  If the final
 
2095
        character is '/', a directory is created.
 
2096
 
 
2097
        This assumes that all the elements in the tree being built are new.
 
2098
 
 
2099
        This doesn't add anything to a branch.
 
2100
 
 
2101
        :type shape:    list or tuple.
 
2102
        :param line_endings: Either 'binary' or 'native'
 
2103
            in binary mode, exact contents are written in native mode, the
 
2104
            line endings match the default platform endings.
 
2105
        :param transport: A transport to write to, for building trees on VFS's.
 
2106
            If the transport is readonly or None, "." is opened automatically.
 
2107
        :return: None
 
2108
        """
 
2109
        if type(shape) not in (list, tuple):
 
2110
            raise AssertionError("Parameter 'shape' should be "
 
2111
                "a list or a tuple. Got %r instead" % (shape,))
 
2112
        # It's OK to just create them using forward slashes on windows.
 
2113
        if transport is None or transport.is_readonly():
 
2114
            transport = get_transport(".")
 
2115
        for name in shape:
 
2116
            self.assert_(isinstance(name, basestring))
 
2117
            if name[-1] == '/':
 
2118
                transport.mkdir(urlutils.escape(name[:-1]))
 
2119
            else:
 
2120
                if line_endings == 'binary':
 
2121
                    end = '\n'
 
2122
                elif line_endings == 'native':
 
2123
                    end = os.linesep
 
2124
                else:
 
2125
                    raise errors.BzrError(
 
2126
                        'Invalid line ending request %r' % line_endings)
 
2127
                content = "contents of %s%s" % (name.encode('utf-8'), end)
 
2128
                transport.put_bytes_non_atomic(urlutils.escape(name), content)
 
2129
 
 
2130
    def build_tree_contents(self, shape):
 
2131
        build_tree_contents(shape)
 
2132
 
 
2133
    def assertInWorkingTree(self, path, root_path='.', tree=None):
 
2134
        """Assert whether path or paths are in the WorkingTree"""
 
2135
        if tree is None:
 
2136
            tree = workingtree.WorkingTree.open(root_path)
 
2137
        if not isinstance(path, basestring):
 
2138
            for p in path:
 
2139
                self.assertInWorkingTree(p,tree=tree)
 
2140
        else:
 
2141
            self.assertIsNot(tree.path2id(path), None,
 
2142
                path+' not in working tree.')
 
2143
 
 
2144
    def assertNotInWorkingTree(self, path, root_path='.', tree=None):
 
2145
        """Assert whether path or paths are not in the WorkingTree"""
 
2146
        if tree is None:
 
2147
            tree = workingtree.WorkingTree.open(root_path)
 
2148
        if not isinstance(path, basestring):
 
2149
            for p in path:
 
2150
                self.assertNotInWorkingTree(p,tree=tree)
 
2151
        else:
 
2152
            self.assertIs(tree.path2id(path), None, path+' in working tree.')
 
2153
 
 
2154
 
 
2155
class TestCaseWithTransport(TestCaseInTempDir):
 
2156
    """A test case that provides get_url and get_readonly_url facilities.
 
2157
 
 
2158
    These back onto two transport servers, one for readonly access and one for
 
2159
    read write access.
 
2160
 
 
2161
    If no explicit class is provided for readonly access, a
 
2162
    ReadonlyTransportDecorator is used instead which allows the use of non disk
 
2163
    based read write transports.
 
2164
 
 
2165
    If an explicit class is provided for readonly access, that server and the 
 
2166
    readwrite one must both define get_url() as resolving to os.getcwd().
 
2167
    """
 
2168
 
 
2169
    def get_vfs_only_server(self):
 
2170
        """See TestCaseWithMemoryTransport.
 
2171
 
 
2172
        This is useful for some tests with specific servers that need
 
2173
        diagnostics.
 
2174
        """
 
2175
        if self.__vfs_server is None:
 
2176
            self.__vfs_server = self.vfs_transport_factory()
 
2177
            self.__vfs_server.setUp()
 
2178
            self.addCleanup(self.__vfs_server.tearDown)
 
2179
        return self.__vfs_server
 
2180
 
 
2181
    def make_branch_and_tree(self, relpath, format=None):
 
2182
        """Create a branch on the transport and a tree locally.
 
2183
 
 
2184
        If the transport is not a LocalTransport, the Tree can't be created on
 
2185
        the transport.  In that case if the vfs_transport_factory is
 
2186
        LocalURLServer the working tree is created in the local
 
2187
        directory backing the transport, and the returned tree's branch and
 
2188
        repository will also be accessed locally. Otherwise a lightweight
 
2189
        checkout is created and returned.
 
2190
 
 
2191
        :param format: The BzrDirFormat.
 
2192
        :returns: the WorkingTree.
 
2193
        """
 
2194
        # TODO: always use the local disk path for the working tree,
 
2195
        # this obviously requires a format that supports branch references
 
2196
        # so check for that by checking bzrdir.BzrDirFormat.get_default_format()
 
2197
        # RBC 20060208
 
2198
        b = self.make_branch(relpath, format=format)
 
2199
        try:
 
2200
            return b.bzrdir.create_workingtree()
 
2201
        except errors.NotLocalUrl:
 
2202
            # We can only make working trees locally at the moment.  If the
 
2203
            # transport can't support them, then we keep the non-disk-backed
 
2204
            # branch and create a local checkout.
 
2205
            if self.vfs_transport_factory is LocalURLServer:
 
2206
                # the branch is colocated on disk, we cannot create a checkout.
 
2207
                # hopefully callers will expect this.
 
2208
                local_controldir= bzrdir.BzrDir.open(self.get_vfs_only_url(relpath))
 
2209
                return local_controldir.create_workingtree()
 
2210
            else:
 
2211
                return b.create_checkout(relpath, lightweight=True)
 
2212
 
 
2213
    def assertIsDirectory(self, relpath, transport):
 
2214
        """Assert that relpath within transport is a directory.
 
2215
 
 
2216
        This may not be possible on all transports; in that case it propagates
 
2217
        a TransportNotPossible.
 
2218
        """
 
2219
        try:
 
2220
            mode = transport.stat(relpath).st_mode
 
2221
        except errors.NoSuchFile:
 
2222
            self.fail("path %s is not a directory; no such file"
 
2223
                      % (relpath))
 
2224
        if not stat.S_ISDIR(mode):
 
2225
            self.fail("path %s is not a directory; has mode %#o"
 
2226
                      % (relpath, mode))
 
2227
 
 
2228
    def assertTreesEqual(self, left, right):
 
2229
        """Check that left and right have the same content and properties."""
 
2230
        # we use a tree delta to check for equality of the content, and we
 
2231
        # manually check for equality of other things such as the parents list.
 
2232
        self.assertEqual(left.get_parent_ids(), right.get_parent_ids())
 
2233
        differences = left.changes_from(right)
 
2234
        self.assertFalse(differences.has_changed(),
 
2235
            "Trees %r and %r are different: %r" % (left, right, differences))
 
2236
 
 
2237
    def setUp(self):
 
2238
        super(TestCaseWithTransport, self).setUp()
 
2239
        self.__vfs_server = None
 
2240
 
 
2241
 
 
2242
class ChrootedTestCase(TestCaseWithTransport):
 
2243
    """A support class that provides readonly urls outside the local namespace.
 
2244
 
 
2245
    This is done by checking if self.transport_server is a MemoryServer. if it
 
2246
    is then we are chrooted already, if it is not then an HttpServer is used
 
2247
    for readonly urls.
 
2248
 
 
2249
    TODO RBC 20060127: make this an option to TestCaseWithTransport so it can
 
2250
                       be used without needed to redo it when a different 
 
2251
                       subclass is in use ?
 
2252
    """
 
2253
 
 
2254
    def setUp(self):
 
2255
        super(ChrootedTestCase, self).setUp()
 
2256
        if not self.vfs_transport_factory == MemoryServer:
 
2257
            self.transport_readonly_server = HttpServer
 
2258
 
 
2259
 
 
2260
def condition_id_re(pattern):
 
2261
    """Create a condition filter which performs a re check on a test's id.
 
2262
    
 
2263
    :param pattern: A regular expression string.
 
2264
    :return: A callable that returns True if the re matches.
 
2265
    """
 
2266
    filter_re = re.compile(pattern)
 
2267
    def condition(test):
 
2268
        test_id = test.id()
 
2269
        return filter_re.search(test_id)
 
2270
    return condition
 
2271
 
 
2272
 
 
2273
def condition_isinstance(klass_or_klass_list):
 
2274
    """Create a condition filter which returns isinstance(param, klass).
 
2275
    
 
2276
    :return: A callable which when called with one parameter obj return the
 
2277
        result of isinstance(obj, klass_or_klass_list).
 
2278
    """
 
2279
    def condition(obj):
 
2280
        return isinstance(obj, klass_or_klass_list)
 
2281
    return condition
 
2282
 
 
2283
 
 
2284
def condition_id_in_list(id_list):
 
2285
    """Create a condition filter which verify that test's id in a list.
 
2286
    
 
2287
    :param name: A TestIdList object.
 
2288
    :return: A callable that returns True if the test's id appears in the list.
 
2289
    """
 
2290
    def condition(test):
 
2291
        return id_list.test_in(test.id())
 
2292
    return condition
 
2293
 
 
2294
 
 
2295
def exclude_tests_by_condition(suite, condition):
 
2296
    """Create a test suite which excludes some tests from suite.
 
2297
 
 
2298
    :param suite: The suite to get tests from.
 
2299
    :param condition: A callable whose result evaluates True when called with a
 
2300
        test case which should be excluded from the result.
 
2301
    :return: A suite which contains the tests found in suite that fail
 
2302
        condition.
 
2303
    """
 
2304
    result = []
 
2305
    for test in iter_suite_tests(suite):
 
2306
        if not condition(test):
 
2307
            result.append(test)
 
2308
    return TestUtil.TestSuite(result)
 
2309
 
 
2310
 
 
2311
def filter_suite_by_condition(suite, condition):
 
2312
    """Create a test suite by filtering another one.
 
2313
    
 
2314
    :param suite: The source suite.
 
2315
    :param condition: A callable whose result evaluates True when called with a
 
2316
        test case which should be included in the result.
 
2317
    :return: A suite which contains the tests found in suite that pass
 
2318
        condition.
 
2319
    """ 
 
2320
    result = []
 
2321
    for test in iter_suite_tests(suite):
 
2322
        if condition(test):
 
2323
            result.append(test)
 
2324
    return TestUtil.TestSuite(result)
 
2325
 
 
2326
 
 
2327
def filter_suite_by_re(suite, pattern, exclude_pattern=DEPRECATED_PARAMETER,
 
2328
                       random_order=DEPRECATED_PARAMETER):
 
2329
    """Create a test suite by filtering another one.
 
2330
    
 
2331
    :param suite:           the source suite
 
2332
    :param pattern:         pattern that names must match
 
2333
    :param exclude_pattern: A pattern that names must not match. This parameter
 
2334
        is deprecated as of bzrlib 1.0. Please use the separate function
 
2335
        exclude_tests_by_re instead.
 
2336
    :param random_order:    If True, tests in the new suite will be put in
 
2337
        random order. This parameter is deprecated as of bzrlib 1.0. Please
 
2338
        use the separate function randomize_suite instead.
 
2339
    :returns: the newly created suite
 
2340
    """ 
 
2341
    if deprecated_passed(exclude_pattern):
 
2342
        symbol_versioning.warn(
 
2343
            one_zero % "passing exclude_pattern to filter_suite_by_re",
 
2344
                DeprecationWarning, stacklevel=2)
 
2345
        if exclude_pattern is not None:
 
2346
            suite = exclude_tests_by_re(suite, exclude_pattern)
 
2347
    condition = condition_id_re(pattern)
 
2348
    result_suite = filter_suite_by_condition(suite, condition)
 
2349
    if deprecated_passed(random_order):
 
2350
        symbol_versioning.warn(
 
2351
            one_zero % "passing random_order to filter_suite_by_re",
 
2352
                DeprecationWarning, stacklevel=2)
 
2353
        if random_order:
 
2354
            result_suite = randomize_suite(result_suite)
 
2355
    return result_suite
 
2356
 
 
2357
 
 
2358
def filter_suite_by_id_list(suite, test_id_list):
 
2359
    """Create a test suite by filtering another one.
 
2360
 
 
2361
    :param suite: The source suite.
 
2362
    :param test_id_list: A list of the test ids to keep as strings.
 
2363
    :returns: the newly created suite
 
2364
    """
 
2365
    condition = condition_id_in_list(test_id_list)
 
2366
    result_suite = filter_suite_by_condition(suite, condition)
 
2367
    return result_suite
 
2368
 
 
2369
 
 
2370
def exclude_tests_by_re(suite, pattern):
 
2371
    """Create a test suite which excludes some tests from suite.
 
2372
 
 
2373
    :param suite: The suite to get tests from.
 
2374
    :param pattern: A regular expression string. Test ids that match this
 
2375
        pattern will be excluded from the result.
 
2376
    :return: A TestSuite that contains all the tests from suite without the
 
2377
        tests that matched pattern. The order of tests is the same as it was in
 
2378
        suite.
 
2379
    """
 
2380
    return exclude_tests_by_condition(suite, condition_id_re(pattern))
 
2381
 
 
2382
 
 
2383
def preserve_input(something):
 
2384
    """A helper for performing test suite transformation chains.
 
2385
 
 
2386
    :param something: Anything you want to preserve.
 
2387
    :return: Something.
 
2388
    """
 
2389
    return something
 
2390
 
 
2391
 
 
2392
def randomize_suite(suite):
 
2393
    """Return a new TestSuite with suite's tests in random order.
 
2394
    
 
2395
    The tests in the input suite are flattened into a single suite in order to
 
2396
    accomplish this. Any nested TestSuites are removed to provide global
 
2397
    randomness.
 
2398
    """
 
2399
    tests = list(iter_suite_tests(suite))
 
2400
    random.shuffle(tests)
 
2401
    return TestUtil.TestSuite(tests)
 
2402
 
 
2403
 
 
2404
@deprecated_function(one_zero)
 
2405
def sort_suite_by_re(suite, pattern, exclude_pattern=None,
 
2406
                     random_order=False, append_rest=True):
 
2407
    """DEPRECATED: Create a test suite by sorting another one.
 
2408
 
 
2409
    This method has been decomposed into separate helper methods that should be
 
2410
    called directly:
 
2411
     - filter_suite_by_re
 
2412
     - exclude_tests_by_re
 
2413
     - randomize_suite
 
2414
     - split_suite_by_re
 
2415
    
 
2416
    :param suite:           the source suite
 
2417
    :param pattern:         pattern that names must match in order to go
 
2418
                            first in the new suite
 
2419
    :param exclude_pattern: pattern that names must not match, if any
 
2420
    :param random_order:    if True, tests in the new suite will be put in
 
2421
                            random order (with all tests matching pattern
 
2422
                            first).
 
2423
    :param append_rest:     if False, pattern is a strict filter and not
 
2424
                            just an ordering directive
 
2425
    :returns: the newly created suite
 
2426
    """ 
 
2427
    if exclude_pattern is not None:
 
2428
        suite = exclude_tests_by_re(suite, exclude_pattern)
 
2429
    if random_order:
 
2430
        order_changer = randomize_suite
 
2431
    else:
 
2432
        order_changer = preserve_input
 
2433
    if append_rest:
 
2434
        suites = map(order_changer, split_suite_by_re(suite, pattern))
 
2435
        return TestUtil.TestSuite(suites)
 
2436
    else:
 
2437
        return order_changer(filter_suite_by_re(suite, pattern))
 
2438
 
 
2439
 
 
2440
def split_suite_by_re(suite, pattern):
 
2441
    """Split a test suite into two by a regular expression.
 
2442
    
 
2443
    :param suite: The suite to split.
 
2444
    :param pattern: A regular expression string. Test ids that match this
 
2445
        pattern will be in the first test suite returned, and the others in the
 
2446
        second test suite returned.
 
2447
    :return: A tuple of two test suites, where the first contains tests from
 
2448
        suite matching pattern, and the second contains the remainder from
 
2449
        suite. The order within each output suite is the same as it was in
 
2450
        suite.
 
2451
    """ 
 
2452
    matched = []
 
2453
    did_not_match = []
 
2454
    filter_re = re.compile(pattern)
 
2455
    for test in iter_suite_tests(suite):
 
2456
        test_id = test.id()
 
2457
        if filter_re.search(test_id):
 
2458
            matched.append(test)
 
2459
        else:
 
2460
            did_not_match.append(test)
 
2461
    return TestUtil.TestSuite(matched), TestUtil.TestSuite(did_not_match)
 
2462
 
 
2463
 
 
2464
def run_suite(suite, name='test', verbose=False, pattern=".*",
 
2465
              stop_on_failure=False,
 
2466
              transport=None, lsprof_timed=None, bench_history=None,
 
2467
              matching_tests_first=None,
 
2468
              list_only=False,
 
2469
              random_seed=None,
 
2470
              exclude_pattern=None,
 
2471
              strict=False):
 
2472
    TestCase._gather_lsprof_in_benchmarks = lsprof_timed
 
2473
    if verbose:
 
2474
        verbosity = 2
 
2475
    else:
 
2476
        verbosity = 1
 
2477
    runner = TextTestRunner(stream=sys.stdout,
 
2478
                            descriptions=0,
 
2479
                            verbosity=verbosity,
 
2480
                            bench_history=bench_history,
 
2481
                            list_only=list_only,
 
2482
                            )
 
2483
    runner.stop_on_failure=stop_on_failure
 
2484
    # Initialise the random number generator and display the seed used.
 
2485
    # We convert the seed to a long to make it reuseable across invocations.
 
2486
    random_order = False
 
2487
    if random_seed is not None:
 
2488
        random_order = True
 
2489
        if random_seed == "now":
 
2490
            random_seed = long(time.time())
 
2491
        else:
 
2492
            # Convert the seed to a long if we can
 
2493
            try:
 
2494
                random_seed = long(random_seed)
 
2495
            except:
 
2496
                pass
 
2497
        runner.stream.writeln("Randomizing test order using seed %s\n" %
 
2498
            (random_seed))
 
2499
        random.seed(random_seed)
 
2500
    # Customise the list of tests if requested
 
2501
    if exclude_pattern is not None:
 
2502
        suite = exclude_tests_by_re(suite, exclude_pattern)
 
2503
    if random_order:
 
2504
        order_changer = randomize_suite
 
2505
    else:
 
2506
        order_changer = preserve_input
 
2507
    if pattern != '.*' or random_order:
 
2508
        if matching_tests_first:
 
2509
            suites = map(order_changer, split_suite_by_re(suite, pattern))
 
2510
            suite = TestUtil.TestSuite(suites)
 
2511
        else:
 
2512
            suite = order_changer(filter_suite_by_re(suite, pattern))
 
2513
 
 
2514
    result = runner.run(suite)
 
2515
 
 
2516
    if strict:
 
2517
        return result.wasStrictlySuccessful()
 
2518
 
 
2519
    return result.wasSuccessful()
 
2520
 
 
2521
 
 
2522
def selftest(verbose=False, pattern=".*", stop_on_failure=True,
 
2523
             transport=None,
 
2524
             test_suite_factory=None,
 
2525
             lsprof_timed=None,
 
2526
             bench_history=None,
 
2527
             matching_tests_first=None,
 
2528
             list_only=False,
 
2529
             random_seed=None,
 
2530
             exclude_pattern=None,
 
2531
             strict=False,
 
2532
             load_list=None,
 
2533
             ):
 
2534
    """Run the whole test suite under the enhanced runner"""
 
2535
    # XXX: Very ugly way to do this...
 
2536
    # Disable warning about old formats because we don't want it to disturb
 
2537
    # any blackbox tests.
 
2538
    from bzrlib import repository
 
2539
    repository._deprecation_warning_done = True
 
2540
 
 
2541
    global default_transport
 
2542
    if transport is None:
 
2543
        transport = default_transport
 
2544
    old_transport = default_transport
 
2545
    default_transport = transport
 
2546
    try:
 
2547
        if load_list is None:
 
2548
            keep_only = None
 
2549
        else:
 
2550
            keep_only = load_test_id_list(load_list)
 
2551
        if test_suite_factory is None:
 
2552
            suite = test_suite(keep_only)
 
2553
        else:
 
2554
            suite = test_suite_factory()
 
2555
        return run_suite(suite, 'testbzr', verbose=verbose, pattern=pattern,
 
2556
                     stop_on_failure=stop_on_failure,
 
2557
                     transport=transport,
 
2558
                     lsprof_timed=lsprof_timed,
 
2559
                     bench_history=bench_history,
 
2560
                     matching_tests_first=matching_tests_first,
 
2561
                     list_only=list_only,
 
2562
                     random_seed=random_seed,
 
2563
                     exclude_pattern=exclude_pattern,
 
2564
                     strict=strict)
 
2565
    finally:
 
2566
        default_transport = old_transport
 
2567
 
 
2568
 
 
2569
def load_test_id_list(file_name):
 
2570
    """Load a test id list from a text file.
 
2571
 
 
2572
    The format is one test id by line.  No special care is taken to impose
 
2573
    strict rules, these test ids are used to filter the test suite so a test id
 
2574
    that do not match an existing test will do no harm. This allows user to add
 
2575
    comments, leave blank lines, etc.
 
2576
    """
 
2577
    test_list = []
 
2578
    try:
 
2579
        ftest = open(file_name, 'rt')
 
2580
    except IOError, e:
 
2581
        if e.errno != errno.ENOENT:
 
2582
            raise
 
2583
        else:
 
2584
            raise errors.NoSuchFile(file_name)
 
2585
 
 
2586
    for test_name in ftest.readlines():
 
2587
        test_list.append(test_name.strip())
 
2588
    ftest.close()
 
2589
    return test_list
 
2590
 
 
2591
 
 
2592
def suite_matches_id_list(test_suite, id_list):
 
2593
    """Warns about tests not appearing or appearing more than once.
 
2594
 
 
2595
    :param test_suite: A TestSuite object.
 
2596
    :param test_id_list: The list of test ids that should be found in 
 
2597
         test_suite.
 
2598
 
 
2599
    :return: (absents, duplicates) absents is a list containing the test found
 
2600
        in id_list but not in test_suite, duplicates is a list containing the
 
2601
        test found multiple times in test_suite.
 
2602
 
 
2603
    When using a prefined test id list, it may occurs that some tests do not
 
2604
    exist anymore or that some tests use the same id. This function warns the
 
2605
    tester about potential problems in his workflow (test lists are volatile)
 
2606
    or in the test suite itself (using the same id for several tests does not
 
2607
    help to localize defects).
 
2608
    """
 
2609
    # Build a dict counting id occurrences
 
2610
    tests = dict()
 
2611
    for test in iter_suite_tests(test_suite):
 
2612
        id = test.id()
 
2613
        tests[id] = tests.get(id, 0) + 1
 
2614
 
 
2615
    not_found = []
 
2616
    duplicates = []
 
2617
    for id in id_list:
 
2618
        occurs = tests.get(id, 0)
 
2619
        if not occurs:
 
2620
            not_found.append(id)
 
2621
        elif occurs > 1:
 
2622
            duplicates.append(id)
 
2623
 
 
2624
    return not_found, duplicates
 
2625
 
 
2626
 
 
2627
class TestIdList(object):
 
2628
    """Test id list to filter a test suite.
 
2629
 
 
2630
    Relying on the assumption that test ids are built as:
 
2631
    <module>[.<class>.<method>][(<param>+)], <module> being in python dotted
 
2632
    notation, this class offers methods to :
 
2633
    - avoid building a test suite for modules not refered to in the test list,
 
2634
    - keep only the tests listed from the module test suite.
 
2635
    """
 
2636
 
 
2637
    def __init__(self, test_id_list):
 
2638
        # When a test suite needs to be filtered against us we compare test ids
 
2639
        # for equality, so a simple dict offers a quick and simple solution.
 
2640
        self.tests = dict().fromkeys(test_id_list, True)
 
2641
 
 
2642
        # While unittest.TestCase have ids like:
 
2643
        # <module>.<class>.<method>[(<param+)],
 
2644
        # doctest.DocTestCase can have ids like:
 
2645
        # <module>
 
2646
        # <module>.<class>
 
2647
        # <module>.<function>
 
2648
        # <module>.<class>.<method>
 
2649
 
 
2650
        # Since we can't predict a test class from its name only, we settle on
 
2651
        # a simple constraint: a test id always begins with its module name.
 
2652
 
 
2653
        modules = {}
 
2654
        for test_id in test_id_list:
 
2655
            parts = test_id.split('.')
 
2656
            mod_name = parts.pop(0)
 
2657
            modules[mod_name] = True
 
2658
            for part in parts:
 
2659
                mod_name += '.' + part
 
2660
                modules[mod_name] = True
 
2661
        self.modules = modules
 
2662
 
 
2663
    def is_module_name_used(self, module_name):
 
2664
        """Is there tests for the module or one of its sub modules."""
 
2665
        return self.modules.has_key(module_name)
 
2666
 
 
2667
    def test_in(self, test_id):
 
2668
        return self.tests.has_key(test_id)
 
2669
 
 
2670
 
 
2671
def test_suite(keep_only=None):
 
2672
    """Build and return TestSuite for the whole of bzrlib.
 
2673
 
 
2674
    :param keep_only: A list of test ids limiting the suite returned.
 
2675
 
 
2676
    This function can be replaced if you need to change the default test
 
2677
    suite on a global basis, but it is not encouraged.
 
2678
    """
 
2679
    testmod_names = [
 
2680
                   'bzrlib.util.tests.test_bencode',
 
2681
                   'bzrlib.tests.test__dirstate_helpers',
 
2682
                   'bzrlib.tests.test_ancestry',
 
2683
                   'bzrlib.tests.test_annotate',
 
2684
                   'bzrlib.tests.test_api',
 
2685
                   'bzrlib.tests.test_atomicfile',
 
2686
                   'bzrlib.tests.test_bad_files',
 
2687
                   'bzrlib.tests.test_bisect_multi',
 
2688
                   'bzrlib.tests.test_branch',
 
2689
                   'bzrlib.tests.test_branchbuilder',
 
2690
                   'bzrlib.tests.test_bugtracker',
 
2691
                   'bzrlib.tests.test_bundle',
 
2692
                   'bzrlib.tests.test_bzrdir',
 
2693
                   'bzrlib.tests.test_cache_utf8',
 
2694
                   'bzrlib.tests.test_commands',
 
2695
                   'bzrlib.tests.test_commit',
 
2696
                   'bzrlib.tests.test_commit_merge',
 
2697
                   'bzrlib.tests.test_config',
 
2698
                   'bzrlib.tests.test_conflicts',
 
2699
                   'bzrlib.tests.test_counted_lock',
 
2700
                   'bzrlib.tests.test_decorators',
 
2701
                   'bzrlib.tests.test_delta',
 
2702
                   'bzrlib.tests.test_deprecated_graph',
 
2703
                   'bzrlib.tests.test_diff',
 
2704
                   'bzrlib.tests.test_dirstate',
 
2705
                   'bzrlib.tests.test_directory_service',
 
2706
                   'bzrlib.tests.test_email_message',
 
2707
                   'bzrlib.tests.test_errors',
 
2708
                   'bzrlib.tests.test_escaped_store',
 
2709
                   'bzrlib.tests.test_extract',
 
2710
                   'bzrlib.tests.test_fetch',
 
2711
                   'bzrlib.tests.test_ftp_transport',
 
2712
                   'bzrlib.tests.test_generate_docs',
 
2713
                   'bzrlib.tests.test_generate_ids',
 
2714
                   'bzrlib.tests.test_globbing',
 
2715
                   'bzrlib.tests.test_gpg',
 
2716
                   'bzrlib.tests.test_graph',
 
2717
                   'bzrlib.tests.test_hashcache',
 
2718
                   'bzrlib.tests.test_help',
 
2719
                   'bzrlib.tests.test_hooks',
 
2720
                   'bzrlib.tests.test_http',
 
2721
                   'bzrlib.tests.test_http_implementations',
 
2722
                   'bzrlib.tests.test_http_response',
 
2723
                   'bzrlib.tests.test_https_ca_bundle',
 
2724
                   'bzrlib.tests.test_identitymap',
 
2725
                   'bzrlib.tests.test_ignores',
 
2726
                   'bzrlib.tests.test_index',
 
2727
                   'bzrlib.tests.test_info',
 
2728
                   'bzrlib.tests.test_inv',
 
2729
                   'bzrlib.tests.test_knit',
 
2730
                   'bzrlib.tests.test_lazy_import',
 
2731
                   'bzrlib.tests.test_lazy_regex',
 
2732
                   'bzrlib.tests.test_lockdir',
 
2733
                   'bzrlib.tests.test_lockable_files',
 
2734
                   'bzrlib.tests.test_log',
 
2735
                   'bzrlib.tests.test_lsprof',
 
2736
                   'bzrlib.tests.test_lru_cache',
 
2737
                   'bzrlib.tests.test_mail_client',
 
2738
                   'bzrlib.tests.test_memorytree',
 
2739
                   'bzrlib.tests.test_merge',
 
2740
                   'bzrlib.tests.test_merge3',
 
2741
                   'bzrlib.tests.test_merge_core',
 
2742
                   'bzrlib.tests.test_merge_directive',
 
2743
                   'bzrlib.tests.test_missing',
 
2744
                   'bzrlib.tests.test_msgeditor',
 
2745
                   'bzrlib.tests.test_multiparent',
 
2746
                   'bzrlib.tests.test_nonascii',
 
2747
                   'bzrlib.tests.test_options',
 
2748
                   'bzrlib.tests.test_osutils',
 
2749
                   'bzrlib.tests.test_osutils_encodings',
 
2750
                   'bzrlib.tests.test_pack',
 
2751
                   'bzrlib.tests.test_patch',
 
2752
                   'bzrlib.tests.test_patches',
 
2753
                   'bzrlib.tests.test_permissions',
 
2754
                   'bzrlib.tests.test_plugins',
 
2755
                   'bzrlib.tests.test_progress',
 
2756
                   'bzrlib.tests.test_reconfigure',
 
2757
                   'bzrlib.tests.test_reconcile',
 
2758
                   'bzrlib.tests.test_registry',
 
2759
                   'bzrlib.tests.test_remote',
 
2760
                   'bzrlib.tests.test_repository',
 
2761
                   'bzrlib.tests.test_revert',
 
2762
                   'bzrlib.tests.test_revision',
 
2763
                   'bzrlib.tests.test_revisionnamespaces',
 
2764
                   'bzrlib.tests.test_revisiontree',
 
2765
                   'bzrlib.tests.test_rio',
 
2766
                   'bzrlib.tests.test_sampler',
 
2767
                   'bzrlib.tests.test_selftest',
 
2768
                   'bzrlib.tests.test_setup',
 
2769
                   'bzrlib.tests.test_sftp_transport',
 
2770
                   'bzrlib.tests.test_smart',
 
2771
                   'bzrlib.tests.test_smart_add',
 
2772
                   'bzrlib.tests.test_smart_transport',
 
2773
                   'bzrlib.tests.test_smtp_connection',
 
2774
                   'bzrlib.tests.test_source',
 
2775
                   'bzrlib.tests.test_ssh_transport',
 
2776
                   'bzrlib.tests.test_status',
 
2777
                   'bzrlib.tests.test_store',
 
2778
                   'bzrlib.tests.test_strace',
 
2779
                   'bzrlib.tests.test_subsume',
 
2780
                   'bzrlib.tests.test_switch',
 
2781
                   'bzrlib.tests.test_symbol_versioning',
 
2782
                   'bzrlib.tests.test_tag',
 
2783
                   'bzrlib.tests.test_testament',
 
2784
                   'bzrlib.tests.test_textfile',
 
2785
                   'bzrlib.tests.test_textmerge',
 
2786
                   'bzrlib.tests.test_timestamp',
 
2787
                   'bzrlib.tests.test_trace',
 
2788
                   'bzrlib.tests.test_transactions',
 
2789
                   'bzrlib.tests.test_transform',
 
2790
                   'bzrlib.tests.test_transport',
 
2791
                   'bzrlib.tests.test_tree',
 
2792
                   'bzrlib.tests.test_treebuilder',
 
2793
                   'bzrlib.tests.test_tsort',
 
2794
                   'bzrlib.tests.test_tuned_gzip',
 
2795
                   'bzrlib.tests.test_ui',
 
2796
                   'bzrlib.tests.test_uncommit',
 
2797
                   'bzrlib.tests.test_upgrade',
 
2798
                   'bzrlib.tests.test_urlutils',
 
2799
                   'bzrlib.tests.test_versionedfile',
 
2800
                   'bzrlib.tests.test_version',
 
2801
                   'bzrlib.tests.test_version_info',
 
2802
                   'bzrlib.tests.test_weave',
 
2803
                   'bzrlib.tests.test_whitebox',
 
2804
                   'bzrlib.tests.test_win32utils',
 
2805
                   'bzrlib.tests.test_workingtree',
 
2806
                   'bzrlib.tests.test_workingtree_4',
 
2807
                   'bzrlib.tests.test_wsgi',
 
2808
                   'bzrlib.tests.test_xml',
 
2809
                   ]
 
2810
    test_transport_implementations = [
 
2811
        'bzrlib.tests.test_transport_implementations',
 
2812
        'bzrlib.tests.test_read_bundle',
 
2813
        ]
 
2814
    suite = TestUtil.TestSuite()
 
2815
    loader = TestUtil.TestLoader()
 
2816
 
 
2817
    if keep_only is not None:
 
2818
        id_filter = TestIdList(keep_only)
 
2819
 
 
2820
    # modules building their suite with loadTestsFromModuleNames
 
2821
    if keep_only is None:
 
2822
        suite.addTest(loader.loadTestsFromModuleNames(testmod_names))
 
2823
    else:
 
2824
        for mod in [m for m in testmod_names
 
2825
                    if id_filter.is_module_name_used(m)]:
 
2826
            mod_suite = loader.loadTestsFromModuleNames([mod])
 
2827
            mod_suite = filter_suite_by_id_list(mod_suite, id_filter)
 
2828
            suite.addTest(mod_suite)
 
2829
 
 
2830
    # modules adapted for transport implementations
 
2831
    from bzrlib.tests.test_transport_implementations import TransportTestProviderAdapter
 
2832
    adapter = TransportTestProviderAdapter()
 
2833
    if keep_only is None:
 
2834
        adapt_modules(test_transport_implementations, adapter, loader, suite)
 
2835
    else:
 
2836
        for mod in [m for m in test_transport_implementations
 
2837
                    if id_filter.is_module_name_used(m)]:
 
2838
            mod_suite = TestUtil.TestSuite()
 
2839
            adapt_modules([mod], adapter, loader, mod_suite)
 
2840
            mod_suite = filter_suite_by_id_list(mod_suite, id_filter)
 
2841
            suite.addTest(mod_suite)
 
2842
 
 
2843
    # modules defining their own test_suite()
 
2844
    for package in [p for p in packages_to_test()
 
2845
                    if (keep_only is None
 
2846
                        or id_filter.is_module_name_used(p.__name__))]:
 
2847
        pack_suite = package.test_suite()
 
2848
        if keep_only is not None:
 
2849
            pack_suite = filter_suite_by_id_list(pack_suite, id_filter)
 
2850
        suite.addTest(pack_suite)
 
2851
 
 
2852
    # XXX: MODULES_TO_TEST should be obsoleted ?
 
2853
    for mod in [m for m in MODULES_TO_TEST
 
2854
                if keep_only is None or id_filter.is_module_name_used(m)]:
 
2855
        mod_suite = loader.loadTestsFromModule(mod)
 
2856
        if keep_only is not None:
 
2857
            mod_suite = filter_suite_by_id_list(mod_suite, id_filter)
 
2858
        suite.addTest(mod_suite)
 
2859
 
 
2860
    for mod in MODULES_TO_DOCTEST:
 
2861
        try:
 
2862
            doc_suite = doctest.DocTestSuite(mod)
 
2863
        except ValueError, e:
 
2864
            print '**failed to get doctest for: %s\n%s' % (mod, e)
 
2865
            raise
 
2866
        if keep_only is not None:
 
2867
            # DocTests may use ids which doesn't contain the module name
 
2868
            doc_suite = filter_suite_by_id_list(doc_suite, id_filter)
 
2869
        suite.addTest(doc_suite)
 
2870
 
 
2871
    default_encoding = sys.getdefaultencoding()
 
2872
    for name, plugin in bzrlib.plugin.plugins().items():
 
2873
        if keep_only is not None:
 
2874
            if not id_filter.is_module_name_used(plugin.module.__name__):
 
2875
                continue
 
2876
        plugin_suite = plugin.test_suite()
 
2877
        # We used to catch ImportError here and turn it into just a warning,
 
2878
        # but really if you don't have --no-plugins this should be a failure.
 
2879
        # mbp 20080213 - see http://bugs.launchpad.net/bugs/189771
 
2880
        if plugin_suite is not None:
 
2881
            if keep_only is not None:
 
2882
                plugin_suite = filter_suite_by_id_list(plugin_suite,
 
2883
                                                       id_filter)
 
2884
            suite.addTest(plugin_suite)
 
2885
        if default_encoding != sys.getdefaultencoding():
 
2886
            bzrlib.trace.warning(
 
2887
                'Plugin "%s" tried to reset default encoding to: %s', name,
 
2888
                sys.getdefaultencoding())
 
2889
            reload(sys)
 
2890
            sys.setdefaultencoding(default_encoding)
 
2891
 
 
2892
    if keep_only is not None:
 
2893
        # Do some sanity checks on the id_list filtering
 
2894
        not_found, duplicates = suite_matches_id_list(suite, keep_only)
 
2895
        for id in not_found:
 
2896
            bzrlib.trace.warning('"%s" not found in the test suite', id)
 
2897
        for id in duplicates:
 
2898
            bzrlib.trace.warning('"%s" is used as an id by several tests', id)
 
2899
 
 
2900
    return suite
 
2901
 
 
2902
 
 
2903
def multiply_tests_from_modules(module_name_list, scenario_iter):
 
2904
    """Adapt all tests in some given modules to given scenarios.
 
2905
 
 
2906
    This is the recommended public interface for test parameterization.
 
2907
    Typically the test_suite() method for a per-implementation test
 
2908
    suite will call multiply_tests_from_modules and return the 
 
2909
    result.
 
2910
 
 
2911
    :param module_name_list: List of fully-qualified names of test
 
2912
        modules.
 
2913
    :param scenario_iter: Iterable of pairs of (scenario_name, 
 
2914
        scenario_param_dict).
 
2915
 
 
2916
    This returns a new TestSuite containing the cross product of
 
2917
    all the tests in all the modules, each repeated for each scenario.
 
2918
    Each test is adapted by adding the scenario name at the end 
 
2919
    of its name, and updating the test object's __dict__ with the
 
2920
    scenario_param_dict.
 
2921
 
 
2922
    >>> r = multiply_tests_from_modules(
 
2923
    ...     ['bzrlib.tests.test_sampler'],
 
2924
    ...     [('one', dict(param=1)), 
 
2925
    ...      ('two', dict(param=2))])
 
2926
    >>> tests = list(iter_suite_tests(r))
 
2927
    >>> len(tests)
 
2928
    2
 
2929
    >>> tests[0].id()
 
2930
    'bzrlib.tests.test_sampler.DemoTest.test_nothing(one)'
 
2931
    >>> tests[0].param
 
2932
    1
 
2933
    >>> tests[1].param
 
2934
    2
 
2935
    """
 
2936
    loader = TestLoader()
 
2937
    suite = TestSuite()
 
2938
    adapter = TestScenarioApplier()
 
2939
    adapter.scenarios = list(scenario_iter)
 
2940
    adapt_modules(module_name_list, adapter, loader, suite)
 
2941
    return suite
 
2942
 
 
2943
 
 
2944
def multiply_scenarios(scenarios_left, scenarios_right):
 
2945
    """Multiply two sets of scenarios.
 
2946
 
 
2947
    :returns: the cartesian product of the two sets of scenarios, that is
 
2948
        a scenario for every possible combination of a left scenario and a
 
2949
        right scenario.
 
2950
    """
 
2951
    return [
 
2952
        ('%s,%s' % (left_name, right_name),
 
2953
         dict(left_dict.items() + right_dict.items()))
 
2954
        for left_name, left_dict in scenarios_left
 
2955
        for right_name, right_dict in scenarios_right]
 
2956
 
 
2957
 
 
2958
 
 
2959
def adapt_modules(mods_list, adapter, loader, suite):
 
2960
    """Adapt the modules in mods_list using adapter and add to suite."""
 
2961
    for test in iter_suite_tests(loader.loadTestsFromModuleNames(mods_list)):
 
2962
        suite.addTests(adapter.adapt(test))
 
2963
 
 
2964
 
 
2965
def adapt_tests(tests_list, adapter, loader, suite):
 
2966
    """Adapt the tests in tests_list using adapter and add to suite."""
 
2967
    for test in tests_list:
 
2968
        suite.addTests(adapter.adapt(loader.loadTestsFromName(test)))
 
2969
 
 
2970
 
 
2971
def _rmtree_temp_dir(dirname):
 
2972
    # If LANG=C we probably have created some bogus paths
 
2973
    # which rmtree(unicode) will fail to delete
 
2974
    # so make sure we are using rmtree(str) to delete everything
 
2975
    # except on win32, where rmtree(str) will fail
 
2976
    # since it doesn't have the property of byte-stream paths
 
2977
    # (they are either ascii or mbcs)
 
2978
    if sys.platform == 'win32':
 
2979
        # make sure we are using the unicode win32 api
 
2980
        dirname = unicode(dirname)
 
2981
    else:
 
2982
        dirname = dirname.encode(sys.getfilesystemencoding())
 
2983
    try:
 
2984
        osutils.rmtree(dirname)
 
2985
    except OSError, e:
 
2986
        if sys.platform == 'win32' and e.errno == errno.EACCES:
 
2987
            sys.stderr.write(('Permission denied: '
 
2988
                                 'unable to remove testing dir '
 
2989
                                 '%s\n' % os.path.basename(dirname)))
 
2990
        else:
 
2991
            raise
 
2992
 
 
2993
 
 
2994
class Feature(object):
 
2995
    """An operating system Feature."""
 
2996
 
 
2997
    def __init__(self):
 
2998
        self._available = None
 
2999
 
 
3000
    def available(self):
 
3001
        """Is the feature available?
 
3002
 
 
3003
        :return: True if the feature is available.
 
3004
        """
 
3005
        if self._available is None:
 
3006
            self._available = self._probe()
 
3007
        return self._available
 
3008
 
 
3009
    def _probe(self):
 
3010
        """Implement this method in concrete features.
 
3011
 
 
3012
        :return: True if the feature is available.
 
3013
        """
 
3014
        raise NotImplementedError
 
3015
 
 
3016
    def __str__(self):
 
3017
        if getattr(self, 'feature_name', None):
 
3018
            return self.feature_name()
 
3019
        return self.__class__.__name__
 
3020
 
 
3021
 
 
3022
class _SymlinkFeature(Feature):
 
3023
 
 
3024
    def _probe(self):
 
3025
        return osutils.has_symlinks()
 
3026
 
 
3027
    def feature_name(self):
 
3028
        return 'symlinks'
 
3029
 
 
3030
SymlinkFeature = _SymlinkFeature()
 
3031
 
 
3032
 
 
3033
class _HardlinkFeature(Feature):
 
3034
 
 
3035
    def _probe(self):
 
3036
        return osutils.has_hardlinks()
 
3037
 
 
3038
    def feature_name(self):
 
3039
        return 'hardlinks'
 
3040
 
 
3041
HardlinkFeature = _HardlinkFeature()
 
3042
 
 
3043
 
 
3044
class _OsFifoFeature(Feature):
 
3045
 
 
3046
    def _probe(self):
 
3047
        return getattr(os, 'mkfifo', None)
 
3048
 
 
3049
    def feature_name(self):
 
3050
        return 'filesystem fifos'
 
3051
 
 
3052
OsFifoFeature = _OsFifoFeature()
 
3053
 
 
3054
 
 
3055
class TestScenarioApplier(object):
 
3056
    """A tool to apply scenarios to tests."""
 
3057
 
 
3058
    def adapt(self, test):
 
3059
        """Return a TestSuite containing a copy of test for each scenario."""
 
3060
        result = unittest.TestSuite()
 
3061
        for scenario in self.scenarios:
 
3062
            result.addTest(self.adapt_test_to_scenario(test, scenario))
 
3063
        return result
 
3064
 
 
3065
    def adapt_test_to_scenario(self, test, scenario):
 
3066
        """Copy test and apply scenario to it.
 
3067
 
 
3068
        :param test: A test to adapt.
 
3069
        :param scenario: A tuple describing the scenarion.
 
3070
            The first element of the tuple is the new test id.
 
3071
            The second element is a dict containing attributes to set on the
 
3072
            test.
 
3073
        :return: The adapted test.
 
3074
        """
 
3075
        from copy import deepcopy
 
3076
        new_test = deepcopy(test)
 
3077
        for name, value in scenario[1].items():
 
3078
            setattr(new_test, name, value)
 
3079
        new_id = "%s(%s)" % (new_test.id(), scenario[0])
 
3080
        new_test.id = lambda: new_id
 
3081
        return new_test
 
3082
 
 
3083
 
 
3084
def probe_unicode_in_user_encoding():
 
3085
    """Try to encode several unicode strings to use in unicode-aware tests.
 
3086
    Return first successfull match.
 
3087
 
 
3088
    :return:  (unicode value, encoded plain string value) or (None, None)
 
3089
    """
 
3090
    possible_vals = [u'm\xb5', u'\xe1', u'\u0410']
 
3091
    for uni_val in possible_vals:
 
3092
        try:
 
3093
            str_val = uni_val.encode(bzrlib.user_encoding)
 
3094
        except UnicodeEncodeError:
 
3095
            # Try a different character
 
3096
            pass
 
3097
        else:
 
3098
            return uni_val, str_val
 
3099
    return None, None
 
3100
 
 
3101
 
 
3102
def probe_bad_non_ascii(encoding):
 
3103
    """Try to find [bad] character with code [128..255]
 
3104
    that cannot be decoded to unicode in some encoding.
 
3105
    Return None if all non-ascii characters is valid
 
3106
    for given encoding.
 
3107
    """
 
3108
    for i in xrange(128, 256):
 
3109
        char = chr(i)
 
3110
        try:
 
3111
            char.decode(encoding)
 
3112
        except UnicodeDecodeError:
 
3113
            return char
 
3114
    return None
 
3115
 
 
3116
 
 
3117
class _FTPServerFeature(Feature):
 
3118
    """Some tests want an FTP Server, check if one is available.
 
3119
 
 
3120
    Right now, the only way this is available is if 'medusa' is installed.
 
3121
    http://www.amk.ca/python/code/medusa.html
 
3122
    """
 
3123
 
 
3124
    def _probe(self):
 
3125
        try:
 
3126
            import bzrlib.tests.ftp_server
 
3127
            return True
 
3128
        except ImportError:
 
3129
            return False
 
3130
 
 
3131
    def feature_name(self):
 
3132
        return 'FTPServer'
 
3133
 
 
3134
FTPServerFeature = _FTPServerFeature()
 
3135
 
 
3136
 
 
3137
class _CaseInsensitiveFilesystemFeature(Feature):
 
3138
    """Check if underlined filesystem is case-insensitive
 
3139
    (e.g. on Windows, Cygwin, MacOS)
 
3140
    """
 
3141
 
 
3142
    def _probe(self):
 
3143
        if TestCaseWithMemoryTransport.TEST_ROOT is None:
 
3144
            root = osutils.mkdtemp(prefix='testbzr-', suffix='.tmp')
 
3145
            TestCaseWithMemoryTransport.TEST_ROOT = root
 
3146
        else:
 
3147
            root = TestCaseWithMemoryTransport.TEST_ROOT
 
3148
        tdir = osutils.mkdtemp(prefix='case-sensitive-probe-', suffix='',
 
3149
            dir=root)
 
3150
        name_a = osutils.pathjoin(tdir, 'a')
 
3151
        name_A = osutils.pathjoin(tdir, 'A')
 
3152
        os.mkdir(name_a)
 
3153
        result = osutils.isdir(name_A)
 
3154
        _rmtree_temp_dir(tdir)
 
3155
        return result
 
3156
 
 
3157
    def feature_name(self):
 
3158
        return 'case-insensitive filesystem'
 
3159
 
 
3160
CaseInsensitiveFilesystemFeature = _CaseInsensitiveFilesystemFeature()