/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/tests/__init__.py

  • Committer: John Arbash Meinel
  • Date: 2008-08-22 02:09:36 UTC
  • mto: This revision was merged to the branch mainline in revision 3644.
  • Revision ID: john@arbash-meinel.com-20080822020936-gtpffetj2a7xkw0x
Cleanup the copyright headers

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005, 2006, 2007, 2008 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
 
 
18
# TODO: Perhaps there should be an API to find out if bzr running under the
 
19
# test suite -- some plugins might want to avoid making intrusive changes if
 
20
# this is the case.  However, we want behaviour under to test to diverge as
 
21
# little as possible, so this should be used rarely if it's added at all.
 
22
# (Suggestion from j-a-meinel, 2005-11-24)
 
23
 
 
24
# NOTE: Some classes in here use camelCaseNaming() rather than
 
25
# underscore_naming().  That's for consistency with unittest; it's not the
 
26
# general style of bzrlib.  Please continue that consistency when adding e.g.
 
27
# new assertFoo() methods.
 
28
 
 
29
import atexit
 
30
import codecs
 
31
from cStringIO import StringIO
 
32
import difflib
 
33
import doctest
 
34
import errno
 
35
import logging
 
36
import os
 
37
from pprint import pformat
 
38
import random
 
39
import re
 
40
import shlex
 
41
import stat
 
42
from subprocess import Popen, PIPE
 
43
import sys
 
44
import tempfile
 
45
import threading
 
46
import time
 
47
import unittest
 
48
import warnings
 
49
 
 
50
 
 
51
from bzrlib import (
 
52
    branchbuilder,
 
53
    bzrdir,
 
54
    debug,
 
55
    errors,
 
56
    memorytree,
 
57
    osutils,
 
58
    progress,
 
59
    ui,
 
60
    urlutils,
 
61
    workingtree,
 
62
    )
 
63
import bzrlib.branch
 
64
import bzrlib.commands
 
65
import bzrlib.timestamp
 
66
import bzrlib.export
 
67
import bzrlib.inventory
 
68
import bzrlib.iterablefile
 
69
import bzrlib.lockdir
 
70
try:
 
71
    import bzrlib.lsprof
 
72
except ImportError:
 
73
    # lsprof not available
 
74
    pass
 
75
from bzrlib.merge import merge_inner
 
76
import bzrlib.merge3
 
77
import bzrlib.plugin
 
78
import bzrlib.store
 
79
from bzrlib import symbol_versioning
 
80
from bzrlib.symbol_versioning import (
 
81
    DEPRECATED_PARAMETER,
 
82
    deprecated_function,
 
83
    deprecated_method,
 
84
    deprecated_passed,
 
85
    )
 
86
import bzrlib.trace
 
87
from bzrlib.transport import get_transport
 
88
import bzrlib.transport
 
89
from bzrlib.transport.local import LocalURLServer
 
90
from bzrlib.transport.memory import MemoryServer
 
91
from bzrlib.transport.readonly import ReadonlyServer
 
92
from bzrlib.trace import mutter, note
 
93
from bzrlib.tests import TestUtil
 
94
from bzrlib.tests.http_server import HttpServer
 
95
from bzrlib.tests.TestUtil import (
 
96
                          TestSuite,
 
97
                          TestLoader,
 
98
                          )
 
99
from bzrlib.tests.treeshape import build_tree_contents
 
100
import bzrlib.version_info_formats.format_custom
 
101
from bzrlib.workingtree import WorkingTree, WorkingTreeFormat2
 
102
 
 
103
# Mark this python module as being part of the implementation
 
104
# of unittest: this gives us better tracebacks where the last
 
105
# shown frame is the test code, not our assertXYZ.
 
106
__unittest = 1
 
107
 
 
108
default_transport = LocalURLServer
 
109
 
 
110
 
 
111
class ExtendedTestResult(unittest._TextTestResult):
 
112
    """Accepts, reports and accumulates the results of running tests.
 
113
 
 
114
    Compared to the unittest version this class adds support for
 
115
    profiling, benchmarking, stopping as soon as a test fails,  and
 
116
    skipping tests.  There are further-specialized subclasses for
 
117
    different types of display.
 
118
 
 
119
    When a test finishes, in whatever way, it calls one of the addSuccess,
 
120
    addFailure or addError classes.  These in turn may redirect to a more
 
121
    specific case for the special test results supported by our extended
 
122
    tests.
 
123
 
 
124
    Note that just one of these objects is fed the results from many tests.
 
125
    """
 
126
 
 
127
    stop_early = False
 
128
    
 
129
    def __init__(self, stream, descriptions, verbosity,
 
130
                 bench_history=None,
 
131
                 num_tests=None,
 
132
                 ):
 
133
        """Construct new TestResult.
 
134
 
 
135
        :param bench_history: Optionally, a writable file object to accumulate
 
136
            benchmark results.
 
137
        """
 
138
        unittest._TextTestResult.__init__(self, stream, descriptions, verbosity)
 
139
        if bench_history is not None:
 
140
            from bzrlib.version import _get_bzr_source_tree
 
141
            src_tree = _get_bzr_source_tree()
 
142
            if src_tree:
 
143
                try:
 
144
                    revision_id = src_tree.get_parent_ids()[0]
 
145
                except IndexError:
 
146
                    # XXX: if this is a brand new tree, do the same as if there
 
147
                    # is no branch.
 
148
                    revision_id = ''
 
149
            else:
 
150
                # XXX: If there's no branch, what should we do?
 
151
                revision_id = ''
 
152
            bench_history.write("--date %s %s\n" % (time.time(), revision_id))
 
153
        self._bench_history = bench_history
 
154
        self.ui = ui.ui_factory
 
155
        self.num_tests = num_tests
 
156
        self.error_count = 0
 
157
        self.failure_count = 0
 
158
        self.known_failure_count = 0
 
159
        self.skip_count = 0
 
160
        self.not_applicable_count = 0
 
161
        self.unsupported = {}
 
162
        self.count = 0
 
163
        self._overall_start_time = time.time()
 
164
    
 
165
    def _extractBenchmarkTime(self, testCase):
 
166
        """Add a benchmark time for the current test case."""
 
167
        return getattr(testCase, "_benchtime", None)
 
168
    
 
169
    def _elapsedTestTimeString(self):
 
170
        """Return a time string for the overall time the current test has taken."""
 
171
        return self._formatTime(time.time() - self._start_time)
 
172
 
 
173
    def _testTimeString(self, testCase):
 
174
        benchmark_time = self._extractBenchmarkTime(testCase)
 
175
        if benchmark_time is not None:
 
176
            return "%s/%s" % (
 
177
                self._formatTime(benchmark_time),
 
178
                self._elapsedTestTimeString())
 
179
        else:
 
180
            return "           %s" % self._elapsedTestTimeString()
 
181
 
 
182
    def _formatTime(self, seconds):
 
183
        """Format seconds as milliseconds with leading spaces."""
 
184
        # some benchmarks can take thousands of seconds to run, so we need 8
 
185
        # places
 
186
        return "%8dms" % (1000 * seconds)
 
187
 
 
188
    def _shortened_test_description(self, test):
 
189
        what = test.id()
 
190
        what = re.sub(r'^bzrlib\.(tests|benchmarks)\.', '', what)
 
191
        return what
 
192
 
 
193
    def startTest(self, test):
 
194
        unittest.TestResult.startTest(self, test)
 
195
        self.report_test_start(test)
 
196
        test.number = self.count
 
197
        self._recordTestStartTime()
 
198
 
 
199
    def _recordTestStartTime(self):
 
200
        """Record that a test has started."""
 
201
        self._start_time = time.time()
 
202
 
 
203
    def _cleanupLogFile(self, test):
 
204
        # We can only do this if we have one of our TestCases, not if
 
205
        # we have a doctest.
 
206
        setKeepLogfile = getattr(test, 'setKeepLogfile', None)
 
207
        if setKeepLogfile is not None:
 
208
            setKeepLogfile()
 
209
 
 
210
    def addError(self, test, err):
 
211
        """Tell result that test finished with an error.
 
212
 
 
213
        Called from the TestCase run() method when the test
 
214
        fails with an unexpected error.
 
215
        """
 
216
        self._testConcluded(test)
 
217
        if isinstance(err[1], TestSkipped):
 
218
            return self._addSkipped(test, err)
 
219
        elif isinstance(err[1], UnavailableFeature):
 
220
            return self.addNotSupported(test, err[1].args[0])
 
221
        else:
 
222
            unittest.TestResult.addError(self, test, err)
 
223
            self.error_count += 1
 
224
            self.report_error(test, err)
 
225
            if self.stop_early:
 
226
                self.stop()
 
227
            self._cleanupLogFile(test)
 
228
 
 
229
    def addFailure(self, test, err):
 
230
        """Tell result that test failed.
 
231
 
 
232
        Called from the TestCase run() method when the test
 
233
        fails because e.g. an assert() method failed.
 
234
        """
 
235
        self._testConcluded(test)
 
236
        if isinstance(err[1], KnownFailure):
 
237
            return self._addKnownFailure(test, err)
 
238
        else:
 
239
            unittest.TestResult.addFailure(self, test, err)
 
240
            self.failure_count += 1
 
241
            self.report_failure(test, err)
 
242
            if self.stop_early:
 
243
                self.stop()
 
244
            self._cleanupLogFile(test)
 
245
 
 
246
    def addSuccess(self, test):
 
247
        """Tell result that test completed successfully.
 
248
 
 
249
        Called from the TestCase run()
 
250
        """
 
251
        self._testConcluded(test)
 
252
        if self._bench_history is not None:
 
253
            benchmark_time = self._extractBenchmarkTime(test)
 
254
            if benchmark_time is not None:
 
255
                self._bench_history.write("%s %s\n" % (
 
256
                    self._formatTime(benchmark_time),
 
257
                    test.id()))
 
258
        self.report_success(test)
 
259
        self._cleanupLogFile(test)
 
260
        unittest.TestResult.addSuccess(self, test)
 
261
        test._log_contents = ''
 
262
 
 
263
    def _testConcluded(self, test):
 
264
        """Common code when a test has finished.
 
265
 
 
266
        Called regardless of whether it succeded, failed, etc.
 
267
        """
 
268
        pass
 
269
 
 
270
    def _addKnownFailure(self, test, err):
 
271
        self.known_failure_count += 1
 
272
        self.report_known_failure(test, err)
 
273
 
 
274
    def addNotSupported(self, test, feature):
 
275
        """The test will not be run because of a missing feature.
 
276
        """
 
277
        # this can be called in two different ways: it may be that the
 
278
        # test started running, and then raised (through addError) 
 
279
        # UnavailableFeature.  Alternatively this method can be called
 
280
        # while probing for features before running the tests; in that
 
281
        # case we will see startTest and stopTest, but the test will never
 
282
        # actually run.
 
283
        self.unsupported.setdefault(str(feature), 0)
 
284
        self.unsupported[str(feature)] += 1
 
285
        self.report_unsupported(test, feature)
 
286
 
 
287
    def _addSkipped(self, test, skip_excinfo):
 
288
        if isinstance(skip_excinfo[1], TestNotApplicable):
 
289
            self.not_applicable_count += 1
 
290
            self.report_not_applicable(test, skip_excinfo)
 
291
        else:
 
292
            self.skip_count += 1
 
293
            self.report_skip(test, skip_excinfo)
 
294
        try:
 
295
            test.tearDown()
 
296
        except KeyboardInterrupt:
 
297
            raise
 
298
        except:
 
299
            self.addError(test, test._exc_info())
 
300
        else:
 
301
            # seems best to treat this as success from point-of-view of unittest
 
302
            # -- it actually does nothing so it barely matters :)
 
303
            unittest.TestResult.addSuccess(self, test)
 
304
            test._log_contents = ''
 
305
 
 
306
    def printErrorList(self, flavour, errors):
 
307
        for test, err in errors:
 
308
            self.stream.writeln(self.separator1)
 
309
            self.stream.write("%s: " % flavour)
 
310
            self.stream.writeln(self.getDescription(test))
 
311
            if getattr(test, '_get_log', None) is not None:
 
312
                self.stream.write('\n')
 
313
                self.stream.write(
 
314
                        ('vvvv[log from %s]' % test.id()).ljust(78,'-'))
 
315
                self.stream.write('\n')
 
316
                self.stream.write(test._get_log())
 
317
                self.stream.write('\n')
 
318
                self.stream.write(
 
319
                        ('^^^^[log from %s]' % test.id()).ljust(78,'-'))
 
320
                self.stream.write('\n')
 
321
            self.stream.writeln(self.separator2)
 
322
            self.stream.writeln("%s" % err)
 
323
 
 
324
    def finished(self):
 
325
        pass
 
326
 
 
327
    def report_cleaning_up(self):
 
328
        pass
 
329
 
 
330
    def report_success(self, test):
 
331
        pass
 
332
 
 
333
    def wasStrictlySuccessful(self):
 
334
        if self.unsupported or self.known_failure_count:
 
335
            return False
 
336
        return self.wasSuccessful()
 
337
 
 
338
 
 
339
class TextTestResult(ExtendedTestResult):
 
340
    """Displays progress and results of tests in text form"""
 
341
 
 
342
    def __init__(self, stream, descriptions, verbosity,
 
343
                 bench_history=None,
 
344
                 num_tests=None,
 
345
                 pb=None,
 
346
                 ):
 
347
        ExtendedTestResult.__init__(self, stream, descriptions, verbosity,
 
348
            bench_history, num_tests)
 
349
        if pb is None:
 
350
            self.pb = self.ui.nested_progress_bar()
 
351
            self._supplied_pb = False
 
352
        else:
 
353
            self.pb = pb
 
354
            self._supplied_pb = True
 
355
        self.pb.show_pct = False
 
356
        self.pb.show_spinner = False
 
357
        self.pb.show_eta = False,
 
358
        self.pb.show_count = False
 
359
        self.pb.show_bar = False
 
360
 
 
361
    def report_starting(self):
 
362
        self.pb.update('[test 0/%d] starting...' % (self.num_tests))
 
363
 
 
364
    def _progress_prefix_text(self):
 
365
        # the longer this text, the less space we have to show the test
 
366
        # name...
 
367
        a = '[%d' % self.count              # total that have been run
 
368
        # tests skipped as known not to be relevant are not important enough
 
369
        # to show here
 
370
        ## if self.skip_count:
 
371
        ##     a += ', %d skip' % self.skip_count
 
372
        ## if self.known_failure_count:
 
373
        ##     a += '+%dX' % self.known_failure_count
 
374
        if self.num_tests is not None:
 
375
            a +='/%d' % self.num_tests
 
376
        a += ' in '
 
377
        runtime = time.time() - self._overall_start_time
 
378
        if runtime >= 60:
 
379
            a += '%dm%ds' % (runtime / 60, runtime % 60)
 
380
        else:
 
381
            a += '%ds' % runtime
 
382
        if self.error_count:
 
383
            a += ', %d err' % self.error_count
 
384
        if self.failure_count:
 
385
            a += ', %d fail' % self.failure_count
 
386
        if self.unsupported:
 
387
            a += ', %d missing' % len(self.unsupported)
 
388
        a += ']'
 
389
        return a
 
390
 
 
391
    def report_test_start(self, test):
 
392
        self.count += 1
 
393
        self.pb.update(
 
394
                self._progress_prefix_text()
 
395
                + ' ' 
 
396
                + self._shortened_test_description(test))
 
397
 
 
398
    def _test_description(self, test):
 
399
        return self._shortened_test_description(test)
 
400
 
 
401
    def report_error(self, test, err):
 
402
        self.pb.note('ERROR: %s\n    %s\n', 
 
403
            self._test_description(test),
 
404
            err[1],
 
405
            )
 
406
 
 
407
    def report_failure(self, test, err):
 
408
        self.pb.note('FAIL: %s\n    %s\n', 
 
409
            self._test_description(test),
 
410
            err[1],
 
411
            )
 
412
 
 
413
    def report_known_failure(self, test, err):
 
414
        self.pb.note('XFAIL: %s\n%s\n',
 
415
            self._test_description(test), err[1])
 
416
 
 
417
    def report_skip(self, test, skip_excinfo):
 
418
        pass
 
419
 
 
420
    def report_not_applicable(self, test, skip_excinfo):
 
421
        pass
 
422
 
 
423
    def report_unsupported(self, test, feature):
 
424
        """test cannot be run because feature is missing."""
 
425
                  
 
426
    def report_cleaning_up(self):
 
427
        self.pb.update('cleaning up...')
 
428
 
 
429
    def finished(self):
 
430
        if not self._supplied_pb:
 
431
            self.pb.finished()
 
432
 
 
433
 
 
434
class VerboseTestResult(ExtendedTestResult):
 
435
    """Produce long output, with one line per test run plus times"""
 
436
 
 
437
    def _ellipsize_to_right(self, a_string, final_width):
 
438
        """Truncate and pad a string, keeping the right hand side"""
 
439
        if len(a_string) > final_width:
 
440
            result = '...' + a_string[3-final_width:]
 
441
        else:
 
442
            result = a_string
 
443
        return result.ljust(final_width)
 
444
 
 
445
    def report_starting(self):
 
446
        self.stream.write('running %d tests...\n' % self.num_tests)
 
447
 
 
448
    def report_test_start(self, test):
 
449
        self.count += 1
 
450
        name = self._shortened_test_description(test)
 
451
        # width needs space for 6 char status, plus 1 for slash, plus 2 10-char
 
452
        # numbers, plus a trailing blank
 
453
        # when NUMBERED_DIRS: plus 5 chars on test number, plus 1 char on space
 
454
        self.stream.write(self._ellipsize_to_right(name,
 
455
                          osutils.terminal_width()-30))
 
456
        self.stream.flush()
 
457
 
 
458
    def _error_summary(self, err):
 
459
        indent = ' ' * 4
 
460
        return '%s%s' % (indent, err[1])
 
461
 
 
462
    def report_error(self, test, err):
 
463
        self.stream.writeln('ERROR %s\n%s'
 
464
                % (self._testTimeString(test),
 
465
                   self._error_summary(err)))
 
466
 
 
467
    def report_failure(self, test, err):
 
468
        self.stream.writeln(' FAIL %s\n%s'
 
469
                % (self._testTimeString(test),
 
470
                   self._error_summary(err)))
 
471
 
 
472
    def report_known_failure(self, test, err):
 
473
        self.stream.writeln('XFAIL %s\n%s'
 
474
                % (self._testTimeString(test),
 
475
                   self._error_summary(err)))
 
476
 
 
477
    def report_success(self, test):
 
478
        self.stream.writeln('   OK %s' % self._testTimeString(test))
 
479
        for bench_called, stats in getattr(test, '_benchcalls', []):
 
480
            self.stream.writeln('LSProf output for %s(%s, %s)' % bench_called)
 
481
            stats.pprint(file=self.stream)
 
482
        # flush the stream so that we get smooth output. This verbose mode is
 
483
        # used to show the output in PQM.
 
484
        self.stream.flush()
 
485
 
 
486
    def report_skip(self, test, skip_excinfo):
 
487
        self.stream.writeln(' SKIP %s\n%s'
 
488
                % (self._testTimeString(test),
 
489
                   self._error_summary(skip_excinfo)))
 
490
 
 
491
    def report_not_applicable(self, test, skip_excinfo):
 
492
        self.stream.writeln('  N/A %s\n%s'
 
493
                % (self._testTimeString(test),
 
494
                   self._error_summary(skip_excinfo)))
 
495
 
 
496
    def report_unsupported(self, test, feature):
 
497
        """test cannot be run because feature is missing."""
 
498
        self.stream.writeln("NODEP %s\n    The feature '%s' is not available."
 
499
                %(self._testTimeString(test), feature))
 
500
 
 
501
 
 
502
class TextTestRunner(object):
 
503
    stop_on_failure = False
 
504
 
 
505
    def __init__(self,
 
506
                 stream=sys.stderr,
 
507
                 descriptions=0,
 
508
                 verbosity=1,
 
509
                 bench_history=None,
 
510
                 list_only=False
 
511
                 ):
 
512
        self.stream = unittest._WritelnDecorator(stream)
 
513
        self.descriptions = descriptions
 
514
        self.verbosity = verbosity
 
515
        self._bench_history = bench_history
 
516
        self.list_only = list_only
 
517
 
 
518
    def run(self, test):
 
519
        "Run the given test case or test suite."
 
520
        startTime = time.time()
 
521
        if self.verbosity == 1:
 
522
            result_class = TextTestResult
 
523
        elif self.verbosity >= 2:
 
524
            result_class = VerboseTestResult
 
525
        result = result_class(self.stream,
 
526
                              self.descriptions,
 
527
                              self.verbosity,
 
528
                              bench_history=self._bench_history,
 
529
                              num_tests=test.countTestCases(),
 
530
                              )
 
531
        result.stop_early = self.stop_on_failure
 
532
        result.report_starting()
 
533
        if self.list_only:
 
534
            if self.verbosity >= 2:
 
535
                self.stream.writeln("Listing tests only ...\n")
 
536
            run = 0
 
537
            for t in iter_suite_tests(test):
 
538
                self.stream.writeln("%s" % (t.id()))
 
539
                run += 1
 
540
            actionTaken = "Listed"
 
541
        else: 
 
542
            test.run(result)
 
543
            run = result.testsRun
 
544
            actionTaken = "Ran"
 
545
        stopTime = time.time()
 
546
        timeTaken = stopTime - startTime
 
547
        result.printErrors()
 
548
        self.stream.writeln(result.separator2)
 
549
        self.stream.writeln("%s %d test%s in %.3fs" % (actionTaken,
 
550
                            run, run != 1 and "s" or "", timeTaken))
 
551
        self.stream.writeln()
 
552
        if not result.wasSuccessful():
 
553
            self.stream.write("FAILED (")
 
554
            failed, errored = map(len, (result.failures, result.errors))
 
555
            if failed:
 
556
                self.stream.write("failures=%d" % failed)
 
557
            if errored:
 
558
                if failed: self.stream.write(", ")
 
559
                self.stream.write("errors=%d" % errored)
 
560
            if result.known_failure_count:
 
561
                if failed or errored: self.stream.write(", ")
 
562
                self.stream.write("known_failure_count=%d" %
 
563
                    result.known_failure_count)
 
564
            self.stream.writeln(")")
 
565
        else:
 
566
            if result.known_failure_count:
 
567
                self.stream.writeln("OK (known_failures=%d)" %
 
568
                    result.known_failure_count)
 
569
            else:
 
570
                self.stream.writeln("OK")
 
571
        if result.skip_count > 0:
 
572
            skipped = result.skip_count
 
573
            self.stream.writeln('%d test%s skipped' %
 
574
                                (skipped, skipped != 1 and "s" or ""))
 
575
        if result.unsupported:
 
576
            for feature, count in sorted(result.unsupported.items()):
 
577
                self.stream.writeln("Missing feature '%s' skipped %d tests." %
 
578
                    (feature, count))
 
579
        result.finished()
 
580
        return result
 
581
 
 
582
 
 
583
def iter_suite_tests(suite):
 
584
    """Return all tests in a suite, recursing through nested suites"""
 
585
    for item in suite._tests:
 
586
        if isinstance(item, unittest.TestCase):
 
587
            yield item
 
588
        elif isinstance(item, unittest.TestSuite):
 
589
            for r in iter_suite_tests(item):
 
590
                yield r
 
591
        else:
 
592
            raise Exception('unknown object %r inside test suite %r'
 
593
                            % (item, suite))
 
594
 
 
595
 
 
596
class TestSkipped(Exception):
 
597
    """Indicates that a test was intentionally skipped, rather than failing."""
 
598
 
 
599
 
 
600
class TestNotApplicable(TestSkipped):
 
601
    """A test is not applicable to the situation where it was run.
 
602
 
 
603
    This is only normally raised by parameterized tests, if they find that 
 
604
    the instance they're constructed upon does not support one aspect 
 
605
    of its interface.
 
606
    """
 
607
 
 
608
 
 
609
class KnownFailure(AssertionError):
 
610
    """Indicates that a test failed in a precisely expected manner.
 
611
 
 
612
    Such failures dont block the whole test suite from passing because they are
 
613
    indicators of partially completed code or of future work. We have an
 
614
    explicit error for them so that we can ensure that they are always visible:
 
615
    KnownFailures are always shown in the output of bzr selftest.
 
616
    """
 
617
 
 
618
 
 
619
class UnavailableFeature(Exception):
 
620
    """A feature required for this test was not available.
 
621
 
 
622
    The feature should be used to construct the exception.
 
623
    """
 
624
 
 
625
 
 
626
class CommandFailed(Exception):
 
627
    pass
 
628
 
 
629
 
 
630
class StringIOWrapper(object):
 
631
    """A wrapper around cStringIO which just adds an encoding attribute.
 
632
    
 
633
    Internally we can check sys.stdout to see what the output encoding
 
634
    should be. However, cStringIO has no encoding attribute that we can
 
635
    set. So we wrap it instead.
 
636
    """
 
637
    encoding='ascii'
 
638
    _cstring = None
 
639
 
 
640
    def __init__(self, s=None):
 
641
        if s is not None:
 
642
            self.__dict__['_cstring'] = StringIO(s)
 
643
        else:
 
644
            self.__dict__['_cstring'] = StringIO()
 
645
 
 
646
    def __getattr__(self, name, getattr=getattr):
 
647
        return getattr(self.__dict__['_cstring'], name)
 
648
 
 
649
    def __setattr__(self, name, val):
 
650
        if name == 'encoding':
 
651
            self.__dict__['encoding'] = val
 
652
        else:
 
653
            return setattr(self._cstring, name, val)
 
654
 
 
655
 
 
656
class TestUIFactory(ui.CLIUIFactory):
 
657
    """A UI Factory for testing.
 
658
 
 
659
    Hide the progress bar but emit note()s.
 
660
    Redirect stdin.
 
661
    Allows get_password to be tested without real tty attached.
 
662
    """
 
663
 
 
664
    def __init__(self,
 
665
                 stdout=None,
 
666
                 stderr=None,
 
667
                 stdin=None):
 
668
        super(TestUIFactory, self).__init__()
 
669
        if stdin is not None:
 
670
            # We use a StringIOWrapper to be able to test various
 
671
            # encodings, but the user is still responsible to
 
672
            # encode the string and to set the encoding attribute
 
673
            # of StringIOWrapper.
 
674
            self.stdin = StringIOWrapper(stdin)
 
675
        if stdout is None:
 
676
            self.stdout = sys.stdout
 
677
        else:
 
678
            self.stdout = stdout
 
679
        if stderr is None:
 
680
            self.stderr = sys.stderr
 
681
        else:
 
682
            self.stderr = stderr
 
683
 
 
684
    def clear(self):
 
685
        """See progress.ProgressBar.clear()."""
 
686
 
 
687
    def clear_term(self):
 
688
        """See progress.ProgressBar.clear_term()."""
 
689
 
 
690
    def clear_term(self):
 
691
        """See progress.ProgressBar.clear_term()."""
 
692
 
 
693
    def finished(self):
 
694
        """See progress.ProgressBar.finished()."""
 
695
 
 
696
    def note(self, fmt_string, *args, **kwargs):
 
697
        """See progress.ProgressBar.note()."""
 
698
        self.stdout.write((fmt_string + "\n") % args)
 
699
 
 
700
    def progress_bar(self):
 
701
        return self
 
702
 
 
703
    def nested_progress_bar(self):
 
704
        return self
 
705
 
 
706
    def update(self, message, count=None, total=None):
 
707
        """See progress.ProgressBar.update()."""
 
708
 
 
709
    def get_non_echoed_password(self, prompt):
 
710
        """Get password from stdin without trying to handle the echo mode"""
 
711
        if prompt:
 
712
            self.stdout.write(prompt.encode(self.stdout.encoding, 'replace'))
 
713
        password = self.stdin.readline()
 
714
        if not password:
 
715
            raise EOFError
 
716
        if password[-1] == '\n':
 
717
            password = password[:-1]
 
718
        return password
 
719
 
 
720
 
 
721
def _report_leaked_threads():
 
722
    bzrlib.trace.warning('%s is leaking threads among %d leaking tests',
 
723
                         TestCase._first_thread_leaker_id,
 
724
                         TestCase._leaking_threads_tests)
 
725
 
 
726
 
 
727
class TestCase(unittest.TestCase):
 
728
    """Base class for bzr unit tests.
 
729
    
 
730
    Tests that need access to disk resources should subclass 
 
731
    TestCaseInTempDir not TestCase.
 
732
 
 
733
    Error and debug log messages are redirected from their usual
 
734
    location into a temporary file, the contents of which can be
 
735
    retrieved by _get_log().  We use a real OS file, not an in-memory object,
 
736
    so that it can also capture file IO.  When the test completes this file
 
737
    is read into memory and removed from disk.
 
738
       
 
739
    There are also convenience functions to invoke bzr's command-line
 
740
    routine, and to build and check bzr trees.
 
741
   
 
742
    In addition to the usual method of overriding tearDown(), this class also
 
743
    allows subclasses to register functions into the _cleanups list, which is
 
744
    run in order as the object is torn down.  It's less likely this will be
 
745
    accidentally overlooked.
 
746
    """
 
747
 
 
748
    _active_threads = None
 
749
    _leaking_threads_tests = 0
 
750
    _first_thread_leaker_id = None
 
751
    _log_file_name = None
 
752
    _log_contents = ''
 
753
    _keep_log_file = False
 
754
    # record lsprof data when performing benchmark calls.
 
755
    _gather_lsprof_in_benchmarks = False
 
756
    attrs_to_keep = ('id', '_testMethodName', '_testMethodDoc',
 
757
                     '_log_contents', '_log_file_name', '_benchtime',
 
758
                     '_TestCase__testMethodName')
 
759
 
 
760
    def __init__(self, methodName='testMethod'):
 
761
        super(TestCase, self).__init__(methodName)
 
762
        self._cleanups = []
 
763
 
 
764
    def setUp(self):
 
765
        unittest.TestCase.setUp(self)
 
766
        self._cleanEnvironment()
 
767
        self._silenceUI()
 
768
        self._startLogFile()
 
769
        self._benchcalls = []
 
770
        self._benchtime = None
 
771
        self._clear_hooks()
 
772
        self._clear_debug_flags()
 
773
        TestCase._active_threads = threading.activeCount()
 
774
        self.addCleanup(self._check_leaked_threads)
 
775
 
 
776
    def _check_leaked_threads(self):
 
777
        active = threading.activeCount()
 
778
        leaked_threads = active - TestCase._active_threads
 
779
        TestCase._active_threads = active
 
780
        if leaked_threads:
 
781
            TestCase._leaking_threads_tests += 1
 
782
            if TestCase._first_thread_leaker_id is None:
 
783
                TestCase._first_thread_leaker_id = self.id()
 
784
                # we're not specifically told when all tests are finished.
 
785
                # This will do. We use a function to avoid keeping a reference
 
786
                # to a TestCase object.
 
787
                atexit.register(_report_leaked_threads)
 
788
 
 
789
    def _clear_debug_flags(self):
 
790
        """Prevent externally set debug flags affecting tests.
 
791
        
 
792
        Tests that want to use debug flags can just set them in the
 
793
        debug_flags set during setup/teardown.
 
794
        """
 
795
        if 'allow_debug' not in selftest_debug_flags:
 
796
            self._preserved_debug_flags = set(debug.debug_flags)
 
797
            debug.debug_flags.clear()
 
798
            self.addCleanup(self._restore_debug_flags)
 
799
 
 
800
    def _clear_hooks(self):
 
801
        # prevent hooks affecting tests
 
802
        import bzrlib.branch
 
803
        import bzrlib.smart.server
 
804
        self._preserved_hooks = {
 
805
            bzrlib.branch.Branch: bzrlib.branch.Branch.hooks,
 
806
            bzrlib.mutabletree.MutableTree: bzrlib.mutabletree.MutableTree.hooks,
 
807
            bzrlib.smart.server.SmartTCPServer: bzrlib.smart.server.SmartTCPServer.hooks,
 
808
            }
 
809
        self.addCleanup(self._restoreHooks)
 
810
        # reset all hooks to an empty instance of the appropriate type
 
811
        bzrlib.branch.Branch.hooks = bzrlib.branch.BranchHooks()
 
812
        bzrlib.smart.server.SmartTCPServer.hooks = bzrlib.smart.server.SmartServerHooks()
 
813
 
 
814
    def _silenceUI(self):
 
815
        """Turn off UI for duration of test"""
 
816
        # by default the UI is off; tests can turn it on if they want it.
 
817
        saved = ui.ui_factory
 
818
        def _restore():
 
819
            ui.ui_factory = saved
 
820
        ui.ui_factory = ui.SilentUIFactory()
 
821
        self.addCleanup(_restore)
 
822
 
 
823
    def _ndiff_strings(self, a, b):
 
824
        """Return ndiff between two strings containing lines.
 
825
        
 
826
        A trailing newline is added if missing to make the strings
 
827
        print properly."""
 
828
        if b and b[-1] != '\n':
 
829
            b += '\n'
 
830
        if a and a[-1] != '\n':
 
831
            a += '\n'
 
832
        difflines = difflib.ndiff(a.splitlines(True),
 
833
                                  b.splitlines(True),
 
834
                                  linejunk=lambda x: False,
 
835
                                  charjunk=lambda x: False)
 
836
        return ''.join(difflines)
 
837
 
 
838
    def assertEqual(self, a, b, message=''):
 
839
        try:
 
840
            if a == b:
 
841
                return
 
842
        except UnicodeError, e:
 
843
            # If we can't compare without getting a UnicodeError, then
 
844
            # obviously they are different
 
845
            mutter('UnicodeError: %s', e)
 
846
        if message:
 
847
            message += '\n'
 
848
        raise AssertionError("%snot equal:\na = %s\nb = %s\n"
 
849
            % (message,
 
850
               pformat(a), pformat(b)))
 
851
 
 
852
    assertEquals = assertEqual
 
853
 
 
854
    def assertEqualDiff(self, a, b, message=None):
 
855
        """Assert two texts are equal, if not raise an exception.
 
856
        
 
857
        This is intended for use with multi-line strings where it can 
 
858
        be hard to find the differences by eye.
 
859
        """
 
860
        # TODO: perhaps override assertEquals to call this for strings?
 
861
        if a == b:
 
862
            return
 
863
        if message is None:
 
864
            message = "texts not equal:\n"
 
865
        if a == b + '\n':
 
866
            message = 'first string is missing a final newline.\n'
 
867
        if a + '\n' == b:
 
868
            message = 'second string is missing a final newline.\n'
 
869
        raise AssertionError(message +
 
870
                             self._ndiff_strings(a, b))
 
871
        
 
872
    def assertEqualMode(self, mode, mode_test):
 
873
        self.assertEqual(mode, mode_test,
 
874
                         'mode mismatch %o != %o' % (mode, mode_test))
 
875
 
 
876
    def assertPositive(self, val):
 
877
        """Assert that val is greater than 0."""
 
878
        self.assertTrue(val > 0, 'expected a positive value, but got %s' % val)
 
879
 
 
880
    def assertNegative(self, val):
 
881
        """Assert that val is less than 0."""
 
882
        self.assertTrue(val < 0, 'expected a negative value, but got %s' % val)
 
883
 
 
884
    def assertStartsWith(self, s, prefix):
 
885
        if not s.startswith(prefix):
 
886
            raise AssertionError('string %r does not start with %r' % (s, prefix))
 
887
 
 
888
    def assertEndsWith(self, s, suffix):
 
889
        """Asserts that s ends with suffix."""
 
890
        if not s.endswith(suffix):
 
891
            raise AssertionError('string %r does not end with %r' % (s, suffix))
 
892
 
 
893
    def assertContainsRe(self, haystack, needle_re):
 
894
        """Assert that a contains something matching a regular expression."""
 
895
        if not re.search(needle_re, haystack):
 
896
            if '\n' in haystack or len(haystack) > 60:
 
897
                # a long string, format it in a more readable way
 
898
                raise AssertionError(
 
899
                        'pattern "%s" not found in\n"""\\\n%s"""\n'
 
900
                        % (needle_re, haystack))
 
901
            else:
 
902
                raise AssertionError('pattern "%s" not found in "%s"'
 
903
                        % (needle_re, haystack))
 
904
 
 
905
    def assertNotContainsRe(self, haystack, needle_re):
 
906
        """Assert that a does not match a regular expression"""
 
907
        if re.search(needle_re, haystack):
 
908
            raise AssertionError('pattern "%s" found in "%s"'
 
909
                    % (needle_re, haystack))
 
910
 
 
911
    def assertSubset(self, sublist, superlist):
 
912
        """Assert that every entry in sublist is present in superlist."""
 
913
        missing = set(sublist) - set(superlist)
 
914
        if len(missing) > 0:
 
915
            raise AssertionError("value(s) %r not present in container %r" %
 
916
                                 (missing, superlist))
 
917
 
 
918
    def assertListRaises(self, excClass, func, *args, **kwargs):
 
919
        """Fail unless excClass is raised when the iterator from func is used.
 
920
        
 
921
        Many functions can return generators this makes sure
 
922
        to wrap them in a list() call to make sure the whole generator
 
923
        is run, and that the proper exception is raised.
 
924
        """
 
925
        try:
 
926
            list(func(*args, **kwargs))
 
927
        except excClass, e:
 
928
            return e
 
929
        else:
 
930
            if getattr(excClass,'__name__', None) is not None:
 
931
                excName = excClass.__name__
 
932
            else:
 
933
                excName = str(excClass)
 
934
            raise self.failureException, "%s not raised" % excName
 
935
 
 
936
    def assertRaises(self, excClass, callableObj, *args, **kwargs):
 
937
        """Assert that a callable raises a particular exception.
 
938
 
 
939
        :param excClass: As for the except statement, this may be either an
 
940
            exception class, or a tuple of classes.
 
941
        :param callableObj: A callable, will be passed ``*args`` and
 
942
            ``**kwargs``.
 
943
 
 
944
        Returns the exception so that you can examine it.
 
945
        """
 
946
        try:
 
947
            callableObj(*args, **kwargs)
 
948
        except excClass, e:
 
949
            return e
 
950
        else:
 
951
            if getattr(excClass,'__name__', None) is not None:
 
952
                excName = excClass.__name__
 
953
            else:
 
954
                # probably a tuple
 
955
                excName = str(excClass)
 
956
            raise self.failureException, "%s not raised" % excName
 
957
 
 
958
    def assertIs(self, left, right, message=None):
 
959
        if not (left is right):
 
960
            if message is not None:
 
961
                raise AssertionError(message)
 
962
            else:
 
963
                raise AssertionError("%r is not %r." % (left, right))
 
964
 
 
965
    def assertIsNot(self, left, right, message=None):
 
966
        if (left is right):
 
967
            if message is not None:
 
968
                raise AssertionError(message)
 
969
            else:
 
970
                raise AssertionError("%r is %r." % (left, right))
 
971
 
 
972
    def assertTransportMode(self, transport, path, mode):
 
973
        """Fail if a path does not have mode mode.
 
974
        
 
975
        If modes are not supported on this transport, the assertion is ignored.
 
976
        """
 
977
        if not transport._can_roundtrip_unix_modebits():
 
978
            return
 
979
        path_stat = transport.stat(path)
 
980
        actual_mode = stat.S_IMODE(path_stat.st_mode)
 
981
        self.assertEqual(mode, actual_mode,
 
982
            'mode of %r incorrect (%o != %o)' % (path, mode, actual_mode))
 
983
 
 
984
    def assertIsSameRealPath(self, path1, path2):
 
985
        """Fail if path1 and path2 points to different files"""
 
986
        self.assertEqual(osutils.realpath(path1),
 
987
                         osutils.realpath(path2),
 
988
                         "apparent paths:\na = %s\nb = %s\n," % (path1, path2))
 
989
 
 
990
    def assertIsInstance(self, obj, kls):
 
991
        """Fail if obj is not an instance of kls"""
 
992
        if not isinstance(obj, kls):
 
993
            self.fail("%r is an instance of %s rather than %s" % (
 
994
                obj, obj.__class__, kls))
 
995
 
 
996
    def expectFailure(self, reason, assertion, *args, **kwargs):
 
997
        """Invoke a test, expecting it to fail for the given reason.
 
998
 
 
999
        This is for assertions that ought to succeed, but currently fail.
 
1000
        (The failure is *expected* but not *wanted*.)  Please be very precise
 
1001
        about the failure you're expecting.  If a new bug is introduced,
 
1002
        AssertionError should be raised, not KnownFailure.
 
1003
 
 
1004
        Frequently, expectFailure should be followed by an opposite assertion.
 
1005
        See example below.
 
1006
 
 
1007
        Intended to be used with a callable that raises AssertionError as the
 
1008
        'assertion' parameter.  args and kwargs are passed to the 'assertion'.
 
1009
 
 
1010
        Raises KnownFailure if the test fails.  Raises AssertionError if the
 
1011
        test succeeds.
 
1012
 
 
1013
        example usage::
 
1014
 
 
1015
          self.expectFailure('Math is broken', self.assertNotEqual, 54,
 
1016
                             dynamic_val)
 
1017
          self.assertEqual(42, dynamic_val)
 
1018
 
 
1019
          This means that a dynamic_val of 54 will cause the test to raise
 
1020
          a KnownFailure.  Once math is fixed and the expectFailure is removed,
 
1021
          only a dynamic_val of 42 will allow the test to pass.  Anything other
 
1022
          than 54 or 42 will cause an AssertionError.
 
1023
        """
 
1024
        try:
 
1025
            assertion(*args, **kwargs)
 
1026
        except AssertionError:
 
1027
            raise KnownFailure(reason)
 
1028
        else:
 
1029
            self.fail('Unexpected success.  Should have failed: %s' % reason)
 
1030
 
 
1031
    def assertFileEqual(self, content, path):
 
1032
        """Fail if path does not contain 'content'."""
 
1033
        self.failUnlessExists(path)
 
1034
        f = file(path, 'rb')
 
1035
        try:
 
1036
            s = f.read()
 
1037
        finally:
 
1038
            f.close()
 
1039
        self.assertEqualDiff(content, s)
 
1040
 
 
1041
    def failUnlessExists(self, path):
 
1042
        """Fail unless path or paths, which may be abs or relative, exist."""
 
1043
        if not isinstance(path, basestring):
 
1044
            for p in path:
 
1045
                self.failUnlessExists(p)
 
1046
        else:
 
1047
            self.failUnless(osutils.lexists(path),path+" does not exist")
 
1048
 
 
1049
    def failIfExists(self, path):
 
1050
        """Fail if path or paths, which may be abs or relative, exist."""
 
1051
        if not isinstance(path, basestring):
 
1052
            for p in path:
 
1053
                self.failIfExists(p)
 
1054
        else:
 
1055
            self.failIf(osutils.lexists(path),path+" exists")
 
1056
 
 
1057
    def _capture_deprecation_warnings(self, a_callable, *args, **kwargs):
 
1058
        """A helper for callDeprecated and applyDeprecated.
 
1059
 
 
1060
        :param a_callable: A callable to call.
 
1061
        :param args: The positional arguments for the callable
 
1062
        :param kwargs: The keyword arguments for the callable
 
1063
        :return: A tuple (warnings, result). result is the result of calling
 
1064
            a_callable(``*args``, ``**kwargs``).
 
1065
        """
 
1066
        local_warnings = []
 
1067
        def capture_warnings(msg, cls=None, stacklevel=None):
 
1068
            # we've hooked into a deprecation specific callpath,
 
1069
            # only deprecations should getting sent via it.
 
1070
            self.assertEqual(cls, DeprecationWarning)
 
1071
            local_warnings.append(msg)
 
1072
        original_warning_method = symbol_versioning.warn
 
1073
        symbol_versioning.set_warning_method(capture_warnings)
 
1074
        try:
 
1075
            result = a_callable(*args, **kwargs)
 
1076
        finally:
 
1077
            symbol_versioning.set_warning_method(original_warning_method)
 
1078
        return (local_warnings, result)
 
1079
 
 
1080
    def applyDeprecated(self, deprecation_format, a_callable, *args, **kwargs):
 
1081
        """Call a deprecated callable without warning the user.
 
1082
 
 
1083
        Note that this only captures warnings raised by symbol_versioning.warn,
 
1084
        not other callers that go direct to the warning module.
 
1085
 
 
1086
        To test that a deprecated method raises an error, do something like
 
1087
        this::
 
1088
 
 
1089
            self.assertRaises(errors.ReservedId,
 
1090
                self.applyDeprecated,
 
1091
                deprecated_in((1, 5, 0)),
 
1092
                br.append_revision,
 
1093
                'current:')
 
1094
 
 
1095
        :param deprecation_format: The deprecation format that the callable
 
1096
            should have been deprecated with. This is the same type as the
 
1097
            parameter to deprecated_method/deprecated_function. If the
 
1098
            callable is not deprecated with this format, an assertion error
 
1099
            will be raised.
 
1100
        :param a_callable: A callable to call. This may be a bound method or
 
1101
            a regular function. It will be called with ``*args`` and
 
1102
            ``**kwargs``.
 
1103
        :param args: The positional arguments for the callable
 
1104
        :param kwargs: The keyword arguments for the callable
 
1105
        :return: The result of a_callable(``*args``, ``**kwargs``)
 
1106
        """
 
1107
        call_warnings, result = self._capture_deprecation_warnings(a_callable,
 
1108
            *args, **kwargs)
 
1109
        expected_first_warning = symbol_versioning.deprecation_string(
 
1110
            a_callable, deprecation_format)
 
1111
        if len(call_warnings) == 0:
 
1112
            self.fail("No deprecation warning generated by call to %s" %
 
1113
                a_callable)
 
1114
        self.assertEqual(expected_first_warning, call_warnings[0])
 
1115
        return result
 
1116
 
 
1117
    def callCatchWarnings(self, fn, *args, **kw):
 
1118
        """Call a callable that raises python warnings.
 
1119
 
 
1120
        The caller's responsible for examining the returned warnings.
 
1121
 
 
1122
        If the callable raises an exception, the exception is not
 
1123
        caught and propagates up to the caller.  In that case, the list
 
1124
        of warnings is not available.
 
1125
 
 
1126
        :returns: ([warning_object, ...], fn_result)
 
1127
        """
 
1128
        # XXX: This is not perfect, because it completely overrides the
 
1129
        # warnings filters, and some code may depend on suppressing particular
 
1130
        # warnings.  It's the easiest way to insulate ourselves from -Werror,
 
1131
        # though.  -- Andrew, 20071062
 
1132
        wlist = []
 
1133
        def _catcher(message, category, filename, lineno, file=None):
 
1134
            # despite the name, 'message' is normally(?) a Warning subclass
 
1135
            # instance
 
1136
            wlist.append(message)
 
1137
        saved_showwarning = warnings.showwarning
 
1138
        saved_filters = warnings.filters
 
1139
        try:
 
1140
            warnings.showwarning = _catcher
 
1141
            warnings.filters = []
 
1142
            result = fn(*args, **kw)
 
1143
        finally:
 
1144
            warnings.showwarning = saved_showwarning
 
1145
            warnings.filters = saved_filters
 
1146
        return wlist, result
 
1147
 
 
1148
    def callDeprecated(self, expected, callable, *args, **kwargs):
 
1149
        """Assert that a callable is deprecated in a particular way.
 
1150
 
 
1151
        This is a very precise test for unusual requirements. The 
 
1152
        applyDeprecated helper function is probably more suited for most tests
 
1153
        as it allows you to simply specify the deprecation format being used
 
1154
        and will ensure that that is issued for the function being called.
 
1155
 
 
1156
        Note that this only captures warnings raised by symbol_versioning.warn,
 
1157
        not other callers that go direct to the warning module.  To catch
 
1158
        general warnings, use callCatchWarnings.
 
1159
 
 
1160
        :param expected: a list of the deprecation warnings expected, in order
 
1161
        :param callable: The callable to call
 
1162
        :param args: The positional arguments for the callable
 
1163
        :param kwargs: The keyword arguments for the callable
 
1164
        """
 
1165
        call_warnings, result = self._capture_deprecation_warnings(callable,
 
1166
            *args, **kwargs)
 
1167
        self.assertEqual(expected, call_warnings)
 
1168
        return result
 
1169
 
 
1170
    def _startLogFile(self):
 
1171
        """Send bzr and test log messages to a temporary file.
 
1172
 
 
1173
        The file is removed as the test is torn down.
 
1174
        """
 
1175
        fileno, name = tempfile.mkstemp(suffix='.log', prefix='testbzr')
 
1176
        self._log_file = os.fdopen(fileno, 'w+')
 
1177
        self._log_memento = bzrlib.trace.push_log_file(self._log_file)
 
1178
        self._log_file_name = name
 
1179
        self.addCleanup(self._finishLogFile)
 
1180
 
 
1181
    def _finishLogFile(self):
 
1182
        """Finished with the log file.
 
1183
 
 
1184
        Close the file and delete it, unless setKeepLogfile was called.
 
1185
        """
 
1186
        if self._log_file is None:
 
1187
            return
 
1188
        bzrlib.trace.pop_log_file(self._log_memento)
 
1189
        self._log_file.close()
 
1190
        self._log_file = None
 
1191
        if not self._keep_log_file:
 
1192
            os.remove(self._log_file_name)
 
1193
            self._log_file_name = None
 
1194
 
 
1195
    def setKeepLogfile(self):
 
1196
        """Make the logfile not be deleted when _finishLogFile is called."""
 
1197
        self._keep_log_file = True
 
1198
 
 
1199
    def addCleanup(self, callable, *args, **kwargs):
 
1200
        """Arrange to run a callable when this case is torn down.
 
1201
 
 
1202
        Callables are run in the reverse of the order they are registered, 
 
1203
        ie last-in first-out.
 
1204
        """
 
1205
        self._cleanups.append((callable, args, kwargs))
 
1206
 
 
1207
    def _cleanEnvironment(self):
 
1208
        new_env = {
 
1209
            'BZR_HOME': None, # Don't inherit BZR_HOME to all the tests.
 
1210
            'HOME': os.getcwd(),
 
1211
            'APPDATA': None,  # bzr now use Win32 API and don't rely on APPDATA
 
1212
            'BZR_EDITOR': None, # test_msgeditor manipulates this variable
 
1213
            'BZR_EMAIL': None,
 
1214
            'BZREMAIL': None, # may still be present in the environment
 
1215
            'EMAIL': None,
 
1216
            'BZR_PROGRESS_BAR': None,
 
1217
            'BZR_LOG': None,
 
1218
            # SSH Agent
 
1219
            'SSH_AUTH_SOCK': None,
 
1220
            # Proxies
 
1221
            'http_proxy': None,
 
1222
            'HTTP_PROXY': None,
 
1223
            'https_proxy': None,
 
1224
            'HTTPS_PROXY': None,
 
1225
            'no_proxy': None,
 
1226
            'NO_PROXY': None,
 
1227
            'all_proxy': None,
 
1228
            'ALL_PROXY': None,
 
1229
            # Nobody cares about these ones AFAIK. So far at
 
1230
            # least. If you do (care), please update this comment
 
1231
            # -- vila 20061212
 
1232
            'ftp_proxy': None,
 
1233
            'FTP_PROXY': None,
 
1234
            'BZR_REMOTE_PATH': None,
 
1235
        }
 
1236
        self.__old_env = {}
 
1237
        self.addCleanup(self._restoreEnvironment)
 
1238
        for name, value in new_env.iteritems():
 
1239
            self._captureVar(name, value)
 
1240
 
 
1241
    def _captureVar(self, name, newvalue):
 
1242
        """Set an environment variable, and reset it when finished."""
 
1243
        self.__old_env[name] = osutils.set_or_unset_env(name, newvalue)
 
1244
 
 
1245
    def _restore_debug_flags(self):
 
1246
        debug.debug_flags.clear()
 
1247
        debug.debug_flags.update(self._preserved_debug_flags)
 
1248
 
 
1249
    def _restoreEnvironment(self):
 
1250
        for name, value in self.__old_env.iteritems():
 
1251
            osutils.set_or_unset_env(name, value)
 
1252
 
 
1253
    def _restoreHooks(self):
 
1254
        for klass, hooks in self._preserved_hooks.items():
 
1255
            setattr(klass, 'hooks', hooks)
 
1256
 
 
1257
    def knownFailure(self, reason):
 
1258
        """This test has failed for some known reason."""
 
1259
        raise KnownFailure(reason)
 
1260
 
 
1261
    def run(self, result=None):
 
1262
        if result is None: result = self.defaultTestResult()
 
1263
        for feature in getattr(self, '_test_needs_features', []):
 
1264
            if not feature.available():
 
1265
                result.startTest(self)
 
1266
                if getattr(result, 'addNotSupported', None):
 
1267
                    result.addNotSupported(self, feature)
 
1268
                else:
 
1269
                    result.addSuccess(self)
 
1270
                result.stopTest(self)
 
1271
                return
 
1272
        try:
 
1273
            return unittest.TestCase.run(self, result)
 
1274
        finally:
 
1275
            saved_attrs = {}
 
1276
            absent_attr = object()
 
1277
            for attr_name in self.attrs_to_keep:
 
1278
                attr = getattr(self, attr_name, absent_attr)
 
1279
                if attr is not absent_attr:
 
1280
                    saved_attrs[attr_name] = attr
 
1281
            self.__dict__ = saved_attrs
 
1282
 
 
1283
    def tearDown(self):
 
1284
        self._runCleanups()
 
1285
        unittest.TestCase.tearDown(self)
 
1286
 
 
1287
    def time(self, callable, *args, **kwargs):
 
1288
        """Run callable and accrue the time it takes to the benchmark time.
 
1289
        
 
1290
        If lsprofiling is enabled (i.e. by --lsprof-time to bzr selftest) then
 
1291
        this will cause lsprofile statistics to be gathered and stored in
 
1292
        self._benchcalls.
 
1293
        """
 
1294
        if self._benchtime is None:
 
1295
            self._benchtime = 0
 
1296
        start = time.time()
 
1297
        try:
 
1298
            if not self._gather_lsprof_in_benchmarks:
 
1299
                return callable(*args, **kwargs)
 
1300
            else:
 
1301
                # record this benchmark
 
1302
                ret, stats = bzrlib.lsprof.profile(callable, *args, **kwargs)
 
1303
                stats.sort()
 
1304
                self._benchcalls.append(((callable, args, kwargs), stats))
 
1305
                return ret
 
1306
        finally:
 
1307
            self._benchtime += time.time() - start
 
1308
 
 
1309
    def _runCleanups(self):
 
1310
        """Run registered cleanup functions. 
 
1311
 
 
1312
        This should only be called from TestCase.tearDown.
 
1313
        """
 
1314
        # TODO: Perhaps this should keep running cleanups even if 
 
1315
        # one of them fails?
 
1316
 
 
1317
        # Actually pop the cleanups from the list so tearDown running
 
1318
        # twice is safe (this happens for skipped tests).
 
1319
        while self._cleanups:
 
1320
            cleanup, args, kwargs = self._cleanups.pop()
 
1321
            cleanup(*args, **kwargs)
 
1322
 
 
1323
    def log(self, *args):
 
1324
        mutter(*args)
 
1325
 
 
1326
    def _get_log(self, keep_log_file=False):
 
1327
        """Get the log from bzrlib.trace calls from this test.
 
1328
 
 
1329
        :param keep_log_file: When True, if the log is still a file on disk
 
1330
            leave it as a file on disk. When False, if the log is still a file
 
1331
            on disk, the log file is deleted and the log preserved as
 
1332
            self._log_contents.
 
1333
        :return: A string containing the log.
 
1334
        """
 
1335
        # flush the log file, to get all content
 
1336
        import bzrlib.trace
 
1337
        bzrlib.trace._trace_file.flush()
 
1338
        if self._log_contents:
 
1339
            # XXX: this can hardly contain the content flushed above --vila
 
1340
            # 20080128
 
1341
            return self._log_contents
 
1342
        if self._log_file_name is not None:
 
1343
            logfile = open(self._log_file_name)
 
1344
            try:
 
1345
                log_contents = logfile.read()
 
1346
            finally:
 
1347
                logfile.close()
 
1348
            if not keep_log_file:
 
1349
                self._log_contents = log_contents
 
1350
                try:
 
1351
                    os.remove(self._log_file_name)
 
1352
                except OSError, e:
 
1353
                    if sys.platform == 'win32' and e.errno == errno.EACCES:
 
1354
                        sys.stderr.write(('Unable to delete log file '
 
1355
                                             ' %r\n' % self._log_file_name))
 
1356
                    else:
 
1357
                        raise
 
1358
            return log_contents
 
1359
        else:
 
1360
            return "DELETED log file to reduce memory footprint"
 
1361
 
 
1362
    def requireFeature(self, feature):
 
1363
        """This test requires a specific feature is available.
 
1364
 
 
1365
        :raises UnavailableFeature: When feature is not available.
 
1366
        """
 
1367
        if not feature.available():
 
1368
            raise UnavailableFeature(feature)
 
1369
 
 
1370
    def _run_bzr_autosplit(self, args, retcode, encoding, stdin,
 
1371
            working_dir):
 
1372
        """Run bazaar command line, splitting up a string command line."""
 
1373
        if isinstance(args, basestring):
 
1374
            # shlex don't understand unicode strings,
 
1375
            # so args should be plain string (bialix 20070906)
 
1376
            args = list(shlex.split(str(args)))
 
1377
        return self._run_bzr_core(args, retcode=retcode,
 
1378
                encoding=encoding, stdin=stdin, working_dir=working_dir,
 
1379
                )
 
1380
 
 
1381
    def _run_bzr_core(self, args, retcode, encoding, stdin,
 
1382
            working_dir):
 
1383
        if encoding is None:
 
1384
            encoding = bzrlib.user_encoding
 
1385
        stdout = StringIOWrapper()
 
1386
        stderr = StringIOWrapper()
 
1387
        stdout.encoding = encoding
 
1388
        stderr.encoding = encoding
 
1389
 
 
1390
        self.log('run bzr: %r', args)
 
1391
        # FIXME: don't call into logging here
 
1392
        handler = logging.StreamHandler(stderr)
 
1393
        handler.setLevel(logging.INFO)
 
1394
        logger = logging.getLogger('')
 
1395
        logger.addHandler(handler)
 
1396
        old_ui_factory = ui.ui_factory
 
1397
        ui.ui_factory = TestUIFactory(stdin=stdin, stdout=stdout, stderr=stderr)
 
1398
 
 
1399
        cwd = None
 
1400
        if working_dir is not None:
 
1401
            cwd = osutils.getcwd()
 
1402
            os.chdir(working_dir)
 
1403
 
 
1404
        try:
 
1405
            result = self.apply_redirected(ui.ui_factory.stdin,
 
1406
                stdout, stderr,
 
1407
                bzrlib.commands.run_bzr_catch_user_errors,
 
1408
                args)
 
1409
        finally:
 
1410
            logger.removeHandler(handler)
 
1411
            ui.ui_factory = old_ui_factory
 
1412
            if cwd is not None:
 
1413
                os.chdir(cwd)
 
1414
 
 
1415
        out = stdout.getvalue()
 
1416
        err = stderr.getvalue()
 
1417
        if out:
 
1418
            self.log('output:\n%r', out)
 
1419
        if err:
 
1420
            self.log('errors:\n%r', err)
 
1421
        if retcode is not None:
 
1422
            self.assertEquals(retcode, result,
 
1423
                              message='Unexpected return code')
 
1424
        return out, err
 
1425
 
 
1426
    def run_bzr(self, args, retcode=0, encoding=None, stdin=None,
 
1427
                working_dir=None, error_regexes=[], output_encoding=None):
 
1428
        """Invoke bzr, as if it were run from the command line.
 
1429
 
 
1430
        The argument list should not include the bzr program name - the
 
1431
        first argument is normally the bzr command.  Arguments may be
 
1432
        passed in three ways:
 
1433
 
 
1434
        1- A list of strings, eg ["commit", "a"].  This is recommended
 
1435
        when the command contains whitespace or metacharacters, or 
 
1436
        is built up at run time.
 
1437
 
 
1438
        2- A single string, eg "add a".  This is the most convenient 
 
1439
        for hardcoded commands.
 
1440
 
 
1441
        This runs bzr through the interface that catches and reports
 
1442
        errors, and with logging set to something approximating the
 
1443
        default, so that error reporting can be checked.
 
1444
 
 
1445
        This should be the main method for tests that want to exercise the
 
1446
        overall behavior of the bzr application (rather than a unit test
 
1447
        or a functional test of the library.)
 
1448
 
 
1449
        This sends the stdout/stderr results into the test's log,
 
1450
        where it may be useful for debugging.  See also run_captured.
 
1451
 
 
1452
        :keyword stdin: A string to be used as stdin for the command.
 
1453
        :keyword retcode: The status code the command should return;
 
1454
            default 0.
 
1455
        :keyword working_dir: The directory to run the command in
 
1456
        :keyword error_regexes: A list of expected error messages.  If
 
1457
            specified they must be seen in the error output of the command.
 
1458
        """
 
1459
        out, err = self._run_bzr_autosplit(
 
1460
            args=args,
 
1461
            retcode=retcode,
 
1462
            encoding=encoding,
 
1463
            stdin=stdin,
 
1464
            working_dir=working_dir,
 
1465
            )
 
1466
        for regex in error_regexes:
 
1467
            self.assertContainsRe(err, regex)
 
1468
        return out, err
 
1469
 
 
1470
    def run_bzr_error(self, error_regexes, *args, **kwargs):
 
1471
        """Run bzr, and check that stderr contains the supplied regexes
 
1472
 
 
1473
        :param error_regexes: Sequence of regular expressions which
 
1474
            must each be found in the error output. The relative ordering
 
1475
            is not enforced.
 
1476
        :param args: command-line arguments for bzr
 
1477
        :param kwargs: Keyword arguments which are interpreted by run_bzr
 
1478
            This function changes the default value of retcode to be 3,
 
1479
            since in most cases this is run when you expect bzr to fail.
 
1480
 
 
1481
        :return: (out, err) The actual output of running the command (in case
 
1482
            you want to do more inspection)
 
1483
 
 
1484
        Examples of use::
 
1485
 
 
1486
            # Make sure that commit is failing because there is nothing to do
 
1487
            self.run_bzr_error(['no changes to commit'],
 
1488
                               ['commit', '-m', 'my commit comment'])
 
1489
            # Make sure --strict is handling an unknown file, rather than
 
1490
            # giving us the 'nothing to do' error
 
1491
            self.build_tree(['unknown'])
 
1492
            self.run_bzr_error(['Commit refused because there are unknown files'],
 
1493
                               ['commit', --strict', '-m', 'my commit comment'])
 
1494
        """
 
1495
        kwargs.setdefault('retcode', 3)
 
1496
        kwargs['error_regexes'] = error_regexes
 
1497
        out, err = self.run_bzr(*args, **kwargs)
 
1498
        return out, err
 
1499
 
 
1500
    def run_bzr_subprocess(self, *args, **kwargs):
 
1501
        """Run bzr in a subprocess for testing.
 
1502
 
 
1503
        This starts a new Python interpreter and runs bzr in there. 
 
1504
        This should only be used for tests that have a justifiable need for
 
1505
        this isolation: e.g. they are testing startup time, or signal
 
1506
        handling, or early startup code, etc.  Subprocess code can't be 
 
1507
        profiled or debugged so easily.
 
1508
 
 
1509
        :keyword retcode: The status code that is expected.  Defaults to 0.  If
 
1510
            None is supplied, the status code is not checked.
 
1511
        :keyword env_changes: A dictionary which lists changes to environment
 
1512
            variables. A value of None will unset the env variable.
 
1513
            The values must be strings. The change will only occur in the
 
1514
            child, so you don't need to fix the environment after running.
 
1515
        :keyword universal_newlines: Convert CRLF => LF
 
1516
        :keyword allow_plugins: By default the subprocess is run with
 
1517
            --no-plugins to ensure test reproducibility. Also, it is possible
 
1518
            for system-wide plugins to create unexpected output on stderr,
 
1519
            which can cause unnecessary test failures.
 
1520
        """
 
1521
        env_changes = kwargs.get('env_changes', {})
 
1522
        working_dir = kwargs.get('working_dir', None)
 
1523
        allow_plugins = kwargs.get('allow_plugins', False)
 
1524
        if len(args) == 1:
 
1525
            if isinstance(args[0], list):
 
1526
                args = args[0]
 
1527
            elif isinstance(args[0], basestring):
 
1528
                args = list(shlex.split(args[0]))
 
1529
        else:
 
1530
            raise ValueError("passing varargs to run_bzr_subprocess")
 
1531
        process = self.start_bzr_subprocess(args, env_changes=env_changes,
 
1532
                                            working_dir=working_dir,
 
1533
                                            allow_plugins=allow_plugins)
 
1534
        # We distinguish between retcode=None and retcode not passed.
 
1535
        supplied_retcode = kwargs.get('retcode', 0)
 
1536
        return self.finish_bzr_subprocess(process, retcode=supplied_retcode,
 
1537
            universal_newlines=kwargs.get('universal_newlines', False),
 
1538
            process_args=args)
 
1539
 
 
1540
    def start_bzr_subprocess(self, process_args, env_changes=None,
 
1541
                             skip_if_plan_to_signal=False,
 
1542
                             working_dir=None,
 
1543
                             allow_plugins=False):
 
1544
        """Start bzr in a subprocess for testing.
 
1545
 
 
1546
        This starts a new Python interpreter and runs bzr in there.
 
1547
        This should only be used for tests that have a justifiable need for
 
1548
        this isolation: e.g. they are testing startup time, or signal
 
1549
        handling, or early startup code, etc.  Subprocess code can't be
 
1550
        profiled or debugged so easily.
 
1551
 
 
1552
        :param process_args: a list of arguments to pass to the bzr executable,
 
1553
            for example ``['--version']``.
 
1554
        :param env_changes: A dictionary which lists changes to environment
 
1555
            variables. A value of None will unset the env variable.
 
1556
            The values must be strings. The change will only occur in the
 
1557
            child, so you don't need to fix the environment after running.
 
1558
        :param skip_if_plan_to_signal: raise TestSkipped when true and os.kill
 
1559
            is not available.
 
1560
        :param allow_plugins: If False (default) pass --no-plugins to bzr.
 
1561
 
 
1562
        :returns: Popen object for the started process.
 
1563
        """
 
1564
        if skip_if_plan_to_signal:
 
1565
            if not getattr(os, 'kill', None):
 
1566
                raise TestSkipped("os.kill not available.")
 
1567
 
 
1568
        if env_changes is None:
 
1569
            env_changes = {}
 
1570
        old_env = {}
 
1571
 
 
1572
        def cleanup_environment():
 
1573
            for env_var, value in env_changes.iteritems():
 
1574
                old_env[env_var] = osutils.set_or_unset_env(env_var, value)
 
1575
 
 
1576
        def restore_environment():
 
1577
            for env_var, value in old_env.iteritems():
 
1578
                osutils.set_or_unset_env(env_var, value)
 
1579
 
 
1580
        bzr_path = self.get_bzr_path()
 
1581
 
 
1582
        cwd = None
 
1583
        if working_dir is not None:
 
1584
            cwd = osutils.getcwd()
 
1585
            os.chdir(working_dir)
 
1586
 
 
1587
        try:
 
1588
            # win32 subprocess doesn't support preexec_fn
 
1589
            # so we will avoid using it on all platforms, just to
 
1590
            # make sure the code path is used, and we don't break on win32
 
1591
            cleanup_environment()
 
1592
            command = [sys.executable]
 
1593
            # frozen executables don't need the path to bzr
 
1594
            if getattr(sys, "frozen", None) is None:
 
1595
                command.append(bzr_path)
 
1596
            if not allow_plugins:
 
1597
                command.append('--no-plugins')
 
1598
            command.extend(process_args)
 
1599
            process = self._popen(command, stdin=PIPE, stdout=PIPE, stderr=PIPE)
 
1600
        finally:
 
1601
            restore_environment()
 
1602
            if cwd is not None:
 
1603
                os.chdir(cwd)
 
1604
 
 
1605
        return process
 
1606
 
 
1607
    def _popen(self, *args, **kwargs):
 
1608
        """Place a call to Popen.
 
1609
 
 
1610
        Allows tests to override this method to intercept the calls made to
 
1611
        Popen for introspection.
 
1612
        """
 
1613
        return Popen(*args, **kwargs)
 
1614
 
 
1615
    def get_bzr_path(self):
 
1616
        """Return the path of the 'bzr' executable for this test suite."""
 
1617
        bzr_path = os.path.dirname(os.path.dirname(bzrlib.__file__))+'/bzr'
 
1618
        if not os.path.isfile(bzr_path):
 
1619
            # We are probably installed. Assume sys.argv is the right file
 
1620
            bzr_path = sys.argv[0]
 
1621
        return bzr_path
 
1622
 
 
1623
    def finish_bzr_subprocess(self, process, retcode=0, send_signal=None,
 
1624
                              universal_newlines=False, process_args=None):
 
1625
        """Finish the execution of process.
 
1626
 
 
1627
        :param process: the Popen object returned from start_bzr_subprocess.
 
1628
        :param retcode: The status code that is expected.  Defaults to 0.  If
 
1629
            None is supplied, the status code is not checked.
 
1630
        :param send_signal: an optional signal to send to the process.
 
1631
        :param universal_newlines: Convert CRLF => LF
 
1632
        :returns: (stdout, stderr)
 
1633
        """
 
1634
        if send_signal is not None:
 
1635
            os.kill(process.pid, send_signal)
 
1636
        out, err = process.communicate()
 
1637
 
 
1638
        if universal_newlines:
 
1639
            out = out.replace('\r\n', '\n')
 
1640
            err = err.replace('\r\n', '\n')
 
1641
 
 
1642
        if retcode is not None and retcode != process.returncode:
 
1643
            if process_args is None:
 
1644
                process_args = "(unknown args)"
 
1645
            mutter('Output of bzr %s:\n%s', process_args, out)
 
1646
            mutter('Error for bzr %s:\n%s', process_args, err)
 
1647
            self.fail('Command bzr %s failed with retcode %s != %s'
 
1648
                      % (process_args, retcode, process.returncode))
 
1649
        return [out, err]
 
1650
 
 
1651
    def check_inventory_shape(self, inv, shape):
 
1652
        """Compare an inventory to a list of expected names.
 
1653
 
 
1654
        Fail if they are not precisely equal.
 
1655
        """
 
1656
        extras = []
 
1657
        shape = list(shape)             # copy
 
1658
        for path, ie in inv.entries():
 
1659
            name = path.replace('\\', '/')
 
1660
            if ie.kind == 'directory':
 
1661
                name = name + '/'
 
1662
            if name in shape:
 
1663
                shape.remove(name)
 
1664
            else:
 
1665
                extras.append(name)
 
1666
        if shape:
 
1667
            self.fail("expected paths not found in inventory: %r" % shape)
 
1668
        if extras:
 
1669
            self.fail("unexpected paths found in inventory: %r" % extras)
 
1670
 
 
1671
    def apply_redirected(self, stdin=None, stdout=None, stderr=None,
 
1672
                         a_callable=None, *args, **kwargs):
 
1673
        """Call callable with redirected std io pipes.
 
1674
 
 
1675
        Returns the return code."""
 
1676
        if not callable(a_callable):
 
1677
            raise ValueError("a_callable must be callable.")
 
1678
        if stdin is None:
 
1679
            stdin = StringIO("")
 
1680
        if stdout is None:
 
1681
            if getattr(self, "_log_file", None) is not None:
 
1682
                stdout = self._log_file
 
1683
            else:
 
1684
                stdout = StringIO()
 
1685
        if stderr is None:
 
1686
            if getattr(self, "_log_file", None is not None):
 
1687
                stderr = self._log_file
 
1688
            else:
 
1689
                stderr = StringIO()
 
1690
        real_stdin = sys.stdin
 
1691
        real_stdout = sys.stdout
 
1692
        real_stderr = sys.stderr
 
1693
        try:
 
1694
            sys.stdout = stdout
 
1695
            sys.stderr = stderr
 
1696
            sys.stdin = stdin
 
1697
            return a_callable(*args, **kwargs)
 
1698
        finally:
 
1699
            sys.stdout = real_stdout
 
1700
            sys.stderr = real_stderr
 
1701
            sys.stdin = real_stdin
 
1702
 
 
1703
    def reduceLockdirTimeout(self):
 
1704
        """Reduce the default lock timeout for the duration of the test, so that
 
1705
        if LockContention occurs during a test, it does so quickly.
 
1706
 
 
1707
        Tests that expect to provoke LockContention errors should call this.
 
1708
        """
 
1709
        orig_timeout = bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS
 
1710
        def resetTimeout():
 
1711
            bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS = orig_timeout
 
1712
        self.addCleanup(resetTimeout)
 
1713
        bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS = 0
 
1714
 
 
1715
    def make_utf8_encoded_stringio(self, encoding_type=None):
 
1716
        """Return a StringIOWrapper instance, that will encode Unicode
 
1717
        input to UTF-8.
 
1718
        """
 
1719
        if encoding_type is None:
 
1720
            encoding_type = 'strict'
 
1721
        sio = StringIO()
 
1722
        output_encoding = 'utf-8'
 
1723
        sio = codecs.getwriter(output_encoding)(sio, errors=encoding_type)
 
1724
        sio.encoding = output_encoding
 
1725
        return sio
 
1726
 
 
1727
 
 
1728
class TestCaseWithMemoryTransport(TestCase):
 
1729
    """Common test class for tests that do not need disk resources.
 
1730
 
 
1731
    Tests that need disk resources should derive from TestCaseWithTransport.
 
1732
 
 
1733
    TestCaseWithMemoryTransport sets the TEST_ROOT variable for all bzr tests.
 
1734
 
 
1735
    For TestCaseWithMemoryTransport the test_home_dir is set to the name of
 
1736
    a directory which does not exist. This serves to help ensure test isolation
 
1737
    is preserved. test_dir is set to the TEST_ROOT, as is cwd, because they
 
1738
    must exist. However, TestCaseWithMemoryTransport does not offer local
 
1739
    file defaults for the transport in tests, nor does it obey the command line
 
1740
    override, so tests that accidentally write to the common directory should
 
1741
    be rare.
 
1742
 
 
1743
    :cvar TEST_ROOT: Directory containing all temporary directories, plus
 
1744
    a .bzr directory that stops us ascending higher into the filesystem.
 
1745
    """
 
1746
 
 
1747
    TEST_ROOT = None
 
1748
    _TEST_NAME = 'test'
 
1749
 
 
1750
    def __init__(self, methodName='runTest'):
 
1751
        # allow test parameterization after test construction and before test
 
1752
        # execution. Variables that the parameterizer sets need to be 
 
1753
        # ones that are not set by setUp, or setUp will trash them.
 
1754
        super(TestCaseWithMemoryTransport, self).__init__(methodName)
 
1755
        self.vfs_transport_factory = default_transport
 
1756
        self.transport_server = None
 
1757
        self.transport_readonly_server = None
 
1758
        self.__vfs_server = None
 
1759
 
 
1760
    def get_transport(self, relpath=None):
 
1761
        """Return a writeable transport.
 
1762
 
 
1763
        This transport is for the test scratch space relative to
 
1764
        "self._test_root"
 
1765
        
 
1766
        :param relpath: a path relative to the base url.
 
1767
        """
 
1768
        t = get_transport(self.get_url(relpath))
 
1769
        self.assertFalse(t.is_readonly())
 
1770
        return t
 
1771
 
 
1772
    def get_readonly_transport(self, relpath=None):
 
1773
        """Return a readonly transport for the test scratch space
 
1774
        
 
1775
        This can be used to test that operations which should only need
 
1776
        readonly access in fact do not try to write.
 
1777
 
 
1778
        :param relpath: a path relative to the base url.
 
1779
        """
 
1780
        t = get_transport(self.get_readonly_url(relpath))
 
1781
        self.assertTrue(t.is_readonly())
 
1782
        return t
 
1783
 
 
1784
    def create_transport_readonly_server(self):
 
1785
        """Create a transport server from class defined at init.
 
1786
 
 
1787
        This is mostly a hook for daughter classes.
 
1788
        """
 
1789
        return self.transport_readonly_server()
 
1790
 
 
1791
    def get_readonly_server(self):
 
1792
        """Get the server instance for the readonly transport
 
1793
 
 
1794
        This is useful for some tests with specific servers to do diagnostics.
 
1795
        """
 
1796
        if self.__readonly_server is None:
 
1797
            if self.transport_readonly_server is None:
 
1798
                # readonly decorator requested
 
1799
                # bring up the server
 
1800
                self.__readonly_server = ReadonlyServer()
 
1801
                self.__readonly_server.setUp(self.get_vfs_only_server())
 
1802
            else:
 
1803
                self.__readonly_server = self.create_transport_readonly_server()
 
1804
                self.__readonly_server.setUp(self.get_vfs_only_server())
 
1805
            self.addCleanup(self.__readonly_server.tearDown)
 
1806
        return self.__readonly_server
 
1807
 
 
1808
    def get_readonly_url(self, relpath=None):
 
1809
        """Get a URL for the readonly transport.
 
1810
 
 
1811
        This will either be backed by '.' or a decorator to the transport 
 
1812
        used by self.get_url()
 
1813
        relpath provides for clients to get a path relative to the base url.
 
1814
        These should only be downwards relative, not upwards.
 
1815
        """
 
1816
        base = self.get_readonly_server().get_url()
 
1817
        return self._adjust_url(base, relpath)
 
1818
 
 
1819
    def get_vfs_only_server(self):
 
1820
        """Get the vfs only read/write server instance.
 
1821
 
 
1822
        This is useful for some tests with specific servers that need
 
1823
        diagnostics.
 
1824
 
 
1825
        For TestCaseWithMemoryTransport this is always a MemoryServer, and there
 
1826
        is no means to override it.
 
1827
        """
 
1828
        if self.__vfs_server is None:
 
1829
            self.__vfs_server = MemoryServer()
 
1830
            self.__vfs_server.setUp()
 
1831
            self.addCleanup(self.__vfs_server.tearDown)
 
1832
        return self.__vfs_server
 
1833
 
 
1834
    def get_server(self):
 
1835
        """Get the read/write server instance.
 
1836
 
 
1837
        This is useful for some tests with specific servers that need
 
1838
        diagnostics.
 
1839
 
 
1840
        This is built from the self.transport_server factory. If that is None,
 
1841
        then the self.get_vfs_server is returned.
 
1842
        """
 
1843
        if self.__server is None:
 
1844
            if self.transport_server is None or self.transport_server is self.vfs_transport_factory:
 
1845
                return self.get_vfs_only_server()
 
1846
            else:
 
1847
                # bring up a decorated means of access to the vfs only server.
 
1848
                self.__server = self.transport_server()
 
1849
                try:
 
1850
                    self.__server.setUp(self.get_vfs_only_server())
 
1851
                except TypeError, e:
 
1852
                    # This should never happen; the try:Except here is to assist
 
1853
                    # developers having to update code rather than seeing an
 
1854
                    # uninformative TypeError.
 
1855
                    raise Exception, "Old server API in use: %s, %s" % (self.__server, e)
 
1856
            self.addCleanup(self.__server.tearDown)
 
1857
        return self.__server
 
1858
 
 
1859
    def _adjust_url(self, base, relpath):
 
1860
        """Get a URL (or maybe a path) for the readwrite transport.
 
1861
 
 
1862
        This will either be backed by '.' or to an equivalent non-file based
 
1863
        facility.
 
1864
        relpath provides for clients to get a path relative to the base url.
 
1865
        These should only be downwards relative, not upwards.
 
1866
        """
 
1867
        if relpath is not None and relpath != '.':
 
1868
            if not base.endswith('/'):
 
1869
                base = base + '/'
 
1870
            # XXX: Really base should be a url; we did after all call
 
1871
            # get_url()!  But sometimes it's just a path (from
 
1872
            # LocalAbspathServer), and it'd be wrong to append urlescaped data
 
1873
            # to a non-escaped local path.
 
1874
            if base.startswith('./') or base.startswith('/'):
 
1875
                base += relpath
 
1876
            else:
 
1877
                base += urlutils.escape(relpath)
 
1878
        return base
 
1879
 
 
1880
    def get_url(self, relpath=None):
 
1881
        """Get a URL (or maybe a path) for the readwrite transport.
 
1882
 
 
1883
        This will either be backed by '.' or to an equivalent non-file based
 
1884
        facility.
 
1885
        relpath provides for clients to get a path relative to the base url.
 
1886
        These should only be downwards relative, not upwards.
 
1887
        """
 
1888
        base = self.get_server().get_url()
 
1889
        return self._adjust_url(base, relpath)
 
1890
 
 
1891
    def get_vfs_only_url(self, relpath=None):
 
1892
        """Get a URL (or maybe a path for the plain old vfs transport.
 
1893
 
 
1894
        This will never be a smart protocol.  It always has all the
 
1895
        capabilities of the local filesystem, but it might actually be a
 
1896
        MemoryTransport or some other similar virtual filesystem.
 
1897
 
 
1898
        This is the backing transport (if any) of the server returned by
 
1899
        get_url and get_readonly_url.
 
1900
 
 
1901
        :param relpath: provides for clients to get a path relative to the base
 
1902
            url.  These should only be downwards relative, not upwards.
 
1903
        :return: A URL
 
1904
        """
 
1905
        base = self.get_vfs_only_server().get_url()
 
1906
        return self._adjust_url(base, relpath)
 
1907
 
 
1908
    def _create_safety_net(self):
 
1909
        """Make a fake bzr directory.
 
1910
 
 
1911
        This prevents any tests propagating up onto the TEST_ROOT directory's
 
1912
        real branch.
 
1913
        """
 
1914
        root = TestCaseWithMemoryTransport.TEST_ROOT
 
1915
        bzrdir.BzrDir.create_standalone_workingtree(root)
 
1916
 
 
1917
    def _check_safety_net(self):
 
1918
        """Check that the safety .bzr directory have not been touched.
 
1919
 
 
1920
        _make_test_root have created a .bzr directory to prevent tests from
 
1921
        propagating. This method ensures than a test did not leaked.
 
1922
        """
 
1923
        root = TestCaseWithMemoryTransport.TEST_ROOT
 
1924
        wt = workingtree.WorkingTree.open(root)
 
1925
        last_rev = wt.last_revision()
 
1926
        if last_rev != 'null:':
 
1927
            # The current test have modified the /bzr directory, we need to
 
1928
            # recreate a new one or all the followng tests will fail.
 
1929
            # If you need to inspect its content uncomment the following line
 
1930
            # import pdb; pdb.set_trace()
 
1931
            _rmtree_temp_dir(root + '/.bzr')
 
1932
            self._create_safety_net()
 
1933
            raise AssertionError('%s/.bzr should not be modified' % root)
 
1934
 
 
1935
    def _make_test_root(self):
 
1936
        if TestCaseWithMemoryTransport.TEST_ROOT is None:
 
1937
            root = osutils.mkdtemp(prefix='testbzr-', suffix='.tmp')
 
1938
            TestCaseWithMemoryTransport.TEST_ROOT = root
 
1939
 
 
1940
            self._create_safety_net()
 
1941
 
 
1942
            # The same directory is used by all tests, and we're not
 
1943
            # specifically told when all tests are finished.  This will do.
 
1944
            atexit.register(_rmtree_temp_dir, root)
 
1945
 
 
1946
        self.addCleanup(self._check_safety_net)
 
1947
 
 
1948
    def makeAndChdirToTestDir(self):
 
1949
        """Create a temporary directories for this one test.
 
1950
        
 
1951
        This must set self.test_home_dir and self.test_dir and chdir to
 
1952
        self.test_dir.
 
1953
        
 
1954
        For TestCaseWithMemoryTransport we chdir to the TEST_ROOT for this test.
 
1955
        """
 
1956
        os.chdir(TestCaseWithMemoryTransport.TEST_ROOT)
 
1957
        self.test_dir = TestCaseWithMemoryTransport.TEST_ROOT
 
1958
        self.test_home_dir = self.test_dir + "/MemoryTransportMissingHomeDir"
 
1959
        
 
1960
    def make_branch(self, relpath, format=None):
 
1961
        """Create a branch on the transport at relpath."""
 
1962
        repo = self.make_repository(relpath, format=format)
 
1963
        return repo.bzrdir.create_branch()
 
1964
 
 
1965
    def make_bzrdir(self, relpath, format=None):
 
1966
        try:
 
1967
            # might be a relative or absolute path
 
1968
            maybe_a_url = self.get_url(relpath)
 
1969
            segments = maybe_a_url.rsplit('/', 1)
 
1970
            t = get_transport(maybe_a_url)
 
1971
            if len(segments) > 1 and segments[-1] not in ('', '.'):
 
1972
                t.ensure_base()
 
1973
            if format is None:
 
1974
                format = 'default'
 
1975
            if isinstance(format, basestring):
 
1976
                format = bzrdir.format_registry.make_bzrdir(format)
 
1977
            return format.initialize_on_transport(t)
 
1978
        except errors.UninitializableFormat:
 
1979
            raise TestSkipped("Format %s is not initializable." % format)
 
1980
 
 
1981
    def make_repository(self, relpath, shared=False, format=None):
 
1982
        """Create a repository on our default transport at relpath.
 
1983
        
 
1984
        Note that relpath must be a relative path, not a full url.
 
1985
        """
 
1986
        # FIXME: If you create a remoterepository this returns the underlying
 
1987
        # real format, which is incorrect.  Actually we should make sure that 
 
1988
        # RemoteBzrDir returns a RemoteRepository.
 
1989
        # maybe  mbp 20070410
 
1990
        made_control = self.make_bzrdir(relpath, format=format)
 
1991
        return made_control.create_repository(shared=shared)
 
1992
 
 
1993
    def make_branch_and_memory_tree(self, relpath, format=None):
 
1994
        """Create a branch on the default transport and a MemoryTree for it."""
 
1995
        b = self.make_branch(relpath, format=format)
 
1996
        return memorytree.MemoryTree.create_on_branch(b)
 
1997
 
 
1998
    def make_branch_builder(self, relpath, format=None):
 
1999
        url = self.get_url(relpath)
 
2000
        tran = get_transport(url)
 
2001
        return branchbuilder.BranchBuilder(get_transport(url), format=format)
 
2002
 
 
2003
    def overrideEnvironmentForTesting(self):
 
2004
        os.environ['HOME'] = self.test_home_dir
 
2005
        os.environ['BZR_HOME'] = self.test_home_dir
 
2006
        
 
2007
    def setUp(self):
 
2008
        super(TestCaseWithMemoryTransport, self).setUp()
 
2009
        self._make_test_root()
 
2010
        _currentdir = os.getcwdu()
 
2011
        def _leaveDirectory():
 
2012
            os.chdir(_currentdir)
 
2013
        self.addCleanup(_leaveDirectory)
 
2014
        self.makeAndChdirToTestDir()
 
2015
        self.overrideEnvironmentForTesting()
 
2016
        self.__readonly_server = None
 
2017
        self.__server = None
 
2018
        self.reduceLockdirTimeout()
 
2019
 
 
2020
     
 
2021
class TestCaseInTempDir(TestCaseWithMemoryTransport):
 
2022
    """Derived class that runs a test within a temporary directory.
 
2023
 
 
2024
    This is useful for tests that need to create a branch, etc.
 
2025
 
 
2026
    The directory is created in a slightly complex way: for each
 
2027
    Python invocation, a new temporary top-level directory is created.
 
2028
    All test cases create their own directory within that.  If the
 
2029
    tests complete successfully, the directory is removed.
 
2030
 
 
2031
    :ivar test_base_dir: The path of the top-level directory for this 
 
2032
    test, which contains a home directory and a work directory.
 
2033
 
 
2034
    :ivar test_home_dir: An initially empty directory under test_base_dir
 
2035
    which is used as $HOME for this test.
 
2036
 
 
2037
    :ivar test_dir: A directory under test_base_dir used as the current
 
2038
    directory when the test proper is run.
 
2039
    """
 
2040
 
 
2041
    OVERRIDE_PYTHON = 'python'
 
2042
 
 
2043
    def check_file_contents(self, filename, expect):
 
2044
        self.log("check contents of file %s" % filename)
 
2045
        contents = file(filename, 'r').read()
 
2046
        if contents != expect:
 
2047
            self.log("expected: %r" % expect)
 
2048
            self.log("actually: %r" % contents)
 
2049
            self.fail("contents of %s not as expected" % filename)
 
2050
 
 
2051
    def _getTestDirPrefix(self):
 
2052
        # create a directory within the top level test directory
 
2053
        if sys.platform == 'win32':
 
2054
            name_prefix = re.sub('[<>*=+",:;_/\\-]', '_', self.id())
 
2055
            # windows is likely to have path-length limits so use a short name
 
2056
            name_prefix = name_prefix[-30:]
 
2057
        else:
 
2058
            name_prefix = re.sub('[/]', '_', self.id())
 
2059
        return name_prefix
 
2060
 
 
2061
    def makeAndChdirToTestDir(self):
 
2062
        """See TestCaseWithMemoryTransport.makeAndChdirToTestDir().
 
2063
        
 
2064
        For TestCaseInTempDir we create a temporary directory based on the test
 
2065
        name and then create two subdirs - test and home under it.
 
2066
        """
 
2067
        name_prefix = osutils.pathjoin(self.TEST_ROOT, self._getTestDirPrefix())
 
2068
        name = name_prefix
 
2069
        for i in range(100):
 
2070
            if os.path.exists(name):
 
2071
                name = name_prefix + '_' + str(i)
 
2072
            else:
 
2073
                os.mkdir(name)
 
2074
                break
 
2075
        # now create test and home directories within this dir
 
2076
        self.test_base_dir = name
 
2077
        self.test_home_dir = self.test_base_dir + '/home'
 
2078
        os.mkdir(self.test_home_dir)
 
2079
        self.test_dir = self.test_base_dir + '/work'
 
2080
        os.mkdir(self.test_dir)
 
2081
        os.chdir(self.test_dir)
 
2082
        # put name of test inside
 
2083
        f = file(self.test_base_dir + '/name', 'w')
 
2084
        try:
 
2085
            f.write(self.id())
 
2086
        finally:
 
2087
            f.close()
 
2088
        self.addCleanup(self.deleteTestDir)
 
2089
 
 
2090
    def deleteTestDir(self):
 
2091
        os.chdir(self.TEST_ROOT)
 
2092
        _rmtree_temp_dir(self.test_base_dir)
 
2093
 
 
2094
    def build_tree(self, shape, line_endings='binary', transport=None):
 
2095
        """Build a test tree according to a pattern.
 
2096
 
 
2097
        shape is a sequence of file specifications.  If the final
 
2098
        character is '/', a directory is created.
 
2099
 
 
2100
        This assumes that all the elements in the tree being built are new.
 
2101
 
 
2102
        This doesn't add anything to a branch.
 
2103
 
 
2104
        :type shape:    list or tuple.
 
2105
        :param line_endings: Either 'binary' or 'native'
 
2106
            in binary mode, exact contents are written in native mode, the
 
2107
            line endings match the default platform endings.
 
2108
        :param transport: A transport to write to, for building trees on VFS's.
 
2109
            If the transport is readonly or None, "." is opened automatically.
 
2110
        :return: None
 
2111
        """
 
2112
        if type(shape) not in (list, tuple):
 
2113
            raise AssertionError("Parameter 'shape' should be "
 
2114
                "a list or a tuple. Got %r instead" % (shape,))
 
2115
        # It's OK to just create them using forward slashes on windows.
 
2116
        if transport is None or transport.is_readonly():
 
2117
            transport = get_transport(".")
 
2118
        for name in shape:
 
2119
            self.assert_(isinstance(name, basestring))
 
2120
            if name[-1] == '/':
 
2121
                transport.mkdir(urlutils.escape(name[:-1]))
 
2122
            else:
 
2123
                if line_endings == 'binary':
 
2124
                    end = '\n'
 
2125
                elif line_endings == 'native':
 
2126
                    end = os.linesep
 
2127
                else:
 
2128
                    raise errors.BzrError(
 
2129
                        'Invalid line ending request %r' % line_endings)
 
2130
                content = "contents of %s%s" % (name.encode('utf-8'), end)
 
2131
                transport.put_bytes_non_atomic(urlutils.escape(name), content)
 
2132
 
 
2133
    def build_tree_contents(self, shape):
 
2134
        build_tree_contents(shape)
 
2135
 
 
2136
    def assertInWorkingTree(self, path, root_path='.', tree=None):
 
2137
        """Assert whether path or paths are in the WorkingTree"""
 
2138
        if tree is None:
 
2139
            tree = workingtree.WorkingTree.open(root_path)
 
2140
        if not isinstance(path, basestring):
 
2141
            for p in path:
 
2142
                self.assertInWorkingTree(p, tree=tree)
 
2143
        else:
 
2144
            self.assertIsNot(tree.path2id(path), None,
 
2145
                path+' not in working tree.')
 
2146
 
 
2147
    def assertNotInWorkingTree(self, path, root_path='.', tree=None):
 
2148
        """Assert whether path or paths are not in the WorkingTree"""
 
2149
        if tree is None:
 
2150
            tree = workingtree.WorkingTree.open(root_path)
 
2151
        if not isinstance(path, basestring):
 
2152
            for p in path:
 
2153
                self.assertNotInWorkingTree(p,tree=tree)
 
2154
        else:
 
2155
            self.assertIs(tree.path2id(path), None, path+' in working tree.')
 
2156
 
 
2157
 
 
2158
class TestCaseWithTransport(TestCaseInTempDir):
 
2159
    """A test case that provides get_url and get_readonly_url facilities.
 
2160
 
 
2161
    These back onto two transport servers, one for readonly access and one for
 
2162
    read write access.
 
2163
 
 
2164
    If no explicit class is provided for readonly access, a
 
2165
    ReadonlyTransportDecorator is used instead which allows the use of non disk
 
2166
    based read write transports.
 
2167
 
 
2168
    If an explicit class is provided for readonly access, that server and the 
 
2169
    readwrite one must both define get_url() as resolving to os.getcwd().
 
2170
    """
 
2171
 
 
2172
    def get_vfs_only_server(self):
 
2173
        """See TestCaseWithMemoryTransport.
 
2174
 
 
2175
        This is useful for some tests with specific servers that need
 
2176
        diagnostics.
 
2177
        """
 
2178
        if self.__vfs_server is None:
 
2179
            self.__vfs_server = self.vfs_transport_factory()
 
2180
            self.__vfs_server.setUp()
 
2181
            self.addCleanup(self.__vfs_server.tearDown)
 
2182
        return self.__vfs_server
 
2183
 
 
2184
    def make_branch_and_tree(self, relpath, format=None):
 
2185
        """Create a branch on the transport and a tree locally.
 
2186
 
 
2187
        If the transport is not a LocalTransport, the Tree can't be created on
 
2188
        the transport.  In that case if the vfs_transport_factory is
 
2189
        LocalURLServer the working tree is created in the local
 
2190
        directory backing the transport, and the returned tree's branch and
 
2191
        repository will also be accessed locally. Otherwise a lightweight
 
2192
        checkout is created and returned.
 
2193
 
 
2194
        :param format: The BzrDirFormat.
 
2195
        :returns: the WorkingTree.
 
2196
        """
 
2197
        # TODO: always use the local disk path for the working tree,
 
2198
        # this obviously requires a format that supports branch references
 
2199
        # so check for that by checking bzrdir.BzrDirFormat.get_default_format()
 
2200
        # RBC 20060208
 
2201
        b = self.make_branch(relpath, format=format)
 
2202
        try:
 
2203
            return b.bzrdir.create_workingtree()
 
2204
        except errors.NotLocalUrl:
 
2205
            # We can only make working trees locally at the moment.  If the
 
2206
            # transport can't support them, then we keep the non-disk-backed
 
2207
            # branch and create a local checkout.
 
2208
            if self.vfs_transport_factory is LocalURLServer:
 
2209
                # the branch is colocated on disk, we cannot create a checkout.
 
2210
                # hopefully callers will expect this.
 
2211
                local_controldir= bzrdir.BzrDir.open(self.get_vfs_only_url(relpath))
 
2212
                wt = local_controldir.create_workingtree()
 
2213
                if wt.branch._format != b._format:
 
2214
                    wt._branch = b
 
2215
                    # Make sure that assigning to wt._branch fixes wt.branch,
 
2216
                    # in case the implementation details of workingtree objects
 
2217
                    # change.
 
2218
                    self.assertIs(b, wt.branch)
 
2219
                return wt
 
2220
            else:
 
2221
                return b.create_checkout(relpath, lightweight=True)
 
2222
 
 
2223
    def assertIsDirectory(self, relpath, transport):
 
2224
        """Assert that relpath within transport is a directory.
 
2225
 
 
2226
        This may not be possible on all transports; in that case it propagates
 
2227
        a TransportNotPossible.
 
2228
        """
 
2229
        try:
 
2230
            mode = transport.stat(relpath).st_mode
 
2231
        except errors.NoSuchFile:
 
2232
            self.fail("path %s is not a directory; no such file"
 
2233
                      % (relpath))
 
2234
        if not stat.S_ISDIR(mode):
 
2235
            self.fail("path %s is not a directory; has mode %#o"
 
2236
                      % (relpath, mode))
 
2237
 
 
2238
    def assertTreesEqual(self, left, right):
 
2239
        """Check that left and right have the same content and properties."""
 
2240
        # we use a tree delta to check for equality of the content, and we
 
2241
        # manually check for equality of other things such as the parents list.
 
2242
        self.assertEqual(left.get_parent_ids(), right.get_parent_ids())
 
2243
        differences = left.changes_from(right)
 
2244
        self.assertFalse(differences.has_changed(),
 
2245
            "Trees %r and %r are different: %r" % (left, right, differences))
 
2246
 
 
2247
    def setUp(self):
 
2248
        super(TestCaseWithTransport, self).setUp()
 
2249
        self.__vfs_server = None
 
2250
 
 
2251
 
 
2252
class ChrootedTestCase(TestCaseWithTransport):
 
2253
    """A support class that provides readonly urls outside the local namespace.
 
2254
 
 
2255
    This is done by checking if self.transport_server is a MemoryServer. if it
 
2256
    is then we are chrooted already, if it is not then an HttpServer is used
 
2257
    for readonly urls.
 
2258
 
 
2259
    TODO RBC 20060127: make this an option to TestCaseWithTransport so it can
 
2260
                       be used without needed to redo it when a different 
 
2261
                       subclass is in use ?
 
2262
    """
 
2263
 
 
2264
    def setUp(self):
 
2265
        super(ChrootedTestCase, self).setUp()
 
2266
        if not self.vfs_transport_factory == MemoryServer:
 
2267
            self.transport_readonly_server = HttpServer
 
2268
 
 
2269
 
 
2270
def condition_id_re(pattern):
 
2271
    """Create a condition filter which performs a re check on a test's id.
 
2272
    
 
2273
    :param pattern: A regular expression string.
 
2274
    :return: A callable that returns True if the re matches.
 
2275
    """
 
2276
    filter_re = re.compile(pattern)
 
2277
    def condition(test):
 
2278
        test_id = test.id()
 
2279
        return filter_re.search(test_id)
 
2280
    return condition
 
2281
 
 
2282
 
 
2283
def condition_isinstance(klass_or_klass_list):
 
2284
    """Create a condition filter which returns isinstance(param, klass).
 
2285
    
 
2286
    :return: A callable which when called with one parameter obj return the
 
2287
        result of isinstance(obj, klass_or_klass_list).
 
2288
    """
 
2289
    def condition(obj):
 
2290
        return isinstance(obj, klass_or_klass_list)
 
2291
    return condition
 
2292
 
 
2293
 
 
2294
def condition_id_in_list(id_list):
 
2295
    """Create a condition filter which verify that test's id in a list.
 
2296
    
 
2297
    :param id_list: A TestIdList object.
 
2298
    :return: A callable that returns True if the test's id appears in the list.
 
2299
    """
 
2300
    def condition(test):
 
2301
        return id_list.includes(test.id())
 
2302
    return condition
 
2303
 
 
2304
 
 
2305
def condition_id_startswith(start):
 
2306
    """Create a condition filter verifying that test's id starts with a string.
 
2307
    
 
2308
    :param start: A string.
 
2309
    :return: A callable that returns True if the test's id starts with the
 
2310
        given string.
 
2311
    """
 
2312
    def condition(test):
 
2313
        return test.id().startswith(start)
 
2314
    return condition
 
2315
 
 
2316
 
 
2317
def exclude_tests_by_condition(suite, condition):
 
2318
    """Create a test suite which excludes some tests from suite.
 
2319
 
 
2320
    :param suite: The suite to get tests from.
 
2321
    :param condition: A callable whose result evaluates True when called with a
 
2322
        test case which should be excluded from the result.
 
2323
    :return: A suite which contains the tests found in suite that fail
 
2324
        condition.
 
2325
    """
 
2326
    result = []
 
2327
    for test in iter_suite_tests(suite):
 
2328
        if not condition(test):
 
2329
            result.append(test)
 
2330
    return TestUtil.TestSuite(result)
 
2331
 
 
2332
 
 
2333
def filter_suite_by_condition(suite, condition):
 
2334
    """Create a test suite by filtering another one.
 
2335
    
 
2336
    :param suite: The source suite.
 
2337
    :param condition: A callable whose result evaluates True when called with a
 
2338
        test case which should be included in the result.
 
2339
    :return: A suite which contains the tests found in suite that pass
 
2340
        condition.
 
2341
    """ 
 
2342
    result = []
 
2343
    for test in iter_suite_tests(suite):
 
2344
        if condition(test):
 
2345
            result.append(test)
 
2346
    return TestUtil.TestSuite(result)
 
2347
 
 
2348
 
 
2349
def filter_suite_by_re(suite, pattern):
 
2350
    """Create a test suite by filtering another one.
 
2351
    
 
2352
    :param suite:           the source suite
 
2353
    :param pattern:         pattern that names must match
 
2354
    :returns: the newly created suite
 
2355
    """ 
 
2356
    condition = condition_id_re(pattern)
 
2357
    result_suite = filter_suite_by_condition(suite, condition)
 
2358
    return result_suite
 
2359
 
 
2360
 
 
2361
def filter_suite_by_id_list(suite, test_id_list):
 
2362
    """Create a test suite by filtering another one.
 
2363
 
 
2364
    :param suite: The source suite.
 
2365
    :param test_id_list: A list of the test ids to keep as strings.
 
2366
    :returns: the newly created suite
 
2367
    """
 
2368
    condition = condition_id_in_list(test_id_list)
 
2369
    result_suite = filter_suite_by_condition(suite, condition)
 
2370
    return result_suite
 
2371
 
 
2372
 
 
2373
def filter_suite_by_id_startswith(suite, start):
 
2374
    """Create a test suite by filtering another one.
 
2375
 
 
2376
    :param suite: The source suite.
 
2377
    :param start: A string the test id must start with.
 
2378
    :returns: the newly created suite
 
2379
    """
 
2380
    condition = condition_id_startswith(start)
 
2381
    result_suite = filter_suite_by_condition(suite, condition)
 
2382
    return result_suite
 
2383
 
 
2384
 
 
2385
def exclude_tests_by_re(suite, pattern):
 
2386
    """Create a test suite which excludes some tests from suite.
 
2387
 
 
2388
    :param suite: The suite to get tests from.
 
2389
    :param pattern: A regular expression string. Test ids that match this
 
2390
        pattern will be excluded from the result.
 
2391
    :return: A TestSuite that contains all the tests from suite without the
 
2392
        tests that matched pattern. The order of tests is the same as it was in
 
2393
        suite.
 
2394
    """
 
2395
    return exclude_tests_by_condition(suite, condition_id_re(pattern))
 
2396
 
 
2397
 
 
2398
def preserve_input(something):
 
2399
    """A helper for performing test suite transformation chains.
 
2400
 
 
2401
    :param something: Anything you want to preserve.
 
2402
    :return: Something.
 
2403
    """
 
2404
    return something
 
2405
 
 
2406
 
 
2407
def randomize_suite(suite):
 
2408
    """Return a new TestSuite with suite's tests in random order.
 
2409
    
 
2410
    The tests in the input suite are flattened into a single suite in order to
 
2411
    accomplish this. Any nested TestSuites are removed to provide global
 
2412
    randomness.
 
2413
    """
 
2414
    tests = list(iter_suite_tests(suite))
 
2415
    random.shuffle(tests)
 
2416
    return TestUtil.TestSuite(tests)
 
2417
 
 
2418
 
 
2419
def split_suite_by_condition(suite, condition):
 
2420
    """Split a test suite into two by a condition.
 
2421
    
 
2422
    :param suite: The suite to split.
 
2423
    :param condition: The condition to match on. Tests that match this
 
2424
        condition are returned in the first test suite, ones that do not match
 
2425
        are in the second suite.
 
2426
    :return: A tuple of two test suites, where the first contains tests from
 
2427
        suite matching the condition, and the second contains the remainder
 
2428
        from suite. The order within each output suite is the same as it was in
 
2429
        suite.
 
2430
    """ 
 
2431
    matched = []
 
2432
    did_not_match = []
 
2433
    for test in iter_suite_tests(suite):
 
2434
        if condition(test):
 
2435
            matched.append(test)
 
2436
        else:
 
2437
            did_not_match.append(test)
 
2438
    return TestUtil.TestSuite(matched), TestUtil.TestSuite(did_not_match)
 
2439
 
 
2440
 
 
2441
def split_suite_by_re(suite, pattern):
 
2442
    """Split a test suite into two by a regular expression.
 
2443
    
 
2444
    :param suite: The suite to split.
 
2445
    :param pattern: A regular expression string. Test ids that match this
 
2446
        pattern will be in the first test suite returned, and the others in the
 
2447
        second test suite returned.
 
2448
    :return: A tuple of two test suites, where the first contains tests from
 
2449
        suite matching pattern, and the second contains the remainder from
 
2450
        suite. The order within each output suite is the same as it was in
 
2451
        suite.
 
2452
    """ 
 
2453
    return split_suite_by_condition(suite, condition_id_re(pattern))
 
2454
 
 
2455
 
 
2456
def run_suite(suite, name='test', verbose=False, pattern=".*",
 
2457
              stop_on_failure=False,
 
2458
              transport=None, lsprof_timed=None, bench_history=None,
 
2459
              matching_tests_first=None,
 
2460
              list_only=False,
 
2461
              random_seed=None,
 
2462
              exclude_pattern=None,
 
2463
              strict=False):
 
2464
    TestCase._gather_lsprof_in_benchmarks = lsprof_timed
 
2465
    if verbose:
 
2466
        verbosity = 2
 
2467
    else:
 
2468
        verbosity = 1
 
2469
    runner = TextTestRunner(stream=sys.stdout,
 
2470
                            descriptions=0,
 
2471
                            verbosity=verbosity,
 
2472
                            bench_history=bench_history,
 
2473
                            list_only=list_only,
 
2474
                            )
 
2475
    runner.stop_on_failure=stop_on_failure
 
2476
    # Initialise the random number generator and display the seed used.
 
2477
    # We convert the seed to a long to make it reuseable across invocations.
 
2478
    random_order = False
 
2479
    if random_seed is not None:
 
2480
        random_order = True
 
2481
        if random_seed == "now":
 
2482
            random_seed = long(time.time())
 
2483
        else:
 
2484
            # Convert the seed to a long if we can
 
2485
            try:
 
2486
                random_seed = long(random_seed)
 
2487
            except:
 
2488
                pass
 
2489
        runner.stream.writeln("Randomizing test order using seed %s\n" %
 
2490
            (random_seed))
 
2491
        random.seed(random_seed)
 
2492
    # Customise the list of tests if requested
 
2493
    if exclude_pattern is not None:
 
2494
        suite = exclude_tests_by_re(suite, exclude_pattern)
 
2495
    if random_order:
 
2496
        order_changer = randomize_suite
 
2497
    else:
 
2498
        order_changer = preserve_input
 
2499
    if pattern != '.*' or random_order:
 
2500
        if matching_tests_first:
 
2501
            suites = map(order_changer, split_suite_by_re(suite, pattern))
 
2502
            suite = TestUtil.TestSuite(suites)
 
2503
        else:
 
2504
            suite = order_changer(filter_suite_by_re(suite, pattern))
 
2505
 
 
2506
    result = runner.run(suite)
 
2507
 
 
2508
    if strict:
 
2509
        return result.wasStrictlySuccessful()
 
2510
 
 
2511
    return result.wasSuccessful()
 
2512
 
 
2513
 
 
2514
# Controlled by "bzr selftest -E=..." option
 
2515
selftest_debug_flags = set()
 
2516
 
 
2517
 
 
2518
def selftest(verbose=False, pattern=".*", stop_on_failure=True,
 
2519
             transport=None,
 
2520
             test_suite_factory=None,
 
2521
             lsprof_timed=None,
 
2522
             bench_history=None,
 
2523
             matching_tests_first=None,
 
2524
             list_only=False,
 
2525
             random_seed=None,
 
2526
             exclude_pattern=None,
 
2527
             strict=False,
 
2528
             load_list=None,
 
2529
             debug_flags=None,
 
2530
             starting_with=None,
 
2531
             ):
 
2532
    """Run the whole test suite under the enhanced runner"""
 
2533
    # XXX: Very ugly way to do this...
 
2534
    # Disable warning about old formats because we don't want it to disturb
 
2535
    # any blackbox tests.
 
2536
    from bzrlib import repository
 
2537
    repository._deprecation_warning_done = True
 
2538
 
 
2539
    global default_transport
 
2540
    if transport is None:
 
2541
        transport = default_transport
 
2542
    old_transport = default_transport
 
2543
    default_transport = transport
 
2544
    global selftest_debug_flags
 
2545
    old_debug_flags = selftest_debug_flags
 
2546
    if debug_flags is not None:
 
2547
        selftest_debug_flags = set(debug_flags)
 
2548
    try:
 
2549
        if load_list is None:
 
2550
            keep_only = None
 
2551
        else:
 
2552
            keep_only = load_test_id_list(load_list)
 
2553
        if test_suite_factory is None:
 
2554
            suite = test_suite(keep_only, starting_with)
 
2555
        else:
 
2556
            suite = test_suite_factory()
 
2557
        return run_suite(suite, 'testbzr', verbose=verbose, pattern=pattern,
 
2558
                     stop_on_failure=stop_on_failure,
 
2559
                     transport=transport,
 
2560
                     lsprof_timed=lsprof_timed,
 
2561
                     bench_history=bench_history,
 
2562
                     matching_tests_first=matching_tests_first,
 
2563
                     list_only=list_only,
 
2564
                     random_seed=random_seed,
 
2565
                     exclude_pattern=exclude_pattern,
 
2566
                     strict=strict)
 
2567
    finally:
 
2568
        default_transport = old_transport
 
2569
        selftest_debug_flags = old_debug_flags
 
2570
 
 
2571
 
 
2572
def load_test_id_list(file_name):
 
2573
    """Load a test id list from a text file.
 
2574
 
 
2575
    The format is one test id by line.  No special care is taken to impose
 
2576
    strict rules, these test ids are used to filter the test suite so a test id
 
2577
    that do not match an existing test will do no harm. This allows user to add
 
2578
    comments, leave blank lines, etc.
 
2579
    """
 
2580
    test_list = []
 
2581
    try:
 
2582
        ftest = open(file_name, 'rt')
 
2583
    except IOError, e:
 
2584
        if e.errno != errno.ENOENT:
 
2585
            raise
 
2586
        else:
 
2587
            raise errors.NoSuchFile(file_name)
 
2588
 
 
2589
    for test_name in ftest.readlines():
 
2590
        test_list.append(test_name.strip())
 
2591
    ftest.close()
 
2592
    return test_list
 
2593
 
 
2594
 
 
2595
def suite_matches_id_list(test_suite, id_list):
 
2596
    """Warns about tests not appearing or appearing more than once.
 
2597
 
 
2598
    :param test_suite: A TestSuite object.
 
2599
    :param test_id_list: The list of test ids that should be found in 
 
2600
         test_suite.
 
2601
 
 
2602
    :return: (absents, duplicates) absents is a list containing the test found
 
2603
        in id_list but not in test_suite, duplicates is a list containing the
 
2604
        test found multiple times in test_suite.
 
2605
 
 
2606
    When using a prefined test id list, it may occurs that some tests do not
 
2607
    exist anymore or that some tests use the same id. This function warns the
 
2608
    tester about potential problems in his workflow (test lists are volatile)
 
2609
    or in the test suite itself (using the same id for several tests does not
 
2610
    help to localize defects).
 
2611
    """
 
2612
    # Build a dict counting id occurrences
 
2613
    tests = dict()
 
2614
    for test in iter_suite_tests(test_suite):
 
2615
        id = test.id()
 
2616
        tests[id] = tests.get(id, 0) + 1
 
2617
 
 
2618
    not_found = []
 
2619
    duplicates = []
 
2620
    for id in id_list:
 
2621
        occurs = tests.get(id, 0)
 
2622
        if not occurs:
 
2623
            not_found.append(id)
 
2624
        elif occurs > 1:
 
2625
            duplicates.append(id)
 
2626
 
 
2627
    return not_found, duplicates
 
2628
 
 
2629
 
 
2630
class TestIdList(object):
 
2631
    """Test id list to filter a test suite.
 
2632
 
 
2633
    Relying on the assumption that test ids are built as:
 
2634
    <module>[.<class>.<method>][(<param>+)], <module> being in python dotted
 
2635
    notation, this class offers methods to :
 
2636
    - avoid building a test suite for modules not refered to in the test list,
 
2637
    - keep only the tests listed from the module test suite.
 
2638
    """
 
2639
 
 
2640
    def __init__(self, test_id_list):
 
2641
        # When a test suite needs to be filtered against us we compare test ids
 
2642
        # for equality, so a simple dict offers a quick and simple solution.
 
2643
        self.tests = dict().fromkeys(test_id_list, True)
 
2644
 
 
2645
        # While unittest.TestCase have ids like:
 
2646
        # <module>.<class>.<method>[(<param+)],
 
2647
        # doctest.DocTestCase can have ids like:
 
2648
        # <module>
 
2649
        # <module>.<class>
 
2650
        # <module>.<function>
 
2651
        # <module>.<class>.<method>
 
2652
 
 
2653
        # Since we can't predict a test class from its name only, we settle on
 
2654
        # a simple constraint: a test id always begins with its module name.
 
2655
 
 
2656
        modules = {}
 
2657
        for test_id in test_id_list:
 
2658
            parts = test_id.split('.')
 
2659
            mod_name = parts.pop(0)
 
2660
            modules[mod_name] = True
 
2661
            for part in parts:
 
2662
                mod_name += '.' + part
 
2663
                modules[mod_name] = True
 
2664
        self.modules = modules
 
2665
 
 
2666
    def refers_to(self, module_name):
 
2667
        """Is there tests for the module or one of its sub modules."""
 
2668
        return self.modules.has_key(module_name)
 
2669
 
 
2670
    def includes(self, test_id):
 
2671
        return self.tests.has_key(test_id)
 
2672
 
 
2673
 
 
2674
def test_suite(keep_only=None, starting_with=None):
 
2675
    """Build and return TestSuite for the whole of bzrlib.
 
2676
 
 
2677
    :param keep_only: A list of test ids limiting the suite returned.
 
2678
 
 
2679
    :param starting_with: An id limiting the suite returned to the tests
 
2680
         starting with it.
 
2681
 
 
2682
    This function can be replaced if you need to change the default test
 
2683
    suite on a global basis, but it is not encouraged.
 
2684
    """
 
2685
    testmod_names = [
 
2686
                   'bzrlib.doc',
 
2687
                   'bzrlib.util.tests.test_bencode',
 
2688
                   'bzrlib.tests.blackbox',
 
2689
                   'bzrlib.tests.branch_implementations',
 
2690
                   'bzrlib.tests.bzrdir_implementations',
 
2691
                   'bzrlib.tests.commands',
 
2692
                   'bzrlib.tests.inventory_implementations',
 
2693
                   'bzrlib.tests.interrepository_implementations',
 
2694
                   'bzrlib.tests.intertree_implementations',
 
2695
                   'bzrlib.tests.per_lock',
 
2696
                   'bzrlib.tests.repository_implementations',
 
2697
                   'bzrlib.tests.test__dirstate_helpers',
 
2698
                   'bzrlib.tests.test_ancestry',
 
2699
                   'bzrlib.tests.test_annotate',
 
2700
                   'bzrlib.tests.test_api',
 
2701
                   'bzrlib.tests.test_atomicfile',
 
2702
                   'bzrlib.tests.test_bad_files',
 
2703
                   'bzrlib.tests.test_bisect_multi',
 
2704
                   'bzrlib.tests.test_branch',
 
2705
                   'bzrlib.tests.test_branchbuilder',
 
2706
                   'bzrlib.tests.test_btree_index',
 
2707
                   'bzrlib.tests.test_bugtracker',
 
2708
                   'bzrlib.tests.test_bundle',
 
2709
                   'bzrlib.tests.test_bzrdir',
 
2710
                   'bzrlib.tests.test_cache_utf8',
 
2711
                   'bzrlib.tests.test_chunk_writer',
 
2712
                   'bzrlib.tests.test_commands',
 
2713
                   'bzrlib.tests.test_commit',
 
2714
                   'bzrlib.tests.test_commit_merge',
 
2715
                   'bzrlib.tests.test_config',
 
2716
                   'bzrlib.tests.test_conflicts',
 
2717
                   'bzrlib.tests.test_counted_lock',
 
2718
                   'bzrlib.tests.test_decorators',
 
2719
                   'bzrlib.tests.test_delta',
 
2720
                   'bzrlib.tests.test_deprecated_graph',
 
2721
                   'bzrlib.tests.test_diff',
 
2722
                   'bzrlib.tests.test_dirstate',
 
2723
                   'bzrlib.tests.test_directory_service',
 
2724
                   'bzrlib.tests.test_email_message',
 
2725
                   'bzrlib.tests.test_errors',
 
2726
                   'bzrlib.tests.test_extract',
 
2727
                   'bzrlib.tests.test_fetch',
 
2728
                   'bzrlib.tests.test_ftp_transport',
 
2729
                   'bzrlib.tests.test_generate_docs',
 
2730
                   'bzrlib.tests.test_generate_ids',
 
2731
                   'bzrlib.tests.test_globbing',
 
2732
                   'bzrlib.tests.test_gpg',
 
2733
                   'bzrlib.tests.test_graph',
 
2734
                   'bzrlib.tests.test_hashcache',
 
2735
                   'bzrlib.tests.test_help',
 
2736
                   'bzrlib.tests.test_hooks',
 
2737
                   'bzrlib.tests.test_http',
 
2738
                   'bzrlib.tests.test_http_implementations',
 
2739
                   'bzrlib.tests.test_http_response',
 
2740
                   'bzrlib.tests.test_https_ca_bundle',
 
2741
                   'bzrlib.tests.test_identitymap',
 
2742
                   'bzrlib.tests.test_ignores',
 
2743
                   'bzrlib.tests.test_index',
 
2744
                   'bzrlib.tests.test_info',
 
2745
                   'bzrlib.tests.test_inv',
 
2746
                   'bzrlib.tests.test_knit',
 
2747
                   'bzrlib.tests.test_lazy_import',
 
2748
                   'bzrlib.tests.test_lazy_regex',
 
2749
                   'bzrlib.tests.test_lockdir',
 
2750
                   'bzrlib.tests.test_lockable_files',
 
2751
                   'bzrlib.tests.test_log',
 
2752
                   'bzrlib.tests.test_lsprof',
 
2753
                   'bzrlib.tests.test_lru_cache',
 
2754
                   'bzrlib.tests.test_mail_client',
 
2755
                   'bzrlib.tests.test_memorytree',
 
2756
                   'bzrlib.tests.test_merge',
 
2757
                   'bzrlib.tests.test_merge3',
 
2758
                   'bzrlib.tests.test_merge_core',
 
2759
                   'bzrlib.tests.test_merge_directive',
 
2760
                   'bzrlib.tests.test_missing',
 
2761
                   'bzrlib.tests.test_msgeditor',
 
2762
                   'bzrlib.tests.test_multiparent',
 
2763
                   'bzrlib.tests.test_mutabletree',
 
2764
                   'bzrlib.tests.test_nonascii',
 
2765
                   'bzrlib.tests.test_options',
 
2766
                   'bzrlib.tests.test_osutils',
 
2767
                   'bzrlib.tests.test_osutils_encodings',
 
2768
                   'bzrlib.tests.test_pack',
 
2769
                   'bzrlib.tests.test_pack_repository',
 
2770
                   'bzrlib.tests.test_patch',
 
2771
                   'bzrlib.tests.test_patches',
 
2772
                   'bzrlib.tests.test_permissions',
 
2773
                   'bzrlib.tests.test_plugins',
 
2774
                   'bzrlib.tests.test_progress',
 
2775
                   'bzrlib.tests.test_read_bundle',
 
2776
                   'bzrlib.tests.test_reconfigure',
 
2777
                   'bzrlib.tests.test_reconcile',
 
2778
                   'bzrlib.tests.test_registry',
 
2779
                   'bzrlib.tests.test_remote',
 
2780
                   'bzrlib.tests.test_repository',
 
2781
                   'bzrlib.tests.per_repository_reference',
 
2782
                   'bzrlib.tests.test_revert',
 
2783
                   'bzrlib.tests.test_revision',
 
2784
                   'bzrlib.tests.test_revisionspec',
 
2785
                   'bzrlib.tests.test_revisiontree',
 
2786
                   'bzrlib.tests.test_rio',
 
2787
                   'bzrlib.tests.test_rules',
 
2788
                   'bzrlib.tests.test_sampler',
 
2789
                   'bzrlib.tests.test_selftest',
 
2790
                   'bzrlib.tests.test_setup',
 
2791
                   'bzrlib.tests.test_sftp_transport',
 
2792
                   'bzrlib.tests.test_smart',
 
2793
                   'bzrlib.tests.test_smart_add',
 
2794
                   'bzrlib.tests.test_smart_transport',
 
2795
                   'bzrlib.tests.test_smtp_connection',
 
2796
                   'bzrlib.tests.test_source',
 
2797
                   'bzrlib.tests.test_ssh_transport',
 
2798
                   'bzrlib.tests.test_status',
 
2799
                   'bzrlib.tests.test_store',
 
2800
                   'bzrlib.tests.test_strace',
 
2801
                   'bzrlib.tests.test_subsume',
 
2802
                   'bzrlib.tests.test_switch',
 
2803
                   'bzrlib.tests.test_symbol_versioning',
 
2804
                   'bzrlib.tests.test_tag',
 
2805
                   'bzrlib.tests.test_testament',
 
2806
                   'bzrlib.tests.test_textfile',
 
2807
                   'bzrlib.tests.test_textmerge',
 
2808
                   'bzrlib.tests.test_timestamp',
 
2809
                   'bzrlib.tests.test_trace',
 
2810
                   'bzrlib.tests.test_transactions',
 
2811
                   'bzrlib.tests.test_transform',
 
2812
                   'bzrlib.tests.test_transport',
 
2813
                   'bzrlib.tests.test_transport_implementations',
 
2814
                   'bzrlib.tests.test_tree',
 
2815
                   'bzrlib.tests.test_treebuilder',
 
2816
                   'bzrlib.tests.test_tsort',
 
2817
                   'bzrlib.tests.test_tuned_gzip',
 
2818
                   'bzrlib.tests.test_ui',
 
2819
                   'bzrlib.tests.test_uncommit',
 
2820
                   'bzrlib.tests.test_upgrade',
 
2821
                   'bzrlib.tests.test_upgrade_stacked',
 
2822
                   'bzrlib.tests.test_urlutils',
 
2823
                   'bzrlib.tests.test_versionedfile',
 
2824
                   'bzrlib.tests.test_version',
 
2825
                   'bzrlib.tests.test_version_info',
 
2826
                   'bzrlib.tests.test__walkdirs_win32',
 
2827
                   'bzrlib.tests.test_weave',
 
2828
                   'bzrlib.tests.test_whitebox',
 
2829
                   'bzrlib.tests.test_win32utils',
 
2830
                   'bzrlib.tests.test_workingtree',
 
2831
                   'bzrlib.tests.test_workingtree_4',
 
2832
                   'bzrlib.tests.test_wsgi',
 
2833
                   'bzrlib.tests.test_xml',
 
2834
                   'bzrlib.tests.tree_implementations',
 
2835
                   'bzrlib.tests.workingtree_implementations',
 
2836
                   ]
 
2837
 
 
2838
    loader = TestUtil.TestLoader()
 
2839
 
 
2840
    if starting_with is not None:
 
2841
        # We take precedence over keep_only because *at loading time* using
 
2842
        # both options means we will load less tests for the same final result.
 
2843
        def interesting_module(name):
 
2844
            return (
 
2845
                # Either the module name starts with the specified string
 
2846
                name.startswith(starting_with)
 
2847
                # or it may contain tests starting with the specified string
 
2848
                or starting_with.startswith(name)
 
2849
                )
 
2850
        loader = TestUtil.FilteredByModuleTestLoader(interesting_module)
 
2851
 
 
2852
    elif keep_only is not None:
 
2853
        id_filter = TestIdList(keep_only)
 
2854
        loader = TestUtil.FilteredByModuleTestLoader(id_filter.refers_to)
 
2855
        def interesting_module(name):
 
2856
            return id_filter.refers_to(name)
 
2857
 
 
2858
    else:
 
2859
        loader = TestUtil.TestLoader()
 
2860
        def interesting_module(name):
 
2861
            # No filtering, all modules are interesting
 
2862
            return True
 
2863
 
 
2864
    suite = loader.suiteClass()
 
2865
 
 
2866
    # modules building their suite with loadTestsFromModuleNames
 
2867
    suite.addTest(loader.loadTestsFromModuleNames(testmod_names))
 
2868
 
 
2869
    modules_to_doctest = [
 
2870
        'bzrlib',
 
2871
        'bzrlib.errors',
 
2872
        'bzrlib.export',
 
2873
        'bzrlib.inventory',
 
2874
        'bzrlib.iterablefile',
 
2875
        'bzrlib.lockdir',
 
2876
        'bzrlib.merge3',
 
2877
        'bzrlib.option',
 
2878
        'bzrlib.store',
 
2879
        'bzrlib.symbol_versioning',
 
2880
        'bzrlib.tests',
 
2881
        'bzrlib.timestamp',
 
2882
        'bzrlib.version_info_formats.format_custom',
 
2883
        ]
 
2884
 
 
2885
    for mod in modules_to_doctest:
 
2886
        if not interesting_module(mod):
 
2887
            # No tests to keep here, move along
 
2888
            continue
 
2889
        try:
 
2890
            doc_suite = doctest.DocTestSuite(mod)
 
2891
        except ValueError, e:
 
2892
            print '**failed to get doctest for: %s\n%s' % (mod, e)
 
2893
            raise
 
2894
        suite.addTest(doc_suite)
 
2895
 
 
2896
    default_encoding = sys.getdefaultencoding()
 
2897
    for name, plugin in bzrlib.plugin.plugins().items():
 
2898
        if not interesting_module(plugin.module.__name__):
 
2899
            continue
 
2900
        plugin_suite = plugin.test_suite()
 
2901
        # We used to catch ImportError here and turn it into just a warning,
 
2902
        # but really if you don't have --no-plugins this should be a failure.
 
2903
        # mbp 20080213 - see http://bugs.launchpad.net/bugs/189771
 
2904
        if plugin_suite is None:
 
2905
            plugin_suite = plugin.load_plugin_tests(loader)
 
2906
        if plugin_suite is not None:
 
2907
            suite.addTest(plugin_suite)
 
2908
        if default_encoding != sys.getdefaultencoding():
 
2909
            bzrlib.trace.warning(
 
2910
                'Plugin "%s" tried to reset default encoding to: %s', name,
 
2911
                sys.getdefaultencoding())
 
2912
            reload(sys)
 
2913
            sys.setdefaultencoding(default_encoding)
 
2914
 
 
2915
    if starting_with is not None:
 
2916
        suite = filter_suite_by_id_startswith(suite, starting_with)
 
2917
 
 
2918
    if keep_only is not None:
 
2919
        # Now that the referred modules have loaded their tests, keep only the
 
2920
        # requested ones.
 
2921
        suite = filter_suite_by_id_list(suite, id_filter)
 
2922
        # Do some sanity checks on the id_list filtering
 
2923
        not_found, duplicates = suite_matches_id_list(suite, keep_only)
 
2924
        if starting_with is not None:
 
2925
            # The tester has used both keep_only and starting_with, so he is
 
2926
            # already aware that some tests are excluded from the list, there
 
2927
            # is no need to tell him which.
 
2928
            pass
 
2929
        else:
 
2930
            # Some tests mentioned in the list are not in the test suite. The
 
2931
            # list may be out of date, report to the tester.
 
2932
            for id in not_found:
 
2933
                bzrlib.trace.warning('"%s" not found in the test suite', id)
 
2934
        for id in duplicates:
 
2935
            bzrlib.trace.warning('"%s" is used as an id by several tests', id)
 
2936
 
 
2937
    return suite
 
2938
 
 
2939
 
 
2940
def multiply_tests_from_modules(module_name_list, scenario_iter, loader=None):
 
2941
    """Adapt all tests in some given modules to given scenarios.
 
2942
 
 
2943
    This is the recommended public interface for test parameterization.
 
2944
    Typically the test_suite() method for a per-implementation test
 
2945
    suite will call multiply_tests_from_modules and return the 
 
2946
    result.
 
2947
 
 
2948
    :param module_name_list: List of fully-qualified names of test
 
2949
        modules.
 
2950
    :param scenario_iter: Iterable of pairs of (scenario_name, 
 
2951
        scenario_param_dict).
 
2952
    :param loader: If provided, will be used instead of a new 
 
2953
        bzrlib.tests.TestLoader() instance.
 
2954
 
 
2955
    This returns a new TestSuite containing the cross product of
 
2956
    all the tests in all the modules, each repeated for each scenario.
 
2957
    Each test is adapted by adding the scenario name at the end 
 
2958
    of its name, and updating the test object's __dict__ with the
 
2959
    scenario_param_dict.
 
2960
 
 
2961
    >>> r = multiply_tests_from_modules(
 
2962
    ...     ['bzrlib.tests.test_sampler'],
 
2963
    ...     [('one', dict(param=1)), 
 
2964
    ...      ('two', dict(param=2))])
 
2965
    >>> tests = list(iter_suite_tests(r))
 
2966
    >>> len(tests)
 
2967
    2
 
2968
    >>> tests[0].id()
 
2969
    'bzrlib.tests.test_sampler.DemoTest.test_nothing(one)'
 
2970
    >>> tests[0].param
 
2971
    1
 
2972
    >>> tests[1].param
 
2973
    2
 
2974
    """
 
2975
    # XXX: Isn't load_tests() a better way to provide the same functionality
 
2976
    # without forcing a predefined TestScenarioApplier ? --vila 080215
 
2977
    if loader is None:
 
2978
        loader = TestUtil.TestLoader()
 
2979
 
 
2980
    suite = loader.suiteClass()
 
2981
 
 
2982
    adapter = TestScenarioApplier()
 
2983
    adapter.scenarios = list(scenario_iter)
 
2984
    adapt_modules(module_name_list, adapter, loader, suite)
 
2985
    return suite
 
2986
 
 
2987
 
 
2988
def multiply_scenarios(scenarios_left, scenarios_right):
 
2989
    """Multiply two sets of scenarios.
 
2990
 
 
2991
    :returns: the cartesian product of the two sets of scenarios, that is
 
2992
        a scenario for every possible combination of a left scenario and a
 
2993
        right scenario.
 
2994
    """
 
2995
    return [
 
2996
        ('%s,%s' % (left_name, right_name),
 
2997
         dict(left_dict.items() + right_dict.items()))
 
2998
        for left_name, left_dict in scenarios_left
 
2999
        for right_name, right_dict in scenarios_right]
 
3000
 
 
3001
 
 
3002
 
 
3003
def adapt_modules(mods_list, adapter, loader, suite):
 
3004
    """Adapt the modules in mods_list using adapter and add to suite."""
 
3005
    tests = loader.loadTestsFromModuleNames(mods_list)
 
3006
    adapt_tests(tests, adapter, suite)
 
3007
 
 
3008
 
 
3009
def adapt_tests(tests_list, adapter, suite):
 
3010
    """Adapt the tests in tests_list using adapter and add to suite."""
 
3011
    for test in iter_suite_tests(tests_list):
 
3012
        suite.addTests(adapter.adapt(test))
 
3013
 
 
3014
 
 
3015
def _rmtree_temp_dir(dirname):
 
3016
    # If LANG=C we probably have created some bogus paths
 
3017
    # which rmtree(unicode) will fail to delete
 
3018
    # so make sure we are using rmtree(str) to delete everything
 
3019
    # except on win32, where rmtree(str) will fail
 
3020
    # since it doesn't have the property of byte-stream paths
 
3021
    # (they are either ascii or mbcs)
 
3022
    if sys.platform == 'win32':
 
3023
        # make sure we are using the unicode win32 api
 
3024
        dirname = unicode(dirname)
 
3025
    else:
 
3026
        dirname = dirname.encode(sys.getfilesystemencoding())
 
3027
    try:
 
3028
        osutils.rmtree(dirname)
 
3029
    except OSError, e:
 
3030
        if sys.platform == 'win32' and e.errno == errno.EACCES:
 
3031
            sys.stderr.write(('Permission denied: '
 
3032
                                 'unable to remove testing dir '
 
3033
                                 '%s\n' % os.path.basename(dirname)))
 
3034
        else:
 
3035
            raise
 
3036
 
 
3037
 
 
3038
class Feature(object):
 
3039
    """An operating system Feature."""
 
3040
 
 
3041
    def __init__(self):
 
3042
        self._available = None
 
3043
 
 
3044
    def available(self):
 
3045
        """Is the feature available?
 
3046
 
 
3047
        :return: True if the feature is available.
 
3048
        """
 
3049
        if self._available is None:
 
3050
            self._available = self._probe()
 
3051
        return self._available
 
3052
 
 
3053
    def _probe(self):
 
3054
        """Implement this method in concrete features.
 
3055
 
 
3056
        :return: True if the feature is available.
 
3057
        """
 
3058
        raise NotImplementedError
 
3059
 
 
3060
    def __str__(self):
 
3061
        if getattr(self, 'feature_name', None):
 
3062
            return self.feature_name()
 
3063
        return self.__class__.__name__
 
3064
 
 
3065
 
 
3066
class _SymlinkFeature(Feature):
 
3067
 
 
3068
    def _probe(self):
 
3069
        return osutils.has_symlinks()
 
3070
 
 
3071
    def feature_name(self):
 
3072
        return 'symlinks'
 
3073
 
 
3074
SymlinkFeature = _SymlinkFeature()
 
3075
 
 
3076
 
 
3077
class _HardlinkFeature(Feature):
 
3078
 
 
3079
    def _probe(self):
 
3080
        return osutils.has_hardlinks()
 
3081
 
 
3082
    def feature_name(self):
 
3083
        return 'hardlinks'
 
3084
 
 
3085
HardlinkFeature = _HardlinkFeature()
 
3086
 
 
3087
 
 
3088
class _OsFifoFeature(Feature):
 
3089
 
 
3090
    def _probe(self):
 
3091
        return getattr(os, 'mkfifo', None)
 
3092
 
 
3093
    def feature_name(self):
 
3094
        return 'filesystem fifos'
 
3095
 
 
3096
OsFifoFeature = _OsFifoFeature()
 
3097
 
 
3098
 
 
3099
class _UnicodeFilenameFeature(Feature):
 
3100
    """Does the filesystem support Unicode filenames?"""
 
3101
 
 
3102
    def _probe(self):
 
3103
        try:
 
3104
            # Check for character combinations unlikely to be covered by any
 
3105
            # single non-unicode encoding. We use the characters
 
3106
            # - greek small letter alpha (U+03B1) and
 
3107
            # - braille pattern dots-123456 (U+283F).
 
3108
            os.stat(u'\u03b1\u283f')
 
3109
        except UnicodeEncodeError:
 
3110
            return False
 
3111
        except (IOError, OSError):
 
3112
            # The filesystem allows the Unicode filename but the file doesn't
 
3113
            # exist.
 
3114
            return True
 
3115
        else:
 
3116
            # The filesystem allows the Unicode filename and the file exists,
 
3117
            # for some reason.
 
3118
            return True
 
3119
 
 
3120
UnicodeFilenameFeature = _UnicodeFilenameFeature()
 
3121
 
 
3122
 
 
3123
class TestScenarioApplier(object):
 
3124
    """A tool to apply scenarios to tests."""
 
3125
 
 
3126
    def adapt(self, test):
 
3127
        """Return a TestSuite containing a copy of test for each scenario."""
 
3128
        result = unittest.TestSuite()
 
3129
        for scenario in self.scenarios:
 
3130
            result.addTest(self.adapt_test_to_scenario(test, scenario))
 
3131
        return result
 
3132
 
 
3133
    def adapt_test_to_scenario(self, test, scenario):
 
3134
        """Copy test and apply scenario to it.
 
3135
 
 
3136
        :param test: A test to adapt.
 
3137
        :param scenario: A tuple describing the scenarion.
 
3138
            The first element of the tuple is the new test id.
 
3139
            The second element is a dict containing attributes to set on the
 
3140
            test.
 
3141
        :return: The adapted test.
 
3142
        """
 
3143
        from copy import deepcopy
 
3144
        new_test = deepcopy(test)
 
3145
        for name, value in scenario[1].items():
 
3146
            setattr(new_test, name, value)
 
3147
        new_id = "%s(%s)" % (new_test.id(), scenario[0])
 
3148
        new_test.id = lambda: new_id
 
3149
        return new_test
 
3150
 
 
3151
 
 
3152
def probe_unicode_in_user_encoding():
 
3153
    """Try to encode several unicode strings to use in unicode-aware tests.
 
3154
    Return first successfull match.
 
3155
 
 
3156
    :return:  (unicode value, encoded plain string value) or (None, None)
 
3157
    """
 
3158
    possible_vals = [u'm\xb5', u'\xe1', u'\u0410']
 
3159
    for uni_val in possible_vals:
 
3160
        try:
 
3161
            str_val = uni_val.encode(bzrlib.user_encoding)
 
3162
        except UnicodeEncodeError:
 
3163
            # Try a different character
 
3164
            pass
 
3165
        else:
 
3166
            return uni_val, str_val
 
3167
    return None, None
 
3168
 
 
3169
 
 
3170
def probe_bad_non_ascii(encoding):
 
3171
    """Try to find [bad] character with code [128..255]
 
3172
    that cannot be decoded to unicode in some encoding.
 
3173
    Return None if all non-ascii characters is valid
 
3174
    for given encoding.
 
3175
    """
 
3176
    for i in xrange(128, 256):
 
3177
        char = chr(i)
 
3178
        try:
 
3179
            char.decode(encoding)
 
3180
        except UnicodeDecodeError:
 
3181
            return char
 
3182
    return None
 
3183
 
 
3184
 
 
3185
class _FTPServerFeature(Feature):
 
3186
    """Some tests want an FTP Server, check if one is available.
 
3187
 
 
3188
    Right now, the only way this is available is if 'medusa' is installed.
 
3189
    http://www.amk.ca/python/code/medusa.html
 
3190
    """
 
3191
 
 
3192
    def _probe(self):
 
3193
        try:
 
3194
            import bzrlib.tests.ftp_server
 
3195
            return True
 
3196
        except ImportError:
 
3197
            return False
 
3198
 
 
3199
    def feature_name(self):
 
3200
        return 'FTPServer'
 
3201
 
 
3202
FTPServerFeature = _FTPServerFeature()
 
3203
 
 
3204
 
 
3205
class _UnicodeFilename(Feature):
 
3206
    """Does the filesystem support Unicode filenames?"""
 
3207
 
 
3208
    def _probe(self):
 
3209
        try:
 
3210
            os.stat(u'\u03b1')
 
3211
        except UnicodeEncodeError:
 
3212
            return False
 
3213
        except (IOError, OSError):
 
3214
            # The filesystem allows the Unicode filename but the file doesn't
 
3215
            # exist.
 
3216
            return True
 
3217
        else:
 
3218
            # The filesystem allows the Unicode filename and the file exists,
 
3219
            # for some reason.
 
3220
            return True
 
3221
 
 
3222
UnicodeFilename = _UnicodeFilename()
 
3223
 
 
3224
 
 
3225
class _UTF8Filesystem(Feature):
 
3226
    """Is the filesystem UTF-8?"""
 
3227
 
 
3228
    def _probe(self):
 
3229
        if osutils._fs_enc.upper() in ('UTF-8', 'UTF8'):
 
3230
            return True
 
3231
        return False
 
3232
 
 
3233
UTF8Filesystem = _UTF8Filesystem()
 
3234
 
 
3235
 
 
3236
class _CaseInsensitiveFilesystemFeature(Feature):
 
3237
    """Check if underlined filesystem is case-insensitive
 
3238
    (e.g. on Windows, Cygwin, MacOS)
 
3239
    """
 
3240
 
 
3241
    def _probe(self):
 
3242
        if TestCaseWithMemoryTransport.TEST_ROOT is None:
 
3243
            root = osutils.mkdtemp(prefix='testbzr-', suffix='.tmp')
 
3244
            TestCaseWithMemoryTransport.TEST_ROOT = root
 
3245
        else:
 
3246
            root = TestCaseWithMemoryTransport.TEST_ROOT
 
3247
        tdir = osutils.mkdtemp(prefix='case-sensitive-probe-', suffix='',
 
3248
            dir=root)
 
3249
        name_a = osutils.pathjoin(tdir, 'a')
 
3250
        name_A = osutils.pathjoin(tdir, 'A')
 
3251
        os.mkdir(name_a)
 
3252
        result = osutils.isdir(name_A)
 
3253
        _rmtree_temp_dir(tdir)
 
3254
        return result
 
3255
 
 
3256
    def feature_name(self):
 
3257
        return 'case-insensitive filesystem'
 
3258
 
 
3259
CaseInsensitiveFilesystemFeature = _CaseInsensitiveFilesystemFeature()