/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/tests/__init__.py

  • Committer: Ian Clatworthy
  • Date: 2008-09-24 06:52:03 UTC
  • mfrom: (3655.3.1 revspec_as_tree)
  • mto: This revision was merged to the branch mainline in revision 3733.
  • Revision ID: ian.clatworthy@canonical.com-20080924065203-69aq3cbypyyo30zs
fix bzr st -rbranch:path-to-branch (Lukas Lalinsky)

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005, 2006, 2007, 2008 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
 
 
18
# TODO: Perhaps there should be an API to find out if bzr running under the
 
19
# test suite -- some plugins might want to avoid making intrusive changes if
 
20
# this is the case.  However, we want behaviour under to test to diverge as
 
21
# little as possible, so this should be used rarely if it's added at all.
 
22
# (Suggestion from j-a-meinel, 2005-11-24)
 
23
 
 
24
# NOTE: Some classes in here use camelCaseNaming() rather than
 
25
# underscore_naming().  That's for consistency with unittest; it's not the
 
26
# general style of bzrlib.  Please continue that consistency when adding e.g.
 
27
# new assertFoo() methods.
 
28
 
 
29
import atexit
 
30
import codecs
 
31
from cStringIO import StringIO
 
32
import difflib
 
33
import doctest
 
34
import errno
 
35
import logging
 
36
import os
 
37
from pprint import pformat
 
38
import random
 
39
import re
 
40
import shlex
 
41
import stat
 
42
from subprocess import Popen, PIPE
 
43
import sys
 
44
import tempfile
 
45
import threading
 
46
import time
 
47
import unittest
 
48
import warnings
 
49
 
 
50
 
 
51
from bzrlib import (
 
52
    branchbuilder,
 
53
    bzrdir,
 
54
    debug,
 
55
    errors,
 
56
    memorytree,
 
57
    osutils,
 
58
    progress,
 
59
    ui,
 
60
    urlutils,
 
61
    registry,
 
62
    workingtree,
 
63
    )
 
64
import bzrlib.branch
 
65
import bzrlib.commands
 
66
import bzrlib.timestamp
 
67
import bzrlib.export
 
68
import bzrlib.inventory
 
69
import bzrlib.iterablefile
 
70
import bzrlib.lockdir
 
71
try:
 
72
    import bzrlib.lsprof
 
73
except ImportError:
 
74
    # lsprof not available
 
75
    pass
 
76
from bzrlib.merge import merge_inner
 
77
import bzrlib.merge3
 
78
import bzrlib.plugin
 
79
import bzrlib.store
 
80
from bzrlib import symbol_versioning
 
81
from bzrlib.symbol_versioning import (
 
82
    DEPRECATED_PARAMETER,
 
83
    deprecated_function,
 
84
    deprecated_method,
 
85
    deprecated_passed,
 
86
    )
 
87
import bzrlib.trace
 
88
from bzrlib.transport import get_transport
 
89
import bzrlib.transport
 
90
from bzrlib.transport.local import LocalURLServer
 
91
from bzrlib.transport.memory import MemoryServer
 
92
from bzrlib.transport.readonly import ReadonlyServer
 
93
from bzrlib.trace import mutter, note
 
94
from bzrlib.tests import TestUtil
 
95
from bzrlib.tests.http_server import HttpServer
 
96
from bzrlib.tests.TestUtil import (
 
97
                          TestSuite,
 
98
                          TestLoader,
 
99
                          )
 
100
from bzrlib.tests.treeshape import build_tree_contents
 
101
import bzrlib.version_info_formats.format_custom
 
102
from bzrlib.workingtree import WorkingTree, WorkingTreeFormat2
 
103
 
 
104
# Mark this python module as being part of the implementation
 
105
# of unittest: this gives us better tracebacks where the last
 
106
# shown frame is the test code, not our assertXYZ.
 
107
__unittest = 1
 
108
 
 
109
default_transport = LocalURLServer
 
110
 
 
111
 
 
112
class ExtendedTestResult(unittest._TextTestResult):
 
113
    """Accepts, reports and accumulates the results of running tests.
 
114
 
 
115
    Compared to the unittest version this class adds support for
 
116
    profiling, benchmarking, stopping as soon as a test fails,  and
 
117
    skipping tests.  There are further-specialized subclasses for
 
118
    different types of display.
 
119
 
 
120
    When a test finishes, in whatever way, it calls one of the addSuccess,
 
121
    addFailure or addError classes.  These in turn may redirect to a more
 
122
    specific case for the special test results supported by our extended
 
123
    tests.
 
124
 
 
125
    Note that just one of these objects is fed the results from many tests.
 
126
    """
 
127
 
 
128
    stop_early = False
 
129
    
 
130
    def __init__(self, stream, descriptions, verbosity,
 
131
                 bench_history=None,
 
132
                 num_tests=None,
 
133
                 ):
 
134
        """Construct new TestResult.
 
135
 
 
136
        :param bench_history: Optionally, a writable file object to accumulate
 
137
            benchmark results.
 
138
        """
 
139
        unittest._TextTestResult.__init__(self, stream, descriptions, verbosity)
 
140
        if bench_history is not None:
 
141
            from bzrlib.version import _get_bzr_source_tree
 
142
            src_tree = _get_bzr_source_tree()
 
143
            if src_tree:
 
144
                try:
 
145
                    revision_id = src_tree.get_parent_ids()[0]
 
146
                except IndexError:
 
147
                    # XXX: if this is a brand new tree, do the same as if there
 
148
                    # is no branch.
 
149
                    revision_id = ''
 
150
            else:
 
151
                # XXX: If there's no branch, what should we do?
 
152
                revision_id = ''
 
153
            bench_history.write("--date %s %s\n" % (time.time(), revision_id))
 
154
        self._bench_history = bench_history
 
155
        self.ui = ui.ui_factory
 
156
        self.num_tests = num_tests
 
157
        self.error_count = 0
 
158
        self.failure_count = 0
 
159
        self.known_failure_count = 0
 
160
        self.skip_count = 0
 
161
        self.not_applicable_count = 0
 
162
        self.unsupported = {}
 
163
        self.count = 0
 
164
        self._overall_start_time = time.time()
 
165
    
 
166
    def _extractBenchmarkTime(self, testCase):
 
167
        """Add a benchmark time for the current test case."""
 
168
        return getattr(testCase, "_benchtime", None)
 
169
    
 
170
    def _elapsedTestTimeString(self):
 
171
        """Return a time string for the overall time the current test has taken."""
 
172
        return self._formatTime(time.time() - self._start_time)
 
173
 
 
174
    def _testTimeString(self, testCase):
 
175
        benchmark_time = self._extractBenchmarkTime(testCase)
 
176
        if benchmark_time is not None:
 
177
            return "%s/%s" % (
 
178
                self._formatTime(benchmark_time),
 
179
                self._elapsedTestTimeString())
 
180
        else:
 
181
            return "           %s" % self._elapsedTestTimeString()
 
182
 
 
183
    def _formatTime(self, seconds):
 
184
        """Format seconds as milliseconds with leading spaces."""
 
185
        # some benchmarks can take thousands of seconds to run, so we need 8
 
186
        # places
 
187
        return "%8dms" % (1000 * seconds)
 
188
 
 
189
    def _shortened_test_description(self, test):
 
190
        what = test.id()
 
191
        what = re.sub(r'^bzrlib\.(tests|benchmarks)\.', '', what)
 
192
        return what
 
193
 
 
194
    def startTest(self, test):
 
195
        unittest.TestResult.startTest(self, test)
 
196
        self.report_test_start(test)
 
197
        test.number = self.count
 
198
        self._recordTestStartTime()
 
199
 
 
200
    def _recordTestStartTime(self):
 
201
        """Record that a test has started."""
 
202
        self._start_time = time.time()
 
203
 
 
204
    def _cleanupLogFile(self, test):
 
205
        # We can only do this if we have one of our TestCases, not if
 
206
        # we have a doctest.
 
207
        setKeepLogfile = getattr(test, 'setKeepLogfile', None)
 
208
        if setKeepLogfile is not None:
 
209
            setKeepLogfile()
 
210
 
 
211
    def addError(self, test, err):
 
212
        """Tell result that test finished with an error.
 
213
 
 
214
        Called from the TestCase run() method when the test
 
215
        fails with an unexpected error.
 
216
        """
 
217
        self._testConcluded(test)
 
218
        if isinstance(err[1], TestSkipped):
 
219
            return self._addSkipped(test, err)
 
220
        elif isinstance(err[1], UnavailableFeature):
 
221
            return self.addNotSupported(test, err[1].args[0])
 
222
        else:
 
223
            unittest.TestResult.addError(self, test, err)
 
224
            self.error_count += 1
 
225
            self.report_error(test, err)
 
226
            if self.stop_early:
 
227
                self.stop()
 
228
            self._cleanupLogFile(test)
 
229
 
 
230
    def addFailure(self, test, err):
 
231
        """Tell result that test failed.
 
232
 
 
233
        Called from the TestCase run() method when the test
 
234
        fails because e.g. an assert() method failed.
 
235
        """
 
236
        self._testConcluded(test)
 
237
        if isinstance(err[1], KnownFailure):
 
238
            return self._addKnownFailure(test, err)
 
239
        else:
 
240
            unittest.TestResult.addFailure(self, test, err)
 
241
            self.failure_count += 1
 
242
            self.report_failure(test, err)
 
243
            if self.stop_early:
 
244
                self.stop()
 
245
            self._cleanupLogFile(test)
 
246
 
 
247
    def addSuccess(self, test):
 
248
        """Tell result that test completed successfully.
 
249
 
 
250
        Called from the TestCase run()
 
251
        """
 
252
        self._testConcluded(test)
 
253
        if self._bench_history is not None:
 
254
            benchmark_time = self._extractBenchmarkTime(test)
 
255
            if benchmark_time is not None:
 
256
                self._bench_history.write("%s %s\n" % (
 
257
                    self._formatTime(benchmark_time),
 
258
                    test.id()))
 
259
        self.report_success(test)
 
260
        self._cleanupLogFile(test)
 
261
        unittest.TestResult.addSuccess(self, test)
 
262
        test._log_contents = ''
 
263
 
 
264
    def _testConcluded(self, test):
 
265
        """Common code when a test has finished.
 
266
 
 
267
        Called regardless of whether it succeded, failed, etc.
 
268
        """
 
269
        pass
 
270
 
 
271
    def _addKnownFailure(self, test, err):
 
272
        self.known_failure_count += 1
 
273
        self.report_known_failure(test, err)
 
274
 
 
275
    def addNotSupported(self, test, feature):
 
276
        """The test will not be run because of a missing feature.
 
277
        """
 
278
        # this can be called in two different ways: it may be that the
 
279
        # test started running, and then raised (through addError) 
 
280
        # UnavailableFeature.  Alternatively this method can be called
 
281
        # while probing for features before running the tests; in that
 
282
        # case we will see startTest and stopTest, but the test will never
 
283
        # actually run.
 
284
        self.unsupported.setdefault(str(feature), 0)
 
285
        self.unsupported[str(feature)] += 1
 
286
        self.report_unsupported(test, feature)
 
287
 
 
288
    def _addSkipped(self, test, skip_excinfo):
 
289
        if isinstance(skip_excinfo[1], TestNotApplicable):
 
290
            self.not_applicable_count += 1
 
291
            self.report_not_applicable(test, skip_excinfo)
 
292
        else:
 
293
            self.skip_count += 1
 
294
            self.report_skip(test, skip_excinfo)
 
295
        try:
 
296
            test.tearDown()
 
297
        except KeyboardInterrupt:
 
298
            raise
 
299
        except:
 
300
            self.addError(test, test._exc_info())
 
301
        else:
 
302
            # seems best to treat this as success from point-of-view of unittest
 
303
            # -- it actually does nothing so it barely matters :)
 
304
            unittest.TestResult.addSuccess(self, test)
 
305
            test._log_contents = ''
 
306
 
 
307
    def printErrorList(self, flavour, errors):
 
308
        for test, err in errors:
 
309
            self.stream.writeln(self.separator1)
 
310
            self.stream.write("%s: " % flavour)
 
311
            self.stream.writeln(self.getDescription(test))
 
312
            if getattr(test, '_get_log', None) is not None:
 
313
                self.stream.write('\n')
 
314
                self.stream.write(
 
315
                        ('vvvv[log from %s]' % test.id()).ljust(78,'-'))
 
316
                self.stream.write('\n')
 
317
                self.stream.write(test._get_log())
 
318
                self.stream.write('\n')
 
319
                self.stream.write(
 
320
                        ('^^^^[log from %s]' % test.id()).ljust(78,'-'))
 
321
                self.stream.write('\n')
 
322
            self.stream.writeln(self.separator2)
 
323
            self.stream.writeln("%s" % err)
 
324
 
 
325
    def finished(self):
 
326
        pass
 
327
 
 
328
    def report_cleaning_up(self):
 
329
        pass
 
330
 
 
331
    def report_success(self, test):
 
332
        pass
 
333
 
 
334
    def wasStrictlySuccessful(self):
 
335
        if self.unsupported or self.known_failure_count:
 
336
            return False
 
337
        return self.wasSuccessful()
 
338
 
 
339
 
 
340
class TextTestResult(ExtendedTestResult):
 
341
    """Displays progress and results of tests in text form"""
 
342
 
 
343
    def __init__(self, stream, descriptions, verbosity,
 
344
                 bench_history=None,
 
345
                 num_tests=None,
 
346
                 pb=None,
 
347
                 ):
 
348
        ExtendedTestResult.__init__(self, stream, descriptions, verbosity,
 
349
            bench_history, num_tests)
 
350
        if pb is None:
 
351
            self.pb = self.ui.nested_progress_bar()
 
352
            self._supplied_pb = False
 
353
        else:
 
354
            self.pb = pb
 
355
            self._supplied_pb = True
 
356
        self.pb.show_pct = False
 
357
        self.pb.show_spinner = False
 
358
        self.pb.show_eta = False,
 
359
        self.pb.show_count = False
 
360
        self.pb.show_bar = False
 
361
 
 
362
    def report_starting(self):
 
363
        self.pb.update('[test 0/%d] starting...' % (self.num_tests))
 
364
 
 
365
    def _progress_prefix_text(self):
 
366
        # the longer this text, the less space we have to show the test
 
367
        # name...
 
368
        a = '[%d' % self.count              # total that have been run
 
369
        # tests skipped as known not to be relevant are not important enough
 
370
        # to show here
 
371
        ## if self.skip_count:
 
372
        ##     a += ', %d skip' % self.skip_count
 
373
        ## if self.known_failure_count:
 
374
        ##     a += '+%dX' % self.known_failure_count
 
375
        if self.num_tests is not None:
 
376
            a +='/%d' % self.num_tests
 
377
        a += ' in '
 
378
        runtime = time.time() - self._overall_start_time
 
379
        if runtime >= 60:
 
380
            a += '%dm%ds' % (runtime / 60, runtime % 60)
 
381
        else:
 
382
            a += '%ds' % runtime
 
383
        if self.error_count:
 
384
            a += ', %d err' % self.error_count
 
385
        if self.failure_count:
 
386
            a += ', %d fail' % self.failure_count
 
387
        if self.unsupported:
 
388
            a += ', %d missing' % len(self.unsupported)
 
389
        a += ']'
 
390
        return a
 
391
 
 
392
    def report_test_start(self, test):
 
393
        self.count += 1
 
394
        self.pb.update(
 
395
                self._progress_prefix_text()
 
396
                + ' ' 
 
397
                + self._shortened_test_description(test))
 
398
 
 
399
    def _test_description(self, test):
 
400
        return self._shortened_test_description(test)
 
401
 
 
402
    def report_error(self, test, err):
 
403
        self.pb.note('ERROR: %s\n    %s\n', 
 
404
            self._test_description(test),
 
405
            err[1],
 
406
            )
 
407
 
 
408
    def report_failure(self, test, err):
 
409
        self.pb.note('FAIL: %s\n    %s\n', 
 
410
            self._test_description(test),
 
411
            err[1],
 
412
            )
 
413
 
 
414
    def report_known_failure(self, test, err):
 
415
        self.pb.note('XFAIL: %s\n%s\n',
 
416
            self._test_description(test), err[1])
 
417
 
 
418
    def report_skip(self, test, skip_excinfo):
 
419
        pass
 
420
 
 
421
    def report_not_applicable(self, test, skip_excinfo):
 
422
        pass
 
423
 
 
424
    def report_unsupported(self, test, feature):
 
425
        """test cannot be run because feature is missing."""
 
426
                  
 
427
    def report_cleaning_up(self):
 
428
        self.pb.update('cleaning up...')
 
429
 
 
430
    def finished(self):
 
431
        if not self._supplied_pb:
 
432
            self.pb.finished()
 
433
 
 
434
 
 
435
class VerboseTestResult(ExtendedTestResult):
 
436
    """Produce long output, with one line per test run plus times"""
 
437
 
 
438
    def _ellipsize_to_right(self, a_string, final_width):
 
439
        """Truncate and pad a string, keeping the right hand side"""
 
440
        if len(a_string) > final_width:
 
441
            result = '...' + a_string[3-final_width:]
 
442
        else:
 
443
            result = a_string
 
444
        return result.ljust(final_width)
 
445
 
 
446
    def report_starting(self):
 
447
        self.stream.write('running %d tests...\n' % self.num_tests)
 
448
 
 
449
    def report_test_start(self, test):
 
450
        self.count += 1
 
451
        name = self._shortened_test_description(test)
 
452
        # width needs space for 6 char status, plus 1 for slash, plus 2 10-char
 
453
        # numbers, plus a trailing blank
 
454
        # when NUMBERED_DIRS: plus 5 chars on test number, plus 1 char on space
 
455
        self.stream.write(self._ellipsize_to_right(name,
 
456
                          osutils.terminal_width()-30))
 
457
        self.stream.flush()
 
458
 
 
459
    def _error_summary(self, err):
 
460
        indent = ' ' * 4
 
461
        return '%s%s' % (indent, err[1])
 
462
 
 
463
    def report_error(self, test, err):
 
464
        self.stream.writeln('ERROR %s\n%s'
 
465
                % (self._testTimeString(test),
 
466
                   self._error_summary(err)))
 
467
 
 
468
    def report_failure(self, test, err):
 
469
        self.stream.writeln(' FAIL %s\n%s'
 
470
                % (self._testTimeString(test),
 
471
                   self._error_summary(err)))
 
472
 
 
473
    def report_known_failure(self, test, err):
 
474
        self.stream.writeln('XFAIL %s\n%s'
 
475
                % (self._testTimeString(test),
 
476
                   self._error_summary(err)))
 
477
 
 
478
    def report_success(self, test):
 
479
        self.stream.writeln('   OK %s' % self._testTimeString(test))
 
480
        for bench_called, stats in getattr(test, '_benchcalls', []):
 
481
            self.stream.writeln('LSProf output for %s(%s, %s)' % bench_called)
 
482
            stats.pprint(file=self.stream)
 
483
        # flush the stream so that we get smooth output. This verbose mode is
 
484
        # used to show the output in PQM.
 
485
        self.stream.flush()
 
486
 
 
487
    def report_skip(self, test, skip_excinfo):
 
488
        self.stream.writeln(' SKIP %s\n%s'
 
489
                % (self._testTimeString(test),
 
490
                   self._error_summary(skip_excinfo)))
 
491
 
 
492
    def report_not_applicable(self, test, skip_excinfo):
 
493
        self.stream.writeln('  N/A %s\n%s'
 
494
                % (self._testTimeString(test),
 
495
                   self._error_summary(skip_excinfo)))
 
496
 
 
497
    def report_unsupported(self, test, feature):
 
498
        """test cannot be run because feature is missing."""
 
499
        self.stream.writeln("NODEP %s\n    The feature '%s' is not available."
 
500
                %(self._testTimeString(test), feature))
 
501
 
 
502
 
 
503
class TextTestRunner(object):
 
504
    stop_on_failure = False
 
505
 
 
506
    def __init__(self,
 
507
                 stream=sys.stderr,
 
508
                 descriptions=0,
 
509
                 verbosity=1,
 
510
                 bench_history=None,
 
511
                 list_only=False
 
512
                 ):
 
513
        self.stream = unittest._WritelnDecorator(stream)
 
514
        self.descriptions = descriptions
 
515
        self.verbosity = verbosity
 
516
        self._bench_history = bench_history
 
517
        self.list_only = list_only
 
518
 
 
519
    def run(self, test):
 
520
        "Run the given test case or test suite."
 
521
        startTime = time.time()
 
522
        if self.verbosity == 1:
 
523
            result_class = TextTestResult
 
524
        elif self.verbosity >= 2:
 
525
            result_class = VerboseTestResult
 
526
        result = result_class(self.stream,
 
527
                              self.descriptions,
 
528
                              self.verbosity,
 
529
                              bench_history=self._bench_history,
 
530
                              num_tests=test.countTestCases(),
 
531
                              )
 
532
        result.stop_early = self.stop_on_failure
 
533
        result.report_starting()
 
534
        if self.list_only:
 
535
            if self.verbosity >= 2:
 
536
                self.stream.writeln("Listing tests only ...\n")
 
537
            run = 0
 
538
            for t in iter_suite_tests(test):
 
539
                self.stream.writeln("%s" % (t.id()))
 
540
                run += 1
 
541
            actionTaken = "Listed"
 
542
        else: 
 
543
            test.run(result)
 
544
            run = result.testsRun
 
545
            actionTaken = "Ran"
 
546
        stopTime = time.time()
 
547
        timeTaken = stopTime - startTime
 
548
        result.printErrors()
 
549
        self.stream.writeln(result.separator2)
 
550
        self.stream.writeln("%s %d test%s in %.3fs" % (actionTaken,
 
551
                            run, run != 1 and "s" or "", timeTaken))
 
552
        self.stream.writeln()
 
553
        if not result.wasSuccessful():
 
554
            self.stream.write("FAILED (")
 
555
            failed, errored = map(len, (result.failures, result.errors))
 
556
            if failed:
 
557
                self.stream.write("failures=%d" % failed)
 
558
            if errored:
 
559
                if failed: self.stream.write(", ")
 
560
                self.stream.write("errors=%d" % errored)
 
561
            if result.known_failure_count:
 
562
                if failed or errored: self.stream.write(", ")
 
563
                self.stream.write("known_failure_count=%d" %
 
564
                    result.known_failure_count)
 
565
            self.stream.writeln(")")
 
566
        else:
 
567
            if result.known_failure_count:
 
568
                self.stream.writeln("OK (known_failures=%d)" %
 
569
                    result.known_failure_count)
 
570
            else:
 
571
                self.stream.writeln("OK")
 
572
        if result.skip_count > 0:
 
573
            skipped = result.skip_count
 
574
            self.stream.writeln('%d test%s skipped' %
 
575
                                (skipped, skipped != 1 and "s" or ""))
 
576
        if result.unsupported:
 
577
            for feature, count in sorted(result.unsupported.items()):
 
578
                self.stream.writeln("Missing feature '%s' skipped %d tests." %
 
579
                    (feature, count))
 
580
        result.finished()
 
581
        return result
 
582
 
 
583
 
 
584
def iter_suite_tests(suite):
 
585
    """Return all tests in a suite, recursing through nested suites"""
 
586
    for item in suite._tests:
 
587
        if isinstance(item, unittest.TestCase):
 
588
            yield item
 
589
        elif isinstance(item, unittest.TestSuite):
 
590
            for r in iter_suite_tests(item):
 
591
                yield r
 
592
        else:
 
593
            raise Exception('unknown object %r inside test suite %r'
 
594
                            % (item, suite))
 
595
 
 
596
 
 
597
class TestSkipped(Exception):
 
598
    """Indicates that a test was intentionally skipped, rather than failing."""
 
599
 
 
600
 
 
601
class TestNotApplicable(TestSkipped):
 
602
    """A test is not applicable to the situation where it was run.
 
603
 
 
604
    This is only normally raised by parameterized tests, if they find that 
 
605
    the instance they're constructed upon does not support one aspect 
 
606
    of its interface.
 
607
    """
 
608
 
 
609
 
 
610
class KnownFailure(AssertionError):
 
611
    """Indicates that a test failed in a precisely expected manner.
 
612
 
 
613
    Such failures dont block the whole test suite from passing because they are
 
614
    indicators of partially completed code or of future work. We have an
 
615
    explicit error for them so that we can ensure that they are always visible:
 
616
    KnownFailures are always shown in the output of bzr selftest.
 
617
    """
 
618
 
 
619
 
 
620
class UnavailableFeature(Exception):
 
621
    """A feature required for this test was not available.
 
622
 
 
623
    The feature should be used to construct the exception.
 
624
    """
 
625
 
 
626
 
 
627
class CommandFailed(Exception):
 
628
    pass
 
629
 
 
630
 
 
631
class StringIOWrapper(object):
 
632
    """A wrapper around cStringIO which just adds an encoding attribute.
 
633
    
 
634
    Internally we can check sys.stdout to see what the output encoding
 
635
    should be. However, cStringIO has no encoding attribute that we can
 
636
    set. So we wrap it instead.
 
637
    """
 
638
    encoding='ascii'
 
639
    _cstring = None
 
640
 
 
641
    def __init__(self, s=None):
 
642
        if s is not None:
 
643
            self.__dict__['_cstring'] = StringIO(s)
 
644
        else:
 
645
            self.__dict__['_cstring'] = StringIO()
 
646
 
 
647
    def __getattr__(self, name, getattr=getattr):
 
648
        return getattr(self.__dict__['_cstring'], name)
 
649
 
 
650
    def __setattr__(self, name, val):
 
651
        if name == 'encoding':
 
652
            self.__dict__['encoding'] = val
 
653
        else:
 
654
            return setattr(self._cstring, name, val)
 
655
 
 
656
 
 
657
class TestUIFactory(ui.CLIUIFactory):
 
658
    """A UI Factory for testing.
 
659
 
 
660
    Hide the progress bar but emit note()s.
 
661
    Redirect stdin.
 
662
    Allows get_password to be tested without real tty attached.
 
663
    """
 
664
 
 
665
    def __init__(self,
 
666
                 stdout=None,
 
667
                 stderr=None,
 
668
                 stdin=None):
 
669
        super(TestUIFactory, self).__init__()
 
670
        if stdin is not None:
 
671
            # We use a StringIOWrapper to be able to test various
 
672
            # encodings, but the user is still responsible to
 
673
            # encode the string and to set the encoding attribute
 
674
            # of StringIOWrapper.
 
675
            self.stdin = StringIOWrapper(stdin)
 
676
        if stdout is None:
 
677
            self.stdout = sys.stdout
 
678
        else:
 
679
            self.stdout = stdout
 
680
        if stderr is None:
 
681
            self.stderr = sys.stderr
 
682
        else:
 
683
            self.stderr = stderr
 
684
 
 
685
    def clear(self):
 
686
        """See progress.ProgressBar.clear()."""
 
687
 
 
688
    def clear_term(self):
 
689
        """See progress.ProgressBar.clear_term()."""
 
690
 
 
691
    def clear_term(self):
 
692
        """See progress.ProgressBar.clear_term()."""
 
693
 
 
694
    def finished(self):
 
695
        """See progress.ProgressBar.finished()."""
 
696
 
 
697
    def note(self, fmt_string, *args, **kwargs):
 
698
        """See progress.ProgressBar.note()."""
 
699
        self.stdout.write((fmt_string + "\n") % args)
 
700
 
 
701
    def progress_bar(self):
 
702
        return self
 
703
 
 
704
    def nested_progress_bar(self):
 
705
        return self
 
706
 
 
707
    def update(self, message, count=None, total=None):
 
708
        """See progress.ProgressBar.update()."""
 
709
 
 
710
    def get_non_echoed_password(self, prompt):
 
711
        """Get password from stdin without trying to handle the echo mode"""
 
712
        if prompt:
 
713
            self.stdout.write(prompt.encode(self.stdout.encoding, 'replace'))
 
714
        password = self.stdin.readline()
 
715
        if not password:
 
716
            raise EOFError
 
717
        if password[-1] == '\n':
 
718
            password = password[:-1]
 
719
        return password
 
720
 
 
721
 
 
722
def _report_leaked_threads():
 
723
    bzrlib.trace.warning('%s is leaking threads among %d leaking tests',
 
724
                         TestCase._first_thread_leaker_id,
 
725
                         TestCase._leaking_threads_tests)
 
726
 
 
727
 
 
728
class TestCase(unittest.TestCase):
 
729
    """Base class for bzr unit tests.
 
730
    
 
731
    Tests that need access to disk resources should subclass 
 
732
    TestCaseInTempDir not TestCase.
 
733
 
 
734
    Error and debug log messages are redirected from their usual
 
735
    location into a temporary file, the contents of which can be
 
736
    retrieved by _get_log().  We use a real OS file, not an in-memory object,
 
737
    so that it can also capture file IO.  When the test completes this file
 
738
    is read into memory and removed from disk.
 
739
       
 
740
    There are also convenience functions to invoke bzr's command-line
 
741
    routine, and to build and check bzr trees.
 
742
   
 
743
    In addition to the usual method of overriding tearDown(), this class also
 
744
    allows subclasses to register functions into the _cleanups list, which is
 
745
    run in order as the object is torn down.  It's less likely this will be
 
746
    accidentally overlooked.
 
747
    """
 
748
 
 
749
    _active_threads = None
 
750
    _leaking_threads_tests = 0
 
751
    _first_thread_leaker_id = None
 
752
    _log_file_name = None
 
753
    _log_contents = ''
 
754
    _keep_log_file = False
 
755
    # record lsprof data when performing benchmark calls.
 
756
    _gather_lsprof_in_benchmarks = False
 
757
    attrs_to_keep = ('id', '_testMethodName', '_testMethodDoc',
 
758
                     '_log_contents', '_log_file_name', '_benchtime',
 
759
                     '_TestCase__testMethodName')
 
760
 
 
761
    def __init__(self, methodName='testMethod'):
 
762
        super(TestCase, self).__init__(methodName)
 
763
        self._cleanups = []
 
764
 
 
765
    def setUp(self):
 
766
        unittest.TestCase.setUp(self)
 
767
        self._cleanEnvironment()
 
768
        self._silenceUI()
 
769
        self._startLogFile()
 
770
        self._benchcalls = []
 
771
        self._benchtime = None
 
772
        self._clear_hooks()
 
773
        self._clear_debug_flags()
 
774
        TestCase._active_threads = threading.activeCount()
 
775
        self.addCleanup(self._check_leaked_threads)
 
776
 
 
777
    def _check_leaked_threads(self):
 
778
        active = threading.activeCount()
 
779
        leaked_threads = active - TestCase._active_threads
 
780
        TestCase._active_threads = active
 
781
        if leaked_threads:
 
782
            TestCase._leaking_threads_tests += 1
 
783
            if TestCase._first_thread_leaker_id is None:
 
784
                TestCase._first_thread_leaker_id = self.id()
 
785
                # we're not specifically told when all tests are finished.
 
786
                # This will do. We use a function to avoid keeping a reference
 
787
                # to a TestCase object.
 
788
                atexit.register(_report_leaked_threads)
 
789
 
 
790
    def _clear_debug_flags(self):
 
791
        """Prevent externally set debug flags affecting tests.
 
792
        
 
793
        Tests that want to use debug flags can just set them in the
 
794
        debug_flags set during setup/teardown.
 
795
        """
 
796
        if 'allow_debug' not in selftest_debug_flags:
 
797
            self._preserved_debug_flags = set(debug.debug_flags)
 
798
            debug.debug_flags.clear()
 
799
            self.addCleanup(self._restore_debug_flags)
 
800
 
 
801
    def _clear_hooks(self):
 
802
        # prevent hooks affecting tests
 
803
        import bzrlib.branch
 
804
        import bzrlib.smart.client
 
805
        import bzrlib.smart.server
 
806
        self._preserved_hooks = {
 
807
            bzrlib.branch.Branch: bzrlib.branch.Branch.hooks,
 
808
            bzrlib.mutabletree.MutableTree: bzrlib.mutabletree.MutableTree.hooks,
 
809
            bzrlib.smart.client._SmartClient: bzrlib.smart.client._SmartClient.hooks,
 
810
            bzrlib.smart.server.SmartTCPServer: bzrlib.smart.server.SmartTCPServer.hooks,
 
811
            }
 
812
        self.addCleanup(self._restoreHooks)
 
813
        # reset all hooks to an empty instance of the appropriate type
 
814
        bzrlib.branch.Branch.hooks = bzrlib.branch.BranchHooks()
 
815
        bzrlib.smart.client._SmartClient.hooks = bzrlib.smart.client.SmartClientHooks()
 
816
        bzrlib.smart.server.SmartTCPServer.hooks = bzrlib.smart.server.SmartServerHooks()
 
817
 
 
818
    def _silenceUI(self):
 
819
        """Turn off UI for duration of test"""
 
820
        # by default the UI is off; tests can turn it on if they want it.
 
821
        saved = ui.ui_factory
 
822
        def _restore():
 
823
            ui.ui_factory = saved
 
824
        ui.ui_factory = ui.SilentUIFactory()
 
825
        self.addCleanup(_restore)
 
826
 
 
827
    def _ndiff_strings(self, a, b):
 
828
        """Return ndiff between two strings containing lines.
 
829
        
 
830
        A trailing newline is added if missing to make the strings
 
831
        print properly."""
 
832
        if b and b[-1] != '\n':
 
833
            b += '\n'
 
834
        if a and a[-1] != '\n':
 
835
            a += '\n'
 
836
        difflines = difflib.ndiff(a.splitlines(True),
 
837
                                  b.splitlines(True),
 
838
                                  linejunk=lambda x: False,
 
839
                                  charjunk=lambda x: False)
 
840
        return ''.join(difflines)
 
841
 
 
842
    def assertEqual(self, a, b, message=''):
 
843
        try:
 
844
            if a == b:
 
845
                return
 
846
        except UnicodeError, e:
 
847
            # If we can't compare without getting a UnicodeError, then
 
848
            # obviously they are different
 
849
            mutter('UnicodeError: %s', e)
 
850
        if message:
 
851
            message += '\n'
 
852
        raise AssertionError("%snot equal:\na = %s\nb = %s\n"
 
853
            % (message,
 
854
               pformat(a), pformat(b)))
 
855
 
 
856
    assertEquals = assertEqual
 
857
 
 
858
    def assertEqualDiff(self, a, b, message=None):
 
859
        """Assert two texts are equal, if not raise an exception.
 
860
        
 
861
        This is intended for use with multi-line strings where it can 
 
862
        be hard to find the differences by eye.
 
863
        """
 
864
        # TODO: perhaps override assertEquals to call this for strings?
 
865
        if a == b:
 
866
            return
 
867
        if message is None:
 
868
            message = "texts not equal:\n"
 
869
        if a == b + '\n':
 
870
            message = 'first string is missing a final newline.\n'
 
871
        if a + '\n' == b:
 
872
            message = 'second string is missing a final newline.\n'
 
873
        raise AssertionError(message +
 
874
                             self._ndiff_strings(a, b))
 
875
        
 
876
    def assertEqualMode(self, mode, mode_test):
 
877
        self.assertEqual(mode, mode_test,
 
878
                         'mode mismatch %o != %o' % (mode, mode_test))
 
879
 
 
880
    def assertPositive(self, val):
 
881
        """Assert that val is greater than 0."""
 
882
        self.assertTrue(val > 0, 'expected a positive value, but got %s' % val)
 
883
 
 
884
    def assertNegative(self, val):
 
885
        """Assert that val is less than 0."""
 
886
        self.assertTrue(val < 0, 'expected a negative value, but got %s' % val)
 
887
 
 
888
    def assertStartsWith(self, s, prefix):
 
889
        if not s.startswith(prefix):
 
890
            raise AssertionError('string %r does not start with %r' % (s, prefix))
 
891
 
 
892
    def assertEndsWith(self, s, suffix):
 
893
        """Asserts that s ends with suffix."""
 
894
        if not s.endswith(suffix):
 
895
            raise AssertionError('string %r does not end with %r' % (s, suffix))
 
896
 
 
897
    def assertContainsRe(self, haystack, needle_re):
 
898
        """Assert that a contains something matching a regular expression."""
 
899
        if not re.search(needle_re, haystack):
 
900
            if '\n' in haystack or len(haystack) > 60:
 
901
                # a long string, format it in a more readable way
 
902
                raise AssertionError(
 
903
                        'pattern "%s" not found in\n"""\\\n%s"""\n'
 
904
                        % (needle_re, haystack))
 
905
            else:
 
906
                raise AssertionError('pattern "%s" not found in "%s"'
 
907
                        % (needle_re, haystack))
 
908
 
 
909
    def assertNotContainsRe(self, haystack, needle_re):
 
910
        """Assert that a does not match a regular expression"""
 
911
        if re.search(needle_re, haystack):
 
912
            raise AssertionError('pattern "%s" found in "%s"'
 
913
                    % (needle_re, haystack))
 
914
 
 
915
    def assertSubset(self, sublist, superlist):
 
916
        """Assert that every entry in sublist is present in superlist."""
 
917
        missing = set(sublist) - set(superlist)
 
918
        if len(missing) > 0:
 
919
            raise AssertionError("value(s) %r not present in container %r" %
 
920
                                 (missing, superlist))
 
921
 
 
922
    def assertListRaises(self, excClass, func, *args, **kwargs):
 
923
        """Fail unless excClass is raised when the iterator from func is used.
 
924
        
 
925
        Many functions can return generators this makes sure
 
926
        to wrap them in a list() call to make sure the whole generator
 
927
        is run, and that the proper exception is raised.
 
928
        """
 
929
        try:
 
930
            list(func(*args, **kwargs))
 
931
        except excClass, e:
 
932
            return e
 
933
        else:
 
934
            if getattr(excClass,'__name__', None) is not None:
 
935
                excName = excClass.__name__
 
936
            else:
 
937
                excName = str(excClass)
 
938
            raise self.failureException, "%s not raised" % excName
 
939
 
 
940
    def assertRaises(self, excClass, callableObj, *args, **kwargs):
 
941
        """Assert that a callable raises a particular exception.
 
942
 
 
943
        :param excClass: As for the except statement, this may be either an
 
944
            exception class, or a tuple of classes.
 
945
        :param callableObj: A callable, will be passed ``*args`` and
 
946
            ``**kwargs``.
 
947
 
 
948
        Returns the exception so that you can examine it.
 
949
        """
 
950
        try:
 
951
            callableObj(*args, **kwargs)
 
952
        except excClass, e:
 
953
            return e
 
954
        else:
 
955
            if getattr(excClass,'__name__', None) is not None:
 
956
                excName = excClass.__name__
 
957
            else:
 
958
                # probably a tuple
 
959
                excName = str(excClass)
 
960
            raise self.failureException, "%s not raised" % excName
 
961
 
 
962
    def assertIs(self, left, right, message=None):
 
963
        if not (left is right):
 
964
            if message is not None:
 
965
                raise AssertionError(message)
 
966
            else:
 
967
                raise AssertionError("%r is not %r." % (left, right))
 
968
 
 
969
    def assertIsNot(self, left, right, message=None):
 
970
        if (left is right):
 
971
            if message is not None:
 
972
                raise AssertionError(message)
 
973
            else:
 
974
                raise AssertionError("%r is %r." % (left, right))
 
975
 
 
976
    def assertTransportMode(self, transport, path, mode):
 
977
        """Fail if a path does not have mode mode.
 
978
        
 
979
        If modes are not supported on this transport, the assertion is ignored.
 
980
        """
 
981
        if not transport._can_roundtrip_unix_modebits():
 
982
            return
 
983
        path_stat = transport.stat(path)
 
984
        actual_mode = stat.S_IMODE(path_stat.st_mode)
 
985
        self.assertEqual(mode, actual_mode,
 
986
            'mode of %r incorrect (%o != %o)' % (path, mode, actual_mode))
 
987
 
 
988
    def assertIsSameRealPath(self, path1, path2):
 
989
        """Fail if path1 and path2 points to different files"""
 
990
        self.assertEqual(osutils.realpath(path1),
 
991
                         osutils.realpath(path2),
 
992
                         "apparent paths:\na = %s\nb = %s\n," % (path1, path2))
 
993
 
 
994
    def assertIsInstance(self, obj, kls):
 
995
        """Fail if obj is not an instance of kls"""
 
996
        if not isinstance(obj, kls):
 
997
            self.fail("%r is an instance of %s rather than %s" % (
 
998
                obj, obj.__class__, kls))
 
999
 
 
1000
    def expectFailure(self, reason, assertion, *args, **kwargs):
 
1001
        """Invoke a test, expecting it to fail for the given reason.
 
1002
 
 
1003
        This is for assertions that ought to succeed, but currently fail.
 
1004
        (The failure is *expected* but not *wanted*.)  Please be very precise
 
1005
        about the failure you're expecting.  If a new bug is introduced,
 
1006
        AssertionError should be raised, not KnownFailure.
 
1007
 
 
1008
        Frequently, expectFailure should be followed by an opposite assertion.
 
1009
        See example below.
 
1010
 
 
1011
        Intended to be used with a callable that raises AssertionError as the
 
1012
        'assertion' parameter.  args and kwargs are passed to the 'assertion'.
 
1013
 
 
1014
        Raises KnownFailure if the test fails.  Raises AssertionError if the
 
1015
        test succeeds.
 
1016
 
 
1017
        example usage::
 
1018
 
 
1019
          self.expectFailure('Math is broken', self.assertNotEqual, 54,
 
1020
                             dynamic_val)
 
1021
          self.assertEqual(42, dynamic_val)
 
1022
 
 
1023
          This means that a dynamic_val of 54 will cause the test to raise
 
1024
          a KnownFailure.  Once math is fixed and the expectFailure is removed,
 
1025
          only a dynamic_val of 42 will allow the test to pass.  Anything other
 
1026
          than 54 or 42 will cause an AssertionError.
 
1027
        """
 
1028
        try:
 
1029
            assertion(*args, **kwargs)
 
1030
        except AssertionError:
 
1031
            raise KnownFailure(reason)
 
1032
        else:
 
1033
            self.fail('Unexpected success.  Should have failed: %s' % reason)
 
1034
 
 
1035
    def assertFileEqual(self, content, path):
 
1036
        """Fail if path does not contain 'content'."""
 
1037
        self.failUnlessExists(path)
 
1038
        f = file(path, 'rb')
 
1039
        try:
 
1040
            s = f.read()
 
1041
        finally:
 
1042
            f.close()
 
1043
        self.assertEqualDiff(content, s)
 
1044
 
 
1045
    def failUnlessExists(self, path):
 
1046
        """Fail unless path or paths, which may be abs or relative, exist."""
 
1047
        if not isinstance(path, basestring):
 
1048
            for p in path:
 
1049
                self.failUnlessExists(p)
 
1050
        else:
 
1051
            self.failUnless(osutils.lexists(path),path+" does not exist")
 
1052
 
 
1053
    def failIfExists(self, path):
 
1054
        """Fail if path or paths, which may be abs or relative, exist."""
 
1055
        if not isinstance(path, basestring):
 
1056
            for p in path:
 
1057
                self.failIfExists(p)
 
1058
        else:
 
1059
            self.failIf(osutils.lexists(path),path+" exists")
 
1060
 
 
1061
    def _capture_deprecation_warnings(self, a_callable, *args, **kwargs):
 
1062
        """A helper for callDeprecated and applyDeprecated.
 
1063
 
 
1064
        :param a_callable: A callable to call.
 
1065
        :param args: The positional arguments for the callable
 
1066
        :param kwargs: The keyword arguments for the callable
 
1067
        :return: A tuple (warnings, result). result is the result of calling
 
1068
            a_callable(``*args``, ``**kwargs``).
 
1069
        """
 
1070
        local_warnings = []
 
1071
        def capture_warnings(msg, cls=None, stacklevel=None):
 
1072
            # we've hooked into a deprecation specific callpath,
 
1073
            # only deprecations should getting sent via it.
 
1074
            self.assertEqual(cls, DeprecationWarning)
 
1075
            local_warnings.append(msg)
 
1076
        original_warning_method = symbol_versioning.warn
 
1077
        symbol_versioning.set_warning_method(capture_warnings)
 
1078
        try:
 
1079
            result = a_callable(*args, **kwargs)
 
1080
        finally:
 
1081
            symbol_versioning.set_warning_method(original_warning_method)
 
1082
        return (local_warnings, result)
 
1083
 
 
1084
    def applyDeprecated(self, deprecation_format, a_callable, *args, **kwargs):
 
1085
        """Call a deprecated callable without warning the user.
 
1086
 
 
1087
        Note that this only captures warnings raised by symbol_versioning.warn,
 
1088
        not other callers that go direct to the warning module.
 
1089
 
 
1090
        To test that a deprecated method raises an error, do something like
 
1091
        this::
 
1092
 
 
1093
            self.assertRaises(errors.ReservedId,
 
1094
                self.applyDeprecated,
 
1095
                deprecated_in((1, 5, 0)),
 
1096
                br.append_revision,
 
1097
                'current:')
 
1098
 
 
1099
        :param deprecation_format: The deprecation format that the callable
 
1100
            should have been deprecated with. This is the same type as the
 
1101
            parameter to deprecated_method/deprecated_function. If the
 
1102
            callable is not deprecated with this format, an assertion error
 
1103
            will be raised.
 
1104
        :param a_callable: A callable to call. This may be a bound method or
 
1105
            a regular function. It will be called with ``*args`` and
 
1106
            ``**kwargs``.
 
1107
        :param args: The positional arguments for the callable
 
1108
        :param kwargs: The keyword arguments for the callable
 
1109
        :return: The result of a_callable(``*args``, ``**kwargs``)
 
1110
        """
 
1111
        call_warnings, result = self._capture_deprecation_warnings(a_callable,
 
1112
            *args, **kwargs)
 
1113
        expected_first_warning = symbol_versioning.deprecation_string(
 
1114
            a_callable, deprecation_format)
 
1115
        if len(call_warnings) == 0:
 
1116
            self.fail("No deprecation warning generated by call to %s" %
 
1117
                a_callable)
 
1118
        self.assertEqual(expected_first_warning, call_warnings[0])
 
1119
        return result
 
1120
 
 
1121
    def callCatchWarnings(self, fn, *args, **kw):
 
1122
        """Call a callable that raises python warnings.
 
1123
 
 
1124
        The caller's responsible for examining the returned warnings.
 
1125
 
 
1126
        If the callable raises an exception, the exception is not
 
1127
        caught and propagates up to the caller.  In that case, the list
 
1128
        of warnings is not available.
 
1129
 
 
1130
        :returns: ([warning_object, ...], fn_result)
 
1131
        """
 
1132
        # XXX: This is not perfect, because it completely overrides the
 
1133
        # warnings filters, and some code may depend on suppressing particular
 
1134
        # warnings.  It's the easiest way to insulate ourselves from -Werror,
 
1135
        # though.  -- Andrew, 20071062
 
1136
        wlist = []
 
1137
        def _catcher(message, category, filename, lineno, file=None):
 
1138
            # despite the name, 'message' is normally(?) a Warning subclass
 
1139
            # instance
 
1140
            wlist.append(message)
 
1141
        saved_showwarning = warnings.showwarning
 
1142
        saved_filters = warnings.filters
 
1143
        try:
 
1144
            warnings.showwarning = _catcher
 
1145
            warnings.filters = []
 
1146
            result = fn(*args, **kw)
 
1147
        finally:
 
1148
            warnings.showwarning = saved_showwarning
 
1149
            warnings.filters = saved_filters
 
1150
        return wlist, result
 
1151
 
 
1152
    def callDeprecated(self, expected, callable, *args, **kwargs):
 
1153
        """Assert that a callable is deprecated in a particular way.
 
1154
 
 
1155
        This is a very precise test for unusual requirements. The 
 
1156
        applyDeprecated helper function is probably more suited for most tests
 
1157
        as it allows you to simply specify the deprecation format being used
 
1158
        and will ensure that that is issued for the function being called.
 
1159
 
 
1160
        Note that this only captures warnings raised by symbol_versioning.warn,
 
1161
        not other callers that go direct to the warning module.  To catch
 
1162
        general warnings, use callCatchWarnings.
 
1163
 
 
1164
        :param expected: a list of the deprecation warnings expected, in order
 
1165
        :param callable: The callable to call
 
1166
        :param args: The positional arguments for the callable
 
1167
        :param kwargs: The keyword arguments for the callable
 
1168
        """
 
1169
        call_warnings, result = self._capture_deprecation_warnings(callable,
 
1170
            *args, **kwargs)
 
1171
        self.assertEqual(expected, call_warnings)
 
1172
        return result
 
1173
 
 
1174
    def _startLogFile(self):
 
1175
        """Send bzr and test log messages to a temporary file.
 
1176
 
 
1177
        The file is removed as the test is torn down.
 
1178
        """
 
1179
        fileno, name = tempfile.mkstemp(suffix='.log', prefix='testbzr')
 
1180
        self._log_file = os.fdopen(fileno, 'w+')
 
1181
        self._log_memento = bzrlib.trace.push_log_file(self._log_file)
 
1182
        self._log_file_name = name
 
1183
        self.addCleanup(self._finishLogFile)
 
1184
 
 
1185
    def _finishLogFile(self):
 
1186
        """Finished with the log file.
 
1187
 
 
1188
        Close the file and delete it, unless setKeepLogfile was called.
 
1189
        """
 
1190
        if self._log_file is None:
 
1191
            return
 
1192
        bzrlib.trace.pop_log_file(self._log_memento)
 
1193
        self._log_file.close()
 
1194
        self._log_file = None
 
1195
        if not self._keep_log_file:
 
1196
            os.remove(self._log_file_name)
 
1197
            self._log_file_name = None
 
1198
 
 
1199
    def setKeepLogfile(self):
 
1200
        """Make the logfile not be deleted when _finishLogFile is called."""
 
1201
        self._keep_log_file = True
 
1202
 
 
1203
    def addCleanup(self, callable, *args, **kwargs):
 
1204
        """Arrange to run a callable when this case is torn down.
 
1205
 
 
1206
        Callables are run in the reverse of the order they are registered, 
 
1207
        ie last-in first-out.
 
1208
        """
 
1209
        self._cleanups.append((callable, args, kwargs))
 
1210
 
 
1211
    def _cleanEnvironment(self):
 
1212
        new_env = {
 
1213
            'BZR_HOME': None, # Don't inherit BZR_HOME to all the tests.
 
1214
            'HOME': os.getcwd(),
 
1215
            # bzr now uses the Win32 API and doesn't rely on APPDATA, but the
 
1216
            # tests do check our impls match APPDATA
 
1217
            'BZR_EDITOR': None, # test_msgeditor manipulates this variable
 
1218
            'BZR_EMAIL': None,
 
1219
            'BZREMAIL': None, # may still be present in the environment
 
1220
            'EMAIL': None,
 
1221
            'BZR_PROGRESS_BAR': None,
 
1222
            'BZR_LOG': None,
 
1223
            # SSH Agent
 
1224
            'SSH_AUTH_SOCK': None,
 
1225
            # Proxies
 
1226
            'http_proxy': None,
 
1227
            'HTTP_PROXY': None,
 
1228
            'https_proxy': None,
 
1229
            'HTTPS_PROXY': None,
 
1230
            'no_proxy': None,
 
1231
            'NO_PROXY': None,
 
1232
            'all_proxy': None,
 
1233
            'ALL_PROXY': None,
 
1234
            # Nobody cares about these ones AFAIK. So far at
 
1235
            # least. If you do (care), please update this comment
 
1236
            # -- vila 20061212
 
1237
            'ftp_proxy': None,
 
1238
            'FTP_PROXY': None,
 
1239
            'BZR_REMOTE_PATH': None,
 
1240
        }
 
1241
        self.__old_env = {}
 
1242
        self.addCleanup(self._restoreEnvironment)
 
1243
        for name, value in new_env.iteritems():
 
1244
            self._captureVar(name, value)
 
1245
 
 
1246
    def _captureVar(self, name, newvalue):
 
1247
        """Set an environment variable, and reset it when finished."""
 
1248
        self.__old_env[name] = osutils.set_or_unset_env(name, newvalue)
 
1249
 
 
1250
    def _restore_debug_flags(self):
 
1251
        debug.debug_flags.clear()
 
1252
        debug.debug_flags.update(self._preserved_debug_flags)
 
1253
 
 
1254
    def _restoreEnvironment(self):
 
1255
        for name, value in self.__old_env.iteritems():
 
1256
            osutils.set_or_unset_env(name, value)
 
1257
 
 
1258
    def _restoreHooks(self):
 
1259
        for klass, hooks in self._preserved_hooks.items():
 
1260
            setattr(klass, 'hooks', hooks)
 
1261
 
 
1262
    def knownFailure(self, reason):
 
1263
        """This test has failed for some known reason."""
 
1264
        raise KnownFailure(reason)
 
1265
 
 
1266
    def run(self, result=None):
 
1267
        if result is None: result = self.defaultTestResult()
 
1268
        for feature in getattr(self, '_test_needs_features', []):
 
1269
            if not feature.available():
 
1270
                result.startTest(self)
 
1271
                if getattr(result, 'addNotSupported', None):
 
1272
                    result.addNotSupported(self, feature)
 
1273
                else:
 
1274
                    result.addSuccess(self)
 
1275
                result.stopTest(self)
 
1276
                return
 
1277
        try:
 
1278
            return unittest.TestCase.run(self, result)
 
1279
        finally:
 
1280
            saved_attrs = {}
 
1281
            absent_attr = object()
 
1282
            for attr_name in self.attrs_to_keep:
 
1283
                attr = getattr(self, attr_name, absent_attr)
 
1284
                if attr is not absent_attr:
 
1285
                    saved_attrs[attr_name] = attr
 
1286
            self.__dict__ = saved_attrs
 
1287
 
 
1288
    def tearDown(self):
 
1289
        self._runCleanups()
 
1290
        unittest.TestCase.tearDown(self)
 
1291
 
 
1292
    def time(self, callable, *args, **kwargs):
 
1293
        """Run callable and accrue the time it takes to the benchmark time.
 
1294
        
 
1295
        If lsprofiling is enabled (i.e. by --lsprof-time to bzr selftest) then
 
1296
        this will cause lsprofile statistics to be gathered and stored in
 
1297
        self._benchcalls.
 
1298
        """
 
1299
        if self._benchtime is None:
 
1300
            self._benchtime = 0
 
1301
        start = time.time()
 
1302
        try:
 
1303
            if not self._gather_lsprof_in_benchmarks:
 
1304
                return callable(*args, **kwargs)
 
1305
            else:
 
1306
                # record this benchmark
 
1307
                ret, stats = bzrlib.lsprof.profile(callable, *args, **kwargs)
 
1308
                stats.sort()
 
1309
                self._benchcalls.append(((callable, args, kwargs), stats))
 
1310
                return ret
 
1311
        finally:
 
1312
            self._benchtime += time.time() - start
 
1313
 
 
1314
    def _runCleanups(self):
 
1315
        """Run registered cleanup functions. 
 
1316
 
 
1317
        This should only be called from TestCase.tearDown.
 
1318
        """
 
1319
        # TODO: Perhaps this should keep running cleanups even if 
 
1320
        # one of them fails?
 
1321
 
 
1322
        # Actually pop the cleanups from the list so tearDown running
 
1323
        # twice is safe (this happens for skipped tests).
 
1324
        while self._cleanups:
 
1325
            cleanup, args, kwargs = self._cleanups.pop()
 
1326
            cleanup(*args, **kwargs)
 
1327
 
 
1328
    def log(self, *args):
 
1329
        mutter(*args)
 
1330
 
 
1331
    def _get_log(self, keep_log_file=False):
 
1332
        """Get the log from bzrlib.trace calls from this test.
 
1333
 
 
1334
        :param keep_log_file: When True, if the log is still a file on disk
 
1335
            leave it as a file on disk. When False, if the log is still a file
 
1336
            on disk, the log file is deleted and the log preserved as
 
1337
            self._log_contents.
 
1338
        :return: A string containing the log.
 
1339
        """
 
1340
        # flush the log file, to get all content
 
1341
        import bzrlib.trace
 
1342
        bzrlib.trace._trace_file.flush()
 
1343
        if self._log_contents:
 
1344
            # XXX: this can hardly contain the content flushed above --vila
 
1345
            # 20080128
 
1346
            return self._log_contents
 
1347
        if self._log_file_name is not None:
 
1348
            logfile = open(self._log_file_name)
 
1349
            try:
 
1350
                log_contents = logfile.read()
 
1351
            finally:
 
1352
                logfile.close()
 
1353
            if not keep_log_file:
 
1354
                self._log_contents = log_contents
 
1355
                try:
 
1356
                    os.remove(self._log_file_name)
 
1357
                except OSError, e:
 
1358
                    if sys.platform == 'win32' and e.errno == errno.EACCES:
 
1359
                        sys.stderr.write(('Unable to delete log file '
 
1360
                                             ' %r\n' % self._log_file_name))
 
1361
                    else:
 
1362
                        raise
 
1363
            return log_contents
 
1364
        else:
 
1365
            return "DELETED log file to reduce memory footprint"
 
1366
 
 
1367
    def requireFeature(self, feature):
 
1368
        """This test requires a specific feature is available.
 
1369
 
 
1370
        :raises UnavailableFeature: When feature is not available.
 
1371
        """
 
1372
        if not feature.available():
 
1373
            raise UnavailableFeature(feature)
 
1374
 
 
1375
    def _run_bzr_autosplit(self, args, retcode, encoding, stdin,
 
1376
            working_dir):
 
1377
        """Run bazaar command line, splitting up a string command line."""
 
1378
        if isinstance(args, basestring):
 
1379
            # shlex don't understand unicode strings,
 
1380
            # so args should be plain string (bialix 20070906)
 
1381
            args = list(shlex.split(str(args)))
 
1382
        return self._run_bzr_core(args, retcode=retcode,
 
1383
                encoding=encoding, stdin=stdin, working_dir=working_dir,
 
1384
                )
 
1385
 
 
1386
    def _run_bzr_core(self, args, retcode, encoding, stdin,
 
1387
            working_dir):
 
1388
        if encoding is None:
 
1389
            encoding = bzrlib.user_encoding
 
1390
        stdout = StringIOWrapper()
 
1391
        stderr = StringIOWrapper()
 
1392
        stdout.encoding = encoding
 
1393
        stderr.encoding = encoding
 
1394
 
 
1395
        self.log('run bzr: %r', args)
 
1396
        # FIXME: don't call into logging here
 
1397
        handler = logging.StreamHandler(stderr)
 
1398
        handler.setLevel(logging.INFO)
 
1399
        logger = logging.getLogger('')
 
1400
        logger.addHandler(handler)
 
1401
        old_ui_factory = ui.ui_factory
 
1402
        ui.ui_factory = TestUIFactory(stdin=stdin, stdout=stdout, stderr=stderr)
 
1403
 
 
1404
        cwd = None
 
1405
        if working_dir is not None:
 
1406
            cwd = osutils.getcwd()
 
1407
            os.chdir(working_dir)
 
1408
 
 
1409
        try:
 
1410
            result = self.apply_redirected(ui.ui_factory.stdin,
 
1411
                stdout, stderr,
 
1412
                bzrlib.commands.run_bzr_catch_user_errors,
 
1413
                args)
 
1414
        finally:
 
1415
            logger.removeHandler(handler)
 
1416
            ui.ui_factory = old_ui_factory
 
1417
            if cwd is not None:
 
1418
                os.chdir(cwd)
 
1419
 
 
1420
        out = stdout.getvalue()
 
1421
        err = stderr.getvalue()
 
1422
        if out:
 
1423
            self.log('output:\n%r', out)
 
1424
        if err:
 
1425
            self.log('errors:\n%r', err)
 
1426
        if retcode is not None:
 
1427
            self.assertEquals(retcode, result,
 
1428
                              message='Unexpected return code')
 
1429
        return out, err
 
1430
 
 
1431
    def run_bzr(self, args, retcode=0, encoding=None, stdin=None,
 
1432
                working_dir=None, error_regexes=[], output_encoding=None):
 
1433
        """Invoke bzr, as if it were run from the command line.
 
1434
 
 
1435
        The argument list should not include the bzr program name - the
 
1436
        first argument is normally the bzr command.  Arguments may be
 
1437
        passed in three ways:
 
1438
 
 
1439
        1- A list of strings, eg ["commit", "a"].  This is recommended
 
1440
        when the command contains whitespace or metacharacters, or 
 
1441
        is built up at run time.
 
1442
 
 
1443
        2- A single string, eg "add a".  This is the most convenient 
 
1444
        for hardcoded commands.
 
1445
 
 
1446
        This runs bzr through the interface that catches and reports
 
1447
        errors, and with logging set to something approximating the
 
1448
        default, so that error reporting can be checked.
 
1449
 
 
1450
        This should be the main method for tests that want to exercise the
 
1451
        overall behavior of the bzr application (rather than a unit test
 
1452
        or a functional test of the library.)
 
1453
 
 
1454
        This sends the stdout/stderr results into the test's log,
 
1455
        where it may be useful for debugging.  See also run_captured.
 
1456
 
 
1457
        :keyword stdin: A string to be used as stdin for the command.
 
1458
        :keyword retcode: The status code the command should return;
 
1459
            default 0.
 
1460
        :keyword working_dir: The directory to run the command in
 
1461
        :keyword error_regexes: A list of expected error messages.  If
 
1462
            specified they must be seen in the error output of the command.
 
1463
        """
 
1464
        out, err = self._run_bzr_autosplit(
 
1465
            args=args,
 
1466
            retcode=retcode,
 
1467
            encoding=encoding,
 
1468
            stdin=stdin,
 
1469
            working_dir=working_dir,
 
1470
            )
 
1471
        for regex in error_regexes:
 
1472
            self.assertContainsRe(err, regex)
 
1473
        return out, err
 
1474
 
 
1475
    def run_bzr_error(self, error_regexes, *args, **kwargs):
 
1476
        """Run bzr, and check that stderr contains the supplied regexes
 
1477
 
 
1478
        :param error_regexes: Sequence of regular expressions which
 
1479
            must each be found in the error output. The relative ordering
 
1480
            is not enforced.
 
1481
        :param args: command-line arguments for bzr
 
1482
        :param kwargs: Keyword arguments which are interpreted by run_bzr
 
1483
            This function changes the default value of retcode to be 3,
 
1484
            since in most cases this is run when you expect bzr to fail.
 
1485
 
 
1486
        :return: (out, err) The actual output of running the command (in case
 
1487
            you want to do more inspection)
 
1488
 
 
1489
        Examples of use::
 
1490
 
 
1491
            # Make sure that commit is failing because there is nothing to do
 
1492
            self.run_bzr_error(['no changes to commit'],
 
1493
                               ['commit', '-m', 'my commit comment'])
 
1494
            # Make sure --strict is handling an unknown file, rather than
 
1495
            # giving us the 'nothing to do' error
 
1496
            self.build_tree(['unknown'])
 
1497
            self.run_bzr_error(['Commit refused because there are unknown files'],
 
1498
                               ['commit', --strict', '-m', 'my commit comment'])
 
1499
        """
 
1500
        kwargs.setdefault('retcode', 3)
 
1501
        kwargs['error_regexes'] = error_regexes
 
1502
        out, err = self.run_bzr(*args, **kwargs)
 
1503
        return out, err
 
1504
 
 
1505
    def run_bzr_subprocess(self, *args, **kwargs):
 
1506
        """Run bzr in a subprocess for testing.
 
1507
 
 
1508
        This starts a new Python interpreter and runs bzr in there. 
 
1509
        This should only be used for tests that have a justifiable need for
 
1510
        this isolation: e.g. they are testing startup time, or signal
 
1511
        handling, or early startup code, etc.  Subprocess code can't be 
 
1512
        profiled or debugged so easily.
 
1513
 
 
1514
        :keyword retcode: The status code that is expected.  Defaults to 0.  If
 
1515
            None is supplied, the status code is not checked.
 
1516
        :keyword env_changes: A dictionary which lists changes to environment
 
1517
            variables. A value of None will unset the env variable.
 
1518
            The values must be strings. The change will only occur in the
 
1519
            child, so you don't need to fix the environment after running.
 
1520
        :keyword universal_newlines: Convert CRLF => LF
 
1521
        :keyword allow_plugins: By default the subprocess is run with
 
1522
            --no-plugins to ensure test reproducibility. Also, it is possible
 
1523
            for system-wide plugins to create unexpected output on stderr,
 
1524
            which can cause unnecessary test failures.
 
1525
        """
 
1526
        env_changes = kwargs.get('env_changes', {})
 
1527
        working_dir = kwargs.get('working_dir', None)
 
1528
        allow_plugins = kwargs.get('allow_plugins', False)
 
1529
        if len(args) == 1:
 
1530
            if isinstance(args[0], list):
 
1531
                args = args[0]
 
1532
            elif isinstance(args[0], basestring):
 
1533
                args = list(shlex.split(args[0]))
 
1534
        else:
 
1535
            raise ValueError("passing varargs to run_bzr_subprocess")
 
1536
        process = self.start_bzr_subprocess(args, env_changes=env_changes,
 
1537
                                            working_dir=working_dir,
 
1538
                                            allow_plugins=allow_plugins)
 
1539
        # We distinguish between retcode=None and retcode not passed.
 
1540
        supplied_retcode = kwargs.get('retcode', 0)
 
1541
        return self.finish_bzr_subprocess(process, retcode=supplied_retcode,
 
1542
            universal_newlines=kwargs.get('universal_newlines', False),
 
1543
            process_args=args)
 
1544
 
 
1545
    def start_bzr_subprocess(self, process_args, env_changes=None,
 
1546
                             skip_if_plan_to_signal=False,
 
1547
                             working_dir=None,
 
1548
                             allow_plugins=False):
 
1549
        """Start bzr in a subprocess for testing.
 
1550
 
 
1551
        This starts a new Python interpreter and runs bzr in there.
 
1552
        This should only be used for tests that have a justifiable need for
 
1553
        this isolation: e.g. they are testing startup time, or signal
 
1554
        handling, or early startup code, etc.  Subprocess code can't be
 
1555
        profiled or debugged so easily.
 
1556
 
 
1557
        :param process_args: a list of arguments to pass to the bzr executable,
 
1558
            for example ``['--version']``.
 
1559
        :param env_changes: A dictionary which lists changes to environment
 
1560
            variables. A value of None will unset the env variable.
 
1561
            The values must be strings. The change will only occur in the
 
1562
            child, so you don't need to fix the environment after running.
 
1563
        :param skip_if_plan_to_signal: raise TestSkipped when true and os.kill
 
1564
            is not available.
 
1565
        :param allow_plugins: If False (default) pass --no-plugins to bzr.
 
1566
 
 
1567
        :returns: Popen object for the started process.
 
1568
        """
 
1569
        if skip_if_plan_to_signal:
 
1570
            if not getattr(os, 'kill', None):
 
1571
                raise TestSkipped("os.kill not available.")
 
1572
 
 
1573
        if env_changes is None:
 
1574
            env_changes = {}
 
1575
        old_env = {}
 
1576
 
 
1577
        def cleanup_environment():
 
1578
            for env_var, value in env_changes.iteritems():
 
1579
                old_env[env_var] = osutils.set_or_unset_env(env_var, value)
 
1580
 
 
1581
        def restore_environment():
 
1582
            for env_var, value in old_env.iteritems():
 
1583
                osutils.set_or_unset_env(env_var, value)
 
1584
 
 
1585
        bzr_path = self.get_bzr_path()
 
1586
 
 
1587
        cwd = None
 
1588
        if working_dir is not None:
 
1589
            cwd = osutils.getcwd()
 
1590
            os.chdir(working_dir)
 
1591
 
 
1592
        try:
 
1593
            # win32 subprocess doesn't support preexec_fn
 
1594
            # so we will avoid using it on all platforms, just to
 
1595
            # make sure the code path is used, and we don't break on win32
 
1596
            cleanup_environment()
 
1597
            command = [sys.executable]
 
1598
            # frozen executables don't need the path to bzr
 
1599
            if getattr(sys, "frozen", None) is None:
 
1600
                command.append(bzr_path)
 
1601
            if not allow_plugins:
 
1602
                command.append('--no-plugins')
 
1603
            command.extend(process_args)
 
1604
            process = self._popen(command, stdin=PIPE, stdout=PIPE, stderr=PIPE)
 
1605
        finally:
 
1606
            restore_environment()
 
1607
            if cwd is not None:
 
1608
                os.chdir(cwd)
 
1609
 
 
1610
        return process
 
1611
 
 
1612
    def _popen(self, *args, **kwargs):
 
1613
        """Place a call to Popen.
 
1614
 
 
1615
        Allows tests to override this method to intercept the calls made to
 
1616
        Popen for introspection.
 
1617
        """
 
1618
        return Popen(*args, **kwargs)
 
1619
 
 
1620
    def get_bzr_path(self):
 
1621
        """Return the path of the 'bzr' executable for this test suite."""
 
1622
        bzr_path = os.path.dirname(os.path.dirname(bzrlib.__file__))+'/bzr'
 
1623
        if not os.path.isfile(bzr_path):
 
1624
            # We are probably installed. Assume sys.argv is the right file
 
1625
            bzr_path = sys.argv[0]
 
1626
        return bzr_path
 
1627
 
 
1628
    def finish_bzr_subprocess(self, process, retcode=0, send_signal=None,
 
1629
                              universal_newlines=False, process_args=None):
 
1630
        """Finish the execution of process.
 
1631
 
 
1632
        :param process: the Popen object returned from start_bzr_subprocess.
 
1633
        :param retcode: The status code that is expected.  Defaults to 0.  If
 
1634
            None is supplied, the status code is not checked.
 
1635
        :param send_signal: an optional signal to send to the process.
 
1636
        :param universal_newlines: Convert CRLF => LF
 
1637
        :returns: (stdout, stderr)
 
1638
        """
 
1639
        if send_signal is not None:
 
1640
            os.kill(process.pid, send_signal)
 
1641
        out, err = process.communicate()
 
1642
 
 
1643
        if universal_newlines:
 
1644
            out = out.replace('\r\n', '\n')
 
1645
            err = err.replace('\r\n', '\n')
 
1646
 
 
1647
        if retcode is not None and retcode != process.returncode:
 
1648
            if process_args is None:
 
1649
                process_args = "(unknown args)"
 
1650
            mutter('Output of bzr %s:\n%s', process_args, out)
 
1651
            mutter('Error for bzr %s:\n%s', process_args, err)
 
1652
            self.fail('Command bzr %s failed with retcode %s != %s'
 
1653
                      % (process_args, retcode, process.returncode))
 
1654
        return [out, err]
 
1655
 
 
1656
    def check_inventory_shape(self, inv, shape):
 
1657
        """Compare an inventory to a list of expected names.
 
1658
 
 
1659
        Fail if they are not precisely equal.
 
1660
        """
 
1661
        extras = []
 
1662
        shape = list(shape)             # copy
 
1663
        for path, ie in inv.entries():
 
1664
            name = path.replace('\\', '/')
 
1665
            if ie.kind == 'directory':
 
1666
                name = name + '/'
 
1667
            if name in shape:
 
1668
                shape.remove(name)
 
1669
            else:
 
1670
                extras.append(name)
 
1671
        if shape:
 
1672
            self.fail("expected paths not found in inventory: %r" % shape)
 
1673
        if extras:
 
1674
            self.fail("unexpected paths found in inventory: %r" % extras)
 
1675
 
 
1676
    def apply_redirected(self, stdin=None, stdout=None, stderr=None,
 
1677
                         a_callable=None, *args, **kwargs):
 
1678
        """Call callable with redirected std io pipes.
 
1679
 
 
1680
        Returns the return code."""
 
1681
        if not callable(a_callable):
 
1682
            raise ValueError("a_callable must be callable.")
 
1683
        if stdin is None:
 
1684
            stdin = StringIO("")
 
1685
        if stdout is None:
 
1686
            if getattr(self, "_log_file", None) is not None:
 
1687
                stdout = self._log_file
 
1688
            else:
 
1689
                stdout = StringIO()
 
1690
        if stderr is None:
 
1691
            if getattr(self, "_log_file", None is not None):
 
1692
                stderr = self._log_file
 
1693
            else:
 
1694
                stderr = StringIO()
 
1695
        real_stdin = sys.stdin
 
1696
        real_stdout = sys.stdout
 
1697
        real_stderr = sys.stderr
 
1698
        try:
 
1699
            sys.stdout = stdout
 
1700
            sys.stderr = stderr
 
1701
            sys.stdin = stdin
 
1702
            return a_callable(*args, **kwargs)
 
1703
        finally:
 
1704
            sys.stdout = real_stdout
 
1705
            sys.stderr = real_stderr
 
1706
            sys.stdin = real_stdin
 
1707
 
 
1708
    def reduceLockdirTimeout(self):
 
1709
        """Reduce the default lock timeout for the duration of the test, so that
 
1710
        if LockContention occurs during a test, it does so quickly.
 
1711
 
 
1712
        Tests that expect to provoke LockContention errors should call this.
 
1713
        """
 
1714
        orig_timeout = bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS
 
1715
        def resetTimeout():
 
1716
            bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS = orig_timeout
 
1717
        self.addCleanup(resetTimeout)
 
1718
        bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS = 0
 
1719
 
 
1720
    def make_utf8_encoded_stringio(self, encoding_type=None):
 
1721
        """Return a StringIOWrapper instance, that will encode Unicode
 
1722
        input to UTF-8.
 
1723
        """
 
1724
        if encoding_type is None:
 
1725
            encoding_type = 'strict'
 
1726
        sio = StringIO()
 
1727
        output_encoding = 'utf-8'
 
1728
        sio = codecs.getwriter(output_encoding)(sio, errors=encoding_type)
 
1729
        sio.encoding = output_encoding
 
1730
        return sio
 
1731
 
 
1732
 
 
1733
class TestCaseWithMemoryTransport(TestCase):
 
1734
    """Common test class for tests that do not need disk resources.
 
1735
 
 
1736
    Tests that need disk resources should derive from TestCaseWithTransport.
 
1737
 
 
1738
    TestCaseWithMemoryTransport sets the TEST_ROOT variable for all bzr tests.
 
1739
 
 
1740
    For TestCaseWithMemoryTransport the test_home_dir is set to the name of
 
1741
    a directory which does not exist. This serves to help ensure test isolation
 
1742
    is preserved. test_dir is set to the TEST_ROOT, as is cwd, because they
 
1743
    must exist. However, TestCaseWithMemoryTransport does not offer local
 
1744
    file defaults for the transport in tests, nor does it obey the command line
 
1745
    override, so tests that accidentally write to the common directory should
 
1746
    be rare.
 
1747
 
 
1748
    :cvar TEST_ROOT: Directory containing all temporary directories, plus
 
1749
    a .bzr directory that stops us ascending higher into the filesystem.
 
1750
    """
 
1751
 
 
1752
    TEST_ROOT = None
 
1753
    _TEST_NAME = 'test'
 
1754
 
 
1755
    def __init__(self, methodName='runTest'):
 
1756
        # allow test parameterization after test construction and before test
 
1757
        # execution. Variables that the parameterizer sets need to be 
 
1758
        # ones that are not set by setUp, or setUp will trash them.
 
1759
        super(TestCaseWithMemoryTransport, self).__init__(methodName)
 
1760
        self.vfs_transport_factory = default_transport
 
1761
        self.transport_server = None
 
1762
        self.transport_readonly_server = None
 
1763
        self.__vfs_server = None
 
1764
 
 
1765
    def get_transport(self, relpath=None):
 
1766
        """Return a writeable transport.
 
1767
 
 
1768
        This transport is for the test scratch space relative to
 
1769
        "self._test_root"
 
1770
        
 
1771
        :param relpath: a path relative to the base url.
 
1772
        """
 
1773
        t = get_transport(self.get_url(relpath))
 
1774
        self.assertFalse(t.is_readonly())
 
1775
        return t
 
1776
 
 
1777
    def get_readonly_transport(self, relpath=None):
 
1778
        """Return a readonly transport for the test scratch space
 
1779
        
 
1780
        This can be used to test that operations which should only need
 
1781
        readonly access in fact do not try to write.
 
1782
 
 
1783
        :param relpath: a path relative to the base url.
 
1784
        """
 
1785
        t = get_transport(self.get_readonly_url(relpath))
 
1786
        self.assertTrue(t.is_readonly())
 
1787
        return t
 
1788
 
 
1789
    def create_transport_readonly_server(self):
 
1790
        """Create a transport server from class defined at init.
 
1791
 
 
1792
        This is mostly a hook for daughter classes.
 
1793
        """
 
1794
        return self.transport_readonly_server()
 
1795
 
 
1796
    def get_readonly_server(self):
 
1797
        """Get the server instance for the readonly transport
 
1798
 
 
1799
        This is useful for some tests with specific servers to do diagnostics.
 
1800
        """
 
1801
        if self.__readonly_server is None:
 
1802
            if self.transport_readonly_server is None:
 
1803
                # readonly decorator requested
 
1804
                # bring up the server
 
1805
                self.__readonly_server = ReadonlyServer()
 
1806
                self.__readonly_server.setUp(self.get_vfs_only_server())
 
1807
            else:
 
1808
                self.__readonly_server = self.create_transport_readonly_server()
 
1809
                self.__readonly_server.setUp(self.get_vfs_only_server())
 
1810
            self.addCleanup(self.__readonly_server.tearDown)
 
1811
        return self.__readonly_server
 
1812
 
 
1813
    def get_readonly_url(self, relpath=None):
 
1814
        """Get a URL for the readonly transport.
 
1815
 
 
1816
        This will either be backed by '.' or a decorator to the transport 
 
1817
        used by self.get_url()
 
1818
        relpath provides for clients to get a path relative to the base url.
 
1819
        These should only be downwards relative, not upwards.
 
1820
        """
 
1821
        base = self.get_readonly_server().get_url()
 
1822
        return self._adjust_url(base, relpath)
 
1823
 
 
1824
    def get_vfs_only_server(self):
 
1825
        """Get the vfs only read/write server instance.
 
1826
 
 
1827
        This is useful for some tests with specific servers that need
 
1828
        diagnostics.
 
1829
 
 
1830
        For TestCaseWithMemoryTransport this is always a MemoryServer, and there
 
1831
        is no means to override it.
 
1832
        """
 
1833
        if self.__vfs_server is None:
 
1834
            self.__vfs_server = MemoryServer()
 
1835
            self.__vfs_server.setUp()
 
1836
            self.addCleanup(self.__vfs_server.tearDown)
 
1837
        return self.__vfs_server
 
1838
 
 
1839
    def get_server(self):
 
1840
        """Get the read/write server instance.
 
1841
 
 
1842
        This is useful for some tests with specific servers that need
 
1843
        diagnostics.
 
1844
 
 
1845
        This is built from the self.transport_server factory. If that is None,
 
1846
        then the self.get_vfs_server is returned.
 
1847
        """
 
1848
        if self.__server is None:
 
1849
            if self.transport_server is None or self.transport_server is self.vfs_transport_factory:
 
1850
                return self.get_vfs_only_server()
 
1851
            else:
 
1852
                # bring up a decorated means of access to the vfs only server.
 
1853
                self.__server = self.transport_server()
 
1854
                try:
 
1855
                    self.__server.setUp(self.get_vfs_only_server())
 
1856
                except TypeError, e:
 
1857
                    # This should never happen; the try:Except here is to assist
 
1858
                    # developers having to update code rather than seeing an
 
1859
                    # uninformative TypeError.
 
1860
                    raise Exception, "Old server API in use: %s, %s" % (self.__server, e)
 
1861
            self.addCleanup(self.__server.tearDown)
 
1862
        return self.__server
 
1863
 
 
1864
    def _adjust_url(self, base, relpath):
 
1865
        """Get a URL (or maybe a path) for the readwrite transport.
 
1866
 
 
1867
        This will either be backed by '.' or to an equivalent non-file based
 
1868
        facility.
 
1869
        relpath provides for clients to get a path relative to the base url.
 
1870
        These should only be downwards relative, not upwards.
 
1871
        """
 
1872
        if relpath is not None and relpath != '.':
 
1873
            if not base.endswith('/'):
 
1874
                base = base + '/'
 
1875
            # XXX: Really base should be a url; we did after all call
 
1876
            # get_url()!  But sometimes it's just a path (from
 
1877
            # LocalAbspathServer), and it'd be wrong to append urlescaped data
 
1878
            # to a non-escaped local path.
 
1879
            if base.startswith('./') or base.startswith('/'):
 
1880
                base += relpath
 
1881
            else:
 
1882
                base += urlutils.escape(relpath)
 
1883
        return base
 
1884
 
 
1885
    def get_url(self, relpath=None):
 
1886
        """Get a URL (or maybe a path) for the readwrite transport.
 
1887
 
 
1888
        This will either be backed by '.' or to an equivalent non-file based
 
1889
        facility.
 
1890
        relpath provides for clients to get a path relative to the base url.
 
1891
        These should only be downwards relative, not upwards.
 
1892
        """
 
1893
        base = self.get_server().get_url()
 
1894
        return self._adjust_url(base, relpath)
 
1895
 
 
1896
    def get_vfs_only_url(self, relpath=None):
 
1897
        """Get a URL (or maybe a path for the plain old vfs transport.
 
1898
 
 
1899
        This will never be a smart protocol.  It always has all the
 
1900
        capabilities of the local filesystem, but it might actually be a
 
1901
        MemoryTransport or some other similar virtual filesystem.
 
1902
 
 
1903
        This is the backing transport (if any) of the server returned by
 
1904
        get_url and get_readonly_url.
 
1905
 
 
1906
        :param relpath: provides for clients to get a path relative to the base
 
1907
            url.  These should only be downwards relative, not upwards.
 
1908
        :return: A URL
 
1909
        """
 
1910
        base = self.get_vfs_only_server().get_url()
 
1911
        return self._adjust_url(base, relpath)
 
1912
 
 
1913
    def _create_safety_net(self):
 
1914
        """Make a fake bzr directory.
 
1915
 
 
1916
        This prevents any tests propagating up onto the TEST_ROOT directory's
 
1917
        real branch.
 
1918
        """
 
1919
        root = TestCaseWithMemoryTransport.TEST_ROOT
 
1920
        bzrdir.BzrDir.create_standalone_workingtree(root)
 
1921
 
 
1922
    def _check_safety_net(self):
 
1923
        """Check that the safety .bzr directory have not been touched.
 
1924
 
 
1925
        _make_test_root have created a .bzr directory to prevent tests from
 
1926
        propagating. This method ensures than a test did not leaked.
 
1927
        """
 
1928
        root = TestCaseWithMemoryTransport.TEST_ROOT
 
1929
        wt = workingtree.WorkingTree.open(root)
 
1930
        last_rev = wt.last_revision()
 
1931
        if last_rev != 'null:':
 
1932
            # The current test have modified the /bzr directory, we need to
 
1933
            # recreate a new one or all the followng tests will fail.
 
1934
            # If you need to inspect its content uncomment the following line
 
1935
            # import pdb; pdb.set_trace()
 
1936
            _rmtree_temp_dir(root + '/.bzr')
 
1937
            self._create_safety_net()
 
1938
            raise AssertionError('%s/.bzr should not be modified' % root)
 
1939
 
 
1940
    def _make_test_root(self):
 
1941
        if TestCaseWithMemoryTransport.TEST_ROOT is None:
 
1942
            root = osutils.mkdtemp(prefix='testbzr-', suffix='.tmp')
 
1943
            TestCaseWithMemoryTransport.TEST_ROOT = root
 
1944
 
 
1945
            self._create_safety_net()
 
1946
 
 
1947
            # The same directory is used by all tests, and we're not
 
1948
            # specifically told when all tests are finished.  This will do.
 
1949
            atexit.register(_rmtree_temp_dir, root)
 
1950
 
 
1951
        self.addCleanup(self._check_safety_net)
 
1952
 
 
1953
    def makeAndChdirToTestDir(self):
 
1954
        """Create a temporary directories for this one test.
 
1955
        
 
1956
        This must set self.test_home_dir and self.test_dir and chdir to
 
1957
        self.test_dir.
 
1958
        
 
1959
        For TestCaseWithMemoryTransport we chdir to the TEST_ROOT for this test.
 
1960
        """
 
1961
        os.chdir(TestCaseWithMemoryTransport.TEST_ROOT)
 
1962
        self.test_dir = TestCaseWithMemoryTransport.TEST_ROOT
 
1963
        self.test_home_dir = self.test_dir + "/MemoryTransportMissingHomeDir"
 
1964
        
 
1965
    def make_branch(self, relpath, format=None):
 
1966
        """Create a branch on the transport at relpath."""
 
1967
        repo = self.make_repository(relpath, format=format)
 
1968
        return repo.bzrdir.create_branch()
 
1969
 
 
1970
    def make_bzrdir(self, relpath, format=None):
 
1971
        try:
 
1972
            # might be a relative or absolute path
 
1973
            maybe_a_url = self.get_url(relpath)
 
1974
            segments = maybe_a_url.rsplit('/', 1)
 
1975
            t = get_transport(maybe_a_url)
 
1976
            if len(segments) > 1 and segments[-1] not in ('', '.'):
 
1977
                t.ensure_base()
 
1978
            if format is None:
 
1979
                format = 'default'
 
1980
            if isinstance(format, basestring):
 
1981
                format = bzrdir.format_registry.make_bzrdir(format)
 
1982
            return format.initialize_on_transport(t)
 
1983
        except errors.UninitializableFormat:
 
1984
            raise TestSkipped("Format %s is not initializable." % format)
 
1985
 
 
1986
    def make_repository(self, relpath, shared=False, format=None):
 
1987
        """Create a repository on our default transport at relpath.
 
1988
        
 
1989
        Note that relpath must be a relative path, not a full url.
 
1990
        """
 
1991
        # FIXME: If you create a remoterepository this returns the underlying
 
1992
        # real format, which is incorrect.  Actually we should make sure that 
 
1993
        # RemoteBzrDir returns a RemoteRepository.
 
1994
        # maybe  mbp 20070410
 
1995
        made_control = self.make_bzrdir(relpath, format=format)
 
1996
        return made_control.create_repository(shared=shared)
 
1997
 
 
1998
    def make_branch_and_memory_tree(self, relpath, format=None):
 
1999
        """Create a branch on the default transport and a MemoryTree for it."""
 
2000
        b = self.make_branch(relpath, format=format)
 
2001
        return memorytree.MemoryTree.create_on_branch(b)
 
2002
 
 
2003
    def make_branch_builder(self, relpath, format=None):
 
2004
        url = self.get_url(relpath)
 
2005
        tran = get_transport(url)
 
2006
        return branchbuilder.BranchBuilder(get_transport(url), format=format)
 
2007
 
 
2008
    def overrideEnvironmentForTesting(self):
 
2009
        os.environ['HOME'] = self.test_home_dir
 
2010
        os.environ['BZR_HOME'] = self.test_home_dir
 
2011
        
 
2012
    def setUp(self):
 
2013
        super(TestCaseWithMemoryTransport, self).setUp()
 
2014
        self._make_test_root()
 
2015
        _currentdir = os.getcwdu()
 
2016
        def _leaveDirectory():
 
2017
            os.chdir(_currentdir)
 
2018
        self.addCleanup(_leaveDirectory)
 
2019
        self.makeAndChdirToTestDir()
 
2020
        self.overrideEnvironmentForTesting()
 
2021
        self.__readonly_server = None
 
2022
        self.__server = None
 
2023
        self.reduceLockdirTimeout()
 
2024
 
 
2025
     
 
2026
class TestCaseInTempDir(TestCaseWithMemoryTransport):
 
2027
    """Derived class that runs a test within a temporary directory.
 
2028
 
 
2029
    This is useful for tests that need to create a branch, etc.
 
2030
 
 
2031
    The directory is created in a slightly complex way: for each
 
2032
    Python invocation, a new temporary top-level directory is created.
 
2033
    All test cases create their own directory within that.  If the
 
2034
    tests complete successfully, the directory is removed.
 
2035
 
 
2036
    :ivar test_base_dir: The path of the top-level directory for this 
 
2037
    test, which contains a home directory and a work directory.
 
2038
 
 
2039
    :ivar test_home_dir: An initially empty directory under test_base_dir
 
2040
    which is used as $HOME for this test.
 
2041
 
 
2042
    :ivar test_dir: A directory under test_base_dir used as the current
 
2043
    directory when the test proper is run.
 
2044
    """
 
2045
 
 
2046
    OVERRIDE_PYTHON = 'python'
 
2047
 
 
2048
    def check_file_contents(self, filename, expect):
 
2049
        self.log("check contents of file %s" % filename)
 
2050
        contents = file(filename, 'r').read()
 
2051
        if contents != expect:
 
2052
            self.log("expected: %r" % expect)
 
2053
            self.log("actually: %r" % contents)
 
2054
            self.fail("contents of %s not as expected" % filename)
 
2055
 
 
2056
    def _getTestDirPrefix(self):
 
2057
        # create a directory within the top level test directory
 
2058
        if sys.platform == 'win32':
 
2059
            name_prefix = re.sub('[<>*=+",:;_/\\-]', '_', self.id())
 
2060
            # windows is likely to have path-length limits so use a short name
 
2061
            name_prefix = name_prefix[-30:]
 
2062
        else:
 
2063
            name_prefix = re.sub('[/]', '_', self.id())
 
2064
        return name_prefix
 
2065
 
 
2066
    def makeAndChdirToTestDir(self):
 
2067
        """See TestCaseWithMemoryTransport.makeAndChdirToTestDir().
 
2068
        
 
2069
        For TestCaseInTempDir we create a temporary directory based on the test
 
2070
        name and then create two subdirs - test and home under it.
 
2071
        """
 
2072
        name_prefix = osutils.pathjoin(self.TEST_ROOT, self._getTestDirPrefix())
 
2073
        name = name_prefix
 
2074
        for i in range(100):
 
2075
            if os.path.exists(name):
 
2076
                name = name_prefix + '_' + str(i)
 
2077
            else:
 
2078
                os.mkdir(name)
 
2079
                break
 
2080
        # now create test and home directories within this dir
 
2081
        self.test_base_dir = name
 
2082
        self.test_home_dir = self.test_base_dir + '/home'
 
2083
        os.mkdir(self.test_home_dir)
 
2084
        self.test_dir = self.test_base_dir + '/work'
 
2085
        os.mkdir(self.test_dir)
 
2086
        os.chdir(self.test_dir)
 
2087
        # put name of test inside
 
2088
        f = file(self.test_base_dir + '/name', 'w')
 
2089
        try:
 
2090
            f.write(self.id())
 
2091
        finally:
 
2092
            f.close()
 
2093
        self.addCleanup(self.deleteTestDir)
 
2094
 
 
2095
    def deleteTestDir(self):
 
2096
        os.chdir(self.TEST_ROOT)
 
2097
        _rmtree_temp_dir(self.test_base_dir)
 
2098
 
 
2099
    def build_tree(self, shape, line_endings='binary', transport=None):
 
2100
        """Build a test tree according to a pattern.
 
2101
 
 
2102
        shape is a sequence of file specifications.  If the final
 
2103
        character is '/', a directory is created.
 
2104
 
 
2105
        This assumes that all the elements in the tree being built are new.
 
2106
 
 
2107
        This doesn't add anything to a branch.
 
2108
 
 
2109
        :type shape:    list or tuple.
 
2110
        :param line_endings: Either 'binary' or 'native'
 
2111
            in binary mode, exact contents are written in native mode, the
 
2112
            line endings match the default platform endings.
 
2113
        :param transport: A transport to write to, for building trees on VFS's.
 
2114
            If the transport is readonly or None, "." is opened automatically.
 
2115
        :return: None
 
2116
        """
 
2117
        if type(shape) not in (list, tuple):
 
2118
            raise AssertionError("Parameter 'shape' should be "
 
2119
                "a list or a tuple. Got %r instead" % (shape,))
 
2120
        # It's OK to just create them using forward slashes on windows.
 
2121
        if transport is None or transport.is_readonly():
 
2122
            transport = get_transport(".")
 
2123
        for name in shape:
 
2124
            self.assert_(isinstance(name, basestring))
 
2125
            if name[-1] == '/':
 
2126
                transport.mkdir(urlutils.escape(name[:-1]))
 
2127
            else:
 
2128
                if line_endings == 'binary':
 
2129
                    end = '\n'
 
2130
                elif line_endings == 'native':
 
2131
                    end = os.linesep
 
2132
                else:
 
2133
                    raise errors.BzrError(
 
2134
                        'Invalid line ending request %r' % line_endings)
 
2135
                content = "contents of %s%s" % (name.encode('utf-8'), end)
 
2136
                transport.put_bytes_non_atomic(urlutils.escape(name), content)
 
2137
 
 
2138
    def build_tree_contents(self, shape):
 
2139
        build_tree_contents(shape)
 
2140
 
 
2141
    def assertInWorkingTree(self, path, root_path='.', tree=None):
 
2142
        """Assert whether path or paths are in the WorkingTree"""
 
2143
        if tree is None:
 
2144
            tree = workingtree.WorkingTree.open(root_path)
 
2145
        if not isinstance(path, basestring):
 
2146
            for p in path:
 
2147
                self.assertInWorkingTree(p, tree=tree)
 
2148
        else:
 
2149
            self.assertIsNot(tree.path2id(path), None,
 
2150
                path+' not in working tree.')
 
2151
 
 
2152
    def assertNotInWorkingTree(self, path, root_path='.', tree=None):
 
2153
        """Assert whether path or paths are not in the WorkingTree"""
 
2154
        if tree is None:
 
2155
            tree = workingtree.WorkingTree.open(root_path)
 
2156
        if not isinstance(path, basestring):
 
2157
            for p in path:
 
2158
                self.assertNotInWorkingTree(p,tree=tree)
 
2159
        else:
 
2160
            self.assertIs(tree.path2id(path), None, path+' in working tree.')
 
2161
 
 
2162
 
 
2163
class TestCaseWithTransport(TestCaseInTempDir):
 
2164
    """A test case that provides get_url and get_readonly_url facilities.
 
2165
 
 
2166
    These back onto two transport servers, one for readonly access and one for
 
2167
    read write access.
 
2168
 
 
2169
    If no explicit class is provided for readonly access, a
 
2170
    ReadonlyTransportDecorator is used instead which allows the use of non disk
 
2171
    based read write transports.
 
2172
 
 
2173
    If an explicit class is provided for readonly access, that server and the 
 
2174
    readwrite one must both define get_url() as resolving to os.getcwd().
 
2175
    """
 
2176
 
 
2177
    def get_vfs_only_server(self):
 
2178
        """See TestCaseWithMemoryTransport.
 
2179
 
 
2180
        This is useful for some tests with specific servers that need
 
2181
        diagnostics.
 
2182
        """
 
2183
        if self.__vfs_server is None:
 
2184
            self.__vfs_server = self.vfs_transport_factory()
 
2185
            self.__vfs_server.setUp()
 
2186
            self.addCleanup(self.__vfs_server.tearDown)
 
2187
        return self.__vfs_server
 
2188
 
 
2189
    def make_branch_and_tree(self, relpath, format=None):
 
2190
        """Create a branch on the transport and a tree locally.
 
2191
 
 
2192
        If the transport is not a LocalTransport, the Tree can't be created on
 
2193
        the transport.  In that case if the vfs_transport_factory is
 
2194
        LocalURLServer the working tree is created in the local
 
2195
        directory backing the transport, and the returned tree's branch and
 
2196
        repository will also be accessed locally. Otherwise a lightweight
 
2197
        checkout is created and returned.
 
2198
 
 
2199
        :param format: The BzrDirFormat.
 
2200
        :returns: the WorkingTree.
 
2201
        """
 
2202
        # TODO: always use the local disk path for the working tree,
 
2203
        # this obviously requires a format that supports branch references
 
2204
        # so check for that by checking bzrdir.BzrDirFormat.get_default_format()
 
2205
        # RBC 20060208
 
2206
        b = self.make_branch(relpath, format=format)
 
2207
        try:
 
2208
            return b.bzrdir.create_workingtree()
 
2209
        except errors.NotLocalUrl:
 
2210
            # We can only make working trees locally at the moment.  If the
 
2211
            # transport can't support them, then we keep the non-disk-backed
 
2212
            # branch and create a local checkout.
 
2213
            if self.vfs_transport_factory is LocalURLServer:
 
2214
                # the branch is colocated on disk, we cannot create a checkout.
 
2215
                # hopefully callers will expect this.
 
2216
                local_controldir= bzrdir.BzrDir.open(self.get_vfs_only_url(relpath))
 
2217
                wt = local_controldir.create_workingtree()
 
2218
                if wt.branch._format != b._format:
 
2219
                    wt._branch = b
 
2220
                    # Make sure that assigning to wt._branch fixes wt.branch,
 
2221
                    # in case the implementation details of workingtree objects
 
2222
                    # change.
 
2223
                    self.assertIs(b, wt.branch)
 
2224
                return wt
 
2225
            else:
 
2226
                return b.create_checkout(relpath, lightweight=True)
 
2227
 
 
2228
    def assertIsDirectory(self, relpath, transport):
 
2229
        """Assert that relpath within transport is a directory.
 
2230
 
 
2231
        This may not be possible on all transports; in that case it propagates
 
2232
        a TransportNotPossible.
 
2233
        """
 
2234
        try:
 
2235
            mode = transport.stat(relpath).st_mode
 
2236
        except errors.NoSuchFile:
 
2237
            self.fail("path %s is not a directory; no such file"
 
2238
                      % (relpath))
 
2239
        if not stat.S_ISDIR(mode):
 
2240
            self.fail("path %s is not a directory; has mode %#o"
 
2241
                      % (relpath, mode))
 
2242
 
 
2243
    def assertTreesEqual(self, left, right):
 
2244
        """Check that left and right have the same content and properties."""
 
2245
        # we use a tree delta to check for equality of the content, and we
 
2246
        # manually check for equality of other things such as the parents list.
 
2247
        self.assertEqual(left.get_parent_ids(), right.get_parent_ids())
 
2248
        differences = left.changes_from(right)
 
2249
        self.assertFalse(differences.has_changed(),
 
2250
            "Trees %r and %r are different: %r" % (left, right, differences))
 
2251
 
 
2252
    def setUp(self):
 
2253
        super(TestCaseWithTransport, self).setUp()
 
2254
        self.__vfs_server = None
 
2255
 
 
2256
 
 
2257
class ChrootedTestCase(TestCaseWithTransport):
 
2258
    """A support class that provides readonly urls outside the local namespace.
 
2259
 
 
2260
    This is done by checking if self.transport_server is a MemoryServer. if it
 
2261
    is then we are chrooted already, if it is not then an HttpServer is used
 
2262
    for readonly urls.
 
2263
 
 
2264
    TODO RBC 20060127: make this an option to TestCaseWithTransport so it can
 
2265
                       be used without needed to redo it when a different 
 
2266
                       subclass is in use ?
 
2267
    """
 
2268
 
 
2269
    def setUp(self):
 
2270
        super(ChrootedTestCase, self).setUp()
 
2271
        if not self.vfs_transport_factory == MemoryServer:
 
2272
            self.transport_readonly_server = HttpServer
 
2273
 
 
2274
 
 
2275
def condition_id_re(pattern):
 
2276
    """Create a condition filter which performs a re check on a test's id.
 
2277
    
 
2278
    :param pattern: A regular expression string.
 
2279
    :return: A callable that returns True if the re matches.
 
2280
    """
 
2281
    filter_re = re.compile(pattern)
 
2282
    def condition(test):
 
2283
        test_id = test.id()
 
2284
        return filter_re.search(test_id)
 
2285
    return condition
 
2286
 
 
2287
 
 
2288
def condition_isinstance(klass_or_klass_list):
 
2289
    """Create a condition filter which returns isinstance(param, klass).
 
2290
    
 
2291
    :return: A callable which when called with one parameter obj return the
 
2292
        result of isinstance(obj, klass_or_klass_list).
 
2293
    """
 
2294
    def condition(obj):
 
2295
        return isinstance(obj, klass_or_klass_list)
 
2296
    return condition
 
2297
 
 
2298
 
 
2299
def condition_id_in_list(id_list):
 
2300
    """Create a condition filter which verify that test's id in a list.
 
2301
    
 
2302
    :param id_list: A TestIdList object.
 
2303
    :return: A callable that returns True if the test's id appears in the list.
 
2304
    """
 
2305
    def condition(test):
 
2306
        return id_list.includes(test.id())
 
2307
    return condition
 
2308
 
 
2309
 
 
2310
def condition_id_startswith(starts):
 
2311
    """Create a condition filter verifying that test's id starts with a string.
 
2312
    
 
2313
    :param starts: A list of string.
 
2314
    :return: A callable that returns True if the test's id starts with one of 
 
2315
        the given strings.
 
2316
    """
 
2317
    def condition(test):
 
2318
        for start in starts:
 
2319
            if test.id().startswith(start):
 
2320
                return True
 
2321
        return False
 
2322
    return condition
 
2323
 
 
2324
 
 
2325
def exclude_tests_by_condition(suite, condition):
 
2326
    """Create a test suite which excludes some tests from suite.
 
2327
 
 
2328
    :param suite: The suite to get tests from.
 
2329
    :param condition: A callable whose result evaluates True when called with a
 
2330
        test case which should be excluded from the result.
 
2331
    :return: A suite which contains the tests found in suite that fail
 
2332
        condition.
 
2333
    """
 
2334
    result = []
 
2335
    for test in iter_suite_tests(suite):
 
2336
        if not condition(test):
 
2337
            result.append(test)
 
2338
    return TestUtil.TestSuite(result)
 
2339
 
 
2340
 
 
2341
def filter_suite_by_condition(suite, condition):
 
2342
    """Create a test suite by filtering another one.
 
2343
    
 
2344
    :param suite: The source suite.
 
2345
    :param condition: A callable whose result evaluates True when called with a
 
2346
        test case which should be included in the result.
 
2347
    :return: A suite which contains the tests found in suite that pass
 
2348
        condition.
 
2349
    """
 
2350
    result = []
 
2351
    for test in iter_suite_tests(suite):
 
2352
        if condition(test):
 
2353
            result.append(test)
 
2354
    return TestUtil.TestSuite(result)
 
2355
 
 
2356
 
 
2357
def filter_suite_by_re(suite, pattern):
 
2358
    """Create a test suite by filtering another one.
 
2359
    
 
2360
    :param suite:           the source suite
 
2361
    :param pattern:         pattern that names must match
 
2362
    :returns: the newly created suite
 
2363
    """
 
2364
    condition = condition_id_re(pattern)
 
2365
    result_suite = filter_suite_by_condition(suite, condition)
 
2366
    return result_suite
 
2367
 
 
2368
 
 
2369
def filter_suite_by_id_list(suite, test_id_list):
 
2370
    """Create a test suite by filtering another one.
 
2371
 
 
2372
    :param suite: The source suite.
 
2373
    :param test_id_list: A list of the test ids to keep as strings.
 
2374
    :returns: the newly created suite
 
2375
    """
 
2376
    condition = condition_id_in_list(test_id_list)
 
2377
    result_suite = filter_suite_by_condition(suite, condition)
 
2378
    return result_suite
 
2379
 
 
2380
 
 
2381
def filter_suite_by_id_startswith(suite, start):
 
2382
    """Create a test suite by filtering another one.
 
2383
 
 
2384
    :param suite: The source suite.
 
2385
    :param start: A list of string the test id must start with one of.
 
2386
    :returns: the newly created suite
 
2387
    """
 
2388
    condition = condition_id_startswith(start)
 
2389
    result_suite = filter_suite_by_condition(suite, condition)
 
2390
    return result_suite
 
2391
 
 
2392
 
 
2393
def exclude_tests_by_re(suite, pattern):
 
2394
    """Create a test suite which excludes some tests from suite.
 
2395
 
 
2396
    :param suite: The suite to get tests from.
 
2397
    :param pattern: A regular expression string. Test ids that match this
 
2398
        pattern will be excluded from the result.
 
2399
    :return: A TestSuite that contains all the tests from suite without the
 
2400
        tests that matched pattern. The order of tests is the same as it was in
 
2401
        suite.
 
2402
    """
 
2403
    return exclude_tests_by_condition(suite, condition_id_re(pattern))
 
2404
 
 
2405
 
 
2406
def preserve_input(something):
 
2407
    """A helper for performing test suite transformation chains.
 
2408
 
 
2409
    :param something: Anything you want to preserve.
 
2410
    :return: Something.
 
2411
    """
 
2412
    return something
 
2413
 
 
2414
 
 
2415
def randomize_suite(suite):
 
2416
    """Return a new TestSuite with suite's tests in random order.
 
2417
    
 
2418
    The tests in the input suite are flattened into a single suite in order to
 
2419
    accomplish this. Any nested TestSuites are removed to provide global
 
2420
    randomness.
 
2421
    """
 
2422
    tests = list(iter_suite_tests(suite))
 
2423
    random.shuffle(tests)
 
2424
    return TestUtil.TestSuite(tests)
 
2425
 
 
2426
 
 
2427
def split_suite_by_condition(suite, condition):
 
2428
    """Split a test suite into two by a condition.
 
2429
    
 
2430
    :param suite: The suite to split.
 
2431
    :param condition: The condition to match on. Tests that match this
 
2432
        condition are returned in the first test suite, ones that do not match
 
2433
        are in the second suite.
 
2434
    :return: A tuple of two test suites, where the first contains tests from
 
2435
        suite matching the condition, and the second contains the remainder
 
2436
        from suite. The order within each output suite is the same as it was in
 
2437
        suite.
 
2438
    """
 
2439
    matched = []
 
2440
    did_not_match = []
 
2441
    for test in iter_suite_tests(suite):
 
2442
        if condition(test):
 
2443
            matched.append(test)
 
2444
        else:
 
2445
            did_not_match.append(test)
 
2446
    return TestUtil.TestSuite(matched), TestUtil.TestSuite(did_not_match)
 
2447
 
 
2448
 
 
2449
def split_suite_by_re(suite, pattern):
 
2450
    """Split a test suite into two by a regular expression.
 
2451
    
 
2452
    :param suite: The suite to split.
 
2453
    :param pattern: A regular expression string. Test ids that match this
 
2454
        pattern will be in the first test suite returned, and the others in the
 
2455
        second test suite returned.
 
2456
    :return: A tuple of two test suites, where the first contains tests from
 
2457
        suite matching pattern, and the second contains the remainder from
 
2458
        suite. The order within each output suite is the same as it was in
 
2459
        suite.
 
2460
    """
 
2461
    return split_suite_by_condition(suite, condition_id_re(pattern))
 
2462
 
 
2463
 
 
2464
def run_suite(suite, name='test', verbose=False, pattern=".*",
 
2465
              stop_on_failure=False,
 
2466
              transport=None, lsprof_timed=None, bench_history=None,
 
2467
              matching_tests_first=None,
 
2468
              list_only=False,
 
2469
              random_seed=None,
 
2470
              exclude_pattern=None,
 
2471
              strict=False):
 
2472
    TestCase._gather_lsprof_in_benchmarks = lsprof_timed
 
2473
    if verbose:
 
2474
        verbosity = 2
 
2475
    else:
 
2476
        verbosity = 1
 
2477
    runner = TextTestRunner(stream=sys.stdout,
 
2478
                            descriptions=0,
 
2479
                            verbosity=verbosity,
 
2480
                            bench_history=bench_history,
 
2481
                            list_only=list_only,
 
2482
                            )
 
2483
    runner.stop_on_failure=stop_on_failure
 
2484
    # Initialise the random number generator and display the seed used.
 
2485
    # We convert the seed to a long to make it reuseable across invocations.
 
2486
    random_order = False
 
2487
    if random_seed is not None:
 
2488
        random_order = True
 
2489
        if random_seed == "now":
 
2490
            random_seed = long(time.time())
 
2491
        else:
 
2492
            # Convert the seed to a long if we can
 
2493
            try:
 
2494
                random_seed = long(random_seed)
 
2495
            except:
 
2496
                pass
 
2497
        runner.stream.writeln("Randomizing test order using seed %s\n" %
 
2498
            (random_seed))
 
2499
        random.seed(random_seed)
 
2500
    # Customise the list of tests if requested
 
2501
    if exclude_pattern is not None:
 
2502
        suite = exclude_tests_by_re(suite, exclude_pattern)
 
2503
    if random_order:
 
2504
        order_changer = randomize_suite
 
2505
    else:
 
2506
        order_changer = preserve_input
 
2507
    if pattern != '.*' or random_order:
 
2508
        if matching_tests_first:
 
2509
            suites = map(order_changer, split_suite_by_re(suite, pattern))
 
2510
            suite = TestUtil.TestSuite(suites)
 
2511
        else:
 
2512
            suite = order_changer(filter_suite_by_re(suite, pattern))
 
2513
 
 
2514
    result = runner.run(suite)
 
2515
 
 
2516
    if strict:
 
2517
        return result.wasStrictlySuccessful()
 
2518
 
 
2519
    return result.wasSuccessful()
 
2520
 
 
2521
 
 
2522
# Controlled by "bzr selftest -E=..." option
 
2523
selftest_debug_flags = set()
 
2524
 
 
2525
 
 
2526
def selftest(verbose=False, pattern=".*", stop_on_failure=True,
 
2527
             transport=None,
 
2528
             test_suite_factory=None,
 
2529
             lsprof_timed=None,
 
2530
             bench_history=None,
 
2531
             matching_tests_first=None,
 
2532
             list_only=False,
 
2533
             random_seed=None,
 
2534
             exclude_pattern=None,
 
2535
             strict=False,
 
2536
             load_list=None,
 
2537
             debug_flags=None,
 
2538
             starting_with=None,
 
2539
             ):
 
2540
    """Run the whole test suite under the enhanced runner"""
 
2541
    # XXX: Very ugly way to do this...
 
2542
    # Disable warning about old formats because we don't want it to disturb
 
2543
    # any blackbox tests.
 
2544
    from bzrlib import repository
 
2545
    repository._deprecation_warning_done = True
 
2546
 
 
2547
    global default_transport
 
2548
    if transport is None:
 
2549
        transport = default_transport
 
2550
    old_transport = default_transport
 
2551
    default_transport = transport
 
2552
    global selftest_debug_flags
 
2553
    old_debug_flags = selftest_debug_flags
 
2554
    if debug_flags is not None:
 
2555
        selftest_debug_flags = set(debug_flags)
 
2556
    try:
 
2557
        if load_list is None:
 
2558
            keep_only = None
 
2559
        else:
 
2560
            keep_only = load_test_id_list(load_list)
 
2561
        if test_suite_factory is None:
 
2562
            suite = test_suite(keep_only, starting_with)
 
2563
        else:
 
2564
            suite = test_suite_factory()
 
2565
        return run_suite(suite, 'testbzr', verbose=verbose, pattern=pattern,
 
2566
                     stop_on_failure=stop_on_failure,
 
2567
                     transport=transport,
 
2568
                     lsprof_timed=lsprof_timed,
 
2569
                     bench_history=bench_history,
 
2570
                     matching_tests_first=matching_tests_first,
 
2571
                     list_only=list_only,
 
2572
                     random_seed=random_seed,
 
2573
                     exclude_pattern=exclude_pattern,
 
2574
                     strict=strict)
 
2575
    finally:
 
2576
        default_transport = old_transport
 
2577
        selftest_debug_flags = old_debug_flags
 
2578
 
 
2579
 
 
2580
def load_test_id_list(file_name):
 
2581
    """Load a test id list from a text file.
 
2582
 
 
2583
    The format is one test id by line.  No special care is taken to impose
 
2584
    strict rules, these test ids are used to filter the test suite so a test id
 
2585
    that do not match an existing test will do no harm. This allows user to add
 
2586
    comments, leave blank lines, etc.
 
2587
    """
 
2588
    test_list = []
 
2589
    try:
 
2590
        ftest = open(file_name, 'rt')
 
2591
    except IOError, e:
 
2592
        if e.errno != errno.ENOENT:
 
2593
            raise
 
2594
        else:
 
2595
            raise errors.NoSuchFile(file_name)
 
2596
 
 
2597
    for test_name in ftest.readlines():
 
2598
        test_list.append(test_name.strip())
 
2599
    ftest.close()
 
2600
    return test_list
 
2601
 
 
2602
 
 
2603
def suite_matches_id_list(test_suite, id_list):
 
2604
    """Warns about tests not appearing or appearing more than once.
 
2605
 
 
2606
    :param test_suite: A TestSuite object.
 
2607
    :param test_id_list: The list of test ids that should be found in 
 
2608
         test_suite.
 
2609
 
 
2610
    :return: (absents, duplicates) absents is a list containing the test found
 
2611
        in id_list but not in test_suite, duplicates is a list containing the
 
2612
        test found multiple times in test_suite.
 
2613
 
 
2614
    When using a prefined test id list, it may occurs that some tests do not
 
2615
    exist anymore or that some tests use the same id. This function warns the
 
2616
    tester about potential problems in his workflow (test lists are volatile)
 
2617
    or in the test suite itself (using the same id for several tests does not
 
2618
    help to localize defects).
 
2619
    """
 
2620
    # Build a dict counting id occurrences
 
2621
    tests = dict()
 
2622
    for test in iter_suite_tests(test_suite):
 
2623
        id = test.id()
 
2624
        tests[id] = tests.get(id, 0) + 1
 
2625
 
 
2626
    not_found = []
 
2627
    duplicates = []
 
2628
    for id in id_list:
 
2629
        occurs = tests.get(id, 0)
 
2630
        if not occurs:
 
2631
            not_found.append(id)
 
2632
        elif occurs > 1:
 
2633
            duplicates.append(id)
 
2634
 
 
2635
    return not_found, duplicates
 
2636
 
 
2637
 
 
2638
class TestIdList(object):
 
2639
    """Test id list to filter a test suite.
 
2640
 
 
2641
    Relying on the assumption that test ids are built as:
 
2642
    <module>[.<class>.<method>][(<param>+)], <module> being in python dotted
 
2643
    notation, this class offers methods to :
 
2644
    - avoid building a test suite for modules not refered to in the test list,
 
2645
    - keep only the tests listed from the module test suite.
 
2646
    """
 
2647
 
 
2648
    def __init__(self, test_id_list):
 
2649
        # When a test suite needs to be filtered against us we compare test ids
 
2650
        # for equality, so a simple dict offers a quick and simple solution.
 
2651
        self.tests = dict().fromkeys(test_id_list, True)
 
2652
 
 
2653
        # While unittest.TestCase have ids like:
 
2654
        # <module>.<class>.<method>[(<param+)],
 
2655
        # doctest.DocTestCase can have ids like:
 
2656
        # <module>
 
2657
        # <module>.<class>
 
2658
        # <module>.<function>
 
2659
        # <module>.<class>.<method>
 
2660
 
 
2661
        # Since we can't predict a test class from its name only, we settle on
 
2662
        # a simple constraint: a test id always begins with its module name.
 
2663
 
 
2664
        modules = {}
 
2665
        for test_id in test_id_list:
 
2666
            parts = test_id.split('.')
 
2667
            mod_name = parts.pop(0)
 
2668
            modules[mod_name] = True
 
2669
            for part in parts:
 
2670
                mod_name += '.' + part
 
2671
                modules[mod_name] = True
 
2672
        self.modules = modules
 
2673
 
 
2674
    def refers_to(self, module_name):
 
2675
        """Is there tests for the module or one of its sub modules."""
 
2676
        return self.modules.has_key(module_name)
 
2677
 
 
2678
    def includes(self, test_id):
 
2679
        return self.tests.has_key(test_id)
 
2680
 
 
2681
 
 
2682
class TestPrefixAliasRegistry(registry.Registry):
 
2683
    """A registry for test prefix aliases.
 
2684
 
 
2685
    This helps implement shorcuts for the --starting-with selftest
 
2686
    option. Overriding existing prefixes is not allowed but not fatal (a
 
2687
    warning will be emitted).
 
2688
    """
 
2689
 
 
2690
    def register(self, key, obj, help=None, info=None,
 
2691
                 override_existing=False):
 
2692
        """See Registry.register.
 
2693
 
 
2694
        Trying to override an existing alias causes a warning to be emitted,
 
2695
        not a fatal execption.
 
2696
        """
 
2697
        try:
 
2698
            super(TestPrefixAliasRegistry, self).register(
 
2699
                key, obj, help=help, info=info, override_existing=False)
 
2700
        except KeyError:
 
2701
            actual = self.get(key)
 
2702
            note('Test prefix alias %s is already used for %s, ignoring %s'
 
2703
                 % (key, actual, obj))
 
2704
 
 
2705
    def resolve_alias(self, id_start):
 
2706
        """Replace the alias by the prefix in the given string.
 
2707
 
 
2708
        Using an unknown prefix is an error to help catching typos.
 
2709
        """
 
2710
        parts = id_start.split('.')
 
2711
        try:
 
2712
            parts[0] = self.get(parts[0])
 
2713
        except KeyError:
 
2714
            raise errors.BzrCommandError(
 
2715
                '%s is not a known test prefix alias' % parts[0])
 
2716
        return '.'.join(parts)
 
2717
 
 
2718
 
 
2719
test_prefix_alias_registry = TestPrefixAliasRegistry()
 
2720
"""Registry of test prefix aliases."""
 
2721
 
 
2722
 
 
2723
# This alias allows to detect typos ('bzrlin.') by making all valid test ids
 
2724
# appear prefixed ('bzrlib.' is "replaced" by 'bzrlib.').
 
2725
test_prefix_alias_registry.register('bzrlib', 'bzrlib')
 
2726
 
 
2727
# Obvious higest levels prefixes, feel free to add your own via a plugin
 
2728
test_prefix_alias_registry.register('bd', 'bzrlib.doc')
 
2729
test_prefix_alias_registry.register('bu', 'bzrlib.utils')
 
2730
test_prefix_alias_registry.register('bt', 'bzrlib.tests')
 
2731
test_prefix_alias_registry.register('bb', 'bzrlib.tests.blackbox')
 
2732
test_prefix_alias_registry.register('bp', 'bzrlib.plugins')
 
2733
 
 
2734
 
 
2735
def test_suite(keep_only=None, starting_with=None):
 
2736
    """Build and return TestSuite for the whole of bzrlib.
 
2737
 
 
2738
    :param keep_only: A list of test ids limiting the suite returned.
 
2739
 
 
2740
    :param starting_with: An id limiting the suite returned to the tests
 
2741
         starting with it.
 
2742
 
 
2743
    This function can be replaced if you need to change the default test
 
2744
    suite on a global basis, but it is not encouraged.
 
2745
    """
 
2746
    testmod_names = [
 
2747
                   'bzrlib.doc',
 
2748
                   'bzrlib.util.tests.test_bencode',
 
2749
                   'bzrlib.tests.blackbox',
 
2750
                   'bzrlib.tests.branch_implementations',
 
2751
                   'bzrlib.tests.bzrdir_implementations',
 
2752
                   'bzrlib.tests.commands',
 
2753
                   'bzrlib.tests.inventory_implementations',
 
2754
                   'bzrlib.tests.interrepository_implementations',
 
2755
                   'bzrlib.tests.intertree_implementations',
 
2756
                   'bzrlib.tests.per_lock',
 
2757
                   'bzrlib.tests.per_repository',
 
2758
                   'bzrlib.tests.test__dirstate_helpers',
 
2759
                   'bzrlib.tests.test_ancestry',
 
2760
                   'bzrlib.tests.test_annotate',
 
2761
                   'bzrlib.tests.test_api',
 
2762
                   'bzrlib.tests.test_atomicfile',
 
2763
                   'bzrlib.tests.test_bad_files',
 
2764
                   'bzrlib.tests.test_bisect_multi',
 
2765
                   'bzrlib.tests.test_branch',
 
2766
                   'bzrlib.tests.test_branchbuilder',
 
2767
                   'bzrlib.tests.test_btree_index',
 
2768
                   'bzrlib.tests.test_bugtracker',
 
2769
                   'bzrlib.tests.test_bundle',
 
2770
                   'bzrlib.tests.test_bzrdir',
 
2771
                   'bzrlib.tests.test_cache_utf8',
 
2772
                   'bzrlib.tests.test_chunk_writer',
 
2773
                   'bzrlib.tests.test_commands',
 
2774
                   'bzrlib.tests.test_commit',
 
2775
                   'bzrlib.tests.test_commit_merge',
 
2776
                   'bzrlib.tests.test_config',
 
2777
                   'bzrlib.tests.test_conflicts',
 
2778
                   'bzrlib.tests.test_counted_lock',
 
2779
                   'bzrlib.tests.test_decorators',
 
2780
                   'bzrlib.tests.test_delta',
 
2781
                   'bzrlib.tests.test_deprecated_graph',
 
2782
                   'bzrlib.tests.test_diff',
 
2783
                   'bzrlib.tests.test_dirstate',
 
2784
                   'bzrlib.tests.test_directory_service',
 
2785
                   'bzrlib.tests.test_email_message',
 
2786
                   'bzrlib.tests.test_errors',
 
2787
                   'bzrlib.tests.test_extract',
 
2788
                   'bzrlib.tests.test_fetch',
 
2789
                   'bzrlib.tests.test_ftp_transport',
 
2790
                   'bzrlib.tests.test_generate_docs',
 
2791
                   'bzrlib.tests.test_generate_ids',
 
2792
                   'bzrlib.tests.test_globbing',
 
2793
                   'bzrlib.tests.test_gpg',
 
2794
                   'bzrlib.tests.test_graph',
 
2795
                   'bzrlib.tests.test_hashcache',
 
2796
                   'bzrlib.tests.test_help',
 
2797
                   'bzrlib.tests.test_hooks',
 
2798
                   'bzrlib.tests.test_http',
 
2799
                   'bzrlib.tests.test_http_implementations',
 
2800
                   'bzrlib.tests.test_http_response',
 
2801
                   'bzrlib.tests.test_https_ca_bundle',
 
2802
                   'bzrlib.tests.test_identitymap',
 
2803
                   'bzrlib.tests.test_ignores',
 
2804
                   'bzrlib.tests.test_index',
 
2805
                   'bzrlib.tests.test_info',
 
2806
                   'bzrlib.tests.test_inv',
 
2807
                   'bzrlib.tests.test_knit',
 
2808
                   'bzrlib.tests.test_lazy_import',
 
2809
                   'bzrlib.tests.test_lazy_regex',
 
2810
                   'bzrlib.tests.test_lockdir',
 
2811
                   'bzrlib.tests.test_lockable_files',
 
2812
                   'bzrlib.tests.test_log',
 
2813
                   'bzrlib.tests.test_lsprof',
 
2814
                   'bzrlib.tests.test_lru_cache',
 
2815
                   'bzrlib.tests.test_mail_client',
 
2816
                   'bzrlib.tests.test_memorytree',
 
2817
                   'bzrlib.tests.test_merge',
 
2818
                   'bzrlib.tests.test_merge3',
 
2819
                   'bzrlib.tests.test_merge_core',
 
2820
                   'bzrlib.tests.test_merge_directive',
 
2821
                   'bzrlib.tests.test_missing',
 
2822
                   'bzrlib.tests.test_msgeditor',
 
2823
                   'bzrlib.tests.test_multiparent',
 
2824
                   'bzrlib.tests.test_mutabletree',
 
2825
                   'bzrlib.tests.test_nonascii',
 
2826
                   'bzrlib.tests.test_options',
 
2827
                   'bzrlib.tests.test_osutils',
 
2828
                   'bzrlib.tests.test_osutils_encodings',
 
2829
                   'bzrlib.tests.test_pack',
 
2830
                   'bzrlib.tests.test_pack_repository',
 
2831
                   'bzrlib.tests.test_patch',
 
2832
                   'bzrlib.tests.test_patches',
 
2833
                   'bzrlib.tests.test_permissions',
 
2834
                   'bzrlib.tests.test_plugins',
 
2835
                   'bzrlib.tests.test_progress',
 
2836
                   'bzrlib.tests.test_read_bundle',
 
2837
                   'bzrlib.tests.test_reconfigure',
 
2838
                   'bzrlib.tests.test_reconcile',
 
2839
                   'bzrlib.tests.test_registry',
 
2840
                   'bzrlib.tests.test_remote',
 
2841
                   'bzrlib.tests.test_repository',
 
2842
                   'bzrlib.tests.per_repository_reference',
 
2843
                   'bzrlib.tests.test_revert',
 
2844
                   'bzrlib.tests.test_revision',
 
2845
                   'bzrlib.tests.test_revisionspec',
 
2846
                   'bzrlib.tests.test_revisiontree',
 
2847
                   'bzrlib.tests.test_rio',
 
2848
                   'bzrlib.tests.test_rules',
 
2849
                   'bzrlib.tests.test_sampler',
 
2850
                   'bzrlib.tests.test_selftest',
 
2851
                   'bzrlib.tests.test_setup',
 
2852
                   'bzrlib.tests.test_sftp_transport',
 
2853
                   'bzrlib.tests.test_smart',
 
2854
                   'bzrlib.tests.test_smart_add',
 
2855
                   'bzrlib.tests.test_smart_transport',
 
2856
                   'bzrlib.tests.test_smtp_connection',
 
2857
                   'bzrlib.tests.test_source',
 
2858
                   'bzrlib.tests.test_ssh_transport',
 
2859
                   'bzrlib.tests.test_status',
 
2860
                   'bzrlib.tests.test_store',
 
2861
                   'bzrlib.tests.test_strace',
 
2862
                   'bzrlib.tests.test_subsume',
 
2863
                   'bzrlib.tests.test_switch',
 
2864
                   'bzrlib.tests.test_symbol_versioning',
 
2865
                   'bzrlib.tests.test_tag',
 
2866
                   'bzrlib.tests.test_testament',
 
2867
                   'bzrlib.tests.test_textfile',
 
2868
                   'bzrlib.tests.test_textmerge',
 
2869
                   'bzrlib.tests.test_timestamp',
 
2870
                   'bzrlib.tests.test_trace',
 
2871
                   'bzrlib.tests.test_transactions',
 
2872
                   'bzrlib.tests.test_transform',
 
2873
                   'bzrlib.tests.test_transport',
 
2874
                   'bzrlib.tests.test_transport_implementations',
 
2875
                   'bzrlib.tests.test_transport_log',
 
2876
                   'bzrlib.tests.test_tree',
 
2877
                   'bzrlib.tests.test_treebuilder',
 
2878
                   'bzrlib.tests.test_tsort',
 
2879
                   'bzrlib.tests.test_tuned_gzip',
 
2880
                   'bzrlib.tests.test_ui',
 
2881
                   'bzrlib.tests.test_uncommit',
 
2882
                   'bzrlib.tests.test_upgrade',
 
2883
                   'bzrlib.tests.test_upgrade_stacked',
 
2884
                   'bzrlib.tests.test_urlutils',
 
2885
                   'bzrlib.tests.test_versionedfile',
 
2886
                   'bzrlib.tests.test_version',
 
2887
                   'bzrlib.tests.test_version_info',
 
2888
                   'bzrlib.tests.test__walkdirs_win32',
 
2889
                   'bzrlib.tests.test_weave',
 
2890
                   'bzrlib.tests.test_whitebox',
 
2891
                   'bzrlib.tests.test_win32utils',
 
2892
                   'bzrlib.tests.test_workingtree',
 
2893
                   'bzrlib.tests.test_workingtree_4',
 
2894
                   'bzrlib.tests.test_wsgi',
 
2895
                   'bzrlib.tests.test_xml',
 
2896
                   'bzrlib.tests.tree_implementations',
 
2897
                   'bzrlib.tests.workingtree_implementations',
 
2898
                   ]
 
2899
 
 
2900
    loader = TestUtil.TestLoader()
 
2901
 
 
2902
    if starting_with:
 
2903
        starting_with = [test_prefix_alias_registry.resolve_alias(start)
 
2904
                         for start in starting_with]
 
2905
        # We take precedence over keep_only because *at loading time* using
 
2906
        # both options means we will load less tests for the same final result.
 
2907
        def interesting_module(name):
 
2908
            for start in starting_with:
 
2909
                if (
 
2910
                    # Either the module name starts with the specified string
 
2911
                    name.startswith(start)
 
2912
                    # or it may contain tests starting with the specified string
 
2913
                    or start.startswith(name)
 
2914
                    ):
 
2915
                    return True
 
2916
            return False
 
2917
        loader = TestUtil.FilteredByModuleTestLoader(interesting_module)
 
2918
 
 
2919
    elif keep_only is not None:
 
2920
        id_filter = TestIdList(keep_only)
 
2921
        loader = TestUtil.FilteredByModuleTestLoader(id_filter.refers_to)
 
2922
        def interesting_module(name):
 
2923
            return id_filter.refers_to(name)
 
2924
 
 
2925
    else:
 
2926
        loader = TestUtil.TestLoader()
 
2927
        def interesting_module(name):
 
2928
            # No filtering, all modules are interesting
 
2929
            return True
 
2930
 
 
2931
    suite = loader.suiteClass()
 
2932
 
 
2933
    # modules building their suite with loadTestsFromModuleNames
 
2934
    suite.addTest(loader.loadTestsFromModuleNames(testmod_names))
 
2935
 
 
2936
    modules_to_doctest = [
 
2937
        'bzrlib',
 
2938
        'bzrlib.errors',
 
2939
        'bzrlib.export',
 
2940
        'bzrlib.inventory',
 
2941
        'bzrlib.iterablefile',
 
2942
        'bzrlib.lockdir',
 
2943
        'bzrlib.merge3',
 
2944
        'bzrlib.option',
 
2945
        'bzrlib.store',
 
2946
        'bzrlib.symbol_versioning',
 
2947
        'bzrlib.tests',
 
2948
        'bzrlib.timestamp',
 
2949
        'bzrlib.version_info_formats.format_custom',
 
2950
        ]
 
2951
 
 
2952
    for mod in modules_to_doctest:
 
2953
        if not interesting_module(mod):
 
2954
            # No tests to keep here, move along
 
2955
            continue
 
2956
        try:
 
2957
            doc_suite = doctest.DocTestSuite(mod)
 
2958
        except ValueError, e:
 
2959
            print '**failed to get doctest for: %s\n%s' % (mod, e)
 
2960
            raise
 
2961
        suite.addTest(doc_suite)
 
2962
 
 
2963
    default_encoding = sys.getdefaultencoding()
 
2964
    for name, plugin in bzrlib.plugin.plugins().items():
 
2965
        if not interesting_module(plugin.module.__name__):
 
2966
            continue
 
2967
        plugin_suite = plugin.test_suite()
 
2968
        # We used to catch ImportError here and turn it into just a warning,
 
2969
        # but really if you don't have --no-plugins this should be a failure.
 
2970
        # mbp 20080213 - see http://bugs.launchpad.net/bugs/189771
 
2971
        if plugin_suite is None:
 
2972
            plugin_suite = plugin.load_plugin_tests(loader)
 
2973
        if plugin_suite is not None:
 
2974
            suite.addTest(plugin_suite)
 
2975
        if default_encoding != sys.getdefaultencoding():
 
2976
            bzrlib.trace.warning(
 
2977
                'Plugin "%s" tried to reset default encoding to: %s', name,
 
2978
                sys.getdefaultencoding())
 
2979
            reload(sys)
 
2980
            sys.setdefaultencoding(default_encoding)
 
2981
 
 
2982
    if starting_with:
 
2983
        suite = filter_suite_by_id_startswith(suite, starting_with)
 
2984
 
 
2985
    if keep_only is not None:
 
2986
        # Now that the referred modules have loaded their tests, keep only the
 
2987
        # requested ones.
 
2988
        suite = filter_suite_by_id_list(suite, id_filter)
 
2989
        # Do some sanity checks on the id_list filtering
 
2990
        not_found, duplicates = suite_matches_id_list(suite, keep_only)
 
2991
        if starting_with:
 
2992
            # The tester has used both keep_only and starting_with, so he is
 
2993
            # already aware that some tests are excluded from the list, there
 
2994
            # is no need to tell him which.
 
2995
            pass
 
2996
        else:
 
2997
            # Some tests mentioned in the list are not in the test suite. The
 
2998
            # list may be out of date, report to the tester.
 
2999
            for id in not_found:
 
3000
                bzrlib.trace.warning('"%s" not found in the test suite', id)
 
3001
        for id in duplicates:
 
3002
            bzrlib.trace.warning('"%s" is used as an id by several tests', id)
 
3003
 
 
3004
    return suite
 
3005
 
 
3006
 
 
3007
def multiply_tests_from_modules(module_name_list, scenario_iter, loader=None):
 
3008
    """Adapt all tests in some given modules to given scenarios.
 
3009
 
 
3010
    This is the recommended public interface for test parameterization.
 
3011
    Typically the test_suite() method for a per-implementation test
 
3012
    suite will call multiply_tests_from_modules and return the 
 
3013
    result.
 
3014
 
 
3015
    :param module_name_list: List of fully-qualified names of test
 
3016
        modules.
 
3017
    :param scenario_iter: Iterable of pairs of (scenario_name, 
 
3018
        scenario_param_dict).
 
3019
    :param loader: If provided, will be used instead of a new 
 
3020
        bzrlib.tests.TestLoader() instance.
 
3021
 
 
3022
    This returns a new TestSuite containing the cross product of
 
3023
    all the tests in all the modules, each repeated for each scenario.
 
3024
    Each test is adapted by adding the scenario name at the end 
 
3025
    of its name, and updating the test object's __dict__ with the
 
3026
    scenario_param_dict.
 
3027
 
 
3028
    >>> r = multiply_tests_from_modules(
 
3029
    ...     ['bzrlib.tests.test_sampler'],
 
3030
    ...     [('one', dict(param=1)), 
 
3031
    ...      ('two', dict(param=2))])
 
3032
    >>> tests = list(iter_suite_tests(r))
 
3033
    >>> len(tests)
 
3034
    2
 
3035
    >>> tests[0].id()
 
3036
    'bzrlib.tests.test_sampler.DemoTest.test_nothing(one)'
 
3037
    >>> tests[0].param
 
3038
    1
 
3039
    >>> tests[1].param
 
3040
    2
 
3041
    """
 
3042
    # XXX: Isn't load_tests() a better way to provide the same functionality
 
3043
    # without forcing a predefined TestScenarioApplier ? --vila 080215
 
3044
    if loader is None:
 
3045
        loader = TestUtil.TestLoader()
 
3046
 
 
3047
    suite = loader.suiteClass()
 
3048
 
 
3049
    adapter = TestScenarioApplier()
 
3050
    adapter.scenarios = list(scenario_iter)
 
3051
    adapt_modules(module_name_list, adapter, loader, suite)
 
3052
    return suite
 
3053
 
 
3054
 
 
3055
def multiply_scenarios(scenarios_left, scenarios_right):
 
3056
    """Multiply two sets of scenarios.
 
3057
 
 
3058
    :returns: the cartesian product of the two sets of scenarios, that is
 
3059
        a scenario for every possible combination of a left scenario and a
 
3060
        right scenario.
 
3061
    """
 
3062
    return [
 
3063
        ('%s,%s' % (left_name, right_name),
 
3064
         dict(left_dict.items() + right_dict.items()))
 
3065
        for left_name, left_dict in scenarios_left
 
3066
        for right_name, right_dict in scenarios_right]
 
3067
 
 
3068
 
 
3069
 
 
3070
def adapt_modules(mods_list, adapter, loader, suite):
 
3071
    """Adapt the modules in mods_list using adapter and add to suite."""
 
3072
    tests = loader.loadTestsFromModuleNames(mods_list)
 
3073
    adapt_tests(tests, adapter, suite)
 
3074
 
 
3075
 
 
3076
def adapt_tests(tests_list, adapter, suite):
 
3077
    """Adapt the tests in tests_list using adapter and add to suite."""
 
3078
    for test in iter_suite_tests(tests_list):
 
3079
        suite.addTests(adapter.adapt(test))
 
3080
 
 
3081
 
 
3082
def _rmtree_temp_dir(dirname):
 
3083
    # If LANG=C we probably have created some bogus paths
 
3084
    # which rmtree(unicode) will fail to delete
 
3085
    # so make sure we are using rmtree(str) to delete everything
 
3086
    # except on win32, where rmtree(str) will fail
 
3087
    # since it doesn't have the property of byte-stream paths
 
3088
    # (they are either ascii or mbcs)
 
3089
    if sys.platform == 'win32':
 
3090
        # make sure we are using the unicode win32 api
 
3091
        dirname = unicode(dirname)
 
3092
    else:
 
3093
        dirname = dirname.encode(sys.getfilesystemencoding())
 
3094
    try:
 
3095
        osutils.rmtree(dirname)
 
3096
    except OSError, e:
 
3097
        if sys.platform == 'win32' and e.errno == errno.EACCES:
 
3098
            sys.stderr.write(('Permission denied: '
 
3099
                                 'unable to remove testing dir '
 
3100
                                 '%s\n' % os.path.basename(dirname)))
 
3101
        else:
 
3102
            raise
 
3103
 
 
3104
 
 
3105
class Feature(object):
 
3106
    """An operating system Feature."""
 
3107
 
 
3108
    def __init__(self):
 
3109
        self._available = None
 
3110
 
 
3111
    def available(self):
 
3112
        """Is the feature available?
 
3113
 
 
3114
        :return: True if the feature is available.
 
3115
        """
 
3116
        if self._available is None:
 
3117
            self._available = self._probe()
 
3118
        return self._available
 
3119
 
 
3120
    def _probe(self):
 
3121
        """Implement this method in concrete features.
 
3122
 
 
3123
        :return: True if the feature is available.
 
3124
        """
 
3125
        raise NotImplementedError
 
3126
 
 
3127
    def __str__(self):
 
3128
        if getattr(self, 'feature_name', None):
 
3129
            return self.feature_name()
 
3130
        return self.__class__.__name__
 
3131
 
 
3132
 
 
3133
class _SymlinkFeature(Feature):
 
3134
 
 
3135
    def _probe(self):
 
3136
        return osutils.has_symlinks()
 
3137
 
 
3138
    def feature_name(self):
 
3139
        return 'symlinks'
 
3140
 
 
3141
SymlinkFeature = _SymlinkFeature()
 
3142
 
 
3143
 
 
3144
class _HardlinkFeature(Feature):
 
3145
 
 
3146
    def _probe(self):
 
3147
        return osutils.has_hardlinks()
 
3148
 
 
3149
    def feature_name(self):
 
3150
        return 'hardlinks'
 
3151
 
 
3152
HardlinkFeature = _HardlinkFeature()
 
3153
 
 
3154
 
 
3155
class _OsFifoFeature(Feature):
 
3156
 
 
3157
    def _probe(self):
 
3158
        return getattr(os, 'mkfifo', None)
 
3159
 
 
3160
    def feature_name(self):
 
3161
        return 'filesystem fifos'
 
3162
 
 
3163
OsFifoFeature = _OsFifoFeature()
 
3164
 
 
3165
 
 
3166
class _UnicodeFilenameFeature(Feature):
 
3167
    """Does the filesystem support Unicode filenames?"""
 
3168
 
 
3169
    def _probe(self):
 
3170
        try:
 
3171
            # Check for character combinations unlikely to be covered by any
 
3172
            # single non-unicode encoding. We use the characters
 
3173
            # - greek small letter alpha (U+03B1) and
 
3174
            # - braille pattern dots-123456 (U+283F).
 
3175
            os.stat(u'\u03b1\u283f')
 
3176
        except UnicodeEncodeError:
 
3177
            return False
 
3178
        except (IOError, OSError):
 
3179
            # The filesystem allows the Unicode filename but the file doesn't
 
3180
            # exist.
 
3181
            return True
 
3182
        else:
 
3183
            # The filesystem allows the Unicode filename and the file exists,
 
3184
            # for some reason.
 
3185
            return True
 
3186
 
 
3187
UnicodeFilenameFeature = _UnicodeFilenameFeature()
 
3188
 
 
3189
 
 
3190
class TestScenarioApplier(object):
 
3191
    """A tool to apply scenarios to tests."""
 
3192
 
 
3193
    def adapt(self, test):
 
3194
        """Return a TestSuite containing a copy of test for each scenario."""
 
3195
        result = unittest.TestSuite()
 
3196
        for scenario in self.scenarios:
 
3197
            result.addTest(self.adapt_test_to_scenario(test, scenario))
 
3198
        return result
 
3199
 
 
3200
    def adapt_test_to_scenario(self, test, scenario):
 
3201
        """Copy test and apply scenario to it.
 
3202
 
 
3203
        :param test: A test to adapt.
 
3204
        :param scenario: A tuple describing the scenarion.
 
3205
            The first element of the tuple is the new test id.
 
3206
            The second element is a dict containing attributes to set on the
 
3207
            test.
 
3208
        :return: The adapted test.
 
3209
        """
 
3210
        from copy import deepcopy
 
3211
        new_test = deepcopy(test)
 
3212
        for name, value in scenario[1].items():
 
3213
            setattr(new_test, name, value)
 
3214
        new_id = "%s(%s)" % (new_test.id(), scenario[0])
 
3215
        new_test.id = lambda: new_id
 
3216
        return new_test
 
3217
 
 
3218
 
 
3219
def probe_unicode_in_user_encoding():
 
3220
    """Try to encode several unicode strings to use in unicode-aware tests.
 
3221
    Return first successfull match.
 
3222
 
 
3223
    :return:  (unicode value, encoded plain string value) or (None, None)
 
3224
    """
 
3225
    possible_vals = [u'm\xb5', u'\xe1', u'\u0410']
 
3226
    for uni_val in possible_vals:
 
3227
        try:
 
3228
            str_val = uni_val.encode(bzrlib.user_encoding)
 
3229
        except UnicodeEncodeError:
 
3230
            # Try a different character
 
3231
            pass
 
3232
        else:
 
3233
            return uni_val, str_val
 
3234
    return None, None
 
3235
 
 
3236
 
 
3237
def probe_bad_non_ascii(encoding):
 
3238
    """Try to find [bad] character with code [128..255]
 
3239
    that cannot be decoded to unicode in some encoding.
 
3240
    Return None if all non-ascii characters is valid
 
3241
    for given encoding.
 
3242
    """
 
3243
    for i in xrange(128, 256):
 
3244
        char = chr(i)
 
3245
        try:
 
3246
            char.decode(encoding)
 
3247
        except UnicodeDecodeError:
 
3248
            return char
 
3249
    return None
 
3250
 
 
3251
 
 
3252
class _FTPServerFeature(Feature):
 
3253
    """Some tests want an FTP Server, check if one is available.
 
3254
 
 
3255
    Right now, the only way this is available is if 'medusa' is installed.
 
3256
    http://www.amk.ca/python/code/medusa.html
 
3257
    """
 
3258
 
 
3259
    def _probe(self):
 
3260
        try:
 
3261
            import bzrlib.tests.ftp_server
 
3262
            return True
 
3263
        except ImportError:
 
3264
            return False
 
3265
 
 
3266
    def feature_name(self):
 
3267
        return 'FTPServer'
 
3268
 
 
3269
FTPServerFeature = _FTPServerFeature()
 
3270
 
 
3271
 
 
3272
class _UnicodeFilename(Feature):
 
3273
    """Does the filesystem support Unicode filenames?"""
 
3274
 
 
3275
    def _probe(self):
 
3276
        try:
 
3277
            os.stat(u'\u03b1')
 
3278
        except UnicodeEncodeError:
 
3279
            return False
 
3280
        except (IOError, OSError):
 
3281
            # The filesystem allows the Unicode filename but the file doesn't
 
3282
            # exist.
 
3283
            return True
 
3284
        else:
 
3285
            # The filesystem allows the Unicode filename and the file exists,
 
3286
            # for some reason.
 
3287
            return True
 
3288
 
 
3289
UnicodeFilename = _UnicodeFilename()
 
3290
 
 
3291
 
 
3292
class _UTF8Filesystem(Feature):
 
3293
    """Is the filesystem UTF-8?"""
 
3294
 
 
3295
    def _probe(self):
 
3296
        if osutils._fs_enc.upper() in ('UTF-8', 'UTF8'):
 
3297
            return True
 
3298
        return False
 
3299
 
 
3300
UTF8Filesystem = _UTF8Filesystem()
 
3301
 
 
3302
 
 
3303
class _CaseInsensitiveFilesystemFeature(Feature):
 
3304
    """Check if underlying filesystem is case-insensitive
 
3305
    (e.g. on Windows, Cygwin, MacOS)
 
3306
    """
 
3307
 
 
3308
    def _probe(self):
 
3309
        if TestCaseWithMemoryTransport.TEST_ROOT is None:
 
3310
            root = osutils.mkdtemp(prefix='testbzr-', suffix='.tmp')
 
3311
            TestCaseWithMemoryTransport.TEST_ROOT = root
 
3312
        else:
 
3313
            root = TestCaseWithMemoryTransport.TEST_ROOT
 
3314
        tdir = osutils.mkdtemp(prefix='case-sensitive-probe-', suffix='',
 
3315
            dir=root)
 
3316
        name_a = osutils.pathjoin(tdir, 'a')
 
3317
        name_A = osutils.pathjoin(tdir, 'A')
 
3318
        os.mkdir(name_a)
 
3319
        result = osutils.isdir(name_A)
 
3320
        _rmtree_temp_dir(tdir)
 
3321
        return result
 
3322
 
 
3323
    def feature_name(self):
 
3324
        return 'case-insensitive filesystem'
 
3325
 
 
3326
CaseInsensitiveFilesystemFeature = _CaseInsensitiveFilesystemFeature()