/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/tests/__init__.py

  • Committer: John Arbash Meinel
  • Date: 2008-08-18 22:34:21 UTC
  • mto: (3606.5.6 1.6)
  • mto: This revision was merged to the branch mainline in revision 3641.
  • Revision ID: john@arbash-meinel.com-20080818223421-todjny24vj4faj4t
Add tests for the fetching behavior.

The proper parameter passed is 'unordered' add an assert for it, and
fix callers that were passing 'unsorted' instead.
Add tests that we make the right get_record_stream call based
on the value of _fetch_uses_deltas.
Fix the fetch request for signatures.

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005, 2006, 2007, 2008 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
 
 
18
# TODO: Perhaps there should be an API to find out if bzr running under the
 
19
# test suite -- some plugins might want to avoid making intrusive changes if
 
20
# this is the case.  However, we want behaviour under to test to diverge as
 
21
# little as possible, so this should be used rarely if it's added at all.
 
22
# (Suggestion from j-a-meinel, 2005-11-24)
 
23
 
 
24
# NOTE: Some classes in here use camelCaseNaming() rather than
 
25
# underscore_naming().  That's for consistency with unittest; it's not the
 
26
# general style of bzrlib.  Please continue that consistency when adding e.g.
 
27
# new assertFoo() methods.
 
28
 
 
29
import atexit
 
30
import codecs
 
31
from cStringIO import StringIO
 
32
import difflib
 
33
import doctest
 
34
import errno
 
35
import logging
 
36
import os
 
37
from pprint import pformat
 
38
import random
 
39
import re
 
40
import shlex
 
41
import stat
 
42
from subprocess import Popen, PIPE
 
43
import sys
 
44
import tempfile
 
45
import threading
 
46
import time
 
47
import unittest
 
48
import warnings
 
49
 
 
50
 
 
51
from bzrlib import (
 
52
    branchbuilder,
 
53
    bzrdir,
 
54
    debug,
 
55
    errors,
 
56
    memorytree,
 
57
    osutils,
 
58
    progress,
 
59
    ui,
 
60
    urlutils,
 
61
    workingtree,
 
62
    )
 
63
import bzrlib.branch
 
64
import bzrlib.commands
 
65
import bzrlib.timestamp
 
66
import bzrlib.export
 
67
import bzrlib.inventory
 
68
import bzrlib.iterablefile
 
69
import bzrlib.lockdir
 
70
try:
 
71
    import bzrlib.lsprof
 
72
except ImportError:
 
73
    # lsprof not available
 
74
    pass
 
75
from bzrlib.merge import merge_inner
 
76
import bzrlib.merge3
 
77
import bzrlib.plugin
 
78
import bzrlib.store
 
79
from bzrlib import symbol_versioning
 
80
from bzrlib.symbol_versioning import (
 
81
    DEPRECATED_PARAMETER,
 
82
    deprecated_function,
 
83
    deprecated_method,
 
84
    deprecated_passed,
 
85
    )
 
86
import bzrlib.trace
 
87
from bzrlib.transport import get_transport
 
88
import bzrlib.transport
 
89
from bzrlib.transport.local import LocalURLServer
 
90
from bzrlib.transport.memory import MemoryServer
 
91
from bzrlib.transport.readonly import ReadonlyServer
 
92
from bzrlib.trace import mutter, note
 
93
from bzrlib.tests import TestUtil
 
94
from bzrlib.tests.http_server import HttpServer
 
95
from bzrlib.tests.TestUtil import (
 
96
                          TestSuite,
 
97
                          TestLoader,
 
98
                          )
 
99
from bzrlib.tests.treeshape import build_tree_contents
 
100
import bzrlib.version_info_formats.format_custom
 
101
from bzrlib.workingtree import WorkingTree, WorkingTreeFormat2
 
102
 
 
103
# Mark this python module as being part of the implementation
 
104
# of unittest: this gives us better tracebacks where the last
 
105
# shown frame is the test code, not our assertXYZ.
 
106
__unittest = 1
 
107
 
 
108
default_transport = LocalURLServer
 
109
 
 
110
 
 
111
class ExtendedTestResult(unittest._TextTestResult):
 
112
    """Accepts, reports and accumulates the results of running tests.
 
113
 
 
114
    Compared to the unittest version this class adds support for
 
115
    profiling, benchmarking, stopping as soon as a test fails,  and
 
116
    skipping tests.  There are further-specialized subclasses for
 
117
    different types of display.
 
118
 
 
119
    When a test finishes, in whatever way, it calls one of the addSuccess,
 
120
    addFailure or addError classes.  These in turn may redirect to a more
 
121
    specific case for the special test results supported by our extended
 
122
    tests.
 
123
 
 
124
    Note that just one of these objects is fed the results from many tests.
 
125
    """
 
126
 
 
127
    stop_early = False
 
128
    
 
129
    def __init__(self, stream, descriptions, verbosity,
 
130
                 bench_history=None,
 
131
                 num_tests=None,
 
132
                 ):
 
133
        """Construct new TestResult.
 
134
 
 
135
        :param bench_history: Optionally, a writable file object to accumulate
 
136
            benchmark results.
 
137
        """
 
138
        unittest._TextTestResult.__init__(self, stream, descriptions, verbosity)
 
139
        if bench_history is not None:
 
140
            from bzrlib.version import _get_bzr_source_tree
 
141
            src_tree = _get_bzr_source_tree()
 
142
            if src_tree:
 
143
                try:
 
144
                    revision_id = src_tree.get_parent_ids()[0]
 
145
                except IndexError:
 
146
                    # XXX: if this is a brand new tree, do the same as if there
 
147
                    # is no branch.
 
148
                    revision_id = ''
 
149
            else:
 
150
                # XXX: If there's no branch, what should we do?
 
151
                revision_id = ''
 
152
            bench_history.write("--date %s %s\n" % (time.time(), revision_id))
 
153
        self._bench_history = bench_history
 
154
        self.ui = ui.ui_factory
 
155
        self.num_tests = num_tests
 
156
        self.error_count = 0
 
157
        self.failure_count = 0
 
158
        self.known_failure_count = 0
 
159
        self.skip_count = 0
 
160
        self.not_applicable_count = 0
 
161
        self.unsupported = {}
 
162
        self.count = 0
 
163
        self._overall_start_time = time.time()
 
164
    
 
165
    def _extractBenchmarkTime(self, testCase):
 
166
        """Add a benchmark time for the current test case."""
 
167
        return getattr(testCase, "_benchtime", None)
 
168
    
 
169
    def _elapsedTestTimeString(self):
 
170
        """Return a time string for the overall time the current test has taken."""
 
171
        return self._formatTime(time.time() - self._start_time)
 
172
 
 
173
    def _testTimeString(self, testCase):
 
174
        benchmark_time = self._extractBenchmarkTime(testCase)
 
175
        if benchmark_time is not None:
 
176
            return "%s/%s" % (
 
177
                self._formatTime(benchmark_time),
 
178
                self._elapsedTestTimeString())
 
179
        else:
 
180
            return "           %s" % self._elapsedTestTimeString()
 
181
 
 
182
    def _formatTime(self, seconds):
 
183
        """Format seconds as milliseconds with leading spaces."""
 
184
        # some benchmarks can take thousands of seconds to run, so we need 8
 
185
        # places
 
186
        return "%8dms" % (1000 * seconds)
 
187
 
 
188
    def _shortened_test_description(self, test):
 
189
        what = test.id()
 
190
        what = re.sub(r'^bzrlib\.(tests|benchmarks)\.', '', what)
 
191
        return what
 
192
 
 
193
    def startTest(self, test):
 
194
        unittest.TestResult.startTest(self, test)
 
195
        self.report_test_start(test)
 
196
        test.number = self.count
 
197
        self._recordTestStartTime()
 
198
 
 
199
    def _recordTestStartTime(self):
 
200
        """Record that a test has started."""
 
201
        self._start_time = time.time()
 
202
 
 
203
    def _cleanupLogFile(self, test):
 
204
        # We can only do this if we have one of our TestCases, not if
 
205
        # we have a doctest.
 
206
        setKeepLogfile = getattr(test, 'setKeepLogfile', None)
 
207
        if setKeepLogfile is not None:
 
208
            setKeepLogfile()
 
209
 
 
210
    def addError(self, test, err):
 
211
        """Tell result that test finished with an error.
 
212
 
 
213
        Called from the TestCase run() method when the test
 
214
        fails with an unexpected error.
 
215
        """
 
216
        self._testConcluded(test)
 
217
        if isinstance(err[1], TestSkipped):
 
218
            return self._addSkipped(test, err)
 
219
        elif isinstance(err[1], UnavailableFeature):
 
220
            return self.addNotSupported(test, err[1].args[0])
 
221
        else:
 
222
            unittest.TestResult.addError(self, test, err)
 
223
            self.error_count += 1
 
224
            self.report_error(test, err)
 
225
            if self.stop_early:
 
226
                self.stop()
 
227
            self._cleanupLogFile(test)
 
228
 
 
229
    def addFailure(self, test, err):
 
230
        """Tell result that test failed.
 
231
 
 
232
        Called from the TestCase run() method when the test
 
233
        fails because e.g. an assert() method failed.
 
234
        """
 
235
        self._testConcluded(test)
 
236
        if isinstance(err[1], KnownFailure):
 
237
            return self._addKnownFailure(test, err)
 
238
        else:
 
239
            unittest.TestResult.addFailure(self, test, err)
 
240
            self.failure_count += 1
 
241
            self.report_failure(test, err)
 
242
            if self.stop_early:
 
243
                self.stop()
 
244
            self._cleanupLogFile(test)
 
245
 
 
246
    def addSuccess(self, test):
 
247
        """Tell result that test completed successfully.
 
248
 
 
249
        Called from the TestCase run()
 
250
        """
 
251
        self._testConcluded(test)
 
252
        if self._bench_history is not None:
 
253
            benchmark_time = self._extractBenchmarkTime(test)
 
254
            if benchmark_time is not None:
 
255
                self._bench_history.write("%s %s\n" % (
 
256
                    self._formatTime(benchmark_time),
 
257
                    test.id()))
 
258
        self.report_success(test)
 
259
        self._cleanupLogFile(test)
 
260
        unittest.TestResult.addSuccess(self, test)
 
261
        test._log_contents = ''
 
262
 
 
263
    def _testConcluded(self, test):
 
264
        """Common code when a test has finished.
 
265
 
 
266
        Called regardless of whether it succeded, failed, etc.
 
267
        """
 
268
        pass
 
269
 
 
270
    def _addKnownFailure(self, test, err):
 
271
        self.known_failure_count += 1
 
272
        self.report_known_failure(test, err)
 
273
 
 
274
    def addNotSupported(self, test, feature):
 
275
        """The test will not be run because of a missing feature.
 
276
        """
 
277
        # this can be called in two different ways: it may be that the
 
278
        # test started running, and then raised (through addError) 
 
279
        # UnavailableFeature.  Alternatively this method can be called
 
280
        # while probing for features before running the tests; in that
 
281
        # case we will see startTest and stopTest, but the test will never
 
282
        # actually run.
 
283
        self.unsupported.setdefault(str(feature), 0)
 
284
        self.unsupported[str(feature)] += 1
 
285
        self.report_unsupported(test, feature)
 
286
 
 
287
    def _addSkipped(self, test, skip_excinfo):
 
288
        if isinstance(skip_excinfo[1], TestNotApplicable):
 
289
            self.not_applicable_count += 1
 
290
            self.report_not_applicable(test, skip_excinfo)
 
291
        else:
 
292
            self.skip_count += 1
 
293
            self.report_skip(test, skip_excinfo)
 
294
        try:
 
295
            test.tearDown()
 
296
        except KeyboardInterrupt:
 
297
            raise
 
298
        except:
 
299
            self.addError(test, test._exc_info())
 
300
        else:
 
301
            # seems best to treat this as success from point-of-view of unittest
 
302
            # -- it actually does nothing so it barely matters :)
 
303
            unittest.TestResult.addSuccess(self, test)
 
304
            test._log_contents = ''
 
305
 
 
306
    def printErrorList(self, flavour, errors):
 
307
        for test, err in errors:
 
308
            self.stream.writeln(self.separator1)
 
309
            self.stream.write("%s: " % flavour)
 
310
            self.stream.writeln(self.getDescription(test))
 
311
            if getattr(test, '_get_log', None) is not None:
 
312
                self.stream.write('\n')
 
313
                self.stream.write(
 
314
                        ('vvvv[log from %s]' % test.id()).ljust(78,'-'))
 
315
                self.stream.write('\n')
 
316
                self.stream.write(test._get_log())
 
317
                self.stream.write('\n')
 
318
                self.stream.write(
 
319
                        ('^^^^[log from %s]' % test.id()).ljust(78,'-'))
 
320
                self.stream.write('\n')
 
321
            self.stream.writeln(self.separator2)
 
322
            self.stream.writeln("%s" % err)
 
323
 
 
324
    def finished(self):
 
325
        pass
 
326
 
 
327
    def report_cleaning_up(self):
 
328
        pass
 
329
 
 
330
    def report_success(self, test):
 
331
        pass
 
332
 
 
333
    def wasStrictlySuccessful(self):
 
334
        if self.unsupported or self.known_failure_count:
 
335
            return False
 
336
        return self.wasSuccessful()
 
337
 
 
338
 
 
339
class TextTestResult(ExtendedTestResult):
 
340
    """Displays progress and results of tests in text form"""
 
341
 
 
342
    def __init__(self, stream, descriptions, verbosity,
 
343
                 bench_history=None,
 
344
                 num_tests=None,
 
345
                 pb=None,
 
346
                 ):
 
347
        ExtendedTestResult.__init__(self, stream, descriptions, verbosity,
 
348
            bench_history, num_tests)
 
349
        if pb is None:
 
350
            self.pb = self.ui.nested_progress_bar()
 
351
            self._supplied_pb = False
 
352
        else:
 
353
            self.pb = pb
 
354
            self._supplied_pb = True
 
355
        self.pb.show_pct = False
 
356
        self.pb.show_spinner = False
 
357
        self.pb.show_eta = False,
 
358
        self.pb.show_count = False
 
359
        self.pb.show_bar = False
 
360
 
 
361
    def report_starting(self):
 
362
        self.pb.update('[test 0/%d] starting...' % (self.num_tests))
 
363
 
 
364
    def _progress_prefix_text(self):
 
365
        # the longer this text, the less space we have to show the test
 
366
        # name...
 
367
        a = '[%d' % self.count              # total that have been run
 
368
        # tests skipped as known not to be relevant are not important enough
 
369
        # to show here
 
370
        ## if self.skip_count:
 
371
        ##     a += ', %d skip' % self.skip_count
 
372
        ## if self.known_failure_count:
 
373
        ##     a += '+%dX' % self.known_failure_count
 
374
        if self.num_tests is not None:
 
375
            a +='/%d' % self.num_tests
 
376
        a += ' in '
 
377
        runtime = time.time() - self._overall_start_time
 
378
        if runtime >= 60:
 
379
            a += '%dm%ds' % (runtime / 60, runtime % 60)
 
380
        else:
 
381
            a += '%ds' % runtime
 
382
        if self.error_count:
 
383
            a += ', %d err' % self.error_count
 
384
        if self.failure_count:
 
385
            a += ', %d fail' % self.failure_count
 
386
        if self.unsupported:
 
387
            a += ', %d missing' % len(self.unsupported)
 
388
        a += ']'
 
389
        return a
 
390
 
 
391
    def report_test_start(self, test):
 
392
        self.count += 1
 
393
        self.pb.update(
 
394
                self._progress_prefix_text()
 
395
                + ' ' 
 
396
                + self._shortened_test_description(test))
 
397
 
 
398
    def _test_description(self, test):
 
399
        return self._shortened_test_description(test)
 
400
 
 
401
    def report_error(self, test, err):
 
402
        self.pb.note('ERROR: %s\n    %s\n', 
 
403
            self._test_description(test),
 
404
            err[1],
 
405
            )
 
406
 
 
407
    def report_failure(self, test, err):
 
408
        self.pb.note('FAIL: %s\n    %s\n', 
 
409
            self._test_description(test),
 
410
            err[1],
 
411
            )
 
412
 
 
413
    def report_known_failure(self, test, err):
 
414
        self.pb.note('XFAIL: %s\n%s\n',
 
415
            self._test_description(test), err[1])
 
416
 
 
417
    def report_skip(self, test, skip_excinfo):
 
418
        pass
 
419
 
 
420
    def report_not_applicable(self, test, skip_excinfo):
 
421
        pass
 
422
 
 
423
    def report_unsupported(self, test, feature):
 
424
        """test cannot be run because feature is missing."""
 
425
                  
 
426
    def report_cleaning_up(self):
 
427
        self.pb.update('cleaning up...')
 
428
 
 
429
    def finished(self):
 
430
        if not self._supplied_pb:
 
431
            self.pb.finished()
 
432
 
 
433
 
 
434
class VerboseTestResult(ExtendedTestResult):
 
435
    """Produce long output, with one line per test run plus times"""
 
436
 
 
437
    def _ellipsize_to_right(self, a_string, final_width):
 
438
        """Truncate and pad a string, keeping the right hand side"""
 
439
        if len(a_string) > final_width:
 
440
            result = '...' + a_string[3-final_width:]
 
441
        else:
 
442
            result = a_string
 
443
        return result.ljust(final_width)
 
444
 
 
445
    def report_starting(self):
 
446
        self.stream.write('running %d tests...\n' % self.num_tests)
 
447
 
 
448
    def report_test_start(self, test):
 
449
        self.count += 1
 
450
        name = self._shortened_test_description(test)
 
451
        # width needs space for 6 char status, plus 1 for slash, plus 2 10-char
 
452
        # numbers, plus a trailing blank
 
453
        # when NUMBERED_DIRS: plus 5 chars on test number, plus 1 char on space
 
454
        self.stream.write(self._ellipsize_to_right(name,
 
455
                          osutils.terminal_width()-30))
 
456
        self.stream.flush()
 
457
 
 
458
    def _error_summary(self, err):
 
459
        indent = ' ' * 4
 
460
        return '%s%s' % (indent, err[1])
 
461
 
 
462
    def report_error(self, test, err):
 
463
        self.stream.writeln('ERROR %s\n%s'
 
464
                % (self._testTimeString(test),
 
465
                   self._error_summary(err)))
 
466
 
 
467
    def report_failure(self, test, err):
 
468
        self.stream.writeln(' FAIL %s\n%s'
 
469
                % (self._testTimeString(test),
 
470
                   self._error_summary(err)))
 
471
 
 
472
    def report_known_failure(self, test, err):
 
473
        self.stream.writeln('XFAIL %s\n%s'
 
474
                % (self._testTimeString(test),
 
475
                   self._error_summary(err)))
 
476
 
 
477
    def report_success(self, test):
 
478
        self.stream.writeln('   OK %s' % self._testTimeString(test))
 
479
        for bench_called, stats in getattr(test, '_benchcalls', []):
 
480
            self.stream.writeln('LSProf output for %s(%s, %s)' % bench_called)
 
481
            stats.pprint(file=self.stream)
 
482
        # flush the stream so that we get smooth output. This verbose mode is
 
483
        # used to show the output in PQM.
 
484
        self.stream.flush()
 
485
 
 
486
    def report_skip(self, test, skip_excinfo):
 
487
        self.stream.writeln(' SKIP %s\n%s'
 
488
                % (self._testTimeString(test),
 
489
                   self._error_summary(skip_excinfo)))
 
490
 
 
491
    def report_not_applicable(self, test, skip_excinfo):
 
492
        self.stream.writeln('  N/A %s\n%s'
 
493
                % (self._testTimeString(test),
 
494
                   self._error_summary(skip_excinfo)))
 
495
 
 
496
    def report_unsupported(self, test, feature):
 
497
        """test cannot be run because feature is missing."""
 
498
        self.stream.writeln("NODEP %s\n    The feature '%s' is not available."
 
499
                %(self._testTimeString(test), feature))
 
500
 
 
501
 
 
502
class TextTestRunner(object):
 
503
    stop_on_failure = False
 
504
 
 
505
    def __init__(self,
 
506
                 stream=sys.stderr,
 
507
                 descriptions=0,
 
508
                 verbosity=1,
 
509
                 bench_history=None,
 
510
                 list_only=False
 
511
                 ):
 
512
        self.stream = unittest._WritelnDecorator(stream)
 
513
        self.descriptions = descriptions
 
514
        self.verbosity = verbosity
 
515
        self._bench_history = bench_history
 
516
        self.list_only = list_only
 
517
 
 
518
    def run(self, test):
 
519
        "Run the given test case or test suite."
 
520
        startTime = time.time()
 
521
        if self.verbosity == 1:
 
522
            result_class = TextTestResult
 
523
        elif self.verbosity >= 2:
 
524
            result_class = VerboseTestResult
 
525
        result = result_class(self.stream,
 
526
                              self.descriptions,
 
527
                              self.verbosity,
 
528
                              bench_history=self._bench_history,
 
529
                              num_tests=test.countTestCases(),
 
530
                              )
 
531
        result.stop_early = self.stop_on_failure
 
532
        result.report_starting()
 
533
        if self.list_only:
 
534
            if self.verbosity >= 2:
 
535
                self.stream.writeln("Listing tests only ...\n")
 
536
            run = 0
 
537
            for t in iter_suite_tests(test):
 
538
                self.stream.writeln("%s" % (t.id()))
 
539
                run += 1
 
540
            actionTaken = "Listed"
 
541
        else: 
 
542
            test.run(result)
 
543
            run = result.testsRun
 
544
            actionTaken = "Ran"
 
545
        stopTime = time.time()
 
546
        timeTaken = stopTime - startTime
 
547
        result.printErrors()
 
548
        self.stream.writeln(result.separator2)
 
549
        self.stream.writeln("%s %d test%s in %.3fs" % (actionTaken,
 
550
                            run, run != 1 and "s" or "", timeTaken))
 
551
        self.stream.writeln()
 
552
        if not result.wasSuccessful():
 
553
            self.stream.write("FAILED (")
 
554
            failed, errored = map(len, (result.failures, result.errors))
 
555
            if failed:
 
556
                self.stream.write("failures=%d" % failed)
 
557
            if errored:
 
558
                if failed: self.stream.write(", ")
 
559
                self.stream.write("errors=%d" % errored)
 
560
            if result.known_failure_count:
 
561
                if failed or errored: self.stream.write(", ")
 
562
                self.stream.write("known_failure_count=%d" %
 
563
                    result.known_failure_count)
 
564
            self.stream.writeln(")")
 
565
        else:
 
566
            if result.known_failure_count:
 
567
                self.stream.writeln("OK (known_failures=%d)" %
 
568
                    result.known_failure_count)
 
569
            else:
 
570
                self.stream.writeln("OK")
 
571
        if result.skip_count > 0:
 
572
            skipped = result.skip_count
 
573
            self.stream.writeln('%d test%s skipped' %
 
574
                                (skipped, skipped != 1 and "s" or ""))
 
575
        if result.unsupported:
 
576
            for feature, count in sorted(result.unsupported.items()):
 
577
                self.stream.writeln("Missing feature '%s' skipped %d tests." %
 
578
                    (feature, count))
 
579
        result.finished()
 
580
        return result
 
581
 
 
582
 
 
583
def iter_suite_tests(suite):
 
584
    """Return all tests in a suite, recursing through nested suites"""
 
585
    for item in suite._tests:
 
586
        if isinstance(item, unittest.TestCase):
 
587
            yield item
 
588
        elif isinstance(item, unittest.TestSuite):
 
589
            for r in iter_suite_tests(item):
 
590
                yield r
 
591
        else:
 
592
            raise Exception('unknown object %r inside test suite %r'
 
593
                            % (item, suite))
 
594
 
 
595
 
 
596
class TestSkipped(Exception):
 
597
    """Indicates that a test was intentionally skipped, rather than failing."""
 
598
 
 
599
 
 
600
class TestNotApplicable(TestSkipped):
 
601
    """A test is not applicable to the situation where it was run.
 
602
 
 
603
    This is only normally raised by parameterized tests, if they find that 
 
604
    the instance they're constructed upon does not support one aspect 
 
605
    of its interface.
 
606
    """
 
607
 
 
608
 
 
609
class KnownFailure(AssertionError):
 
610
    """Indicates that a test failed in a precisely expected manner.
 
611
 
 
612
    Such failures dont block the whole test suite from passing because they are
 
613
    indicators of partially completed code or of future work. We have an
 
614
    explicit error for them so that we can ensure that they are always visible:
 
615
    KnownFailures are always shown in the output of bzr selftest.
 
616
    """
 
617
 
 
618
 
 
619
class UnavailableFeature(Exception):
 
620
    """A feature required for this test was not available.
 
621
 
 
622
    The feature should be used to construct the exception.
 
623
    """
 
624
 
 
625
 
 
626
class CommandFailed(Exception):
 
627
    pass
 
628
 
 
629
 
 
630
class StringIOWrapper(object):
 
631
    """A wrapper around cStringIO which just adds an encoding attribute.
 
632
    
 
633
    Internally we can check sys.stdout to see what the output encoding
 
634
    should be. However, cStringIO has no encoding attribute that we can
 
635
    set. So we wrap it instead.
 
636
    """
 
637
    encoding='ascii'
 
638
    _cstring = None
 
639
 
 
640
    def __init__(self, s=None):
 
641
        if s is not None:
 
642
            self.__dict__['_cstring'] = StringIO(s)
 
643
        else:
 
644
            self.__dict__['_cstring'] = StringIO()
 
645
 
 
646
    def __getattr__(self, name, getattr=getattr):
 
647
        return getattr(self.__dict__['_cstring'], name)
 
648
 
 
649
    def __setattr__(self, name, val):
 
650
        if name == 'encoding':
 
651
            self.__dict__['encoding'] = val
 
652
        else:
 
653
            return setattr(self._cstring, name, val)
 
654
 
 
655
 
 
656
class TestUIFactory(ui.CLIUIFactory):
 
657
    """A UI Factory for testing.
 
658
 
 
659
    Hide the progress bar but emit note()s.
 
660
    Redirect stdin.
 
661
    Allows get_password to be tested without real tty attached.
 
662
    """
 
663
 
 
664
    def __init__(self,
 
665
                 stdout=None,
 
666
                 stderr=None,
 
667
                 stdin=None):
 
668
        super(TestUIFactory, self).__init__()
 
669
        if stdin is not None:
 
670
            # We use a StringIOWrapper to be able to test various
 
671
            # encodings, but the user is still responsible to
 
672
            # encode the string and to set the encoding attribute
 
673
            # of StringIOWrapper.
 
674
            self.stdin = StringIOWrapper(stdin)
 
675
        if stdout is None:
 
676
            self.stdout = sys.stdout
 
677
        else:
 
678
            self.stdout = stdout
 
679
        if stderr is None:
 
680
            self.stderr = sys.stderr
 
681
        else:
 
682
            self.stderr = stderr
 
683
 
 
684
    def clear(self):
 
685
        """See progress.ProgressBar.clear()."""
 
686
 
 
687
    def clear_term(self):
 
688
        """See progress.ProgressBar.clear_term()."""
 
689
 
 
690
    def clear_term(self):
 
691
        """See progress.ProgressBar.clear_term()."""
 
692
 
 
693
    def finished(self):
 
694
        """See progress.ProgressBar.finished()."""
 
695
 
 
696
    def note(self, fmt_string, *args, **kwargs):
 
697
        """See progress.ProgressBar.note()."""
 
698
        self.stdout.write((fmt_string + "\n") % args)
 
699
 
 
700
    def progress_bar(self):
 
701
        return self
 
702
 
 
703
    def nested_progress_bar(self):
 
704
        return self
 
705
 
 
706
    def update(self, message, count=None, total=None):
 
707
        """See progress.ProgressBar.update()."""
 
708
 
 
709
    def get_non_echoed_password(self, prompt):
 
710
        """Get password from stdin without trying to handle the echo mode"""
 
711
        if prompt:
 
712
            self.stdout.write(prompt.encode(self.stdout.encoding, 'replace'))
 
713
        password = self.stdin.readline()
 
714
        if not password:
 
715
            raise EOFError
 
716
        if password[-1] == '\n':
 
717
            password = password[:-1]
 
718
        return password
 
719
 
 
720
 
 
721
def _report_leaked_threads():
 
722
    bzrlib.trace.warning('%s is leaking threads among %d leaking tests',
 
723
                         TestCase._first_thread_leaker_id,
 
724
                         TestCase._leaking_threads_tests)
 
725
 
 
726
 
 
727
class TestCase(unittest.TestCase):
 
728
    """Base class for bzr unit tests.
 
729
    
 
730
    Tests that need access to disk resources should subclass 
 
731
    TestCaseInTempDir not TestCase.
 
732
 
 
733
    Error and debug log messages are redirected from their usual
 
734
    location into a temporary file, the contents of which can be
 
735
    retrieved by _get_log().  We use a real OS file, not an in-memory object,
 
736
    so that it can also capture file IO.  When the test completes this file
 
737
    is read into memory and removed from disk.
 
738
       
 
739
    There are also convenience functions to invoke bzr's command-line
 
740
    routine, and to build and check bzr trees.
 
741
   
 
742
    In addition to the usual method of overriding tearDown(), this class also
 
743
    allows subclasses to register functions into the _cleanups list, which is
 
744
    run in order as the object is torn down.  It's less likely this will be
 
745
    accidentally overlooked.
 
746
    """
 
747
 
 
748
    _active_threads = None
 
749
    _leaking_threads_tests = 0
 
750
    _first_thread_leaker_id = None
 
751
    _log_file_name = None
 
752
    _log_contents = ''
 
753
    _keep_log_file = False
 
754
    # record lsprof data when performing benchmark calls.
 
755
    _gather_lsprof_in_benchmarks = False
 
756
    attrs_to_keep = ('id', '_testMethodName', '_testMethodDoc',
 
757
                     '_log_contents', '_log_file_name', '_benchtime',
 
758
                     '_TestCase__testMethodName')
 
759
 
 
760
    def __init__(self, methodName='testMethod'):
 
761
        super(TestCase, self).__init__(methodName)
 
762
        self._cleanups = []
 
763
 
 
764
    def setUp(self):
 
765
        unittest.TestCase.setUp(self)
 
766
        self._cleanEnvironment()
 
767
        self._silenceUI()
 
768
        self._startLogFile()
 
769
        self._benchcalls = []
 
770
        self._benchtime = None
 
771
        self._clear_hooks()
 
772
        self._clear_debug_flags()
 
773
        TestCase._active_threads = threading.activeCount()
 
774
        self.addCleanup(self._check_leaked_threads)
 
775
 
 
776
    def _check_leaked_threads(self):
 
777
        active = threading.activeCount()
 
778
        leaked_threads = active - TestCase._active_threads
 
779
        TestCase._active_threads = active
 
780
        if leaked_threads:
 
781
            TestCase._leaking_threads_tests += 1
 
782
            if TestCase._first_thread_leaker_id is None:
 
783
                TestCase._first_thread_leaker_id = self.id()
 
784
                # we're not specifically told when all tests are finished.
 
785
                # This will do. We use a function to avoid keeping a reference
 
786
                # to a TestCase object.
 
787
                atexit.register(_report_leaked_threads)
 
788
 
 
789
    def _clear_debug_flags(self):
 
790
        """Prevent externally set debug flags affecting tests.
 
791
        
 
792
        Tests that want to use debug flags can just set them in the
 
793
        debug_flags set during setup/teardown.
 
794
        """
 
795
        if 'allow_debug' not in selftest_debug_flags:
 
796
            self._preserved_debug_flags = set(debug.debug_flags)
 
797
            debug.debug_flags.clear()
 
798
            self.addCleanup(self._restore_debug_flags)
 
799
 
 
800
    def _clear_hooks(self):
 
801
        # prevent hooks affecting tests
 
802
        import bzrlib.branch
 
803
        import bzrlib.smart.server
 
804
        self._preserved_hooks = {
 
805
            bzrlib.branch.Branch: bzrlib.branch.Branch.hooks,
 
806
            bzrlib.mutabletree.MutableTree: bzrlib.mutabletree.MutableTree.hooks,
 
807
            bzrlib.smart.server.SmartTCPServer: bzrlib.smart.server.SmartTCPServer.hooks,
 
808
            }
 
809
        self.addCleanup(self._restoreHooks)
 
810
        # reset all hooks to an empty instance of the appropriate type
 
811
        bzrlib.branch.Branch.hooks = bzrlib.branch.BranchHooks()
 
812
        bzrlib.smart.server.SmartTCPServer.hooks = bzrlib.smart.server.SmartServerHooks()
 
813
 
 
814
    def _silenceUI(self):
 
815
        """Turn off UI for duration of test"""
 
816
        # by default the UI is off; tests can turn it on if they want it.
 
817
        saved = ui.ui_factory
 
818
        def _restore():
 
819
            ui.ui_factory = saved
 
820
        ui.ui_factory = ui.SilentUIFactory()
 
821
        self.addCleanup(_restore)
 
822
 
 
823
    def _ndiff_strings(self, a, b):
 
824
        """Return ndiff between two strings containing lines.
 
825
        
 
826
        A trailing newline is added if missing to make the strings
 
827
        print properly."""
 
828
        if b and b[-1] != '\n':
 
829
            b += '\n'
 
830
        if a and a[-1] != '\n':
 
831
            a += '\n'
 
832
        difflines = difflib.ndiff(a.splitlines(True),
 
833
                                  b.splitlines(True),
 
834
                                  linejunk=lambda x: False,
 
835
                                  charjunk=lambda x: False)
 
836
        return ''.join(difflines)
 
837
 
 
838
    def assertEqual(self, a, b, message=''):
 
839
        try:
 
840
            if a == b:
 
841
                return
 
842
        except UnicodeError, e:
 
843
            # If we can't compare without getting a UnicodeError, then
 
844
            # obviously they are different
 
845
            mutter('UnicodeError: %s', e)
 
846
        if message:
 
847
            message += '\n'
 
848
        raise AssertionError("%snot equal:\na = %s\nb = %s\n"
 
849
            % (message,
 
850
               pformat(a), pformat(b)))
 
851
 
 
852
    assertEquals = assertEqual
 
853
 
 
854
    def assertEqualDiff(self, a, b, message=None):
 
855
        """Assert two texts are equal, if not raise an exception.
 
856
        
 
857
        This is intended for use with multi-line strings where it can 
 
858
        be hard to find the differences by eye.
 
859
        """
 
860
        # TODO: perhaps override assertEquals to call this for strings?
 
861
        if a == b:
 
862
            return
 
863
        if message is None:
 
864
            message = "texts not equal:\n"
 
865
        if a == b + '\n':
 
866
            message = 'first string is missing a final newline.\n'
 
867
        if a + '\n' == b:
 
868
            message = 'second string is missing a final newline.\n'
 
869
        raise AssertionError(message +
 
870
                             self._ndiff_strings(a, b))
 
871
        
 
872
    def assertEqualMode(self, mode, mode_test):
 
873
        self.assertEqual(mode, mode_test,
 
874
                         'mode mismatch %o != %o' % (mode, mode_test))
 
875
 
 
876
    def assertPositive(self, val):
 
877
        """Assert that val is greater than 0."""
 
878
        self.assertTrue(val > 0, 'expected a positive value, but got %s' % val)
 
879
 
 
880
    def assertNegative(self, val):
 
881
        """Assert that val is less than 0."""
 
882
        self.assertTrue(val < 0, 'expected a negative value, but got %s' % val)
 
883
 
 
884
    def assertStartsWith(self, s, prefix):
 
885
        if not s.startswith(prefix):
 
886
            raise AssertionError('string %r does not start with %r' % (s, prefix))
 
887
 
 
888
    def assertEndsWith(self, s, suffix):
 
889
        """Asserts that s ends with suffix."""
 
890
        if not s.endswith(suffix):
 
891
            raise AssertionError('string %r does not end with %r' % (s, suffix))
 
892
 
 
893
    def assertContainsRe(self, haystack, needle_re):
 
894
        """Assert that a contains something matching a regular expression."""
 
895
        if not re.search(needle_re, haystack):
 
896
            if '\n' in haystack or len(haystack) > 60:
 
897
                # a long string, format it in a more readable way
 
898
                raise AssertionError(
 
899
                        'pattern "%s" not found in\n"""\\\n%s"""\n'
 
900
                        % (needle_re, haystack))
 
901
            else:
 
902
                raise AssertionError('pattern "%s" not found in "%s"'
 
903
                        % (needle_re, haystack))
 
904
 
 
905
    def assertNotContainsRe(self, haystack, needle_re):
 
906
        """Assert that a does not match a regular expression"""
 
907
        if re.search(needle_re, haystack):
 
908
            raise AssertionError('pattern "%s" found in "%s"'
 
909
                    % (needle_re, haystack))
 
910
 
 
911
    def assertSubset(self, sublist, superlist):
 
912
        """Assert that every entry in sublist is present in superlist."""
 
913
        missing = set(sublist) - set(superlist)
 
914
        if len(missing) > 0:
 
915
            raise AssertionError("value(s) %r not present in container %r" %
 
916
                                 (missing, superlist))
 
917
 
 
918
    def assertListRaises(self, excClass, func, *args, **kwargs):
 
919
        """Fail unless excClass is raised when the iterator from func is used.
 
920
        
 
921
        Many functions can return generators this makes sure
 
922
        to wrap them in a list() call to make sure the whole generator
 
923
        is run, and that the proper exception is raised.
 
924
        """
 
925
        try:
 
926
            list(func(*args, **kwargs))
 
927
        except excClass, e:
 
928
            return e
 
929
        else:
 
930
            if getattr(excClass,'__name__', None) is not None:
 
931
                excName = excClass.__name__
 
932
            else:
 
933
                excName = str(excClass)
 
934
            raise self.failureException, "%s not raised" % excName
 
935
 
 
936
    def assertRaises(self, excClass, callableObj, *args, **kwargs):
 
937
        """Assert that a callable raises a particular exception.
 
938
 
 
939
        :param excClass: As for the except statement, this may be either an
 
940
            exception class, or a tuple of classes.
 
941
        :param callableObj: A callable, will be passed ``*args`` and
 
942
            ``**kwargs``.
 
943
 
 
944
        Returns the exception so that you can examine it.
 
945
        """
 
946
        try:
 
947
            callableObj(*args, **kwargs)
 
948
        except excClass, e:
 
949
            return e
 
950
        else:
 
951
            if getattr(excClass,'__name__', None) is not None:
 
952
                excName = excClass.__name__
 
953
            else:
 
954
                # probably a tuple
 
955
                excName = str(excClass)
 
956
            raise self.failureException, "%s not raised" % excName
 
957
 
 
958
    def assertIs(self, left, right, message=None):
 
959
        if not (left is right):
 
960
            if message is not None:
 
961
                raise AssertionError(message)
 
962
            else:
 
963
                raise AssertionError("%r is not %r." % (left, right))
 
964
 
 
965
    def assertIsNot(self, left, right, message=None):
 
966
        if (left is right):
 
967
            if message is not None:
 
968
                raise AssertionError(message)
 
969
            else:
 
970
                raise AssertionError("%r is %r." % (left, right))
 
971
 
 
972
    def assertTransportMode(self, transport, path, mode):
 
973
        """Fail if a path does not have mode mode.
 
974
        
 
975
        If modes are not supported on this transport, the assertion is ignored.
 
976
        """
 
977
        if not transport._can_roundtrip_unix_modebits():
 
978
            return
 
979
        path_stat = transport.stat(path)
 
980
        actual_mode = stat.S_IMODE(path_stat.st_mode)
 
981
        self.assertEqual(mode, actual_mode,
 
982
            'mode of %r incorrect (%o != %o)' % (path, mode, actual_mode))
 
983
 
 
984
    def assertIsSameRealPath(self, path1, path2):
 
985
        """Fail if path1 and path2 points to different files"""
 
986
        self.assertEqual(osutils.realpath(path1),
 
987
                         osutils.realpath(path2),
 
988
                         "apparent paths:\na = %s\nb = %s\n," % (path1, path2))
 
989
 
 
990
    def assertIsInstance(self, obj, kls):
 
991
        """Fail if obj is not an instance of kls"""
 
992
        if not isinstance(obj, kls):
 
993
            self.fail("%r is an instance of %s rather than %s" % (
 
994
                obj, obj.__class__, kls))
 
995
 
 
996
    def expectFailure(self, reason, assertion, *args, **kwargs):
 
997
        """Invoke a test, expecting it to fail for the given reason.
 
998
 
 
999
        This is for assertions that ought to succeed, but currently fail.
 
1000
        (The failure is *expected* but not *wanted*.)  Please be very precise
 
1001
        about the failure you're expecting.  If a new bug is introduced,
 
1002
        AssertionError should be raised, not KnownFailure.
 
1003
 
 
1004
        Frequently, expectFailure should be followed by an opposite assertion.
 
1005
        See example below.
 
1006
 
 
1007
        Intended to be used with a callable that raises AssertionError as the
 
1008
        'assertion' parameter.  args and kwargs are passed to the 'assertion'.
 
1009
 
 
1010
        Raises KnownFailure if the test fails.  Raises AssertionError if the
 
1011
        test succeeds.
 
1012
 
 
1013
        example usage::
 
1014
 
 
1015
          self.expectFailure('Math is broken', self.assertNotEqual, 54,
 
1016
                             dynamic_val)
 
1017
          self.assertEqual(42, dynamic_val)
 
1018
 
 
1019
          This means that a dynamic_val of 54 will cause the test to raise
 
1020
          a KnownFailure.  Once math is fixed and the expectFailure is removed,
 
1021
          only a dynamic_val of 42 will allow the test to pass.  Anything other
 
1022
          than 54 or 42 will cause an AssertionError.
 
1023
        """
 
1024
        try:
 
1025
            assertion(*args, **kwargs)
 
1026
        except AssertionError:
 
1027
            raise KnownFailure(reason)
 
1028
        else:
 
1029
            self.fail('Unexpected success.  Should have failed: %s' % reason)
 
1030
 
 
1031
    def assertFileEqual(self, content, path):
 
1032
        """Fail if path does not contain 'content'."""
 
1033
        self.failUnlessExists(path)
 
1034
        f = file(path, 'rb')
 
1035
        try:
 
1036
            s = f.read()
 
1037
        finally:
 
1038
            f.close()
 
1039
        self.assertEqualDiff(content, s)
 
1040
 
 
1041
    def failUnlessExists(self, path):
 
1042
        """Fail unless path or paths, which may be abs or relative, exist."""
 
1043
        if not isinstance(path, basestring):
 
1044
            for p in path:
 
1045
                self.failUnlessExists(p)
 
1046
        else:
 
1047
            self.failUnless(osutils.lexists(path),path+" does not exist")
 
1048
 
 
1049
    def failIfExists(self, path):
 
1050
        """Fail if path or paths, which may be abs or relative, exist."""
 
1051
        if not isinstance(path, basestring):
 
1052
            for p in path:
 
1053
                self.failIfExists(p)
 
1054
        else:
 
1055
            self.failIf(osutils.lexists(path),path+" exists")
 
1056
 
 
1057
    def _capture_deprecation_warnings(self, a_callable, *args, **kwargs):
 
1058
        """A helper for callDeprecated and applyDeprecated.
 
1059
 
 
1060
        :param a_callable: A callable to call.
 
1061
        :param args: The positional arguments for the callable
 
1062
        :param kwargs: The keyword arguments for the callable
 
1063
        :return: A tuple (warnings, result). result is the result of calling
 
1064
            a_callable(``*args``, ``**kwargs``).
 
1065
        """
 
1066
        local_warnings = []
 
1067
        def capture_warnings(msg, cls=None, stacklevel=None):
 
1068
            # we've hooked into a deprecation specific callpath,
 
1069
            # only deprecations should getting sent via it.
 
1070
            self.assertEqual(cls, DeprecationWarning)
 
1071
            local_warnings.append(msg)
 
1072
        original_warning_method = symbol_versioning.warn
 
1073
        symbol_versioning.set_warning_method(capture_warnings)
 
1074
        try:
 
1075
            result = a_callable(*args, **kwargs)
 
1076
        finally:
 
1077
            symbol_versioning.set_warning_method(original_warning_method)
 
1078
        return (local_warnings, result)
 
1079
 
 
1080
    def applyDeprecated(self, deprecation_format, a_callable, *args, **kwargs):
 
1081
        """Call a deprecated callable without warning the user.
 
1082
 
 
1083
        Note that this only captures warnings raised by symbol_versioning.warn,
 
1084
        not other callers that go direct to the warning module.
 
1085
 
 
1086
        To test that a deprecated method raises an error, do something like
 
1087
        this::
 
1088
 
 
1089
            self.assertRaises(errors.ReservedId,
 
1090
                self.applyDeprecated,
 
1091
                deprecated_in((1, 5, 0)),
 
1092
                br.append_revision,
 
1093
                'current:')
 
1094
 
 
1095
        :param deprecation_format: The deprecation format that the callable
 
1096
            should have been deprecated with. This is the same type as the
 
1097
            parameter to deprecated_method/deprecated_function. If the
 
1098
            callable is not deprecated with this format, an assertion error
 
1099
            will be raised.
 
1100
        :param a_callable: A callable to call. This may be a bound method or
 
1101
            a regular function. It will be called with ``*args`` and
 
1102
            ``**kwargs``.
 
1103
        :param args: The positional arguments for the callable
 
1104
        :param kwargs: The keyword arguments for the callable
 
1105
        :return: The result of a_callable(``*args``, ``**kwargs``)
 
1106
        """
 
1107
        call_warnings, result = self._capture_deprecation_warnings(a_callable,
 
1108
            *args, **kwargs)
 
1109
        expected_first_warning = symbol_versioning.deprecation_string(
 
1110
            a_callable, deprecation_format)
 
1111
        if len(call_warnings) == 0:
 
1112
            self.fail("No deprecation warning generated by call to %s" %
 
1113
                a_callable)
 
1114
        self.assertEqual(expected_first_warning, call_warnings[0])
 
1115
        return result
 
1116
 
 
1117
    def callCatchWarnings(self, fn, *args, **kw):
 
1118
        """Call a callable that raises python warnings.
 
1119
 
 
1120
        The caller's responsible for examining the returned warnings.
 
1121
 
 
1122
        If the callable raises an exception, the exception is not
 
1123
        caught and propagates up to the caller.  In that case, the list
 
1124
        of warnings is not available.
 
1125
 
 
1126
        :returns: ([warning_object, ...], fn_result)
 
1127
        """
 
1128
        # XXX: This is not perfect, because it completely overrides the
 
1129
        # warnings filters, and some code may depend on suppressing particular
 
1130
        # warnings.  It's the easiest way to insulate ourselves from -Werror,
 
1131
        # though.  -- Andrew, 20071062
 
1132
        wlist = []
 
1133
        def _catcher(message, category, filename, lineno, file=None):
 
1134
            # despite the name, 'message' is normally(?) a Warning subclass
 
1135
            # instance
 
1136
            wlist.append(message)
 
1137
        saved_showwarning = warnings.showwarning
 
1138
        saved_filters = warnings.filters
 
1139
        try:
 
1140
            warnings.showwarning = _catcher
 
1141
            warnings.filters = []
 
1142
            result = fn(*args, **kw)
 
1143
        finally:
 
1144
            warnings.showwarning = saved_showwarning
 
1145
            warnings.filters = saved_filters
 
1146
        return wlist, result
 
1147
 
 
1148
    def callDeprecated(self, expected, callable, *args, **kwargs):
 
1149
        """Assert that a callable is deprecated in a particular way.
 
1150
 
 
1151
        This is a very precise test for unusual requirements. The 
 
1152
        applyDeprecated helper function is probably more suited for most tests
 
1153
        as it allows you to simply specify the deprecation format being used
 
1154
        and will ensure that that is issued for the function being called.
 
1155
 
 
1156
        Note that this only captures warnings raised by symbol_versioning.warn,
 
1157
        not other callers that go direct to the warning module.  To catch
 
1158
        general warnings, use callCatchWarnings.
 
1159
 
 
1160
        :param expected: a list of the deprecation warnings expected, in order
 
1161
        :param callable: The callable to call
 
1162
        :param args: The positional arguments for the callable
 
1163
        :param kwargs: The keyword arguments for the callable
 
1164
        """
 
1165
        call_warnings, result = self._capture_deprecation_warnings(callable,
 
1166
            *args, **kwargs)
 
1167
        self.assertEqual(expected, call_warnings)
 
1168
        return result
 
1169
 
 
1170
    def _startLogFile(self):
 
1171
        """Send bzr and test log messages to a temporary file.
 
1172
 
 
1173
        The file is removed as the test is torn down.
 
1174
        """
 
1175
        fileno, name = tempfile.mkstemp(suffix='.log', prefix='testbzr')
 
1176
        self._log_file = os.fdopen(fileno, 'w+')
 
1177
        self._log_memento = bzrlib.trace.push_log_file(self._log_file)
 
1178
        self._log_file_name = name
 
1179
        self.addCleanup(self._finishLogFile)
 
1180
 
 
1181
    def _finishLogFile(self):
 
1182
        """Finished with the log file.
 
1183
 
 
1184
        Close the file and delete it, unless setKeepLogfile was called.
 
1185
        """
 
1186
        if self._log_file is None:
 
1187
            return
 
1188
        bzrlib.trace.pop_log_file(self._log_memento)
 
1189
        self._log_file.close()
 
1190
        self._log_file = None
 
1191
        if not self._keep_log_file:
 
1192
            os.remove(self._log_file_name)
 
1193
            self._log_file_name = None
 
1194
 
 
1195
    def setKeepLogfile(self):
 
1196
        """Make the logfile not be deleted when _finishLogFile is called."""
 
1197
        self._keep_log_file = True
 
1198
 
 
1199
    def addCleanup(self, callable):
 
1200
        """Arrange to run a callable when this case is torn down.
 
1201
 
 
1202
        Callables are run in the reverse of the order they are registered, 
 
1203
        ie last-in first-out.
 
1204
        """
 
1205
        if callable in self._cleanups:
 
1206
            raise ValueError("cleanup function %r already registered on %s" 
 
1207
                    % (callable, self))
 
1208
        self._cleanups.append(callable)
 
1209
 
 
1210
    def _cleanEnvironment(self):
 
1211
        new_env = {
 
1212
            'BZR_HOME': None, # Don't inherit BZR_HOME to all the tests.
 
1213
            'HOME': os.getcwd(),
 
1214
            'APPDATA': None,  # bzr now use Win32 API and don't rely on APPDATA
 
1215
            'BZR_EDITOR': None, # test_msgeditor manipulates this variable
 
1216
            'BZR_EMAIL': None,
 
1217
            'BZREMAIL': None, # may still be present in the environment
 
1218
            'EMAIL': None,
 
1219
            'BZR_PROGRESS_BAR': None,
 
1220
            'BZR_LOG': None,
 
1221
            # SSH Agent
 
1222
            'SSH_AUTH_SOCK': None,
 
1223
            # Proxies
 
1224
            'http_proxy': None,
 
1225
            'HTTP_PROXY': None,
 
1226
            'https_proxy': None,
 
1227
            'HTTPS_PROXY': None,
 
1228
            'no_proxy': None,
 
1229
            'NO_PROXY': None,
 
1230
            'all_proxy': None,
 
1231
            'ALL_PROXY': None,
 
1232
            # Nobody cares about these ones AFAIK. So far at
 
1233
            # least. If you do (care), please update this comment
 
1234
            # -- vila 20061212
 
1235
            'ftp_proxy': None,
 
1236
            'FTP_PROXY': None,
 
1237
            'BZR_REMOTE_PATH': None,
 
1238
        }
 
1239
        self.__old_env = {}
 
1240
        self.addCleanup(self._restoreEnvironment)
 
1241
        for name, value in new_env.iteritems():
 
1242
            self._captureVar(name, value)
 
1243
 
 
1244
    def _captureVar(self, name, newvalue):
 
1245
        """Set an environment variable, and reset it when finished."""
 
1246
        self.__old_env[name] = osutils.set_or_unset_env(name, newvalue)
 
1247
 
 
1248
    def _restore_debug_flags(self):
 
1249
        debug.debug_flags.clear()
 
1250
        debug.debug_flags.update(self._preserved_debug_flags)
 
1251
 
 
1252
    def _restoreEnvironment(self):
 
1253
        for name, value in self.__old_env.iteritems():
 
1254
            osutils.set_or_unset_env(name, value)
 
1255
 
 
1256
    def _restoreHooks(self):
 
1257
        for klass, hooks in self._preserved_hooks.items():
 
1258
            setattr(klass, 'hooks', hooks)
 
1259
 
 
1260
    def knownFailure(self, reason):
 
1261
        """This test has failed for some known reason."""
 
1262
        raise KnownFailure(reason)
 
1263
 
 
1264
    def run(self, result=None):
 
1265
        if result is None: result = self.defaultTestResult()
 
1266
        for feature in getattr(self, '_test_needs_features', []):
 
1267
            if not feature.available():
 
1268
                result.startTest(self)
 
1269
                if getattr(result, 'addNotSupported', None):
 
1270
                    result.addNotSupported(self, feature)
 
1271
                else:
 
1272
                    result.addSuccess(self)
 
1273
                result.stopTest(self)
 
1274
                return
 
1275
        try:
 
1276
            return unittest.TestCase.run(self, result)
 
1277
        finally:
 
1278
            saved_attrs = {}
 
1279
            absent_attr = object()
 
1280
            for attr_name in self.attrs_to_keep:
 
1281
                attr = getattr(self, attr_name, absent_attr)
 
1282
                if attr is not absent_attr:
 
1283
                    saved_attrs[attr_name] = attr
 
1284
            self.__dict__ = saved_attrs
 
1285
 
 
1286
    def tearDown(self):
 
1287
        self._runCleanups()
 
1288
        unittest.TestCase.tearDown(self)
 
1289
 
 
1290
    def time(self, callable, *args, **kwargs):
 
1291
        """Run callable and accrue the time it takes to the benchmark time.
 
1292
        
 
1293
        If lsprofiling is enabled (i.e. by --lsprof-time to bzr selftest) then
 
1294
        this will cause lsprofile statistics to be gathered and stored in
 
1295
        self._benchcalls.
 
1296
        """
 
1297
        if self._benchtime is None:
 
1298
            self._benchtime = 0
 
1299
        start = time.time()
 
1300
        try:
 
1301
            if not self._gather_lsprof_in_benchmarks:
 
1302
                return callable(*args, **kwargs)
 
1303
            else:
 
1304
                # record this benchmark
 
1305
                ret, stats = bzrlib.lsprof.profile(callable, *args, **kwargs)
 
1306
                stats.sort()
 
1307
                self._benchcalls.append(((callable, args, kwargs), stats))
 
1308
                return ret
 
1309
        finally:
 
1310
            self._benchtime += time.time() - start
 
1311
 
 
1312
    def _runCleanups(self):
 
1313
        """Run registered cleanup functions. 
 
1314
 
 
1315
        This should only be called from TestCase.tearDown.
 
1316
        """
 
1317
        # TODO: Perhaps this should keep running cleanups even if 
 
1318
        # one of them fails?
 
1319
 
 
1320
        # Actually pop the cleanups from the list so tearDown running
 
1321
        # twice is safe (this happens for skipped tests).
 
1322
        while self._cleanups:
 
1323
            self._cleanups.pop()()
 
1324
 
 
1325
    def log(self, *args):
 
1326
        mutter(*args)
 
1327
 
 
1328
    def _get_log(self, keep_log_file=False):
 
1329
        """Get the log from bzrlib.trace calls from this test.
 
1330
 
 
1331
        :param keep_log_file: When True, if the log is still a file on disk
 
1332
            leave it as a file on disk. When False, if the log is still a file
 
1333
            on disk, the log file is deleted and the log preserved as
 
1334
            self._log_contents.
 
1335
        :return: A string containing the log.
 
1336
        """
 
1337
        # flush the log file, to get all content
 
1338
        import bzrlib.trace
 
1339
        bzrlib.trace._trace_file.flush()
 
1340
        if self._log_contents:
 
1341
            # XXX: this can hardly contain the content flushed above --vila
 
1342
            # 20080128
 
1343
            return self._log_contents
 
1344
        if self._log_file_name is not None:
 
1345
            logfile = open(self._log_file_name)
 
1346
            try:
 
1347
                log_contents = logfile.read()
 
1348
            finally:
 
1349
                logfile.close()
 
1350
            if not keep_log_file:
 
1351
                self._log_contents = log_contents
 
1352
                try:
 
1353
                    os.remove(self._log_file_name)
 
1354
                except OSError, e:
 
1355
                    if sys.platform == 'win32' and e.errno == errno.EACCES:
 
1356
                        sys.stderr.write(('Unable to delete log file '
 
1357
                                             ' %r\n' % self._log_file_name))
 
1358
                    else:
 
1359
                        raise
 
1360
            return log_contents
 
1361
        else:
 
1362
            return "DELETED log file to reduce memory footprint"
 
1363
 
 
1364
    def requireFeature(self, feature):
 
1365
        """This test requires a specific feature is available.
 
1366
 
 
1367
        :raises UnavailableFeature: When feature is not available.
 
1368
        """
 
1369
        if not feature.available():
 
1370
            raise UnavailableFeature(feature)
 
1371
 
 
1372
    def _run_bzr_autosplit(self, args, retcode, encoding, stdin,
 
1373
            working_dir):
 
1374
        """Run bazaar command line, splitting up a string command line."""
 
1375
        if isinstance(args, basestring):
 
1376
            # shlex don't understand unicode strings,
 
1377
            # so args should be plain string (bialix 20070906)
 
1378
            args = list(shlex.split(str(args)))
 
1379
        return self._run_bzr_core(args, retcode=retcode,
 
1380
                encoding=encoding, stdin=stdin, working_dir=working_dir,
 
1381
                )
 
1382
 
 
1383
    def _run_bzr_core(self, args, retcode, encoding, stdin,
 
1384
            working_dir):
 
1385
        if encoding is None:
 
1386
            encoding = bzrlib.user_encoding
 
1387
        stdout = StringIOWrapper()
 
1388
        stderr = StringIOWrapper()
 
1389
        stdout.encoding = encoding
 
1390
        stderr.encoding = encoding
 
1391
 
 
1392
        self.log('run bzr: %r', args)
 
1393
        # FIXME: don't call into logging here
 
1394
        handler = logging.StreamHandler(stderr)
 
1395
        handler.setLevel(logging.INFO)
 
1396
        logger = logging.getLogger('')
 
1397
        logger.addHandler(handler)
 
1398
        old_ui_factory = ui.ui_factory
 
1399
        ui.ui_factory = TestUIFactory(stdin=stdin, stdout=stdout, stderr=stderr)
 
1400
 
 
1401
        cwd = None
 
1402
        if working_dir is not None:
 
1403
            cwd = osutils.getcwd()
 
1404
            os.chdir(working_dir)
 
1405
 
 
1406
        try:
 
1407
            result = self.apply_redirected(ui.ui_factory.stdin,
 
1408
                stdout, stderr,
 
1409
                bzrlib.commands.run_bzr_catch_user_errors,
 
1410
                args)
 
1411
        finally:
 
1412
            logger.removeHandler(handler)
 
1413
            ui.ui_factory = old_ui_factory
 
1414
            if cwd is not None:
 
1415
                os.chdir(cwd)
 
1416
 
 
1417
        out = stdout.getvalue()
 
1418
        err = stderr.getvalue()
 
1419
        if out:
 
1420
            self.log('output:\n%r', out)
 
1421
        if err:
 
1422
            self.log('errors:\n%r', err)
 
1423
        if retcode is not None:
 
1424
            self.assertEquals(retcode, result,
 
1425
                              message='Unexpected return code')
 
1426
        return out, err
 
1427
 
 
1428
    def run_bzr(self, args, retcode=0, encoding=None, stdin=None,
 
1429
                working_dir=None, error_regexes=[], output_encoding=None):
 
1430
        """Invoke bzr, as if it were run from the command line.
 
1431
 
 
1432
        The argument list should not include the bzr program name - the
 
1433
        first argument is normally the bzr command.  Arguments may be
 
1434
        passed in three ways:
 
1435
 
 
1436
        1- A list of strings, eg ["commit", "a"].  This is recommended
 
1437
        when the command contains whitespace or metacharacters, or 
 
1438
        is built up at run time.
 
1439
 
 
1440
        2- A single string, eg "add a".  This is the most convenient 
 
1441
        for hardcoded commands.
 
1442
 
 
1443
        This runs bzr through the interface that catches and reports
 
1444
        errors, and with logging set to something approximating the
 
1445
        default, so that error reporting can be checked.
 
1446
 
 
1447
        This should be the main method for tests that want to exercise the
 
1448
        overall behavior of the bzr application (rather than a unit test
 
1449
        or a functional test of the library.)
 
1450
 
 
1451
        This sends the stdout/stderr results into the test's log,
 
1452
        where it may be useful for debugging.  See also run_captured.
 
1453
 
 
1454
        :keyword stdin: A string to be used as stdin for the command.
 
1455
        :keyword retcode: The status code the command should return;
 
1456
            default 0.
 
1457
        :keyword working_dir: The directory to run the command in
 
1458
        :keyword error_regexes: A list of expected error messages.  If
 
1459
            specified they must be seen in the error output of the command.
 
1460
        """
 
1461
        out, err = self._run_bzr_autosplit(
 
1462
            args=args,
 
1463
            retcode=retcode,
 
1464
            encoding=encoding,
 
1465
            stdin=stdin,
 
1466
            working_dir=working_dir,
 
1467
            )
 
1468
        for regex in error_regexes:
 
1469
            self.assertContainsRe(err, regex)
 
1470
        return out, err
 
1471
 
 
1472
    def run_bzr_error(self, error_regexes, *args, **kwargs):
 
1473
        """Run bzr, and check that stderr contains the supplied regexes
 
1474
 
 
1475
        :param error_regexes: Sequence of regular expressions which
 
1476
            must each be found in the error output. The relative ordering
 
1477
            is not enforced.
 
1478
        :param args: command-line arguments for bzr
 
1479
        :param kwargs: Keyword arguments which are interpreted by run_bzr
 
1480
            This function changes the default value of retcode to be 3,
 
1481
            since in most cases this is run when you expect bzr to fail.
 
1482
 
 
1483
        :return: (out, err) The actual output of running the command (in case
 
1484
            you want to do more inspection)
 
1485
 
 
1486
        Examples of use::
 
1487
 
 
1488
            # Make sure that commit is failing because there is nothing to do
 
1489
            self.run_bzr_error(['no changes to commit'],
 
1490
                               ['commit', '-m', 'my commit comment'])
 
1491
            # Make sure --strict is handling an unknown file, rather than
 
1492
            # giving us the 'nothing to do' error
 
1493
            self.build_tree(['unknown'])
 
1494
            self.run_bzr_error(['Commit refused because there are unknown files'],
 
1495
                               ['commit', --strict', '-m', 'my commit comment'])
 
1496
        """
 
1497
        kwargs.setdefault('retcode', 3)
 
1498
        kwargs['error_regexes'] = error_regexes
 
1499
        out, err = self.run_bzr(*args, **kwargs)
 
1500
        return out, err
 
1501
 
 
1502
    def run_bzr_subprocess(self, *args, **kwargs):
 
1503
        """Run bzr in a subprocess for testing.
 
1504
 
 
1505
        This starts a new Python interpreter and runs bzr in there. 
 
1506
        This should only be used for tests that have a justifiable need for
 
1507
        this isolation: e.g. they are testing startup time, or signal
 
1508
        handling, or early startup code, etc.  Subprocess code can't be 
 
1509
        profiled or debugged so easily.
 
1510
 
 
1511
        :keyword retcode: The status code that is expected.  Defaults to 0.  If
 
1512
            None is supplied, the status code is not checked.
 
1513
        :keyword env_changes: A dictionary which lists changes to environment
 
1514
            variables. A value of None will unset the env variable.
 
1515
            The values must be strings. The change will only occur in the
 
1516
            child, so you don't need to fix the environment after running.
 
1517
        :keyword universal_newlines: Convert CRLF => LF
 
1518
        :keyword allow_plugins: By default the subprocess is run with
 
1519
            --no-plugins to ensure test reproducibility. Also, it is possible
 
1520
            for system-wide plugins to create unexpected output on stderr,
 
1521
            which can cause unnecessary test failures.
 
1522
        """
 
1523
        env_changes = kwargs.get('env_changes', {})
 
1524
        working_dir = kwargs.get('working_dir', None)
 
1525
        allow_plugins = kwargs.get('allow_plugins', False)
 
1526
        if len(args) == 1:
 
1527
            if isinstance(args[0], list):
 
1528
                args = args[0]
 
1529
            elif isinstance(args[0], basestring):
 
1530
                args = list(shlex.split(args[0]))
 
1531
        else:
 
1532
            raise ValueError("passing varargs to run_bzr_subprocess")
 
1533
        process = self.start_bzr_subprocess(args, env_changes=env_changes,
 
1534
                                            working_dir=working_dir,
 
1535
                                            allow_plugins=allow_plugins)
 
1536
        # We distinguish between retcode=None and retcode not passed.
 
1537
        supplied_retcode = kwargs.get('retcode', 0)
 
1538
        return self.finish_bzr_subprocess(process, retcode=supplied_retcode,
 
1539
            universal_newlines=kwargs.get('universal_newlines', False),
 
1540
            process_args=args)
 
1541
 
 
1542
    def start_bzr_subprocess(self, process_args, env_changes=None,
 
1543
                             skip_if_plan_to_signal=False,
 
1544
                             working_dir=None,
 
1545
                             allow_plugins=False):
 
1546
        """Start bzr in a subprocess for testing.
 
1547
 
 
1548
        This starts a new Python interpreter and runs bzr in there.
 
1549
        This should only be used for tests that have a justifiable need for
 
1550
        this isolation: e.g. they are testing startup time, or signal
 
1551
        handling, or early startup code, etc.  Subprocess code can't be
 
1552
        profiled or debugged so easily.
 
1553
 
 
1554
        :param process_args: a list of arguments to pass to the bzr executable,
 
1555
            for example ``['--version']``.
 
1556
        :param env_changes: A dictionary which lists changes to environment
 
1557
            variables. A value of None will unset the env variable.
 
1558
            The values must be strings. The change will only occur in the
 
1559
            child, so you don't need to fix the environment after running.
 
1560
        :param skip_if_plan_to_signal: raise TestSkipped when true and os.kill
 
1561
            is not available.
 
1562
        :param allow_plugins: If False (default) pass --no-plugins to bzr.
 
1563
 
 
1564
        :returns: Popen object for the started process.
 
1565
        """
 
1566
        if skip_if_plan_to_signal:
 
1567
            if not getattr(os, 'kill', None):
 
1568
                raise TestSkipped("os.kill not available.")
 
1569
 
 
1570
        if env_changes is None:
 
1571
            env_changes = {}
 
1572
        old_env = {}
 
1573
 
 
1574
        def cleanup_environment():
 
1575
            for env_var, value in env_changes.iteritems():
 
1576
                old_env[env_var] = osutils.set_or_unset_env(env_var, value)
 
1577
 
 
1578
        def restore_environment():
 
1579
            for env_var, value in old_env.iteritems():
 
1580
                osutils.set_or_unset_env(env_var, value)
 
1581
 
 
1582
        bzr_path = self.get_bzr_path()
 
1583
 
 
1584
        cwd = None
 
1585
        if working_dir is not None:
 
1586
            cwd = osutils.getcwd()
 
1587
            os.chdir(working_dir)
 
1588
 
 
1589
        try:
 
1590
            # win32 subprocess doesn't support preexec_fn
 
1591
            # so we will avoid using it on all platforms, just to
 
1592
            # make sure the code path is used, and we don't break on win32
 
1593
            cleanup_environment()
 
1594
            command = [sys.executable, bzr_path]
 
1595
            if not allow_plugins:
 
1596
                command.append('--no-plugins')
 
1597
            command.extend(process_args)
 
1598
            process = self._popen(command, stdin=PIPE, stdout=PIPE, stderr=PIPE)
 
1599
        finally:
 
1600
            restore_environment()
 
1601
            if cwd is not None:
 
1602
                os.chdir(cwd)
 
1603
 
 
1604
        return process
 
1605
 
 
1606
    def _popen(self, *args, **kwargs):
 
1607
        """Place a call to Popen.
 
1608
 
 
1609
        Allows tests to override this method to intercept the calls made to
 
1610
        Popen for introspection.
 
1611
        """
 
1612
        return Popen(*args, **kwargs)
 
1613
 
 
1614
    def get_bzr_path(self):
 
1615
        """Return the path of the 'bzr' executable for this test suite."""
 
1616
        bzr_path = os.path.dirname(os.path.dirname(bzrlib.__file__))+'/bzr'
 
1617
        if not os.path.isfile(bzr_path):
 
1618
            # We are probably installed. Assume sys.argv is the right file
 
1619
            bzr_path = sys.argv[0]
 
1620
        return bzr_path
 
1621
 
 
1622
    def finish_bzr_subprocess(self, process, retcode=0, send_signal=None,
 
1623
                              universal_newlines=False, process_args=None):
 
1624
        """Finish the execution of process.
 
1625
 
 
1626
        :param process: the Popen object returned from start_bzr_subprocess.
 
1627
        :param retcode: The status code that is expected.  Defaults to 0.  If
 
1628
            None is supplied, the status code is not checked.
 
1629
        :param send_signal: an optional signal to send to the process.
 
1630
        :param universal_newlines: Convert CRLF => LF
 
1631
        :returns: (stdout, stderr)
 
1632
        """
 
1633
        if send_signal is not None:
 
1634
            os.kill(process.pid, send_signal)
 
1635
        out, err = process.communicate()
 
1636
 
 
1637
        if universal_newlines:
 
1638
            out = out.replace('\r\n', '\n')
 
1639
            err = err.replace('\r\n', '\n')
 
1640
 
 
1641
        if retcode is not None and retcode != process.returncode:
 
1642
            if process_args is None:
 
1643
                process_args = "(unknown args)"
 
1644
            mutter('Output of bzr %s:\n%s', process_args, out)
 
1645
            mutter('Error for bzr %s:\n%s', process_args, err)
 
1646
            self.fail('Command bzr %s failed with retcode %s != %s'
 
1647
                      % (process_args, retcode, process.returncode))
 
1648
        return [out, err]
 
1649
 
 
1650
    def check_inventory_shape(self, inv, shape):
 
1651
        """Compare an inventory to a list of expected names.
 
1652
 
 
1653
        Fail if they are not precisely equal.
 
1654
        """
 
1655
        extras = []
 
1656
        shape = list(shape)             # copy
 
1657
        for path, ie in inv.entries():
 
1658
            name = path.replace('\\', '/')
 
1659
            if ie.kind == 'directory':
 
1660
                name = name + '/'
 
1661
            if name in shape:
 
1662
                shape.remove(name)
 
1663
            else:
 
1664
                extras.append(name)
 
1665
        if shape:
 
1666
            self.fail("expected paths not found in inventory: %r" % shape)
 
1667
        if extras:
 
1668
            self.fail("unexpected paths found in inventory: %r" % extras)
 
1669
 
 
1670
    def apply_redirected(self, stdin=None, stdout=None, stderr=None,
 
1671
                         a_callable=None, *args, **kwargs):
 
1672
        """Call callable with redirected std io pipes.
 
1673
 
 
1674
        Returns the return code."""
 
1675
        if not callable(a_callable):
 
1676
            raise ValueError("a_callable must be callable.")
 
1677
        if stdin is None:
 
1678
            stdin = StringIO("")
 
1679
        if stdout is None:
 
1680
            if getattr(self, "_log_file", None) is not None:
 
1681
                stdout = self._log_file
 
1682
            else:
 
1683
                stdout = StringIO()
 
1684
        if stderr is None:
 
1685
            if getattr(self, "_log_file", None is not None):
 
1686
                stderr = self._log_file
 
1687
            else:
 
1688
                stderr = StringIO()
 
1689
        real_stdin = sys.stdin
 
1690
        real_stdout = sys.stdout
 
1691
        real_stderr = sys.stderr
 
1692
        try:
 
1693
            sys.stdout = stdout
 
1694
            sys.stderr = stderr
 
1695
            sys.stdin = stdin
 
1696
            return a_callable(*args, **kwargs)
 
1697
        finally:
 
1698
            sys.stdout = real_stdout
 
1699
            sys.stderr = real_stderr
 
1700
            sys.stdin = real_stdin
 
1701
 
 
1702
    def reduceLockdirTimeout(self):
 
1703
        """Reduce the default lock timeout for the duration of the test, so that
 
1704
        if LockContention occurs during a test, it does so quickly.
 
1705
 
 
1706
        Tests that expect to provoke LockContention errors should call this.
 
1707
        """
 
1708
        orig_timeout = bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS
 
1709
        def resetTimeout():
 
1710
            bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS = orig_timeout
 
1711
        self.addCleanup(resetTimeout)
 
1712
        bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS = 0
 
1713
 
 
1714
    def make_utf8_encoded_stringio(self, encoding_type=None):
 
1715
        """Return a StringIOWrapper instance, that will encode Unicode
 
1716
        input to UTF-8.
 
1717
        """
 
1718
        if encoding_type is None:
 
1719
            encoding_type = 'strict'
 
1720
        sio = StringIO()
 
1721
        output_encoding = 'utf-8'
 
1722
        sio = codecs.getwriter(output_encoding)(sio, errors=encoding_type)
 
1723
        sio.encoding = output_encoding
 
1724
        return sio
 
1725
 
 
1726
 
 
1727
class TestCaseWithMemoryTransport(TestCase):
 
1728
    """Common test class for tests that do not need disk resources.
 
1729
 
 
1730
    Tests that need disk resources should derive from TestCaseWithTransport.
 
1731
 
 
1732
    TestCaseWithMemoryTransport sets the TEST_ROOT variable for all bzr tests.
 
1733
 
 
1734
    For TestCaseWithMemoryTransport the test_home_dir is set to the name of
 
1735
    a directory which does not exist. This serves to help ensure test isolation
 
1736
    is preserved. test_dir is set to the TEST_ROOT, as is cwd, because they
 
1737
    must exist. However, TestCaseWithMemoryTransport does not offer local
 
1738
    file defaults for the transport in tests, nor does it obey the command line
 
1739
    override, so tests that accidentally write to the common directory should
 
1740
    be rare.
 
1741
 
 
1742
    :cvar TEST_ROOT: Directory containing all temporary directories, plus
 
1743
    a .bzr directory that stops us ascending higher into the filesystem.
 
1744
    """
 
1745
 
 
1746
    TEST_ROOT = None
 
1747
    _TEST_NAME = 'test'
 
1748
 
 
1749
    def __init__(self, methodName='runTest'):
 
1750
        # allow test parameterization after test construction and before test
 
1751
        # execution. Variables that the parameterizer sets need to be 
 
1752
        # ones that are not set by setUp, or setUp will trash them.
 
1753
        super(TestCaseWithMemoryTransport, self).__init__(methodName)
 
1754
        self.vfs_transport_factory = default_transport
 
1755
        self.transport_server = None
 
1756
        self.transport_readonly_server = None
 
1757
        self.__vfs_server = None
 
1758
 
 
1759
    def get_transport(self, relpath=None):
 
1760
        """Return a writeable transport.
 
1761
 
 
1762
        This transport is for the test scratch space relative to
 
1763
        "self._test_root"
 
1764
        
 
1765
        :param relpath: a path relative to the base url.
 
1766
        """
 
1767
        t = get_transport(self.get_url(relpath))
 
1768
        self.assertFalse(t.is_readonly())
 
1769
        return t
 
1770
 
 
1771
    def get_readonly_transport(self, relpath=None):
 
1772
        """Return a readonly transport for the test scratch space
 
1773
        
 
1774
        This can be used to test that operations which should only need
 
1775
        readonly access in fact do not try to write.
 
1776
 
 
1777
        :param relpath: a path relative to the base url.
 
1778
        """
 
1779
        t = get_transport(self.get_readonly_url(relpath))
 
1780
        self.assertTrue(t.is_readonly())
 
1781
        return t
 
1782
 
 
1783
    def create_transport_readonly_server(self):
 
1784
        """Create a transport server from class defined at init.
 
1785
 
 
1786
        This is mostly a hook for daughter classes.
 
1787
        """
 
1788
        return self.transport_readonly_server()
 
1789
 
 
1790
    def get_readonly_server(self):
 
1791
        """Get the server instance for the readonly transport
 
1792
 
 
1793
        This is useful for some tests with specific servers to do diagnostics.
 
1794
        """
 
1795
        if self.__readonly_server is None:
 
1796
            if self.transport_readonly_server is None:
 
1797
                # readonly decorator requested
 
1798
                # bring up the server
 
1799
                self.__readonly_server = ReadonlyServer()
 
1800
                self.__readonly_server.setUp(self.get_vfs_only_server())
 
1801
            else:
 
1802
                self.__readonly_server = self.create_transport_readonly_server()
 
1803
                self.__readonly_server.setUp(self.get_vfs_only_server())
 
1804
            self.addCleanup(self.__readonly_server.tearDown)
 
1805
        return self.__readonly_server
 
1806
 
 
1807
    def get_readonly_url(self, relpath=None):
 
1808
        """Get a URL for the readonly transport.
 
1809
 
 
1810
        This will either be backed by '.' or a decorator to the transport 
 
1811
        used by self.get_url()
 
1812
        relpath provides for clients to get a path relative to the base url.
 
1813
        These should only be downwards relative, not upwards.
 
1814
        """
 
1815
        base = self.get_readonly_server().get_url()
 
1816
        return self._adjust_url(base, relpath)
 
1817
 
 
1818
    def get_vfs_only_server(self):
 
1819
        """Get the vfs only read/write server instance.
 
1820
 
 
1821
        This is useful for some tests with specific servers that need
 
1822
        diagnostics.
 
1823
 
 
1824
        For TestCaseWithMemoryTransport this is always a MemoryServer, and there
 
1825
        is no means to override it.
 
1826
        """
 
1827
        if self.__vfs_server is None:
 
1828
            self.__vfs_server = MemoryServer()
 
1829
            self.__vfs_server.setUp()
 
1830
            self.addCleanup(self.__vfs_server.tearDown)
 
1831
        return self.__vfs_server
 
1832
 
 
1833
    def get_server(self):
 
1834
        """Get the read/write server instance.
 
1835
 
 
1836
        This is useful for some tests with specific servers that need
 
1837
        diagnostics.
 
1838
 
 
1839
        This is built from the self.transport_server factory. If that is None,
 
1840
        then the self.get_vfs_server is returned.
 
1841
        """
 
1842
        if self.__server is None:
 
1843
            if self.transport_server is None or self.transport_server is self.vfs_transport_factory:
 
1844
                return self.get_vfs_only_server()
 
1845
            else:
 
1846
                # bring up a decorated means of access to the vfs only server.
 
1847
                self.__server = self.transport_server()
 
1848
                try:
 
1849
                    self.__server.setUp(self.get_vfs_only_server())
 
1850
                except TypeError, e:
 
1851
                    # This should never happen; the try:Except here is to assist
 
1852
                    # developers having to update code rather than seeing an
 
1853
                    # uninformative TypeError.
 
1854
                    raise Exception, "Old server API in use: %s, %s" % (self.__server, e)
 
1855
            self.addCleanup(self.__server.tearDown)
 
1856
        return self.__server
 
1857
 
 
1858
    def _adjust_url(self, base, relpath):
 
1859
        """Get a URL (or maybe a path) for the readwrite transport.
 
1860
 
 
1861
        This will either be backed by '.' or to an equivalent non-file based
 
1862
        facility.
 
1863
        relpath provides for clients to get a path relative to the base url.
 
1864
        These should only be downwards relative, not upwards.
 
1865
        """
 
1866
        if relpath is not None and relpath != '.':
 
1867
            if not base.endswith('/'):
 
1868
                base = base + '/'
 
1869
            # XXX: Really base should be a url; we did after all call
 
1870
            # get_url()!  But sometimes it's just a path (from
 
1871
            # LocalAbspathServer), and it'd be wrong to append urlescaped data
 
1872
            # to a non-escaped local path.
 
1873
            if base.startswith('./') or base.startswith('/'):
 
1874
                base += relpath
 
1875
            else:
 
1876
                base += urlutils.escape(relpath)
 
1877
        return base
 
1878
 
 
1879
    def get_url(self, relpath=None):
 
1880
        """Get a URL (or maybe a path) for the readwrite transport.
 
1881
 
 
1882
        This will either be backed by '.' or to an equivalent non-file based
 
1883
        facility.
 
1884
        relpath provides for clients to get a path relative to the base url.
 
1885
        These should only be downwards relative, not upwards.
 
1886
        """
 
1887
        base = self.get_server().get_url()
 
1888
        return self._adjust_url(base, relpath)
 
1889
 
 
1890
    def get_vfs_only_url(self, relpath=None):
 
1891
        """Get a URL (or maybe a path for the plain old vfs transport.
 
1892
 
 
1893
        This will never be a smart protocol.  It always has all the
 
1894
        capabilities of the local filesystem, but it might actually be a
 
1895
        MemoryTransport or some other similar virtual filesystem.
 
1896
 
 
1897
        This is the backing transport (if any) of the server returned by
 
1898
        get_url and get_readonly_url.
 
1899
 
 
1900
        :param relpath: provides for clients to get a path relative to the base
 
1901
            url.  These should only be downwards relative, not upwards.
 
1902
        :return: A URL
 
1903
        """
 
1904
        base = self.get_vfs_only_server().get_url()
 
1905
        return self._adjust_url(base, relpath)
 
1906
 
 
1907
    def _create_safety_net(self):
 
1908
        """Make a fake bzr directory.
 
1909
 
 
1910
        This prevents any tests propagating up onto the TEST_ROOT directory's
 
1911
        real branch.
 
1912
        """
 
1913
        root = TestCaseWithMemoryTransport.TEST_ROOT
 
1914
        bzrdir.BzrDir.create_standalone_workingtree(root)
 
1915
 
 
1916
    def _check_safety_net(self):
 
1917
        """Check that the safety .bzr directory have not been touched.
 
1918
 
 
1919
        _make_test_root have created a .bzr directory to prevent tests from
 
1920
        propagating. This method ensures than a test did not leaked.
 
1921
        """
 
1922
        root = TestCaseWithMemoryTransport.TEST_ROOT
 
1923
        wt = workingtree.WorkingTree.open(root)
 
1924
        last_rev = wt.last_revision()
 
1925
        if last_rev != 'null:':
 
1926
            # The current test have modified the /bzr directory, we need to
 
1927
            # recreate a new one or all the followng tests will fail.
 
1928
            # If you need to inspect its content uncomment the following line
 
1929
            # import pdb; pdb.set_trace()
 
1930
            _rmtree_temp_dir(root + '/.bzr')
 
1931
            self._create_safety_net()
 
1932
            raise AssertionError('%s/.bzr should not be modified' % root)
 
1933
 
 
1934
    def _make_test_root(self):
 
1935
        if TestCaseWithMemoryTransport.TEST_ROOT is None:
 
1936
            root = osutils.mkdtemp(prefix='testbzr-', suffix='.tmp')
 
1937
            TestCaseWithMemoryTransport.TEST_ROOT = root
 
1938
 
 
1939
            self._create_safety_net()
 
1940
 
 
1941
            # The same directory is used by all tests, and we're not
 
1942
            # specifically told when all tests are finished.  This will do.
 
1943
            atexit.register(_rmtree_temp_dir, root)
 
1944
 
 
1945
        self.addCleanup(self._check_safety_net)
 
1946
 
 
1947
    def makeAndChdirToTestDir(self):
 
1948
        """Create a temporary directories for this one test.
 
1949
        
 
1950
        This must set self.test_home_dir and self.test_dir and chdir to
 
1951
        self.test_dir.
 
1952
        
 
1953
        For TestCaseWithMemoryTransport we chdir to the TEST_ROOT for this test.
 
1954
        """
 
1955
        os.chdir(TestCaseWithMemoryTransport.TEST_ROOT)
 
1956
        self.test_dir = TestCaseWithMemoryTransport.TEST_ROOT
 
1957
        self.test_home_dir = self.test_dir + "/MemoryTransportMissingHomeDir"
 
1958
        
 
1959
    def make_branch(self, relpath, format=None):
 
1960
        """Create a branch on the transport at relpath."""
 
1961
        repo = self.make_repository(relpath, format=format)
 
1962
        return repo.bzrdir.create_branch()
 
1963
 
 
1964
    def make_bzrdir(self, relpath, format=None):
 
1965
        try:
 
1966
            # might be a relative or absolute path
 
1967
            maybe_a_url = self.get_url(relpath)
 
1968
            segments = maybe_a_url.rsplit('/', 1)
 
1969
            t = get_transport(maybe_a_url)
 
1970
            if len(segments) > 1 and segments[-1] not in ('', '.'):
 
1971
                t.ensure_base()
 
1972
            if format is None:
 
1973
                format = 'default'
 
1974
            if isinstance(format, basestring):
 
1975
                format = bzrdir.format_registry.make_bzrdir(format)
 
1976
            return format.initialize_on_transport(t)
 
1977
        except errors.UninitializableFormat:
 
1978
            raise TestSkipped("Format %s is not initializable." % format)
 
1979
 
 
1980
    def make_repository(self, relpath, shared=False, format=None):
 
1981
        """Create a repository on our default transport at relpath.
 
1982
        
 
1983
        Note that relpath must be a relative path, not a full url.
 
1984
        """
 
1985
        # FIXME: If you create a remoterepository this returns the underlying
 
1986
        # real format, which is incorrect.  Actually we should make sure that 
 
1987
        # RemoteBzrDir returns a RemoteRepository.
 
1988
        # maybe  mbp 20070410
 
1989
        made_control = self.make_bzrdir(relpath, format=format)
 
1990
        return made_control.create_repository(shared=shared)
 
1991
 
 
1992
    def make_branch_and_memory_tree(self, relpath, format=None):
 
1993
        """Create a branch on the default transport and a MemoryTree for it."""
 
1994
        b = self.make_branch(relpath, format=format)
 
1995
        return memorytree.MemoryTree.create_on_branch(b)
 
1996
 
 
1997
    def make_branch_builder(self, relpath, format=None):
 
1998
        url = self.get_url(relpath)
 
1999
        tran = get_transport(url)
 
2000
        return branchbuilder.BranchBuilder(get_transport(url), format=format)
 
2001
 
 
2002
    def overrideEnvironmentForTesting(self):
 
2003
        os.environ['HOME'] = self.test_home_dir
 
2004
        os.environ['BZR_HOME'] = self.test_home_dir
 
2005
        
 
2006
    def setUp(self):
 
2007
        super(TestCaseWithMemoryTransport, self).setUp()
 
2008
        self._make_test_root()
 
2009
        _currentdir = os.getcwdu()
 
2010
        def _leaveDirectory():
 
2011
            os.chdir(_currentdir)
 
2012
        self.addCleanup(_leaveDirectory)
 
2013
        self.makeAndChdirToTestDir()
 
2014
        self.overrideEnvironmentForTesting()
 
2015
        self.__readonly_server = None
 
2016
        self.__server = None
 
2017
        self.reduceLockdirTimeout()
 
2018
 
 
2019
     
 
2020
class TestCaseInTempDir(TestCaseWithMemoryTransport):
 
2021
    """Derived class that runs a test within a temporary directory.
 
2022
 
 
2023
    This is useful for tests that need to create a branch, etc.
 
2024
 
 
2025
    The directory is created in a slightly complex way: for each
 
2026
    Python invocation, a new temporary top-level directory is created.
 
2027
    All test cases create their own directory within that.  If the
 
2028
    tests complete successfully, the directory is removed.
 
2029
 
 
2030
    :ivar test_base_dir: The path of the top-level directory for this 
 
2031
    test, which contains a home directory and a work directory.
 
2032
 
 
2033
    :ivar test_home_dir: An initially empty directory under test_base_dir
 
2034
    which is used as $HOME for this test.
 
2035
 
 
2036
    :ivar test_dir: A directory under test_base_dir used as the current
 
2037
    directory when the test proper is run.
 
2038
    """
 
2039
 
 
2040
    OVERRIDE_PYTHON = 'python'
 
2041
 
 
2042
    def check_file_contents(self, filename, expect):
 
2043
        self.log("check contents of file %s" % filename)
 
2044
        contents = file(filename, 'r').read()
 
2045
        if contents != expect:
 
2046
            self.log("expected: %r" % expect)
 
2047
            self.log("actually: %r" % contents)
 
2048
            self.fail("contents of %s not as expected" % filename)
 
2049
 
 
2050
    def _getTestDirPrefix(self):
 
2051
        # create a directory within the top level test directory
 
2052
        if sys.platform == 'win32':
 
2053
            name_prefix = re.sub('[<>*=+",:;_/\\-]', '_', self.id())
 
2054
            # windows is likely to have path-length limits so use a short name
 
2055
            name_prefix = name_prefix[-30:]
 
2056
        else:
 
2057
            name_prefix = re.sub('[/]', '_', self.id())
 
2058
        return name_prefix
 
2059
 
 
2060
    def makeAndChdirToTestDir(self):
 
2061
        """See TestCaseWithMemoryTransport.makeAndChdirToTestDir().
 
2062
        
 
2063
        For TestCaseInTempDir we create a temporary directory based on the test
 
2064
        name and then create two subdirs - test and home under it.
 
2065
        """
 
2066
        name_prefix = os.path.join(self.TEST_ROOT, self._getTestDirPrefix())
 
2067
        name = name_prefix
 
2068
        for i in range(100):
 
2069
            if os.path.exists(name):
 
2070
                name = name_prefix + '_' + str(i)
 
2071
            else:
 
2072
                os.mkdir(name)
 
2073
                break
 
2074
        # now create test and home directories within this dir
 
2075
        self.test_base_dir = name
 
2076
        self.test_home_dir = self.test_base_dir + '/home'
 
2077
        os.mkdir(self.test_home_dir)
 
2078
        self.test_dir = self.test_base_dir + '/work'
 
2079
        os.mkdir(self.test_dir)
 
2080
        os.chdir(self.test_dir)
 
2081
        # put name of test inside
 
2082
        f = file(self.test_base_dir + '/name', 'w')
 
2083
        try:
 
2084
            f.write(self.id())
 
2085
        finally:
 
2086
            f.close()
 
2087
        self.addCleanup(self.deleteTestDir)
 
2088
 
 
2089
    def deleteTestDir(self):
 
2090
        os.chdir(self.TEST_ROOT)
 
2091
        _rmtree_temp_dir(self.test_base_dir)
 
2092
 
 
2093
    def build_tree(self, shape, line_endings='binary', transport=None):
 
2094
        """Build a test tree according to a pattern.
 
2095
 
 
2096
        shape is a sequence of file specifications.  If the final
 
2097
        character is '/', a directory is created.
 
2098
 
 
2099
        This assumes that all the elements in the tree being built are new.
 
2100
 
 
2101
        This doesn't add anything to a branch.
 
2102
 
 
2103
        :type shape:    list or tuple.
 
2104
        :param line_endings: Either 'binary' or 'native'
 
2105
            in binary mode, exact contents are written in native mode, the
 
2106
            line endings match the default platform endings.
 
2107
        :param transport: A transport to write to, for building trees on VFS's.
 
2108
            If the transport is readonly or None, "." is opened automatically.
 
2109
        :return: None
 
2110
        """
 
2111
        if type(shape) not in (list, tuple):
 
2112
            raise AssertionError("Parameter 'shape' should be "
 
2113
                "a list or a tuple. Got %r instead" % (shape,))
 
2114
        # It's OK to just create them using forward slashes on windows.
 
2115
        if transport is None or transport.is_readonly():
 
2116
            transport = get_transport(".")
 
2117
        for name in shape:
 
2118
            self.assert_(isinstance(name, basestring))
 
2119
            if name[-1] == '/':
 
2120
                transport.mkdir(urlutils.escape(name[:-1]))
 
2121
            else:
 
2122
                if line_endings == 'binary':
 
2123
                    end = '\n'
 
2124
                elif line_endings == 'native':
 
2125
                    end = os.linesep
 
2126
                else:
 
2127
                    raise errors.BzrError(
 
2128
                        'Invalid line ending request %r' % line_endings)
 
2129
                content = "contents of %s%s" % (name.encode('utf-8'), end)
 
2130
                transport.put_bytes_non_atomic(urlutils.escape(name), content)
 
2131
 
 
2132
    def build_tree_contents(self, shape):
 
2133
        build_tree_contents(shape)
 
2134
 
 
2135
    def assertInWorkingTree(self, path, root_path='.', tree=None):
 
2136
        """Assert whether path or paths are in the WorkingTree"""
 
2137
        if tree is None:
 
2138
            tree = workingtree.WorkingTree.open(root_path)
 
2139
        if not isinstance(path, basestring):
 
2140
            for p in path:
 
2141
                self.assertInWorkingTree(p, tree=tree)
 
2142
        else:
 
2143
            self.assertIsNot(tree.path2id(path), None,
 
2144
                path+' not in working tree.')
 
2145
 
 
2146
    def assertNotInWorkingTree(self, path, root_path='.', tree=None):
 
2147
        """Assert whether path or paths are not in the WorkingTree"""
 
2148
        if tree is None:
 
2149
            tree = workingtree.WorkingTree.open(root_path)
 
2150
        if not isinstance(path, basestring):
 
2151
            for p in path:
 
2152
                self.assertNotInWorkingTree(p,tree=tree)
 
2153
        else:
 
2154
            self.assertIs(tree.path2id(path), None, path+' in working tree.')
 
2155
 
 
2156
 
 
2157
class TestCaseWithTransport(TestCaseInTempDir):
 
2158
    """A test case that provides get_url and get_readonly_url facilities.
 
2159
 
 
2160
    These back onto two transport servers, one for readonly access and one for
 
2161
    read write access.
 
2162
 
 
2163
    If no explicit class is provided for readonly access, a
 
2164
    ReadonlyTransportDecorator is used instead which allows the use of non disk
 
2165
    based read write transports.
 
2166
 
 
2167
    If an explicit class is provided for readonly access, that server and the 
 
2168
    readwrite one must both define get_url() as resolving to os.getcwd().
 
2169
    """
 
2170
 
 
2171
    def get_vfs_only_server(self):
 
2172
        """See TestCaseWithMemoryTransport.
 
2173
 
 
2174
        This is useful for some tests with specific servers that need
 
2175
        diagnostics.
 
2176
        """
 
2177
        if self.__vfs_server is None:
 
2178
            self.__vfs_server = self.vfs_transport_factory()
 
2179
            self.__vfs_server.setUp()
 
2180
            self.addCleanup(self.__vfs_server.tearDown)
 
2181
        return self.__vfs_server
 
2182
 
 
2183
    def make_branch_and_tree(self, relpath, format=None):
 
2184
        """Create a branch on the transport and a tree locally.
 
2185
 
 
2186
        If the transport is not a LocalTransport, the Tree can't be created on
 
2187
        the transport.  In that case if the vfs_transport_factory is
 
2188
        LocalURLServer the working tree is created in the local
 
2189
        directory backing the transport, and the returned tree's branch and
 
2190
        repository will also be accessed locally. Otherwise a lightweight
 
2191
        checkout is created and returned.
 
2192
 
 
2193
        :param format: The BzrDirFormat.
 
2194
        :returns: the WorkingTree.
 
2195
        """
 
2196
        # TODO: always use the local disk path for the working tree,
 
2197
        # this obviously requires a format that supports branch references
 
2198
        # so check for that by checking bzrdir.BzrDirFormat.get_default_format()
 
2199
        # RBC 20060208
 
2200
        b = self.make_branch(relpath, format=format)
 
2201
        try:
 
2202
            return b.bzrdir.create_workingtree()
 
2203
        except errors.NotLocalUrl:
 
2204
            # We can only make working trees locally at the moment.  If the
 
2205
            # transport can't support them, then we keep the non-disk-backed
 
2206
            # branch and create a local checkout.
 
2207
            if self.vfs_transport_factory is LocalURLServer:
 
2208
                # the branch is colocated on disk, we cannot create a checkout.
 
2209
                # hopefully callers will expect this.
 
2210
                local_controldir= bzrdir.BzrDir.open(self.get_vfs_only_url(relpath))
 
2211
                wt = local_controldir.create_workingtree()
 
2212
                if wt.branch._format != b._format:
 
2213
                    wt._branch = b
 
2214
                    # Make sure that assigning to wt._branch fixes wt.branch,
 
2215
                    # in case the implementation details of workingtree objects
 
2216
                    # change.
 
2217
                    self.assertIs(b, wt.branch)
 
2218
                return wt
 
2219
            else:
 
2220
                return b.create_checkout(relpath, lightweight=True)
 
2221
 
 
2222
    def assertIsDirectory(self, relpath, transport):
 
2223
        """Assert that relpath within transport is a directory.
 
2224
 
 
2225
        This may not be possible on all transports; in that case it propagates
 
2226
        a TransportNotPossible.
 
2227
        """
 
2228
        try:
 
2229
            mode = transport.stat(relpath).st_mode
 
2230
        except errors.NoSuchFile:
 
2231
            self.fail("path %s is not a directory; no such file"
 
2232
                      % (relpath))
 
2233
        if not stat.S_ISDIR(mode):
 
2234
            self.fail("path %s is not a directory; has mode %#o"
 
2235
                      % (relpath, mode))
 
2236
 
 
2237
    def assertTreesEqual(self, left, right):
 
2238
        """Check that left and right have the same content and properties."""
 
2239
        # we use a tree delta to check for equality of the content, and we
 
2240
        # manually check for equality of other things such as the parents list.
 
2241
        self.assertEqual(left.get_parent_ids(), right.get_parent_ids())
 
2242
        differences = left.changes_from(right)
 
2243
        self.assertFalse(differences.has_changed(),
 
2244
            "Trees %r and %r are different: %r" % (left, right, differences))
 
2245
 
 
2246
    def setUp(self):
 
2247
        super(TestCaseWithTransport, self).setUp()
 
2248
        self.__vfs_server = None
 
2249
 
 
2250
 
 
2251
class ChrootedTestCase(TestCaseWithTransport):
 
2252
    """A support class that provides readonly urls outside the local namespace.
 
2253
 
 
2254
    This is done by checking if self.transport_server is a MemoryServer. if it
 
2255
    is then we are chrooted already, if it is not then an HttpServer is used
 
2256
    for readonly urls.
 
2257
 
 
2258
    TODO RBC 20060127: make this an option to TestCaseWithTransport so it can
 
2259
                       be used without needed to redo it when a different 
 
2260
                       subclass is in use ?
 
2261
    """
 
2262
 
 
2263
    def setUp(self):
 
2264
        super(ChrootedTestCase, self).setUp()
 
2265
        if not self.vfs_transport_factory == MemoryServer:
 
2266
            self.transport_readonly_server = HttpServer
 
2267
 
 
2268
 
 
2269
def condition_id_re(pattern):
 
2270
    """Create a condition filter which performs a re check on a test's id.
 
2271
    
 
2272
    :param pattern: A regular expression string.
 
2273
    :return: A callable that returns True if the re matches.
 
2274
    """
 
2275
    filter_re = re.compile(pattern)
 
2276
    def condition(test):
 
2277
        test_id = test.id()
 
2278
        return filter_re.search(test_id)
 
2279
    return condition
 
2280
 
 
2281
 
 
2282
def condition_isinstance(klass_or_klass_list):
 
2283
    """Create a condition filter which returns isinstance(param, klass).
 
2284
    
 
2285
    :return: A callable which when called with one parameter obj return the
 
2286
        result of isinstance(obj, klass_or_klass_list).
 
2287
    """
 
2288
    def condition(obj):
 
2289
        return isinstance(obj, klass_or_klass_list)
 
2290
    return condition
 
2291
 
 
2292
 
 
2293
def condition_id_in_list(id_list):
 
2294
    """Create a condition filter which verify that test's id in a list.
 
2295
    
 
2296
    :param id_list: A TestIdList object.
 
2297
    :return: A callable that returns True if the test's id appears in the list.
 
2298
    """
 
2299
    def condition(test):
 
2300
        return id_list.includes(test.id())
 
2301
    return condition
 
2302
 
 
2303
 
 
2304
def condition_id_startswith(start):
 
2305
    """Create a condition filter verifying that test's id starts with a string.
 
2306
    
 
2307
    :param start: A string.
 
2308
    :return: A callable that returns True if the test's id starts with the
 
2309
        given string.
 
2310
    """
 
2311
    def condition(test):
 
2312
        return test.id().startswith(start)
 
2313
    return condition
 
2314
 
 
2315
 
 
2316
def exclude_tests_by_condition(suite, condition):
 
2317
    """Create a test suite which excludes some tests from suite.
 
2318
 
 
2319
    :param suite: The suite to get tests from.
 
2320
    :param condition: A callable whose result evaluates True when called with a
 
2321
        test case which should be excluded from the result.
 
2322
    :return: A suite which contains the tests found in suite that fail
 
2323
        condition.
 
2324
    """
 
2325
    result = []
 
2326
    for test in iter_suite_tests(suite):
 
2327
        if not condition(test):
 
2328
            result.append(test)
 
2329
    return TestUtil.TestSuite(result)
 
2330
 
 
2331
 
 
2332
def filter_suite_by_condition(suite, condition):
 
2333
    """Create a test suite by filtering another one.
 
2334
    
 
2335
    :param suite: The source suite.
 
2336
    :param condition: A callable whose result evaluates True when called with a
 
2337
        test case which should be included in the result.
 
2338
    :return: A suite which contains the tests found in suite that pass
 
2339
        condition.
 
2340
    """ 
 
2341
    result = []
 
2342
    for test in iter_suite_tests(suite):
 
2343
        if condition(test):
 
2344
            result.append(test)
 
2345
    return TestUtil.TestSuite(result)
 
2346
 
 
2347
 
 
2348
def filter_suite_by_re(suite, pattern):
 
2349
    """Create a test suite by filtering another one.
 
2350
    
 
2351
    :param suite:           the source suite
 
2352
    :param pattern:         pattern that names must match
 
2353
    :returns: the newly created suite
 
2354
    """ 
 
2355
    condition = condition_id_re(pattern)
 
2356
    result_suite = filter_suite_by_condition(suite, condition)
 
2357
    return result_suite
 
2358
 
 
2359
 
 
2360
def filter_suite_by_id_list(suite, test_id_list):
 
2361
    """Create a test suite by filtering another one.
 
2362
 
 
2363
    :param suite: The source suite.
 
2364
    :param test_id_list: A list of the test ids to keep as strings.
 
2365
    :returns: the newly created suite
 
2366
    """
 
2367
    condition = condition_id_in_list(test_id_list)
 
2368
    result_suite = filter_suite_by_condition(suite, condition)
 
2369
    return result_suite
 
2370
 
 
2371
 
 
2372
def filter_suite_by_id_startswith(suite, start):
 
2373
    """Create a test suite by filtering another one.
 
2374
 
 
2375
    :param suite: The source suite.
 
2376
    :param start: A string the test id must start with.
 
2377
    :returns: the newly created suite
 
2378
    """
 
2379
    condition = condition_id_startswith(start)
 
2380
    result_suite = filter_suite_by_condition(suite, condition)
 
2381
    return result_suite
 
2382
 
 
2383
 
 
2384
def exclude_tests_by_re(suite, pattern):
 
2385
    """Create a test suite which excludes some tests from suite.
 
2386
 
 
2387
    :param suite: The suite to get tests from.
 
2388
    :param pattern: A regular expression string. Test ids that match this
 
2389
        pattern will be excluded from the result.
 
2390
    :return: A TestSuite that contains all the tests from suite without the
 
2391
        tests that matched pattern. The order of tests is the same as it was in
 
2392
        suite.
 
2393
    """
 
2394
    return exclude_tests_by_condition(suite, condition_id_re(pattern))
 
2395
 
 
2396
 
 
2397
def preserve_input(something):
 
2398
    """A helper for performing test suite transformation chains.
 
2399
 
 
2400
    :param something: Anything you want to preserve.
 
2401
    :return: Something.
 
2402
    """
 
2403
    return something
 
2404
 
 
2405
 
 
2406
def randomize_suite(suite):
 
2407
    """Return a new TestSuite with suite's tests in random order.
 
2408
    
 
2409
    The tests in the input suite are flattened into a single suite in order to
 
2410
    accomplish this. Any nested TestSuites are removed to provide global
 
2411
    randomness.
 
2412
    """
 
2413
    tests = list(iter_suite_tests(suite))
 
2414
    random.shuffle(tests)
 
2415
    return TestUtil.TestSuite(tests)
 
2416
 
 
2417
 
 
2418
def split_suite_by_condition(suite, condition):
 
2419
    """Split a test suite into two by a condition.
 
2420
    
 
2421
    :param suite: The suite to split.
 
2422
    :param condition: The condition to match on. Tests that match this
 
2423
        condition are returned in the first test suite, ones that do not match
 
2424
        are in the second suite.
 
2425
    :return: A tuple of two test suites, where the first contains tests from
 
2426
        suite matching the condition, and the second contains the remainder
 
2427
        from suite. The order within each output suite is the same as it was in
 
2428
        suite.
 
2429
    """ 
 
2430
    matched = []
 
2431
    did_not_match = []
 
2432
    for test in iter_suite_tests(suite):
 
2433
        if condition(test):
 
2434
            matched.append(test)
 
2435
        else:
 
2436
            did_not_match.append(test)
 
2437
    return TestUtil.TestSuite(matched), TestUtil.TestSuite(did_not_match)
 
2438
 
 
2439
 
 
2440
def split_suite_by_re(suite, pattern):
 
2441
    """Split a test suite into two by a regular expression.
 
2442
    
 
2443
    :param suite: The suite to split.
 
2444
    :param pattern: A regular expression string. Test ids that match this
 
2445
        pattern will be in the first test suite returned, and the others in the
 
2446
        second test suite returned.
 
2447
    :return: A tuple of two test suites, where the first contains tests from
 
2448
        suite matching pattern, and the second contains the remainder from
 
2449
        suite. The order within each output suite is the same as it was in
 
2450
        suite.
 
2451
    """ 
 
2452
    return split_suite_by_condition(suite, condition_id_re(pattern))
 
2453
 
 
2454
 
 
2455
def run_suite(suite, name='test', verbose=False, pattern=".*",
 
2456
              stop_on_failure=False,
 
2457
              transport=None, lsprof_timed=None, bench_history=None,
 
2458
              matching_tests_first=None,
 
2459
              list_only=False,
 
2460
              random_seed=None,
 
2461
              exclude_pattern=None,
 
2462
              strict=False):
 
2463
    TestCase._gather_lsprof_in_benchmarks = lsprof_timed
 
2464
    if verbose:
 
2465
        verbosity = 2
 
2466
    else:
 
2467
        verbosity = 1
 
2468
    runner = TextTestRunner(stream=sys.stdout,
 
2469
                            descriptions=0,
 
2470
                            verbosity=verbosity,
 
2471
                            bench_history=bench_history,
 
2472
                            list_only=list_only,
 
2473
                            )
 
2474
    runner.stop_on_failure=stop_on_failure
 
2475
    # Initialise the random number generator and display the seed used.
 
2476
    # We convert the seed to a long to make it reuseable across invocations.
 
2477
    random_order = False
 
2478
    if random_seed is not None:
 
2479
        random_order = True
 
2480
        if random_seed == "now":
 
2481
            random_seed = long(time.time())
 
2482
        else:
 
2483
            # Convert the seed to a long if we can
 
2484
            try:
 
2485
                random_seed = long(random_seed)
 
2486
            except:
 
2487
                pass
 
2488
        runner.stream.writeln("Randomizing test order using seed %s\n" %
 
2489
            (random_seed))
 
2490
        random.seed(random_seed)
 
2491
    # Customise the list of tests if requested
 
2492
    if exclude_pattern is not None:
 
2493
        suite = exclude_tests_by_re(suite, exclude_pattern)
 
2494
    if random_order:
 
2495
        order_changer = randomize_suite
 
2496
    else:
 
2497
        order_changer = preserve_input
 
2498
    if pattern != '.*' or random_order:
 
2499
        if matching_tests_first:
 
2500
            suites = map(order_changer, split_suite_by_re(suite, pattern))
 
2501
            suite = TestUtil.TestSuite(suites)
 
2502
        else:
 
2503
            suite = order_changer(filter_suite_by_re(suite, pattern))
 
2504
 
 
2505
    result = runner.run(suite)
 
2506
 
 
2507
    if strict:
 
2508
        return result.wasStrictlySuccessful()
 
2509
 
 
2510
    return result.wasSuccessful()
 
2511
 
 
2512
 
 
2513
# Controlled by "bzr selftest -E=..." option
 
2514
selftest_debug_flags = set()
 
2515
 
 
2516
 
 
2517
def selftest(verbose=False, pattern=".*", stop_on_failure=True,
 
2518
             transport=None,
 
2519
             test_suite_factory=None,
 
2520
             lsprof_timed=None,
 
2521
             bench_history=None,
 
2522
             matching_tests_first=None,
 
2523
             list_only=False,
 
2524
             random_seed=None,
 
2525
             exclude_pattern=None,
 
2526
             strict=False,
 
2527
             load_list=None,
 
2528
             debug_flags=None,
 
2529
             starting_with=None,
 
2530
             ):
 
2531
    """Run the whole test suite under the enhanced runner"""
 
2532
    # XXX: Very ugly way to do this...
 
2533
    # Disable warning about old formats because we don't want it to disturb
 
2534
    # any blackbox tests.
 
2535
    from bzrlib import repository
 
2536
    repository._deprecation_warning_done = True
 
2537
 
 
2538
    global default_transport
 
2539
    if transport is None:
 
2540
        transport = default_transport
 
2541
    old_transport = default_transport
 
2542
    default_transport = transport
 
2543
    global selftest_debug_flags
 
2544
    old_debug_flags = selftest_debug_flags
 
2545
    if debug_flags is not None:
 
2546
        selftest_debug_flags = set(debug_flags)
 
2547
    try:
 
2548
        if load_list is None:
 
2549
            keep_only = None
 
2550
        else:
 
2551
            keep_only = load_test_id_list(load_list)
 
2552
        if test_suite_factory is None:
 
2553
            suite = test_suite(keep_only, starting_with)
 
2554
        else:
 
2555
            suite = test_suite_factory()
 
2556
        return run_suite(suite, 'testbzr', verbose=verbose, pattern=pattern,
 
2557
                     stop_on_failure=stop_on_failure,
 
2558
                     transport=transport,
 
2559
                     lsprof_timed=lsprof_timed,
 
2560
                     bench_history=bench_history,
 
2561
                     matching_tests_first=matching_tests_first,
 
2562
                     list_only=list_only,
 
2563
                     random_seed=random_seed,
 
2564
                     exclude_pattern=exclude_pattern,
 
2565
                     strict=strict)
 
2566
    finally:
 
2567
        default_transport = old_transport
 
2568
        selftest_debug_flags = old_debug_flags
 
2569
 
 
2570
 
 
2571
def load_test_id_list(file_name):
 
2572
    """Load a test id list from a text file.
 
2573
 
 
2574
    The format is one test id by line.  No special care is taken to impose
 
2575
    strict rules, these test ids are used to filter the test suite so a test id
 
2576
    that do not match an existing test will do no harm. This allows user to add
 
2577
    comments, leave blank lines, etc.
 
2578
    """
 
2579
    test_list = []
 
2580
    try:
 
2581
        ftest = open(file_name, 'rt')
 
2582
    except IOError, e:
 
2583
        if e.errno != errno.ENOENT:
 
2584
            raise
 
2585
        else:
 
2586
            raise errors.NoSuchFile(file_name)
 
2587
 
 
2588
    for test_name in ftest.readlines():
 
2589
        test_list.append(test_name.strip())
 
2590
    ftest.close()
 
2591
    return test_list
 
2592
 
 
2593
 
 
2594
def suite_matches_id_list(test_suite, id_list):
 
2595
    """Warns about tests not appearing or appearing more than once.
 
2596
 
 
2597
    :param test_suite: A TestSuite object.
 
2598
    :param test_id_list: The list of test ids that should be found in 
 
2599
         test_suite.
 
2600
 
 
2601
    :return: (absents, duplicates) absents is a list containing the test found
 
2602
        in id_list but not in test_suite, duplicates is a list containing the
 
2603
        test found multiple times in test_suite.
 
2604
 
 
2605
    When using a prefined test id list, it may occurs that some tests do not
 
2606
    exist anymore or that some tests use the same id. This function warns the
 
2607
    tester about potential problems in his workflow (test lists are volatile)
 
2608
    or in the test suite itself (using the same id for several tests does not
 
2609
    help to localize defects).
 
2610
    """
 
2611
    # Build a dict counting id occurrences
 
2612
    tests = dict()
 
2613
    for test in iter_suite_tests(test_suite):
 
2614
        id = test.id()
 
2615
        tests[id] = tests.get(id, 0) + 1
 
2616
 
 
2617
    not_found = []
 
2618
    duplicates = []
 
2619
    for id in id_list:
 
2620
        occurs = tests.get(id, 0)
 
2621
        if not occurs:
 
2622
            not_found.append(id)
 
2623
        elif occurs > 1:
 
2624
            duplicates.append(id)
 
2625
 
 
2626
    return not_found, duplicates
 
2627
 
 
2628
 
 
2629
class TestIdList(object):
 
2630
    """Test id list to filter a test suite.
 
2631
 
 
2632
    Relying on the assumption that test ids are built as:
 
2633
    <module>[.<class>.<method>][(<param>+)], <module> being in python dotted
 
2634
    notation, this class offers methods to :
 
2635
    - avoid building a test suite for modules not refered to in the test list,
 
2636
    - keep only the tests listed from the module test suite.
 
2637
    """
 
2638
 
 
2639
    def __init__(self, test_id_list):
 
2640
        # When a test suite needs to be filtered against us we compare test ids
 
2641
        # for equality, so a simple dict offers a quick and simple solution.
 
2642
        self.tests = dict().fromkeys(test_id_list, True)
 
2643
 
 
2644
        # While unittest.TestCase have ids like:
 
2645
        # <module>.<class>.<method>[(<param+)],
 
2646
        # doctest.DocTestCase can have ids like:
 
2647
        # <module>
 
2648
        # <module>.<class>
 
2649
        # <module>.<function>
 
2650
        # <module>.<class>.<method>
 
2651
 
 
2652
        # Since we can't predict a test class from its name only, we settle on
 
2653
        # a simple constraint: a test id always begins with its module name.
 
2654
 
 
2655
        modules = {}
 
2656
        for test_id in test_id_list:
 
2657
            parts = test_id.split('.')
 
2658
            mod_name = parts.pop(0)
 
2659
            modules[mod_name] = True
 
2660
            for part in parts:
 
2661
                mod_name += '.' + part
 
2662
                modules[mod_name] = True
 
2663
        self.modules = modules
 
2664
 
 
2665
    def refers_to(self, module_name):
 
2666
        """Is there tests for the module or one of its sub modules."""
 
2667
        return self.modules.has_key(module_name)
 
2668
 
 
2669
    def includes(self, test_id):
 
2670
        return self.tests.has_key(test_id)
 
2671
 
 
2672
 
 
2673
def test_suite(keep_only=None, starting_with=None):
 
2674
    """Build and return TestSuite for the whole of bzrlib.
 
2675
 
 
2676
    :param keep_only: A list of test ids limiting the suite returned.
 
2677
 
 
2678
    :param starting_with: An id limiting the suite returned to the tests
 
2679
         starting with it.
 
2680
 
 
2681
    This function can be replaced if you need to change the default test
 
2682
    suite on a global basis, but it is not encouraged.
 
2683
    """
 
2684
    testmod_names = [
 
2685
                   'bzrlib.doc',
 
2686
                   'bzrlib.util.tests.test_bencode',
 
2687
                   'bzrlib.tests.blackbox',
 
2688
                   'bzrlib.tests.branch_implementations',
 
2689
                   'bzrlib.tests.bzrdir_implementations',
 
2690
                   'bzrlib.tests.commands',
 
2691
                   'bzrlib.tests.inventory_implementations',
 
2692
                   'bzrlib.tests.interrepository_implementations',
 
2693
                   'bzrlib.tests.intertree_implementations',
 
2694
                   'bzrlib.tests.per_lock',
 
2695
                   'bzrlib.tests.repository_implementations',
 
2696
                   'bzrlib.tests.test__dirstate_helpers',
 
2697
                   'bzrlib.tests.test_ancestry',
 
2698
                   'bzrlib.tests.test_annotate',
 
2699
                   'bzrlib.tests.test_api',
 
2700
                   'bzrlib.tests.test_atomicfile',
 
2701
                   'bzrlib.tests.test_bad_files',
 
2702
                   'bzrlib.tests.test_bisect_multi',
 
2703
                   'bzrlib.tests.test_branch',
 
2704
                   'bzrlib.tests.test_branchbuilder',
 
2705
                   'bzrlib.tests.test_bugtracker',
 
2706
                   'bzrlib.tests.test_bundle',
 
2707
                   'bzrlib.tests.test_bzrdir',
 
2708
                   'bzrlib.tests.test_cache_utf8',
 
2709
                   'bzrlib.tests.test_commands',
 
2710
                   'bzrlib.tests.test_commit',
 
2711
                   'bzrlib.tests.test_commit_merge',
 
2712
                   'bzrlib.tests.test_config',
 
2713
                   'bzrlib.tests.test_conflicts',
 
2714
                   'bzrlib.tests.test_counted_lock',
 
2715
                   'bzrlib.tests.test_decorators',
 
2716
                   'bzrlib.tests.test_delta',
 
2717
                   'bzrlib.tests.test_deprecated_graph',
 
2718
                   'bzrlib.tests.test_diff',
 
2719
                   'bzrlib.tests.test_dirstate',
 
2720
                   'bzrlib.tests.test_directory_service',
 
2721
                   'bzrlib.tests.test_email_message',
 
2722
                   'bzrlib.tests.test_errors',
 
2723
                   'bzrlib.tests.test_extract',
 
2724
                   'bzrlib.tests.test_fetch',
 
2725
                   'bzrlib.tests.test_ftp_transport',
 
2726
                   'bzrlib.tests.test_generate_docs',
 
2727
                   'bzrlib.tests.test_generate_ids',
 
2728
                   'bzrlib.tests.test_globbing',
 
2729
                   'bzrlib.tests.test_gpg',
 
2730
                   'bzrlib.tests.test_graph',
 
2731
                   'bzrlib.tests.test_hashcache',
 
2732
                   'bzrlib.tests.test_help',
 
2733
                   'bzrlib.tests.test_hooks',
 
2734
                   'bzrlib.tests.test_http',
 
2735
                   'bzrlib.tests.test_http_implementations',
 
2736
                   'bzrlib.tests.test_http_response',
 
2737
                   'bzrlib.tests.test_https_ca_bundle',
 
2738
                   'bzrlib.tests.test_identitymap',
 
2739
                   'bzrlib.tests.test_ignores',
 
2740
                   'bzrlib.tests.test_index',
 
2741
                   'bzrlib.tests.test_info',
 
2742
                   'bzrlib.tests.test_inv',
 
2743
                   'bzrlib.tests.test_knit',
 
2744
                   'bzrlib.tests.test_lazy_import',
 
2745
                   'bzrlib.tests.test_lazy_regex',
 
2746
                   'bzrlib.tests.test_lockdir',
 
2747
                   'bzrlib.tests.test_lockable_files',
 
2748
                   'bzrlib.tests.test_log',
 
2749
                   'bzrlib.tests.test_lsprof',
 
2750
                   'bzrlib.tests.test_lru_cache',
 
2751
                   'bzrlib.tests.test_mail_client',
 
2752
                   'bzrlib.tests.test_memorytree',
 
2753
                   'bzrlib.tests.test_merge',
 
2754
                   'bzrlib.tests.test_merge3',
 
2755
                   'bzrlib.tests.test_merge_core',
 
2756
                   'bzrlib.tests.test_merge_directive',
 
2757
                   'bzrlib.tests.test_missing',
 
2758
                   'bzrlib.tests.test_msgeditor',
 
2759
                   'bzrlib.tests.test_multiparent',
 
2760
                   'bzrlib.tests.test_mutabletree',
 
2761
                   'bzrlib.tests.test_nonascii',
 
2762
                   'bzrlib.tests.test_options',
 
2763
                   'bzrlib.tests.test_osutils',
 
2764
                   'bzrlib.tests.test_osutils_encodings',
 
2765
                   'bzrlib.tests.test_pack',
 
2766
                   'bzrlib.tests.test_pack_repository',
 
2767
                   'bzrlib.tests.test_patch',
 
2768
                   'bzrlib.tests.test_patches',
 
2769
                   'bzrlib.tests.test_permissions',
 
2770
                   'bzrlib.tests.test_plugins',
 
2771
                   'bzrlib.tests.test_progress',
 
2772
                   'bzrlib.tests.test_read_bundle',
 
2773
                   'bzrlib.tests.test_reconfigure',
 
2774
                   'bzrlib.tests.test_reconcile',
 
2775
                   'bzrlib.tests.test_registry',
 
2776
                   'bzrlib.tests.test_remote',
 
2777
                   'bzrlib.tests.test_repository',
 
2778
                   'bzrlib.tests.per_repository_reference',
 
2779
                   'bzrlib.tests.test_revert',
 
2780
                   'bzrlib.tests.test_revision',
 
2781
                   'bzrlib.tests.test_revisionspec',
 
2782
                   'bzrlib.tests.test_revisiontree',
 
2783
                   'bzrlib.tests.test_rio',
 
2784
                   'bzrlib.tests.test_rules',
 
2785
                   'bzrlib.tests.test_sampler',
 
2786
                   'bzrlib.tests.test_selftest',
 
2787
                   'bzrlib.tests.test_setup',
 
2788
                   'bzrlib.tests.test_sftp_transport',
 
2789
                   'bzrlib.tests.test_smart',
 
2790
                   'bzrlib.tests.test_smart_add',
 
2791
                   'bzrlib.tests.test_smart_transport',
 
2792
                   'bzrlib.tests.test_smtp_connection',
 
2793
                   'bzrlib.tests.test_source',
 
2794
                   'bzrlib.tests.test_ssh_transport',
 
2795
                   'bzrlib.tests.test_status',
 
2796
                   'bzrlib.tests.test_store',
 
2797
                   'bzrlib.tests.test_strace',
 
2798
                   'bzrlib.tests.test_subsume',
 
2799
                   'bzrlib.tests.test_switch',
 
2800
                   'bzrlib.tests.test_symbol_versioning',
 
2801
                   'bzrlib.tests.test_tag',
 
2802
                   'bzrlib.tests.test_testament',
 
2803
                   'bzrlib.tests.test_textfile',
 
2804
                   'bzrlib.tests.test_textmerge',
 
2805
                   'bzrlib.tests.test_timestamp',
 
2806
                   'bzrlib.tests.test_trace',
 
2807
                   'bzrlib.tests.test_transactions',
 
2808
                   'bzrlib.tests.test_transform',
 
2809
                   'bzrlib.tests.test_transport',
 
2810
                   'bzrlib.tests.test_transport_implementations',
 
2811
                   'bzrlib.tests.test_tree',
 
2812
                   'bzrlib.tests.test_treebuilder',
 
2813
                   'bzrlib.tests.test_tsort',
 
2814
                   'bzrlib.tests.test_tuned_gzip',
 
2815
                   'bzrlib.tests.test_ui',
 
2816
                   'bzrlib.tests.test_uncommit',
 
2817
                   'bzrlib.tests.test_upgrade',
 
2818
                   'bzrlib.tests.test_upgrade_stacked',
 
2819
                   'bzrlib.tests.test_urlutils',
 
2820
                   'bzrlib.tests.test_versionedfile',
 
2821
                   'bzrlib.tests.test_version',
 
2822
                   'bzrlib.tests.test_version_info',
 
2823
                   'bzrlib.tests.test__walkdirs_win32',
 
2824
                   'bzrlib.tests.test_weave',
 
2825
                   'bzrlib.tests.test_whitebox',
 
2826
                   'bzrlib.tests.test_win32utils',
 
2827
                   'bzrlib.tests.test_workingtree',
 
2828
                   'bzrlib.tests.test_workingtree_4',
 
2829
                   'bzrlib.tests.test_wsgi',
 
2830
                   'bzrlib.tests.test_xml',
 
2831
                   'bzrlib.tests.tree_implementations',
 
2832
                   'bzrlib.tests.workingtree_implementations',
 
2833
                   ]
 
2834
 
 
2835
    loader = TestUtil.TestLoader()
 
2836
 
 
2837
    if starting_with is not None:
 
2838
        # We take precedence over keep_only because *at loading time* using
 
2839
        # both options means we will load less tests for the same final result.
 
2840
        def interesting_module(name):
 
2841
            return (
 
2842
                # Either the module name starts with the specified string
 
2843
                name.startswith(starting_with)
 
2844
                # or it may contain tests starting with the specified string
 
2845
                or starting_with.startswith(name)
 
2846
                )
 
2847
        loader = TestUtil.FilteredByModuleTestLoader(interesting_module)
 
2848
 
 
2849
    elif keep_only is not None:
 
2850
        id_filter = TestIdList(keep_only)
 
2851
        loader = TestUtil.FilteredByModuleTestLoader(id_filter.refers_to)
 
2852
        def interesting_module(name):
 
2853
            return id_filter.refers_to(name)
 
2854
 
 
2855
    else:
 
2856
        loader = TestUtil.TestLoader()
 
2857
        def interesting_module(name):
 
2858
            # No filtering, all modules are interesting
 
2859
            return True
 
2860
 
 
2861
    suite = loader.suiteClass()
 
2862
 
 
2863
    # modules building their suite with loadTestsFromModuleNames
 
2864
    suite.addTest(loader.loadTestsFromModuleNames(testmod_names))
 
2865
 
 
2866
    modules_to_doctest = [
 
2867
        'bzrlib',
 
2868
        'bzrlib.errors',
 
2869
        'bzrlib.export',
 
2870
        'bzrlib.inventory',
 
2871
        'bzrlib.iterablefile',
 
2872
        'bzrlib.lockdir',
 
2873
        'bzrlib.merge3',
 
2874
        'bzrlib.option',
 
2875
        'bzrlib.store',
 
2876
        'bzrlib.symbol_versioning',
 
2877
        'bzrlib.tests',
 
2878
        'bzrlib.timestamp',
 
2879
        'bzrlib.version_info_formats.format_custom',
 
2880
        ]
 
2881
 
 
2882
    for mod in modules_to_doctest:
 
2883
        if not interesting_module(mod):
 
2884
            # No tests to keep here, move along
 
2885
            continue
 
2886
        try:
 
2887
            doc_suite = doctest.DocTestSuite(mod)
 
2888
        except ValueError, e:
 
2889
            print '**failed to get doctest for: %s\n%s' % (mod, e)
 
2890
            raise
 
2891
        suite.addTest(doc_suite)
 
2892
 
 
2893
    default_encoding = sys.getdefaultencoding()
 
2894
    for name, plugin in bzrlib.plugin.plugins().items():
 
2895
        if not interesting_module(plugin.module.__name__):
 
2896
            continue
 
2897
        plugin_suite = plugin.test_suite()
 
2898
        # We used to catch ImportError here and turn it into just a warning,
 
2899
        # but really if you don't have --no-plugins this should be a failure.
 
2900
        # mbp 20080213 - see http://bugs.launchpad.net/bugs/189771
 
2901
        if plugin_suite is None:
 
2902
            plugin_suite = plugin.load_plugin_tests(loader)
 
2903
        if plugin_suite is not None:
 
2904
            suite.addTest(plugin_suite)
 
2905
        if default_encoding != sys.getdefaultencoding():
 
2906
            bzrlib.trace.warning(
 
2907
                'Plugin "%s" tried to reset default encoding to: %s', name,
 
2908
                sys.getdefaultencoding())
 
2909
            reload(sys)
 
2910
            sys.setdefaultencoding(default_encoding)
 
2911
 
 
2912
    if starting_with is not None:
 
2913
        suite = filter_suite_by_id_startswith(suite, starting_with)
 
2914
 
 
2915
    if keep_only is not None:
 
2916
        # Now that the referred modules have loaded their tests, keep only the
 
2917
        # requested ones.
 
2918
        suite = filter_suite_by_id_list(suite, id_filter)
 
2919
        # Do some sanity checks on the id_list filtering
 
2920
        not_found, duplicates = suite_matches_id_list(suite, keep_only)
 
2921
        if starting_with is not None:
 
2922
            # The tester has used both keep_only and starting_with, so he is
 
2923
            # already aware that some tests are excluded from the list, there
 
2924
            # is no need to tell him which.
 
2925
            pass
 
2926
        else:
 
2927
            # Some tests mentioned in the list are not in the test suite. The
 
2928
            # list may be out of date, report to the tester.
 
2929
            for id in not_found:
 
2930
                bzrlib.trace.warning('"%s" not found in the test suite', id)
 
2931
        for id in duplicates:
 
2932
            bzrlib.trace.warning('"%s" is used as an id by several tests', id)
 
2933
 
 
2934
    return suite
 
2935
 
 
2936
 
 
2937
def multiply_tests_from_modules(module_name_list, scenario_iter, loader=None):
 
2938
    """Adapt all tests in some given modules to given scenarios.
 
2939
 
 
2940
    This is the recommended public interface for test parameterization.
 
2941
    Typically the test_suite() method for a per-implementation test
 
2942
    suite will call multiply_tests_from_modules and return the 
 
2943
    result.
 
2944
 
 
2945
    :param module_name_list: List of fully-qualified names of test
 
2946
        modules.
 
2947
    :param scenario_iter: Iterable of pairs of (scenario_name, 
 
2948
        scenario_param_dict).
 
2949
    :param loader: If provided, will be used instead of a new 
 
2950
        bzrlib.tests.TestLoader() instance.
 
2951
 
 
2952
    This returns a new TestSuite containing the cross product of
 
2953
    all the tests in all the modules, each repeated for each scenario.
 
2954
    Each test is adapted by adding the scenario name at the end 
 
2955
    of its name, and updating the test object's __dict__ with the
 
2956
    scenario_param_dict.
 
2957
 
 
2958
    >>> r = multiply_tests_from_modules(
 
2959
    ...     ['bzrlib.tests.test_sampler'],
 
2960
    ...     [('one', dict(param=1)), 
 
2961
    ...      ('two', dict(param=2))])
 
2962
    >>> tests = list(iter_suite_tests(r))
 
2963
    >>> len(tests)
 
2964
    2
 
2965
    >>> tests[0].id()
 
2966
    'bzrlib.tests.test_sampler.DemoTest.test_nothing(one)'
 
2967
    >>> tests[0].param
 
2968
    1
 
2969
    >>> tests[1].param
 
2970
    2
 
2971
    """
 
2972
    # XXX: Isn't load_tests() a better way to provide the same functionality
 
2973
    # without forcing a predefined TestScenarioApplier ? --vila 080215
 
2974
    if loader is None:
 
2975
        loader = TestUtil.TestLoader()
 
2976
 
 
2977
    suite = loader.suiteClass()
 
2978
 
 
2979
    adapter = TestScenarioApplier()
 
2980
    adapter.scenarios = list(scenario_iter)
 
2981
    adapt_modules(module_name_list, adapter, loader, suite)
 
2982
    return suite
 
2983
 
 
2984
 
 
2985
def multiply_scenarios(scenarios_left, scenarios_right):
 
2986
    """Multiply two sets of scenarios.
 
2987
 
 
2988
    :returns: the cartesian product of the two sets of scenarios, that is
 
2989
        a scenario for every possible combination of a left scenario and a
 
2990
        right scenario.
 
2991
    """
 
2992
    return [
 
2993
        ('%s,%s' % (left_name, right_name),
 
2994
         dict(left_dict.items() + right_dict.items()))
 
2995
        for left_name, left_dict in scenarios_left
 
2996
        for right_name, right_dict in scenarios_right]
 
2997
 
 
2998
 
 
2999
 
 
3000
def adapt_modules(mods_list, adapter, loader, suite):
 
3001
    """Adapt the modules in mods_list using adapter and add to suite."""
 
3002
    tests = loader.loadTestsFromModuleNames(mods_list)
 
3003
    adapt_tests(tests, adapter, suite)
 
3004
 
 
3005
 
 
3006
def adapt_tests(tests_list, adapter, suite):
 
3007
    """Adapt the tests in tests_list using adapter and add to suite."""
 
3008
    for test in iter_suite_tests(tests_list):
 
3009
        suite.addTests(adapter.adapt(test))
 
3010
 
 
3011
 
 
3012
def _rmtree_temp_dir(dirname):
 
3013
    # If LANG=C we probably have created some bogus paths
 
3014
    # which rmtree(unicode) will fail to delete
 
3015
    # so make sure we are using rmtree(str) to delete everything
 
3016
    # except on win32, where rmtree(str) will fail
 
3017
    # since it doesn't have the property of byte-stream paths
 
3018
    # (they are either ascii or mbcs)
 
3019
    if sys.platform == 'win32':
 
3020
        # make sure we are using the unicode win32 api
 
3021
        dirname = unicode(dirname)
 
3022
    else:
 
3023
        dirname = dirname.encode(sys.getfilesystemencoding())
 
3024
    try:
 
3025
        osutils.rmtree(dirname)
 
3026
    except OSError, e:
 
3027
        if sys.platform == 'win32' and e.errno == errno.EACCES:
 
3028
            sys.stderr.write(('Permission denied: '
 
3029
                                 'unable to remove testing dir '
 
3030
                                 '%s\n' % os.path.basename(dirname)))
 
3031
        else:
 
3032
            raise
 
3033
 
 
3034
 
 
3035
class Feature(object):
 
3036
    """An operating system Feature."""
 
3037
 
 
3038
    def __init__(self):
 
3039
        self._available = None
 
3040
 
 
3041
    def available(self):
 
3042
        """Is the feature available?
 
3043
 
 
3044
        :return: True if the feature is available.
 
3045
        """
 
3046
        if self._available is None:
 
3047
            self._available = self._probe()
 
3048
        return self._available
 
3049
 
 
3050
    def _probe(self):
 
3051
        """Implement this method in concrete features.
 
3052
 
 
3053
        :return: True if the feature is available.
 
3054
        """
 
3055
        raise NotImplementedError
 
3056
 
 
3057
    def __str__(self):
 
3058
        if getattr(self, 'feature_name', None):
 
3059
            return self.feature_name()
 
3060
        return self.__class__.__name__
 
3061
 
 
3062
 
 
3063
class _SymlinkFeature(Feature):
 
3064
 
 
3065
    def _probe(self):
 
3066
        return osutils.has_symlinks()
 
3067
 
 
3068
    def feature_name(self):
 
3069
        return 'symlinks'
 
3070
 
 
3071
SymlinkFeature = _SymlinkFeature()
 
3072
 
 
3073
 
 
3074
class _HardlinkFeature(Feature):
 
3075
 
 
3076
    def _probe(self):
 
3077
        return osutils.has_hardlinks()
 
3078
 
 
3079
    def feature_name(self):
 
3080
        return 'hardlinks'
 
3081
 
 
3082
HardlinkFeature = _HardlinkFeature()
 
3083
 
 
3084
 
 
3085
class _OsFifoFeature(Feature):
 
3086
 
 
3087
    def _probe(self):
 
3088
        return getattr(os, 'mkfifo', None)
 
3089
 
 
3090
    def feature_name(self):
 
3091
        return 'filesystem fifos'
 
3092
 
 
3093
OsFifoFeature = _OsFifoFeature()
 
3094
 
 
3095
 
 
3096
class _UnicodeFilenameFeature(Feature):
 
3097
    """Does the filesystem support Unicode filenames?"""
 
3098
 
 
3099
    def _probe(self):
 
3100
        try:
 
3101
            # Check for character combinations unlikely to be covered by any
 
3102
            # single non-unicode encoding. We use the characters
 
3103
            # - greek small letter alpha (U+03B1) and
 
3104
            # - braille pattern dots-123456 (U+283F).
 
3105
            os.stat(u'\u03b1\u283f')
 
3106
        except UnicodeEncodeError:
 
3107
            return False
 
3108
        except (IOError, OSError):
 
3109
            # The filesystem allows the Unicode filename but the file doesn't
 
3110
            # exist.
 
3111
            return True
 
3112
        else:
 
3113
            # The filesystem allows the Unicode filename and the file exists,
 
3114
            # for some reason.
 
3115
            return True
 
3116
 
 
3117
UnicodeFilenameFeature = _UnicodeFilenameFeature()
 
3118
 
 
3119
 
 
3120
class TestScenarioApplier(object):
 
3121
    """A tool to apply scenarios to tests."""
 
3122
 
 
3123
    def adapt(self, test):
 
3124
        """Return a TestSuite containing a copy of test for each scenario."""
 
3125
        result = unittest.TestSuite()
 
3126
        for scenario in self.scenarios:
 
3127
            result.addTest(self.adapt_test_to_scenario(test, scenario))
 
3128
        return result
 
3129
 
 
3130
    def adapt_test_to_scenario(self, test, scenario):
 
3131
        """Copy test and apply scenario to it.
 
3132
 
 
3133
        :param test: A test to adapt.
 
3134
        :param scenario: A tuple describing the scenarion.
 
3135
            The first element of the tuple is the new test id.
 
3136
            The second element is a dict containing attributes to set on the
 
3137
            test.
 
3138
        :return: The adapted test.
 
3139
        """
 
3140
        from copy import deepcopy
 
3141
        new_test = deepcopy(test)
 
3142
        for name, value in scenario[1].items():
 
3143
            setattr(new_test, name, value)
 
3144
        new_id = "%s(%s)" % (new_test.id(), scenario[0])
 
3145
        new_test.id = lambda: new_id
 
3146
        return new_test
 
3147
 
 
3148
 
 
3149
def probe_unicode_in_user_encoding():
 
3150
    """Try to encode several unicode strings to use in unicode-aware tests.
 
3151
    Return first successfull match.
 
3152
 
 
3153
    :return:  (unicode value, encoded plain string value) or (None, None)
 
3154
    """
 
3155
    possible_vals = [u'm\xb5', u'\xe1', u'\u0410']
 
3156
    for uni_val in possible_vals:
 
3157
        try:
 
3158
            str_val = uni_val.encode(bzrlib.user_encoding)
 
3159
        except UnicodeEncodeError:
 
3160
            # Try a different character
 
3161
            pass
 
3162
        else:
 
3163
            return uni_val, str_val
 
3164
    return None, None
 
3165
 
 
3166
 
 
3167
def probe_bad_non_ascii(encoding):
 
3168
    """Try to find [bad] character with code [128..255]
 
3169
    that cannot be decoded to unicode in some encoding.
 
3170
    Return None if all non-ascii characters is valid
 
3171
    for given encoding.
 
3172
    """
 
3173
    for i in xrange(128, 256):
 
3174
        char = chr(i)
 
3175
        try:
 
3176
            char.decode(encoding)
 
3177
        except UnicodeDecodeError:
 
3178
            return char
 
3179
    return None
 
3180
 
 
3181
 
 
3182
class _FTPServerFeature(Feature):
 
3183
    """Some tests want an FTP Server, check if one is available.
 
3184
 
 
3185
    Right now, the only way this is available is if 'medusa' is installed.
 
3186
    http://www.amk.ca/python/code/medusa.html
 
3187
    """
 
3188
 
 
3189
    def _probe(self):
 
3190
        try:
 
3191
            import bzrlib.tests.ftp_server
 
3192
            return True
 
3193
        except ImportError:
 
3194
            return False
 
3195
 
 
3196
    def feature_name(self):
 
3197
        return 'FTPServer'
 
3198
 
 
3199
FTPServerFeature = _FTPServerFeature()
 
3200
 
 
3201
 
 
3202
class _UnicodeFilename(Feature):
 
3203
    """Does the filesystem support Unicode filenames?"""
 
3204
 
 
3205
    def _probe(self):
 
3206
        try:
 
3207
            os.stat(u'\u03b1')
 
3208
        except UnicodeEncodeError:
 
3209
            return False
 
3210
        except (IOError, OSError):
 
3211
            # The filesystem allows the Unicode filename but the file doesn't
 
3212
            # exist.
 
3213
            return True
 
3214
        else:
 
3215
            # The filesystem allows the Unicode filename and the file exists,
 
3216
            # for some reason.
 
3217
            return True
 
3218
 
 
3219
UnicodeFilename = _UnicodeFilename()
 
3220
 
 
3221
 
 
3222
class _UTF8Filesystem(Feature):
 
3223
    """Is the filesystem UTF-8?"""
 
3224
 
 
3225
    def _probe(self):
 
3226
        if osutils._fs_enc.upper() in ('UTF-8', 'UTF8'):
 
3227
            return True
 
3228
        return False
 
3229
 
 
3230
UTF8Filesystem = _UTF8Filesystem()
 
3231
 
 
3232
 
 
3233
class _CaseInsensitiveFilesystemFeature(Feature):
 
3234
    """Check if underlined filesystem is case-insensitive
 
3235
    (e.g. on Windows, Cygwin, MacOS)
 
3236
    """
 
3237
 
 
3238
    def _probe(self):
 
3239
        if TestCaseWithMemoryTransport.TEST_ROOT is None:
 
3240
            root = osutils.mkdtemp(prefix='testbzr-', suffix='.tmp')
 
3241
            TestCaseWithMemoryTransport.TEST_ROOT = root
 
3242
        else:
 
3243
            root = TestCaseWithMemoryTransport.TEST_ROOT
 
3244
        tdir = osutils.mkdtemp(prefix='case-sensitive-probe-', suffix='',
 
3245
            dir=root)
 
3246
        name_a = osutils.pathjoin(tdir, 'a')
 
3247
        name_A = osutils.pathjoin(tdir, 'A')
 
3248
        os.mkdir(name_a)
 
3249
        result = osutils.isdir(name_A)
 
3250
        _rmtree_temp_dir(tdir)
 
3251
        return result
 
3252
 
 
3253
    def feature_name(self):
 
3254
        return 'case-insensitive filesystem'
 
3255
 
 
3256
CaseInsensitiveFilesystemFeature = _CaseInsensitiveFilesystemFeature()