/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/tests/__init__.py

  • Committer: Robert Collins
  • Date: 2007-07-20 03:20:20 UTC
  • mfrom: (2592 +trunk)
  • mto: This revision was merged to the branch mainline in revision 2635.
  • Revision ID: robertc@robertcollins.net-20070720032020-xiftpb5gqeebo861
(robertc) Reinstate the accidentally backed out external_url patch.

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005, 2006, 2007 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
 
 
18
# TODO: Perhaps there should be an API to find out if bzr running under the
 
19
# test suite -- some plugins might want to avoid making intrusive changes if
 
20
# this is the case.  However, we want behaviour under to test to diverge as
 
21
# little as possible, so this should be used rarely if it's added at all.
 
22
# (Suggestion from j-a-meinel, 2005-11-24)
 
23
 
 
24
# NOTE: Some classes in here use camelCaseNaming() rather than
 
25
# underscore_naming().  That's for consistency with unittest; it's not the
 
26
# general style of bzrlib.  Please continue that consistency when adding e.g.
 
27
# new assertFoo() methods.
 
28
 
 
29
import atexit
 
30
import codecs
 
31
from cStringIO import StringIO
 
32
import difflib
 
33
import doctest
 
34
import errno
 
35
import logging
 
36
import os
 
37
from pprint import pformat
 
38
import random
 
39
import re
 
40
import shlex
 
41
import stat
 
42
from subprocess import Popen, PIPE
 
43
import sys
 
44
import tempfile
 
45
import unittest
 
46
import time
 
47
import warnings
 
48
 
 
49
 
 
50
from bzrlib import (
 
51
    bzrdir,
 
52
    debug,
 
53
    errors,
 
54
    memorytree,
 
55
    osutils,
 
56
    progress,
 
57
    ui,
 
58
    urlutils,
 
59
    workingtree,
 
60
    )
 
61
import bzrlib.branch
 
62
import bzrlib.commands
 
63
import bzrlib.timestamp
 
64
import bzrlib.export
 
65
import bzrlib.inventory
 
66
import bzrlib.iterablefile
 
67
import bzrlib.lockdir
 
68
try:
 
69
    import bzrlib.lsprof
 
70
except ImportError:
 
71
    # lsprof not available
 
72
    pass
 
73
from bzrlib.merge import merge_inner
 
74
import bzrlib.merge3
 
75
import bzrlib.osutils
 
76
import bzrlib.plugin
 
77
from bzrlib.revision import common_ancestor
 
78
import bzrlib.store
 
79
from bzrlib import symbol_versioning
 
80
from bzrlib.symbol_versioning import (
 
81
    deprecated_method,
 
82
    zero_eighteen,
 
83
    )
 
84
import bzrlib.trace
 
85
from bzrlib.transport import get_transport
 
86
import bzrlib.transport
 
87
from bzrlib.transport.local import LocalURLServer
 
88
from bzrlib.transport.memory import MemoryServer
 
89
from bzrlib.transport.readonly import ReadonlyServer
 
90
from bzrlib.trace import mutter, note
 
91
from bzrlib.tests import TestUtil
 
92
from bzrlib.tests.HttpServer import HttpServer
 
93
from bzrlib.tests.TestUtil import (
 
94
                          TestSuite,
 
95
                          TestLoader,
 
96
                          )
 
97
from bzrlib.tests.treeshape import build_tree_contents
 
98
from bzrlib.workingtree import WorkingTree, WorkingTreeFormat2
 
99
 
 
100
# Mark this python module as being part of the implementation
 
101
# of unittest: this gives us better tracebacks where the last
 
102
# shown frame is the test code, not our assertXYZ.
 
103
__unittest = 1
 
104
 
 
105
default_transport = LocalURLServer
 
106
 
 
107
MODULES_TO_TEST = []
 
108
MODULES_TO_DOCTEST = [
 
109
                      bzrlib.timestamp,
 
110
                      bzrlib.errors,
 
111
                      bzrlib.export,
 
112
                      bzrlib.inventory,
 
113
                      bzrlib.iterablefile,
 
114
                      bzrlib.lockdir,
 
115
                      bzrlib.merge3,
 
116
                      bzrlib.option,
 
117
                      bzrlib.store,
 
118
                      ]
 
119
 
 
120
 
 
121
def packages_to_test():
 
122
    """Return a list of packages to test.
 
123
 
 
124
    The packages are not globally imported so that import failures are
 
125
    triggered when running selftest, not when importing the command.
 
126
    """
 
127
    import bzrlib.doc
 
128
    import bzrlib.tests.blackbox
 
129
    import bzrlib.tests.branch_implementations
 
130
    import bzrlib.tests.bzrdir_implementations
 
131
    import bzrlib.tests.interrepository_implementations
 
132
    import bzrlib.tests.interversionedfile_implementations
 
133
    import bzrlib.tests.intertree_implementations
 
134
    import bzrlib.tests.per_lock
 
135
    import bzrlib.tests.repository_implementations
 
136
    import bzrlib.tests.revisionstore_implementations
 
137
    import bzrlib.tests.tree_implementations
 
138
    import bzrlib.tests.workingtree_implementations
 
139
    return [
 
140
            bzrlib.doc,
 
141
            bzrlib.tests.blackbox,
 
142
            bzrlib.tests.branch_implementations,
 
143
            bzrlib.tests.bzrdir_implementations,
 
144
            bzrlib.tests.interrepository_implementations,
 
145
            bzrlib.tests.interversionedfile_implementations,
 
146
            bzrlib.tests.intertree_implementations,
 
147
            bzrlib.tests.per_lock,
 
148
            bzrlib.tests.repository_implementations,
 
149
            bzrlib.tests.revisionstore_implementations,
 
150
            bzrlib.tests.tree_implementations,
 
151
            bzrlib.tests.workingtree_implementations,
 
152
            ]
 
153
 
 
154
 
 
155
class ExtendedTestResult(unittest._TextTestResult):
 
156
    """Accepts, reports and accumulates the results of running tests.
 
157
 
 
158
    Compared to this unittest version this class adds support for profiling,
 
159
    benchmarking, stopping as soon as a test fails,  and skipping tests.
 
160
    There are further-specialized subclasses for different types of display.
 
161
    """
 
162
 
 
163
    stop_early = False
 
164
    
 
165
    def __init__(self, stream, descriptions, verbosity,
 
166
                 bench_history=None,
 
167
                 num_tests=None,
 
168
                 ):
 
169
        """Construct new TestResult.
 
170
 
 
171
        :param bench_history: Optionally, a writable file object to accumulate
 
172
            benchmark results.
 
173
        """
 
174
        unittest._TextTestResult.__init__(self, stream, descriptions, verbosity)
 
175
        if bench_history is not None:
 
176
            from bzrlib.version import _get_bzr_source_tree
 
177
            src_tree = _get_bzr_source_tree()
 
178
            if src_tree:
 
179
                try:
 
180
                    revision_id = src_tree.get_parent_ids()[0]
 
181
                except IndexError:
 
182
                    # XXX: if this is a brand new tree, do the same as if there
 
183
                    # is no branch.
 
184
                    revision_id = ''
 
185
            else:
 
186
                # XXX: If there's no branch, what should we do?
 
187
                revision_id = ''
 
188
            bench_history.write("--date %s %s\n" % (time.time(), revision_id))
 
189
        self._bench_history = bench_history
 
190
        self.ui = ui.ui_factory
 
191
        self.num_tests = num_tests
 
192
        self.error_count = 0
 
193
        self.failure_count = 0
 
194
        self.known_failure_count = 0
 
195
        self.skip_count = 0
 
196
        self.unsupported = {}
 
197
        self.count = 0
 
198
        self._overall_start_time = time.time()
 
199
    
 
200
    def extractBenchmarkTime(self, testCase):
 
201
        """Add a benchmark time for the current test case."""
 
202
        self._benchmarkTime = getattr(testCase, "_benchtime", None)
 
203
    
 
204
    def _elapsedTestTimeString(self):
 
205
        """Return a time string for the overall time the current test has taken."""
 
206
        return self._formatTime(time.time() - self._start_time)
 
207
 
 
208
    def _testTimeString(self):
 
209
        if self._benchmarkTime is not None:
 
210
            return "%s/%s" % (
 
211
                self._formatTime(self._benchmarkTime),
 
212
                self._elapsedTestTimeString())
 
213
        else:
 
214
            return "           %s" % self._elapsedTestTimeString()
 
215
 
 
216
    def _formatTime(self, seconds):
 
217
        """Format seconds as milliseconds with leading spaces."""
 
218
        # some benchmarks can take thousands of seconds to run, so we need 8
 
219
        # places
 
220
        return "%8dms" % (1000 * seconds)
 
221
 
 
222
    def _shortened_test_description(self, test):
 
223
        what = test.id()
 
224
        what = re.sub(r'^bzrlib\.(tests|benchmarks)\.', '', what)
 
225
        return what
 
226
 
 
227
    def startTest(self, test):
 
228
        unittest.TestResult.startTest(self, test)
 
229
        self.report_test_start(test)
 
230
        test.number = self.count
 
231
        self._recordTestStartTime()
 
232
 
 
233
    def _recordTestStartTime(self):
 
234
        """Record that a test has started."""
 
235
        self._start_time = time.time()
 
236
 
 
237
    def _cleanupLogFile(self, test):
 
238
        # We can only do this if we have one of our TestCases, not if
 
239
        # we have a doctest.
 
240
        setKeepLogfile = getattr(test, 'setKeepLogfile', None)
 
241
        if setKeepLogfile is not None:
 
242
            setKeepLogfile()
 
243
 
 
244
    def addError(self, test, err):
 
245
        self.extractBenchmarkTime(test)
 
246
        self._cleanupLogFile(test)
 
247
        if isinstance(err[1], TestSkipped):
 
248
            return self.addSkipped(test, err)
 
249
        elif isinstance(err[1], UnavailableFeature):
 
250
            return self.addNotSupported(test, err[1].args[0])
 
251
        unittest.TestResult.addError(self, test, err)
 
252
        self.error_count += 1
 
253
        self.report_error(test, err)
 
254
        if self.stop_early:
 
255
            self.stop()
 
256
 
 
257
    def addFailure(self, test, err):
 
258
        self._cleanupLogFile(test)
 
259
        self.extractBenchmarkTime(test)
 
260
        if isinstance(err[1], KnownFailure):
 
261
            return self.addKnownFailure(test, err)
 
262
        unittest.TestResult.addFailure(self, test, err)
 
263
        self.failure_count += 1
 
264
        self.report_failure(test, err)
 
265
        if self.stop_early:
 
266
            self.stop()
 
267
 
 
268
    def addKnownFailure(self, test, err):
 
269
        self.known_failure_count += 1
 
270
        self.report_known_failure(test, err)
 
271
 
 
272
    def addNotSupported(self, test, feature):
 
273
        self.unsupported.setdefault(str(feature), 0)
 
274
        self.unsupported[str(feature)] += 1
 
275
        self.report_unsupported(test, feature)
 
276
 
 
277
    def addSuccess(self, test):
 
278
        self.extractBenchmarkTime(test)
 
279
        if self._bench_history is not None:
 
280
            if self._benchmarkTime is not None:
 
281
                self._bench_history.write("%s %s\n" % (
 
282
                    self._formatTime(self._benchmarkTime),
 
283
                    test.id()))
 
284
        self.report_success(test)
 
285
        unittest.TestResult.addSuccess(self, test)
 
286
 
 
287
    def addSkipped(self, test, skip_excinfo):
 
288
        self.report_skip(test, skip_excinfo)
 
289
        # seems best to treat this as success from point-of-view of unittest
 
290
        # -- it actually does nothing so it barely matters :)
 
291
        try:
 
292
            test.tearDown()
 
293
        except KeyboardInterrupt:
 
294
            raise
 
295
        except:
 
296
            self.addError(test, test.__exc_info())
 
297
        else:
 
298
            unittest.TestResult.addSuccess(self, test)
 
299
 
 
300
    def printErrorList(self, flavour, errors):
 
301
        for test, err in errors:
 
302
            self.stream.writeln(self.separator1)
 
303
            self.stream.write("%s: " % flavour)
 
304
            self.stream.writeln(self.getDescription(test))
 
305
            if getattr(test, '_get_log', None) is not None:
 
306
                print >>self.stream
 
307
                print >>self.stream, \
 
308
                        ('vvvv[log from %s]' % test.id()).ljust(78,'-')
 
309
                print >>self.stream, test._get_log()
 
310
                print >>self.stream, \
 
311
                        ('^^^^[log from %s]' % test.id()).ljust(78,'-')
 
312
            self.stream.writeln(self.separator2)
 
313
            self.stream.writeln("%s" % err)
 
314
 
 
315
    def finished(self):
 
316
        pass
 
317
 
 
318
    def report_cleaning_up(self):
 
319
        pass
 
320
 
 
321
    def report_success(self, test):
 
322
        pass
 
323
 
 
324
 
 
325
class TextTestResult(ExtendedTestResult):
 
326
    """Displays progress and results of tests in text form"""
 
327
 
 
328
    def __init__(self, stream, descriptions, verbosity,
 
329
                 bench_history=None,
 
330
                 num_tests=None,
 
331
                 pb=None,
 
332
                 ):
 
333
        ExtendedTestResult.__init__(self, stream, descriptions, verbosity,
 
334
            bench_history, num_tests)
 
335
        if pb is None:
 
336
            self.pb = self.ui.nested_progress_bar()
 
337
            self._supplied_pb = False
 
338
        else:
 
339
            self.pb = pb
 
340
            self._supplied_pb = True
 
341
        self.pb.show_pct = False
 
342
        self.pb.show_spinner = False
 
343
        self.pb.show_eta = False,
 
344
        self.pb.show_count = False
 
345
        self.pb.show_bar = False
 
346
 
 
347
    def report_starting(self):
 
348
        self.pb.update('[test 0/%d] starting...' % (self.num_tests))
 
349
 
 
350
    def _progress_prefix_text(self):
 
351
        a = '[%d' % self.count
 
352
        if self.num_tests is not None:
 
353
            a +='/%d' % self.num_tests
 
354
        a += ' in %ds' % (time.time() - self._overall_start_time)
 
355
        if self.error_count:
 
356
            a += ', %d errors' % self.error_count
 
357
        if self.failure_count:
 
358
            a += ', %d failed' % self.failure_count
 
359
        if self.known_failure_count:
 
360
            a += ', %d known failures' % self.known_failure_count
 
361
        if self.skip_count:
 
362
            a += ', %d skipped' % self.skip_count
 
363
        if self.unsupported:
 
364
            a += ', %d missing features' % len(self.unsupported)
 
365
        a += ']'
 
366
        return a
 
367
 
 
368
    def report_test_start(self, test):
 
369
        self.count += 1
 
370
        self.pb.update(
 
371
                self._progress_prefix_text()
 
372
                + ' ' 
 
373
                + self._shortened_test_description(test))
 
374
 
 
375
    def _test_description(self, test):
 
376
        return self._shortened_test_description(test)
 
377
 
 
378
    def report_error(self, test, err):
 
379
        self.pb.note('ERROR: %s\n    %s\n', 
 
380
            self._test_description(test),
 
381
            err[1],
 
382
            )
 
383
 
 
384
    def report_failure(self, test, err):
 
385
        self.pb.note('FAIL: %s\n    %s\n', 
 
386
            self._test_description(test),
 
387
            err[1],
 
388
            )
 
389
 
 
390
    def report_known_failure(self, test, err):
 
391
        self.pb.note('XFAIL: %s\n%s\n',
 
392
            self._test_description(test), err[1])
 
393
 
 
394
    def report_skip(self, test, skip_excinfo):
 
395
        self.skip_count += 1
 
396
        if False:
 
397
            # at the moment these are mostly not things we can fix
 
398
            # and so they just produce stipple; use the verbose reporter
 
399
            # to see them.
 
400
            if False:
 
401
                # show test and reason for skip
 
402
                self.pb.note('SKIP: %s\n    %s\n', 
 
403
                    self._shortened_test_description(test),
 
404
                    skip_excinfo[1])
 
405
            else:
 
406
                # since the class name was left behind in the still-visible
 
407
                # progress bar...
 
408
                self.pb.note('SKIP: %s', skip_excinfo[1])
 
409
 
 
410
    def report_unsupported(self, test, feature):
 
411
        """test cannot be run because feature is missing."""
 
412
                  
 
413
    def report_cleaning_up(self):
 
414
        self.pb.update('cleaning up...')
 
415
 
 
416
    def finished(self):
 
417
        if not self._supplied_pb:
 
418
            self.pb.finished()
 
419
 
 
420
 
 
421
class VerboseTestResult(ExtendedTestResult):
 
422
    """Produce long output, with one line per test run plus times"""
 
423
 
 
424
    def _ellipsize_to_right(self, a_string, final_width):
 
425
        """Truncate and pad a string, keeping the right hand side"""
 
426
        if len(a_string) > final_width:
 
427
            result = '...' + a_string[3-final_width:]
 
428
        else:
 
429
            result = a_string
 
430
        return result.ljust(final_width)
 
431
 
 
432
    def report_starting(self):
 
433
        self.stream.write('running %d tests...\n' % self.num_tests)
 
434
 
 
435
    def report_test_start(self, test):
 
436
        self.count += 1
 
437
        name = self._shortened_test_description(test)
 
438
        # width needs space for 6 char status, plus 1 for slash, plus 2 10-char
 
439
        # numbers, plus a trailing blank
 
440
        # when NUMBERED_DIRS: plus 5 chars on test number, plus 1 char on space
 
441
        self.stream.write(self._ellipsize_to_right(name,
 
442
                          osutils.terminal_width()-30))
 
443
        self.stream.flush()
 
444
 
 
445
    def _error_summary(self, err):
 
446
        indent = ' ' * 4
 
447
        return '%s%s' % (indent, err[1])
 
448
 
 
449
    def report_error(self, test, err):
 
450
        self.stream.writeln('ERROR %s\n%s'
 
451
                % (self._testTimeString(),
 
452
                   self._error_summary(err)))
 
453
 
 
454
    def report_failure(self, test, err):
 
455
        self.stream.writeln(' FAIL %s\n%s'
 
456
                % (self._testTimeString(),
 
457
                   self._error_summary(err)))
 
458
 
 
459
    def report_known_failure(self, test, err):
 
460
        self.stream.writeln('XFAIL %s\n%s'
 
461
                % (self._testTimeString(),
 
462
                   self._error_summary(err)))
 
463
 
 
464
    def report_success(self, test):
 
465
        self.stream.writeln('   OK %s' % self._testTimeString())
 
466
        for bench_called, stats in getattr(test, '_benchcalls', []):
 
467
            self.stream.writeln('LSProf output for %s(%s, %s)' % bench_called)
 
468
            stats.pprint(file=self.stream)
 
469
        # flush the stream so that we get smooth output. This verbose mode is
 
470
        # used to show the output in PQM.
 
471
        self.stream.flush()
 
472
 
 
473
    def report_skip(self, test, skip_excinfo):
 
474
        self.skip_count += 1
 
475
        self.stream.writeln(' SKIP %s\n%s'
 
476
                % (self._testTimeString(),
 
477
                   self._error_summary(skip_excinfo)))
 
478
 
 
479
    def report_unsupported(self, test, feature):
 
480
        """test cannot be run because feature is missing."""
 
481
        self.stream.writeln("NODEP %s\n    The feature '%s' is not available."
 
482
                %(self._testTimeString(), feature))
 
483
                  
 
484
 
 
485
 
 
486
class TextTestRunner(object):
 
487
    stop_on_failure = False
 
488
 
 
489
    def __init__(self,
 
490
                 stream=sys.stderr,
 
491
                 descriptions=0,
 
492
                 verbosity=1,
 
493
                 bench_history=None,
 
494
                 list_only=False
 
495
                 ):
 
496
        self.stream = unittest._WritelnDecorator(stream)
 
497
        self.descriptions = descriptions
 
498
        self.verbosity = verbosity
 
499
        self._bench_history = bench_history
 
500
        self.list_only = list_only
 
501
 
 
502
    def run(self, test):
 
503
        "Run the given test case or test suite."
 
504
        startTime = time.time()
 
505
        if self.verbosity == 1:
 
506
            result_class = TextTestResult
 
507
        elif self.verbosity >= 2:
 
508
            result_class = VerboseTestResult
 
509
        result = result_class(self.stream,
 
510
                              self.descriptions,
 
511
                              self.verbosity,
 
512
                              bench_history=self._bench_history,
 
513
                              num_tests=test.countTestCases(),
 
514
                              )
 
515
        result.stop_early = self.stop_on_failure
 
516
        result.report_starting()
 
517
        if self.list_only:
 
518
            if self.verbosity >= 2:
 
519
                self.stream.writeln("Listing tests only ...\n")
 
520
            run = 0
 
521
            for t in iter_suite_tests(test):
 
522
                self.stream.writeln("%s" % (t.id()))
 
523
                run += 1
 
524
            actionTaken = "Listed"
 
525
        else: 
 
526
            test.run(result)
 
527
            run = result.testsRun
 
528
            actionTaken = "Ran"
 
529
        stopTime = time.time()
 
530
        timeTaken = stopTime - startTime
 
531
        result.printErrors()
 
532
        self.stream.writeln(result.separator2)
 
533
        self.stream.writeln("%s %d test%s in %.3fs" % (actionTaken,
 
534
                            run, run != 1 and "s" or "", timeTaken))
 
535
        self.stream.writeln()
 
536
        if not result.wasSuccessful():
 
537
            self.stream.write("FAILED (")
 
538
            failed, errored = map(len, (result.failures, result.errors))
 
539
            if failed:
 
540
                self.stream.write("failures=%d" % failed)
 
541
            if errored:
 
542
                if failed: self.stream.write(", ")
 
543
                self.stream.write("errors=%d" % errored)
 
544
            if result.known_failure_count:
 
545
                if failed or errored: self.stream.write(", ")
 
546
                self.stream.write("known_failure_count=%d" %
 
547
                    result.known_failure_count)
 
548
            self.stream.writeln(")")
 
549
        else:
 
550
            if result.known_failure_count:
 
551
                self.stream.writeln("OK (known_failures=%d)" %
 
552
                    result.known_failure_count)
 
553
            else:
 
554
                self.stream.writeln("OK")
 
555
        if result.skip_count > 0:
 
556
            skipped = result.skip_count
 
557
            self.stream.writeln('%d test%s skipped' %
 
558
                                (skipped, skipped != 1 and "s" or ""))
 
559
        if result.unsupported:
 
560
            for feature, count in sorted(result.unsupported.items()):
 
561
                self.stream.writeln("Missing feature '%s' skipped %d tests." %
 
562
                    (feature, count))
 
563
        result.finished()
 
564
        return result
 
565
 
 
566
 
 
567
def iter_suite_tests(suite):
 
568
    """Return all tests in a suite, recursing through nested suites"""
 
569
    for item in suite._tests:
 
570
        if isinstance(item, unittest.TestCase):
 
571
            yield item
 
572
        elif isinstance(item, unittest.TestSuite):
 
573
            for r in iter_suite_tests(item):
 
574
                yield r
 
575
        else:
 
576
            raise Exception('unknown object %r inside test suite %r'
 
577
                            % (item, suite))
 
578
 
 
579
 
 
580
class TestSkipped(Exception):
 
581
    """Indicates that a test was intentionally skipped, rather than failing."""
 
582
 
 
583
 
 
584
class KnownFailure(AssertionError):
 
585
    """Indicates that a test failed in a precisely expected manner.
 
586
 
 
587
    Such failures dont block the whole test suite from passing because they are
 
588
    indicators of partially completed code or of future work. We have an
 
589
    explicit error for them so that we can ensure that they are always visible:
 
590
    KnownFailures are always shown in the output of bzr selftest.
 
591
    """
 
592
 
 
593
 
 
594
class UnavailableFeature(Exception):
 
595
    """A feature required for this test was not available.
 
596
 
 
597
    The feature should be used to construct the exception.
 
598
    """
 
599
 
 
600
 
 
601
class CommandFailed(Exception):
 
602
    pass
 
603
 
 
604
 
 
605
class StringIOWrapper(object):
 
606
    """A wrapper around cStringIO which just adds an encoding attribute.
 
607
    
 
608
    Internally we can check sys.stdout to see what the output encoding
 
609
    should be. However, cStringIO has no encoding attribute that we can
 
610
    set. So we wrap it instead.
 
611
    """
 
612
    encoding='ascii'
 
613
    _cstring = None
 
614
 
 
615
    def __init__(self, s=None):
 
616
        if s is not None:
 
617
            self.__dict__['_cstring'] = StringIO(s)
 
618
        else:
 
619
            self.__dict__['_cstring'] = StringIO()
 
620
 
 
621
    def __getattr__(self, name, getattr=getattr):
 
622
        return getattr(self.__dict__['_cstring'], name)
 
623
 
 
624
    def __setattr__(self, name, val):
 
625
        if name == 'encoding':
 
626
            self.__dict__['encoding'] = val
 
627
        else:
 
628
            return setattr(self._cstring, name, val)
 
629
 
 
630
 
 
631
class TestUIFactory(ui.CLIUIFactory):
 
632
    """A UI Factory for testing.
 
633
 
 
634
    Hide the progress bar but emit note()s.
 
635
    Redirect stdin.
 
636
    Allows get_password to be tested without real tty attached.
 
637
    """
 
638
 
 
639
    def __init__(self,
 
640
                 stdout=None,
 
641
                 stderr=None,
 
642
                 stdin=None):
 
643
        super(TestUIFactory, self).__init__()
 
644
        if stdin is not None:
 
645
            # We use a StringIOWrapper to be able to test various
 
646
            # encodings, but the user is still responsible to
 
647
            # encode the string and to set the encoding attribute
 
648
            # of StringIOWrapper.
 
649
            self.stdin = StringIOWrapper(stdin)
 
650
        if stdout is None:
 
651
            self.stdout = sys.stdout
 
652
        else:
 
653
            self.stdout = stdout
 
654
        if stderr is None:
 
655
            self.stderr = sys.stderr
 
656
        else:
 
657
            self.stderr = stderr
 
658
 
 
659
    def clear(self):
 
660
        """See progress.ProgressBar.clear()."""
 
661
 
 
662
    def clear_term(self):
 
663
        """See progress.ProgressBar.clear_term()."""
 
664
 
 
665
    def clear_term(self):
 
666
        """See progress.ProgressBar.clear_term()."""
 
667
 
 
668
    def finished(self):
 
669
        """See progress.ProgressBar.finished()."""
 
670
 
 
671
    def note(self, fmt_string, *args, **kwargs):
 
672
        """See progress.ProgressBar.note()."""
 
673
        self.stdout.write((fmt_string + "\n") % args)
 
674
 
 
675
    def progress_bar(self):
 
676
        return self
 
677
 
 
678
    def nested_progress_bar(self):
 
679
        return self
 
680
 
 
681
    def update(self, message, count=None, total=None):
 
682
        """See progress.ProgressBar.update()."""
 
683
 
 
684
    def get_non_echoed_password(self, prompt):
 
685
        """Get password from stdin without trying to handle the echo mode"""
 
686
        if prompt:
 
687
            self.stdout.write(prompt.encode(self.stdout.encoding, 'replace'))
 
688
        password = self.stdin.readline()
 
689
        if not password:
 
690
            raise EOFError
 
691
        if password[-1] == '\n':
 
692
            password = password[:-1]
 
693
        return password
 
694
 
 
695
 
 
696
class TestCase(unittest.TestCase):
 
697
    """Base class for bzr unit tests.
 
698
    
 
699
    Tests that need access to disk resources should subclass 
 
700
    TestCaseInTempDir not TestCase.
 
701
 
 
702
    Error and debug log messages are redirected from their usual
 
703
    location into a temporary file, the contents of which can be
 
704
    retrieved by _get_log().  We use a real OS file, not an in-memory object,
 
705
    so that it can also capture file IO.  When the test completes this file
 
706
    is read into memory and removed from disk.
 
707
       
 
708
    There are also convenience functions to invoke bzr's command-line
 
709
    routine, and to build and check bzr trees.
 
710
   
 
711
    In addition to the usual method of overriding tearDown(), this class also
 
712
    allows subclasses to register functions into the _cleanups list, which is
 
713
    run in order as the object is torn down.  It's less likely this will be
 
714
    accidentally overlooked.
 
715
    """
 
716
 
 
717
    _log_file_name = None
 
718
    _log_contents = ''
 
719
    _keep_log_file = False
 
720
    # record lsprof data when performing benchmark calls.
 
721
    _gather_lsprof_in_benchmarks = False
 
722
 
 
723
    def __init__(self, methodName='testMethod'):
 
724
        super(TestCase, self).__init__(methodName)
 
725
        self._cleanups = []
 
726
 
 
727
    def setUp(self):
 
728
        unittest.TestCase.setUp(self)
 
729
        self._cleanEnvironment()
 
730
        bzrlib.trace.disable_default_logging()
 
731
        self._silenceUI()
 
732
        self._startLogFile()
 
733
        self._benchcalls = []
 
734
        self._benchtime = None
 
735
        self._clear_hooks()
 
736
        self._clear_debug_flags()
 
737
 
 
738
    def _clear_debug_flags(self):
 
739
        """Prevent externally set debug flags affecting tests.
 
740
        
 
741
        Tests that want to use debug flags can just set them in the
 
742
        debug_flags set during setup/teardown.
 
743
        """
 
744
        self._preserved_debug_flags = set(debug.debug_flags)
 
745
        debug.debug_flags.clear()
 
746
        self.addCleanup(self._restore_debug_flags)
 
747
 
 
748
    def _clear_hooks(self):
 
749
        # prevent hooks affecting tests
 
750
        import bzrlib.branch
 
751
        import bzrlib.smart.server
 
752
        self._preserved_hooks = {
 
753
            bzrlib.branch.Branch: bzrlib.branch.Branch.hooks,
 
754
            bzrlib.smart.server.SmartTCPServer: bzrlib.smart.server.SmartTCPServer.hooks,
 
755
            }
 
756
        self.addCleanup(self._restoreHooks)
 
757
        # reset all hooks to an empty instance of the appropriate type
 
758
        bzrlib.branch.Branch.hooks = bzrlib.branch.BranchHooks()
 
759
        bzrlib.smart.server.SmartTCPServer.hooks = bzrlib.smart.server.SmartServerHooks()
 
760
 
 
761
    def _silenceUI(self):
 
762
        """Turn off UI for duration of test"""
 
763
        # by default the UI is off; tests can turn it on if they want it.
 
764
        saved = ui.ui_factory
 
765
        def _restore():
 
766
            ui.ui_factory = saved
 
767
        ui.ui_factory = ui.SilentUIFactory()
 
768
        self.addCleanup(_restore)
 
769
 
 
770
    def _ndiff_strings(self, a, b):
 
771
        """Return ndiff between two strings containing lines.
 
772
        
 
773
        A trailing newline is added if missing to make the strings
 
774
        print properly."""
 
775
        if b and b[-1] != '\n':
 
776
            b += '\n'
 
777
        if a and a[-1] != '\n':
 
778
            a += '\n'
 
779
        difflines = difflib.ndiff(a.splitlines(True),
 
780
                                  b.splitlines(True),
 
781
                                  linejunk=lambda x: False,
 
782
                                  charjunk=lambda x: False)
 
783
        return ''.join(difflines)
 
784
 
 
785
    def assertEqual(self, a, b, message=''):
 
786
        try:
 
787
            if a == b:
 
788
                return
 
789
        except UnicodeError, e:
 
790
            # If we can't compare without getting a UnicodeError, then
 
791
            # obviously they are different
 
792
            mutter('UnicodeError: %s', e)
 
793
        if message:
 
794
            message += '\n'
 
795
        raise AssertionError("%snot equal:\na = %s\nb = %s\n"
 
796
            % (message,
 
797
               pformat(a), pformat(b)))
 
798
 
 
799
    assertEquals = assertEqual
 
800
 
 
801
    def assertEqualDiff(self, a, b, message=None):
 
802
        """Assert two texts are equal, if not raise an exception.
 
803
        
 
804
        This is intended for use with multi-line strings where it can 
 
805
        be hard to find the differences by eye.
 
806
        """
 
807
        # TODO: perhaps override assertEquals to call this for strings?
 
808
        if a == b:
 
809
            return
 
810
        if message is None:
 
811
            message = "texts not equal:\n"
 
812
        raise AssertionError(message +
 
813
                             self._ndiff_strings(a, b))
 
814
        
 
815
    def assertEqualMode(self, mode, mode_test):
 
816
        self.assertEqual(mode, mode_test,
 
817
                         'mode mismatch %o != %o' % (mode, mode_test))
 
818
 
 
819
    def assertStartsWith(self, s, prefix):
 
820
        if not s.startswith(prefix):
 
821
            raise AssertionError('string %r does not start with %r' % (s, prefix))
 
822
 
 
823
    def assertEndsWith(self, s, suffix):
 
824
        """Asserts that s ends with suffix."""
 
825
        if not s.endswith(suffix):
 
826
            raise AssertionError('string %r does not end with %r' % (s, suffix))
 
827
 
 
828
    def assertContainsRe(self, haystack, needle_re):
 
829
        """Assert that a contains something matching a regular expression."""
 
830
        if not re.search(needle_re, haystack):
 
831
            if '\n' in haystack or len(haystack) > 60:
 
832
                # a long string, format it in a more readable way
 
833
                raise AssertionError(
 
834
                        'pattern "%s" not found in\n"""\\\n%s"""\n'
 
835
                        % (needle_re, haystack))
 
836
            else:
 
837
                raise AssertionError('pattern "%s" not found in "%s"'
 
838
                        % (needle_re, haystack))
 
839
 
 
840
    def assertNotContainsRe(self, haystack, needle_re):
 
841
        """Assert that a does not match a regular expression"""
 
842
        if re.search(needle_re, haystack):
 
843
            raise AssertionError('pattern "%s" found in "%s"'
 
844
                    % (needle_re, haystack))
 
845
 
 
846
    def assertSubset(self, sublist, superlist):
 
847
        """Assert that every entry in sublist is present in superlist."""
 
848
        missing = []
 
849
        for entry in sublist:
 
850
            if entry not in superlist:
 
851
                missing.append(entry)
 
852
        if len(missing) > 0:
 
853
            raise AssertionError("value(s) %r not present in container %r" % 
 
854
                                 (missing, superlist))
 
855
 
 
856
    def assertListRaises(self, excClass, func, *args, **kwargs):
 
857
        """Fail unless excClass is raised when the iterator from func is used.
 
858
        
 
859
        Many functions can return generators this makes sure
 
860
        to wrap them in a list() call to make sure the whole generator
 
861
        is run, and that the proper exception is raised.
 
862
        """
 
863
        try:
 
864
            list(func(*args, **kwargs))
 
865
        except excClass:
 
866
            return
 
867
        else:
 
868
            if getattr(excClass,'__name__', None) is not None:
 
869
                excName = excClass.__name__
 
870
            else:
 
871
                excName = str(excClass)
 
872
            raise self.failureException, "%s not raised" % excName
 
873
 
 
874
    def assertRaises(self, excClass, callableObj, *args, **kwargs):
 
875
        """Assert that a callable raises a particular exception.
 
876
 
 
877
        :param excClass: As for the except statement, this may be either an
 
878
            exception class, or a tuple of classes.
 
879
        :param callableObj: A callable, will be passed ``*args`` and
 
880
            ``**kwargs``.
 
881
 
 
882
        Returns the exception so that you can examine it.
 
883
        """
 
884
        try:
 
885
            callableObj(*args, **kwargs)
 
886
        except excClass, e:
 
887
            return e
 
888
        else:
 
889
            if getattr(excClass,'__name__', None) is not None:
 
890
                excName = excClass.__name__
 
891
            else:
 
892
                # probably a tuple
 
893
                excName = str(excClass)
 
894
            raise self.failureException, "%s not raised" % excName
 
895
 
 
896
    def assertIs(self, left, right, message=None):
 
897
        if not (left is right):
 
898
            if message is not None:
 
899
                raise AssertionError(message)
 
900
            else:
 
901
                raise AssertionError("%r is not %r." % (left, right))
 
902
 
 
903
    def assertIsNot(self, left, right, message=None):
 
904
        if (left is right):
 
905
            if message is not None:
 
906
                raise AssertionError(message)
 
907
            else:
 
908
                raise AssertionError("%r is %r." % (left, right))
 
909
 
 
910
    def assertTransportMode(self, transport, path, mode):
 
911
        """Fail if a path does not have mode mode.
 
912
        
 
913
        If modes are not supported on this transport, the assertion is ignored.
 
914
        """
 
915
        if not transport._can_roundtrip_unix_modebits():
 
916
            return
 
917
        path_stat = transport.stat(path)
 
918
        actual_mode = stat.S_IMODE(path_stat.st_mode)
 
919
        self.assertEqual(mode, actual_mode,
 
920
            'mode of %r incorrect (%o != %o)' % (path, mode, actual_mode))
 
921
 
 
922
    def assertIsInstance(self, obj, kls):
 
923
        """Fail if obj is not an instance of kls"""
 
924
        if not isinstance(obj, kls):
 
925
            self.fail("%r is an instance of %s rather than %s" % (
 
926
                obj, obj.__class__, kls))
 
927
 
 
928
    def expectFailure(self, reason, assertion, *args, **kwargs):
 
929
        """Invoke a test, expecting it to fail for the given reason.
 
930
 
 
931
        This is for assertions that ought to succeed, but currently fail.
 
932
        (The failure is *expected* but not *wanted*.)  Please be very precise
 
933
        about the failure you're expecting.  If a new bug is introduced,
 
934
        AssertionError should be raised, not KnownFailure.
 
935
 
 
936
        Frequently, expectFailure should be followed by an opposite assertion.
 
937
        See example below.
 
938
 
 
939
        Intended to be used with a callable that raises AssertionError as the
 
940
        'assertion' parameter.  args and kwargs are passed to the 'assertion'.
 
941
 
 
942
        Raises KnownFailure if the test fails.  Raises AssertionError if the
 
943
        test succeeds.
 
944
 
 
945
        example usage::
 
946
 
 
947
          self.expectFailure('Math is broken', self.assertNotEqual, 54,
 
948
                             dynamic_val)
 
949
          self.assertEqual(42, dynamic_val)
 
950
 
 
951
          This means that a dynamic_val of 54 will cause the test to raise
 
952
          a KnownFailure.  Once math is fixed and the expectFailure is removed,
 
953
          only a dynamic_val of 42 will allow the test to pass.  Anything other
 
954
          than 54 or 42 will cause an AssertionError.
 
955
        """
 
956
        try:
 
957
            assertion(*args, **kwargs)
 
958
        except AssertionError:
 
959
            raise KnownFailure(reason)
 
960
        else:
 
961
            self.fail('Unexpected success.  Should have failed: %s' % reason)
 
962
 
 
963
    def _capture_warnings(self, a_callable, *args, **kwargs):
 
964
        """A helper for callDeprecated and applyDeprecated.
 
965
 
 
966
        :param a_callable: A callable to call.
 
967
        :param args: The positional arguments for the callable
 
968
        :param kwargs: The keyword arguments for the callable
 
969
        :return: A tuple (warnings, result). result is the result of calling
 
970
            a_callable(``*args``, ``**kwargs``).
 
971
        """
 
972
        local_warnings = []
 
973
        def capture_warnings(msg, cls=None, stacklevel=None):
 
974
            # we've hooked into a deprecation specific callpath,
 
975
            # only deprecations should getting sent via it.
 
976
            self.assertEqual(cls, DeprecationWarning)
 
977
            local_warnings.append(msg)
 
978
        original_warning_method = symbol_versioning.warn
 
979
        symbol_versioning.set_warning_method(capture_warnings)
 
980
        try:
 
981
            result = a_callable(*args, **kwargs)
 
982
        finally:
 
983
            symbol_versioning.set_warning_method(original_warning_method)
 
984
        return (local_warnings, result)
 
985
 
 
986
    def applyDeprecated(self, deprecation_format, a_callable, *args, **kwargs):
 
987
        """Call a deprecated callable without warning the user.
 
988
 
 
989
        Note that this only captures warnings raised by symbol_versioning.warn,
 
990
        not other callers that go direct to the warning module.
 
991
 
 
992
        :param deprecation_format: The deprecation format that the callable
 
993
            should have been deprecated with. This is the same type as the
 
994
            parameter to deprecated_method/deprecated_function. If the
 
995
            callable is not deprecated with this format, an assertion error
 
996
            will be raised.
 
997
        :param a_callable: A callable to call. This may be a bound method or
 
998
            a regular function. It will be called with ``*args`` and
 
999
            ``**kwargs``.
 
1000
        :param args: The positional arguments for the callable
 
1001
        :param kwargs: The keyword arguments for the callable
 
1002
        :return: The result of a_callable(``*args``, ``**kwargs``)
 
1003
        """
 
1004
        call_warnings, result = self._capture_warnings(a_callable,
 
1005
            *args, **kwargs)
 
1006
        expected_first_warning = symbol_versioning.deprecation_string(
 
1007
            a_callable, deprecation_format)
 
1008
        if len(call_warnings) == 0:
 
1009
            self.fail("No deprecation warning generated by call to %s" %
 
1010
                a_callable)
 
1011
        self.assertEqual(expected_first_warning, call_warnings[0])
 
1012
        return result
 
1013
 
 
1014
    def callDeprecated(self, expected, callable, *args, **kwargs):
 
1015
        """Assert that a callable is deprecated in a particular way.
 
1016
 
 
1017
        This is a very precise test for unusual requirements. The 
 
1018
        applyDeprecated helper function is probably more suited for most tests
 
1019
        as it allows you to simply specify the deprecation format being used
 
1020
        and will ensure that that is issued for the function being called.
 
1021
 
 
1022
        Note that this only captures warnings raised by symbol_versioning.warn,
 
1023
        not other callers that go direct to the warning module.
 
1024
 
 
1025
        :param expected: a list of the deprecation warnings expected, in order
 
1026
        :param callable: The callable to call
 
1027
        :param args: The positional arguments for the callable
 
1028
        :param kwargs: The keyword arguments for the callable
 
1029
        """
 
1030
        call_warnings, result = self._capture_warnings(callable,
 
1031
            *args, **kwargs)
 
1032
        self.assertEqual(expected, call_warnings)
 
1033
        return result
 
1034
 
 
1035
    def _startLogFile(self):
 
1036
        """Send bzr and test log messages to a temporary file.
 
1037
 
 
1038
        The file is removed as the test is torn down.
 
1039
        """
 
1040
        fileno, name = tempfile.mkstemp(suffix='.log', prefix='testbzr')
 
1041
        self._log_file = os.fdopen(fileno, 'w+')
 
1042
        self._log_nonce = bzrlib.trace.enable_test_log(self._log_file)
 
1043
        self._log_file_name = name
 
1044
        self.addCleanup(self._finishLogFile)
 
1045
 
 
1046
    def _finishLogFile(self):
 
1047
        """Finished with the log file.
 
1048
 
 
1049
        Close the file and delete it, unless setKeepLogfile was called.
 
1050
        """
 
1051
        if self._log_file is None:
 
1052
            return
 
1053
        bzrlib.trace.disable_test_log(self._log_nonce)
 
1054
        self._log_file.close()
 
1055
        self._log_file = None
 
1056
        if not self._keep_log_file:
 
1057
            os.remove(self._log_file_name)
 
1058
            self._log_file_name = None
 
1059
 
 
1060
    def setKeepLogfile(self):
 
1061
        """Make the logfile not be deleted when _finishLogFile is called."""
 
1062
        self._keep_log_file = True
 
1063
 
 
1064
    def addCleanup(self, callable):
 
1065
        """Arrange to run a callable when this case is torn down.
 
1066
 
 
1067
        Callables are run in the reverse of the order they are registered, 
 
1068
        ie last-in first-out.
 
1069
        """
 
1070
        if callable in self._cleanups:
 
1071
            raise ValueError("cleanup function %r already registered on %s" 
 
1072
                    % (callable, self))
 
1073
        self._cleanups.append(callable)
 
1074
 
 
1075
    def _cleanEnvironment(self):
 
1076
        new_env = {
 
1077
            'BZR_HOME': None, # Don't inherit BZR_HOME to all the tests.
 
1078
            'HOME': os.getcwd(),
 
1079
            'APPDATA': None,  # bzr now use Win32 API and don't rely on APPDATA
 
1080
            'BZR_EMAIL': None,
 
1081
            'BZREMAIL': None, # may still be present in the environment
 
1082
            'EMAIL': None,
 
1083
            'BZR_PROGRESS_BAR': None,
 
1084
            # SSH Agent
 
1085
            'SSH_AUTH_SOCK': None,
 
1086
            # Proxies
 
1087
            'http_proxy': None,
 
1088
            'HTTP_PROXY': None,
 
1089
            'https_proxy': None,
 
1090
            'HTTPS_PROXY': None,
 
1091
            'no_proxy': None,
 
1092
            'NO_PROXY': None,
 
1093
            'all_proxy': None,
 
1094
            'ALL_PROXY': None,
 
1095
            # Nobody cares about these ones AFAIK. So far at
 
1096
            # least. If you do (care), please update this comment
 
1097
            # -- vila 20061212
 
1098
            'ftp_proxy': None,
 
1099
            'FTP_PROXY': None,
 
1100
            'BZR_REMOTE_PATH': None,
 
1101
        }
 
1102
        self.__old_env = {}
 
1103
        self.addCleanup(self._restoreEnvironment)
 
1104
        for name, value in new_env.iteritems():
 
1105
            self._captureVar(name, value)
 
1106
 
 
1107
    def _captureVar(self, name, newvalue):
 
1108
        """Set an environment variable, and reset it when finished."""
 
1109
        self.__old_env[name] = osutils.set_or_unset_env(name, newvalue)
 
1110
 
 
1111
    def _restore_debug_flags(self):
 
1112
        debug.debug_flags.clear()
 
1113
        debug.debug_flags.update(self._preserved_debug_flags)
 
1114
 
 
1115
    def _restoreEnvironment(self):
 
1116
        for name, value in self.__old_env.iteritems():
 
1117
            osutils.set_or_unset_env(name, value)
 
1118
 
 
1119
    def _restoreHooks(self):
 
1120
        for klass, hooks in self._preserved_hooks.items():
 
1121
            setattr(klass, 'hooks', hooks)
 
1122
 
 
1123
    def knownFailure(self, reason):
 
1124
        """This test has failed for some known reason."""
 
1125
        raise KnownFailure(reason)
 
1126
 
 
1127
    def run(self, result=None):
 
1128
        if result is None: result = self.defaultTestResult()
 
1129
        for feature in getattr(self, '_test_needs_features', []):
 
1130
            if not feature.available():
 
1131
                result.startTest(self)
 
1132
                if getattr(result, 'addNotSupported', None):
 
1133
                    result.addNotSupported(self, feature)
 
1134
                else:
 
1135
                    result.addSuccess(self)
 
1136
                result.stopTest(self)
 
1137
                return
 
1138
        return unittest.TestCase.run(self, result)
 
1139
 
 
1140
    def tearDown(self):
 
1141
        self._runCleanups()
 
1142
        unittest.TestCase.tearDown(self)
 
1143
 
 
1144
    def time(self, callable, *args, **kwargs):
 
1145
        """Run callable and accrue the time it takes to the benchmark time.
 
1146
        
 
1147
        If lsprofiling is enabled (i.e. by --lsprof-time to bzr selftest) then
 
1148
        this will cause lsprofile statistics to be gathered and stored in
 
1149
        self._benchcalls.
 
1150
        """
 
1151
        if self._benchtime is None:
 
1152
            self._benchtime = 0
 
1153
        start = time.time()
 
1154
        try:
 
1155
            if not self._gather_lsprof_in_benchmarks:
 
1156
                return callable(*args, **kwargs)
 
1157
            else:
 
1158
                # record this benchmark
 
1159
                ret, stats = bzrlib.lsprof.profile(callable, *args, **kwargs)
 
1160
                stats.sort()
 
1161
                self._benchcalls.append(((callable, args, kwargs), stats))
 
1162
                return ret
 
1163
        finally:
 
1164
            self._benchtime += time.time() - start
 
1165
 
 
1166
    def _runCleanups(self):
 
1167
        """Run registered cleanup functions. 
 
1168
 
 
1169
        This should only be called from TestCase.tearDown.
 
1170
        """
 
1171
        # TODO: Perhaps this should keep running cleanups even if 
 
1172
        # one of them fails?
 
1173
 
 
1174
        # Actually pop the cleanups from the list so tearDown running
 
1175
        # twice is safe (this happens for skipped tests).
 
1176
        while self._cleanups:
 
1177
            self._cleanups.pop()()
 
1178
 
 
1179
    def log(self, *args):
 
1180
        mutter(*args)
 
1181
 
 
1182
    def _get_log(self, keep_log_file=False):
 
1183
        """Return as a string the log for this test. If the file is still
 
1184
        on disk and keep_log_file=False, delete the log file and store the
 
1185
        content in self._log_contents."""
 
1186
        # flush the log file, to get all content
 
1187
        import bzrlib.trace
 
1188
        bzrlib.trace._trace_file.flush()
 
1189
        if self._log_contents:
 
1190
            return self._log_contents
 
1191
        if self._log_file_name is not None:
 
1192
            logfile = open(self._log_file_name)
 
1193
            try:
 
1194
                log_contents = logfile.read()
 
1195
            finally:
 
1196
                logfile.close()
 
1197
            if not keep_log_file:
 
1198
                self._log_contents = log_contents
 
1199
                try:
 
1200
                    os.remove(self._log_file_name)
 
1201
                except OSError, e:
 
1202
                    if sys.platform == 'win32' and e.errno == errno.EACCES:
 
1203
                        print >>sys.stderr, ('Unable to delete log file '
 
1204
                                             ' %r' % self._log_file_name)
 
1205
                    else:
 
1206
                        raise
 
1207
            return log_contents
 
1208
        else:
 
1209
            return "DELETED log file to reduce memory footprint"
 
1210
 
 
1211
    @deprecated_method(zero_eighteen)
 
1212
    def capture(self, cmd, retcode=0):
 
1213
        """Shortcut that splits cmd into words, runs, and returns stdout"""
 
1214
        return self.run_bzr_captured(cmd.split(), retcode=retcode)[0]
 
1215
 
 
1216
    def requireFeature(self, feature):
 
1217
        """This test requires a specific feature is available.
 
1218
 
 
1219
        :raises UnavailableFeature: When feature is not available.
 
1220
        """
 
1221
        if not feature.available():
 
1222
            raise UnavailableFeature(feature)
 
1223
 
 
1224
    @deprecated_method(zero_eighteen)
 
1225
    def run_bzr_captured(self, argv, retcode=0, encoding=None, stdin=None,
 
1226
                         working_dir=None):
 
1227
        """Invoke bzr and return (stdout, stderr).
 
1228
 
 
1229
        Don't call this method, just use run_bzr() which is equivalent.
 
1230
 
 
1231
        :param argv: Arguments to invoke bzr.  This may be either a 
 
1232
            single string, in which case it is split by shlex into words, 
 
1233
            or a list of arguments.
 
1234
        :param retcode: Expected return code, or None for don't-care.
 
1235
        :param encoding: Encoding for sys.stdout and sys.stderr
 
1236
        :param stdin: A string to be used as stdin for the command.
 
1237
        :param working_dir: Change to this directory before running
 
1238
        """
 
1239
        return self._run_bzr_autosplit(argv, retcode=retcode,
 
1240
                encoding=encoding, stdin=stdin, working_dir=working_dir,
 
1241
                )
 
1242
 
 
1243
    def _run_bzr_autosplit(self, args, retcode, encoding, stdin,
 
1244
            working_dir):
 
1245
        """Run bazaar command line, splitting up a string command line."""
 
1246
        if isinstance(args, basestring):
 
1247
            args = list(shlex.split(args))
 
1248
        return self._run_bzr_core(args, retcode=retcode,
 
1249
                encoding=encoding, stdin=stdin, working_dir=working_dir,
 
1250
                )
 
1251
 
 
1252
    def _run_bzr_core(self, args, retcode, encoding, stdin,
 
1253
            working_dir):
 
1254
        if encoding is None:
 
1255
            encoding = bzrlib.user_encoding
 
1256
        stdout = StringIOWrapper()
 
1257
        stderr = StringIOWrapper()
 
1258
        stdout.encoding = encoding
 
1259
        stderr.encoding = encoding
 
1260
 
 
1261
        self.log('run bzr: %r', args)
 
1262
        # FIXME: don't call into logging here
 
1263
        handler = logging.StreamHandler(stderr)
 
1264
        handler.setLevel(logging.INFO)
 
1265
        logger = logging.getLogger('')
 
1266
        logger.addHandler(handler)
 
1267
        old_ui_factory = ui.ui_factory
 
1268
        ui.ui_factory = TestUIFactory(stdin=stdin, stdout=stdout, stderr=stderr)
 
1269
 
 
1270
        cwd = None
 
1271
        if working_dir is not None:
 
1272
            cwd = osutils.getcwd()
 
1273
            os.chdir(working_dir)
 
1274
 
 
1275
        try:
 
1276
            result = self.apply_redirected(ui.ui_factory.stdin,
 
1277
                stdout, stderr,
 
1278
                bzrlib.commands.run_bzr_catch_errors,
 
1279
                args)
 
1280
        finally:
 
1281
            logger.removeHandler(handler)
 
1282
            ui.ui_factory = old_ui_factory
 
1283
            if cwd is not None:
 
1284
                os.chdir(cwd)
 
1285
 
 
1286
        out = stdout.getvalue()
 
1287
        err = stderr.getvalue()
 
1288
        if out:
 
1289
            self.log('output:\n%r', out)
 
1290
        if err:
 
1291
            self.log('errors:\n%r', err)
 
1292
        if retcode is not None:
 
1293
            self.assertEquals(retcode, result,
 
1294
                              message='Unexpected return code')
 
1295
        return out, err
 
1296
 
 
1297
    def run_bzr(self, *args, **kwargs):
 
1298
        """Invoke bzr, as if it were run from the command line.
 
1299
 
 
1300
        The argument list should not include the bzr program name - the
 
1301
        first argument is normally the bzr command.  Arguments may be
 
1302
        passed in three ways:
 
1303
 
 
1304
        1- A list of strings, eg ["commit", "a"].  This is recommended
 
1305
        when the command contains whitespace or metacharacters, or 
 
1306
        is built up at run time.
 
1307
 
 
1308
        2- A single string, eg "add a".  This is the most convenient 
 
1309
        for hardcoded commands.
 
1310
 
 
1311
        3- Several varargs parameters, eg run_bzr("add", "a").  
 
1312
        This is not recommended for new code.
 
1313
 
 
1314
        This runs bzr through the interface that catches and reports
 
1315
        errors, and with logging set to something approximating the
 
1316
        default, so that error reporting can be checked.
 
1317
 
 
1318
        This should be the main method for tests that want to exercise the
 
1319
        overall behavior of the bzr application (rather than a unit test
 
1320
        or a functional test of the library.)
 
1321
 
 
1322
        This sends the stdout/stderr results into the test's log,
 
1323
        where it may be useful for debugging.  See also run_captured.
 
1324
 
 
1325
        :keyword stdin: A string to be used as stdin for the command.
 
1326
        :keyword retcode: The status code the command should return;
 
1327
            default 0.
 
1328
        :keyword working_dir: The directory to run the command in
 
1329
        :keyword error_regexes: A list of expected error messages.  If
 
1330
            specified they must be seen in the error output of the command.
 
1331
        """
 
1332
        retcode = kwargs.pop('retcode', 0)
 
1333
        encoding = kwargs.pop('encoding', None)
 
1334
        stdin = kwargs.pop('stdin', None)
 
1335
        working_dir = kwargs.pop('working_dir', None)
 
1336
        error_regexes = kwargs.pop('error_regexes', [])
 
1337
 
 
1338
        if len(args) == 1:
 
1339
            if isinstance(args[0], (list, basestring)):
 
1340
                args = args[0]
 
1341
        else:
 
1342
            symbol_versioning.warn(zero_eighteen % "passing varargs to run_bzr",
 
1343
                                   DeprecationWarning, stacklevel=3)
 
1344
 
 
1345
        out, err = self._run_bzr_autosplit(args=args,
 
1346
            retcode=retcode,
 
1347
            encoding=encoding, stdin=stdin, working_dir=working_dir,
 
1348
            )
 
1349
 
 
1350
        for regex in error_regexes:
 
1351
            self.assertContainsRe(err, regex)
 
1352
        return out, err
 
1353
 
 
1354
    def run_bzr_decode(self, *args, **kwargs):
 
1355
        if 'encoding' in kwargs:
 
1356
            encoding = kwargs['encoding']
 
1357
        else:
 
1358
            encoding = bzrlib.user_encoding
 
1359
        return self.run_bzr(*args, **kwargs)[0].decode(encoding)
 
1360
 
 
1361
    def run_bzr_error(self, error_regexes, *args, **kwargs):
 
1362
        """Run bzr, and check that stderr contains the supplied regexes
 
1363
 
 
1364
        :param error_regexes: Sequence of regular expressions which
 
1365
            must each be found in the error output. The relative ordering
 
1366
            is not enforced.
 
1367
        :param args: command-line arguments for bzr
 
1368
        :param kwargs: Keyword arguments which are interpreted by run_bzr
 
1369
            This function changes the default value of retcode to be 3,
 
1370
            since in most cases this is run when you expect bzr to fail.
 
1371
 
 
1372
        :return: (out, err) The actual output of running the command (in case
 
1373
            you want to do more inspection)
 
1374
 
 
1375
        Examples of use::
 
1376
 
 
1377
            # Make sure that commit is failing because there is nothing to do
 
1378
            self.run_bzr_error(['no changes to commit'],
 
1379
                               'commit', '-m', 'my commit comment')
 
1380
            # Make sure --strict is handling an unknown file, rather than
 
1381
            # giving us the 'nothing to do' error
 
1382
            self.build_tree(['unknown'])
 
1383
            self.run_bzr_error(['Commit refused because there are unknown files'],
 
1384
                               'commit', '--strict', '-m', 'my commit comment')
 
1385
        """
 
1386
        kwargs.setdefault('retcode', 3)
 
1387
        kwargs['error_regexes'] = error_regexes
 
1388
        out, err = self.run_bzr(*args, **kwargs)
 
1389
        return out, err
 
1390
 
 
1391
    def run_bzr_subprocess(self, *args, **kwargs):
 
1392
        """Run bzr in a subprocess for testing.
 
1393
 
 
1394
        This starts a new Python interpreter and runs bzr in there. 
 
1395
        This should only be used for tests that have a justifiable need for
 
1396
        this isolation: e.g. they are testing startup time, or signal
 
1397
        handling, or early startup code, etc.  Subprocess code can't be 
 
1398
        profiled or debugged so easily.
 
1399
 
 
1400
        :keyword retcode: The status code that is expected.  Defaults to 0.  If
 
1401
            None is supplied, the status code is not checked.
 
1402
        :keyword env_changes: A dictionary which lists changes to environment
 
1403
            variables. A value of None will unset the env variable.
 
1404
            The values must be strings. The change will only occur in the
 
1405
            child, so you don't need to fix the environment after running.
 
1406
        :keyword universal_newlines: Convert CRLF => LF
 
1407
        :keyword allow_plugins: By default the subprocess is run with
 
1408
            --no-plugins to ensure test reproducibility. Also, it is possible
 
1409
            for system-wide plugins to create unexpected output on stderr,
 
1410
            which can cause unnecessary test failures.
 
1411
        """
 
1412
        env_changes = kwargs.get('env_changes', {})
 
1413
        working_dir = kwargs.get('working_dir', None)
 
1414
        allow_plugins = kwargs.get('allow_plugins', False)
 
1415
        process = self.start_bzr_subprocess(args, env_changes=env_changes,
 
1416
                                            working_dir=working_dir,
 
1417
                                            allow_plugins=allow_plugins)
 
1418
        # We distinguish between retcode=None and retcode not passed.
 
1419
        supplied_retcode = kwargs.get('retcode', 0)
 
1420
        return self.finish_bzr_subprocess(process, retcode=supplied_retcode,
 
1421
            universal_newlines=kwargs.get('universal_newlines', False),
 
1422
            process_args=args)
 
1423
 
 
1424
    def start_bzr_subprocess(self, process_args, env_changes=None,
 
1425
                             skip_if_plan_to_signal=False,
 
1426
                             working_dir=None,
 
1427
                             allow_plugins=False):
 
1428
        """Start bzr in a subprocess for testing.
 
1429
 
 
1430
        This starts a new Python interpreter and runs bzr in there.
 
1431
        This should only be used for tests that have a justifiable need for
 
1432
        this isolation: e.g. they are testing startup time, or signal
 
1433
        handling, or early startup code, etc.  Subprocess code can't be
 
1434
        profiled or debugged so easily.
 
1435
 
 
1436
        :param process_args: a list of arguments to pass to the bzr executable,
 
1437
            for example ``['--version']``.
 
1438
        :param env_changes: A dictionary which lists changes to environment
 
1439
            variables. A value of None will unset the env variable.
 
1440
            The values must be strings. The change will only occur in the
 
1441
            child, so you don't need to fix the environment after running.
 
1442
        :param skip_if_plan_to_signal: raise TestSkipped when true and os.kill
 
1443
            is not available.
 
1444
        :param allow_plugins: If False (default) pass --no-plugins to bzr.
 
1445
 
 
1446
        :returns: Popen object for the started process.
 
1447
        """
 
1448
        if skip_if_plan_to_signal:
 
1449
            if not getattr(os, 'kill', None):
 
1450
                raise TestSkipped("os.kill not available.")
 
1451
 
 
1452
        if env_changes is None:
 
1453
            env_changes = {}
 
1454
        old_env = {}
 
1455
 
 
1456
        def cleanup_environment():
 
1457
            for env_var, value in env_changes.iteritems():
 
1458
                old_env[env_var] = osutils.set_or_unset_env(env_var, value)
 
1459
 
 
1460
        def restore_environment():
 
1461
            for env_var, value in old_env.iteritems():
 
1462
                osutils.set_or_unset_env(env_var, value)
 
1463
 
 
1464
        bzr_path = self.get_bzr_path()
 
1465
 
 
1466
        cwd = None
 
1467
        if working_dir is not None:
 
1468
            cwd = osutils.getcwd()
 
1469
            os.chdir(working_dir)
 
1470
 
 
1471
        try:
 
1472
            # win32 subprocess doesn't support preexec_fn
 
1473
            # so we will avoid using it on all platforms, just to
 
1474
            # make sure the code path is used, and we don't break on win32
 
1475
            cleanup_environment()
 
1476
            command = [sys.executable, bzr_path]
 
1477
            if not allow_plugins:
 
1478
                command.append('--no-plugins')
 
1479
            command.extend(process_args)
 
1480
            process = self._popen(command, stdin=PIPE, stdout=PIPE, stderr=PIPE)
 
1481
        finally:
 
1482
            restore_environment()
 
1483
            if cwd is not None:
 
1484
                os.chdir(cwd)
 
1485
 
 
1486
        return process
 
1487
 
 
1488
    def _popen(self, *args, **kwargs):
 
1489
        """Place a call to Popen.
 
1490
 
 
1491
        Allows tests to override this method to intercept the calls made to
 
1492
        Popen for introspection.
 
1493
        """
 
1494
        return Popen(*args, **kwargs)
 
1495
 
 
1496
    def get_bzr_path(self):
 
1497
        """Return the path of the 'bzr' executable for this test suite."""
 
1498
        bzr_path = os.path.dirname(os.path.dirname(bzrlib.__file__))+'/bzr'
 
1499
        if not os.path.isfile(bzr_path):
 
1500
            # We are probably installed. Assume sys.argv is the right file
 
1501
            bzr_path = sys.argv[0]
 
1502
        return bzr_path
 
1503
 
 
1504
    def finish_bzr_subprocess(self, process, retcode=0, send_signal=None,
 
1505
                              universal_newlines=False, process_args=None):
 
1506
        """Finish the execution of process.
 
1507
 
 
1508
        :param process: the Popen object returned from start_bzr_subprocess.
 
1509
        :param retcode: The status code that is expected.  Defaults to 0.  If
 
1510
            None is supplied, the status code is not checked.
 
1511
        :param send_signal: an optional signal to send to the process.
 
1512
        :param universal_newlines: Convert CRLF => LF
 
1513
        :returns: (stdout, stderr)
 
1514
        """
 
1515
        if send_signal is not None:
 
1516
            os.kill(process.pid, send_signal)
 
1517
        out, err = process.communicate()
 
1518
 
 
1519
        if universal_newlines:
 
1520
            out = out.replace('\r\n', '\n')
 
1521
            err = err.replace('\r\n', '\n')
 
1522
 
 
1523
        if retcode is not None and retcode != process.returncode:
 
1524
            if process_args is None:
 
1525
                process_args = "(unknown args)"
 
1526
            mutter('Output of bzr %s:\n%s', process_args, out)
 
1527
            mutter('Error for bzr %s:\n%s', process_args, err)
 
1528
            self.fail('Command bzr %s failed with retcode %s != %s'
 
1529
                      % (process_args, retcode, process.returncode))
 
1530
        return [out, err]
 
1531
 
 
1532
    def check_inventory_shape(self, inv, shape):
 
1533
        """Compare an inventory to a list of expected names.
 
1534
 
 
1535
        Fail if they are not precisely equal.
 
1536
        """
 
1537
        extras = []
 
1538
        shape = list(shape)             # copy
 
1539
        for path, ie in inv.entries():
 
1540
            name = path.replace('\\', '/')
 
1541
            if ie.kind == 'directory':
 
1542
                name = name + '/'
 
1543
            if name in shape:
 
1544
                shape.remove(name)
 
1545
            else:
 
1546
                extras.append(name)
 
1547
        if shape:
 
1548
            self.fail("expected paths not found in inventory: %r" % shape)
 
1549
        if extras:
 
1550
            self.fail("unexpected paths found in inventory: %r" % extras)
 
1551
 
 
1552
    def apply_redirected(self, stdin=None, stdout=None, stderr=None,
 
1553
                         a_callable=None, *args, **kwargs):
 
1554
        """Call callable with redirected std io pipes.
 
1555
 
 
1556
        Returns the return code."""
 
1557
        if not callable(a_callable):
 
1558
            raise ValueError("a_callable must be callable.")
 
1559
        if stdin is None:
 
1560
            stdin = StringIO("")
 
1561
        if stdout is None:
 
1562
            if getattr(self, "_log_file", None) is not None:
 
1563
                stdout = self._log_file
 
1564
            else:
 
1565
                stdout = StringIO()
 
1566
        if stderr is None:
 
1567
            if getattr(self, "_log_file", None is not None):
 
1568
                stderr = self._log_file
 
1569
            else:
 
1570
                stderr = StringIO()
 
1571
        real_stdin = sys.stdin
 
1572
        real_stdout = sys.stdout
 
1573
        real_stderr = sys.stderr
 
1574
        try:
 
1575
            sys.stdout = stdout
 
1576
            sys.stderr = stderr
 
1577
            sys.stdin = stdin
 
1578
            return a_callable(*args, **kwargs)
 
1579
        finally:
 
1580
            sys.stdout = real_stdout
 
1581
            sys.stderr = real_stderr
 
1582
            sys.stdin = real_stdin
 
1583
 
 
1584
    def reduceLockdirTimeout(self):
 
1585
        """Reduce the default lock timeout for the duration of the test, so that
 
1586
        if LockContention occurs during a test, it does so quickly.
 
1587
 
 
1588
        Tests that expect to provoke LockContention errors should call this.
 
1589
        """
 
1590
        orig_timeout = bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS
 
1591
        def resetTimeout():
 
1592
            bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS = orig_timeout
 
1593
        self.addCleanup(resetTimeout)
 
1594
        bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS = 0
 
1595
 
 
1596
 
 
1597
class TestCaseWithMemoryTransport(TestCase):
 
1598
    """Common test class for tests that do not need disk resources.
 
1599
 
 
1600
    Tests that need disk resources should derive from TestCaseWithTransport.
 
1601
 
 
1602
    TestCaseWithMemoryTransport sets the TEST_ROOT variable for all bzr tests.
 
1603
 
 
1604
    For TestCaseWithMemoryTransport the test_home_dir is set to the name of
 
1605
    a directory which does not exist. This serves to help ensure test isolation
 
1606
    is preserved. test_dir is set to the TEST_ROOT, as is cwd, because they
 
1607
    must exist. However, TestCaseWithMemoryTransport does not offer local
 
1608
    file defaults for the transport in tests, nor does it obey the command line
 
1609
    override, so tests that accidentally write to the common directory should
 
1610
    be rare.
 
1611
 
 
1612
    :cvar TEST_ROOT: Directory containing all temporary directories, plus
 
1613
    a .bzr directory that stops us ascending higher into the filesystem.
 
1614
    """
 
1615
 
 
1616
    TEST_ROOT = None
 
1617
    _TEST_NAME = 'test'
 
1618
 
 
1619
    def __init__(self, methodName='runTest'):
 
1620
        # allow test parameterisation after test construction and before test
 
1621
        # execution. Variables that the parameteriser sets need to be 
 
1622
        # ones that are not set by setUp, or setUp will trash them.
 
1623
        super(TestCaseWithMemoryTransport, self).__init__(methodName)
 
1624
        self.vfs_transport_factory = default_transport
 
1625
        self.transport_server = None
 
1626
        self.transport_readonly_server = None
 
1627
        self.__vfs_server = None
 
1628
 
 
1629
    def get_transport(self, relpath=None):
 
1630
        """Return a writeable transport.
 
1631
 
 
1632
        This transport is for the test scratch space relative to
 
1633
        "self._test_root""
 
1634
        
 
1635
        :param relpath: a path relative to the base url.
 
1636
        """
 
1637
        t = get_transport(self.get_url(relpath))
 
1638
        self.assertFalse(t.is_readonly())
 
1639
        return t
 
1640
 
 
1641
    def get_readonly_transport(self, relpath=None):
 
1642
        """Return a readonly transport for the test scratch space
 
1643
        
 
1644
        This can be used to test that operations which should only need
 
1645
        readonly access in fact do not try to write.
 
1646
 
 
1647
        :param relpath: a path relative to the base url.
 
1648
        """
 
1649
        t = get_transport(self.get_readonly_url(relpath))
 
1650
        self.assertTrue(t.is_readonly())
 
1651
        return t
 
1652
 
 
1653
    def create_transport_readonly_server(self):
 
1654
        """Create a transport server from class defined at init.
 
1655
 
 
1656
        This is mostly a hook for daughter classes.
 
1657
        """
 
1658
        return self.transport_readonly_server()
 
1659
 
 
1660
    def get_readonly_server(self):
 
1661
        """Get the server instance for the readonly transport
 
1662
 
 
1663
        This is useful for some tests with specific servers to do diagnostics.
 
1664
        """
 
1665
        if self.__readonly_server is None:
 
1666
            if self.transport_readonly_server is None:
 
1667
                # readonly decorator requested
 
1668
                # bring up the server
 
1669
                self.__readonly_server = ReadonlyServer()
 
1670
                self.__readonly_server.setUp(self.get_vfs_only_server())
 
1671
            else:
 
1672
                self.__readonly_server = self.create_transport_readonly_server()
 
1673
                self.__readonly_server.setUp(self.get_vfs_only_server())
 
1674
            self.addCleanup(self.__readonly_server.tearDown)
 
1675
        return self.__readonly_server
 
1676
 
 
1677
    def get_readonly_url(self, relpath=None):
 
1678
        """Get a URL for the readonly transport.
 
1679
 
 
1680
        This will either be backed by '.' or a decorator to the transport 
 
1681
        used by self.get_url()
 
1682
        relpath provides for clients to get a path relative to the base url.
 
1683
        These should only be downwards relative, not upwards.
 
1684
        """
 
1685
        base = self.get_readonly_server().get_url()
 
1686
        return self._adjust_url(base, relpath)
 
1687
 
 
1688
    def get_vfs_only_server(self):
 
1689
        """Get the vfs only read/write server instance.
 
1690
 
 
1691
        This is useful for some tests with specific servers that need
 
1692
        diagnostics.
 
1693
 
 
1694
        For TestCaseWithMemoryTransport this is always a MemoryServer, and there
 
1695
        is no means to override it.
 
1696
        """
 
1697
        if self.__vfs_server is None:
 
1698
            self.__vfs_server = MemoryServer()
 
1699
            self.__vfs_server.setUp()
 
1700
            self.addCleanup(self.__vfs_server.tearDown)
 
1701
        return self.__vfs_server
 
1702
 
 
1703
    def get_server(self):
 
1704
        """Get the read/write server instance.
 
1705
 
 
1706
        This is useful for some tests with specific servers that need
 
1707
        diagnostics.
 
1708
 
 
1709
        This is built from the self.transport_server factory. If that is None,
 
1710
        then the self.get_vfs_server is returned.
 
1711
        """
 
1712
        if self.__server is None:
 
1713
            if self.transport_server is None or self.transport_server is self.vfs_transport_factory:
 
1714
                return self.get_vfs_only_server()
 
1715
            else:
 
1716
                # bring up a decorated means of access to the vfs only server.
 
1717
                self.__server = self.transport_server()
 
1718
                try:
 
1719
                    self.__server.setUp(self.get_vfs_only_server())
 
1720
                except TypeError, e:
 
1721
                    # This should never happen; the try:Except here is to assist
 
1722
                    # developers having to update code rather than seeing an
 
1723
                    # uninformative TypeError.
 
1724
                    raise Exception, "Old server API in use: %s, %s" % (self.__server, e)
 
1725
            self.addCleanup(self.__server.tearDown)
 
1726
        return self.__server
 
1727
 
 
1728
    def _adjust_url(self, base, relpath):
 
1729
        """Get a URL (or maybe a path) for the readwrite transport.
 
1730
 
 
1731
        This will either be backed by '.' or to an equivalent non-file based
 
1732
        facility.
 
1733
        relpath provides for clients to get a path relative to the base url.
 
1734
        These should only be downwards relative, not upwards.
 
1735
        """
 
1736
        if relpath is not None and relpath != '.':
 
1737
            if not base.endswith('/'):
 
1738
                base = base + '/'
 
1739
            # XXX: Really base should be a url; we did after all call
 
1740
            # get_url()!  But sometimes it's just a path (from
 
1741
            # LocalAbspathServer), and it'd be wrong to append urlescaped data
 
1742
            # to a non-escaped local path.
 
1743
            if base.startswith('./') or base.startswith('/'):
 
1744
                base += relpath
 
1745
            else:
 
1746
                base += urlutils.escape(relpath)
 
1747
        return base
 
1748
 
 
1749
    def get_url(self, relpath=None):
 
1750
        """Get a URL (or maybe a path) for the readwrite transport.
 
1751
 
 
1752
        This will either be backed by '.' or to an equivalent non-file based
 
1753
        facility.
 
1754
        relpath provides for clients to get a path relative to the base url.
 
1755
        These should only be downwards relative, not upwards.
 
1756
        """
 
1757
        base = self.get_server().get_url()
 
1758
        return self._adjust_url(base, relpath)
 
1759
 
 
1760
    def get_vfs_only_url(self, relpath=None):
 
1761
        """Get a URL (or maybe a path for the plain old vfs transport.
 
1762
 
 
1763
        This will never be a smart protocol.  It always has all the
 
1764
        capabilities of the local filesystem, but it might actually be a
 
1765
        MemoryTransport or some other similar virtual filesystem.
 
1766
 
 
1767
        This is the backing transport (if any) of the server returned by
 
1768
        get_url and get_readonly_url.
 
1769
 
 
1770
        :param relpath: provides for clients to get a path relative to the base
 
1771
            url.  These should only be downwards relative, not upwards.
 
1772
        :return: A URL
 
1773
        """
 
1774
        base = self.get_vfs_only_server().get_url()
 
1775
        return self._adjust_url(base, relpath)
 
1776
 
 
1777
    def _make_test_root(self):
 
1778
        if TestCaseWithMemoryTransport.TEST_ROOT is not None:
 
1779
            return
 
1780
        root = tempfile.mkdtemp(prefix='testbzr-', suffix='.tmp')
 
1781
        TestCaseWithMemoryTransport.TEST_ROOT = root
 
1782
        
 
1783
        # make a fake bzr directory there to prevent any tests propagating
 
1784
        # up onto the source directory's real branch
 
1785
        bzrdir.BzrDir.create_standalone_workingtree(root)
 
1786
 
 
1787
        # The same directory is used by all tests, and we're not specifically
 
1788
        # told when all tests are finished.  This will do.
 
1789
        atexit.register(_rmtree_temp_dir, root)
 
1790
 
 
1791
    def makeAndChdirToTestDir(self):
 
1792
        """Create a temporary directories for this one test.
 
1793
        
 
1794
        This must set self.test_home_dir and self.test_dir and chdir to
 
1795
        self.test_dir.
 
1796
        
 
1797
        For TestCaseWithMemoryTransport we chdir to the TEST_ROOT for this test.
 
1798
        """
 
1799
        os.chdir(TestCaseWithMemoryTransport.TEST_ROOT)
 
1800
        self.test_dir = TestCaseWithMemoryTransport.TEST_ROOT
 
1801
        self.test_home_dir = self.test_dir + "/MemoryTransportMissingHomeDir"
 
1802
        
 
1803
    def make_branch(self, relpath, format=None):
 
1804
        """Create a branch on the transport at relpath."""
 
1805
        repo = self.make_repository(relpath, format=format)
 
1806
        return repo.bzrdir.create_branch()
 
1807
 
 
1808
    def make_bzrdir(self, relpath, format=None):
 
1809
        try:
 
1810
            # might be a relative or absolute path
 
1811
            maybe_a_url = self.get_url(relpath)
 
1812
            segments = maybe_a_url.rsplit('/', 1)
 
1813
            t = get_transport(maybe_a_url)
 
1814
            if len(segments) > 1 and segments[-1] not in ('', '.'):
 
1815
                t.ensure_base()
 
1816
            if format is None:
 
1817
                format = 'default'
 
1818
            if isinstance(format, basestring):
 
1819
                format = bzrdir.format_registry.make_bzrdir(format)
 
1820
            return format.initialize_on_transport(t)
 
1821
        except errors.UninitializableFormat:
 
1822
            raise TestSkipped("Format %s is not initializable." % format)
 
1823
 
 
1824
    def make_repository(self, relpath, shared=False, format=None):
 
1825
        """Create a repository on our default transport at relpath.
 
1826
        
 
1827
        Note that relpath must be a relative path, not a full url.
 
1828
        """
 
1829
        # FIXME: If you create a remoterepository this returns the underlying
 
1830
        # real format, which is incorrect.  Actually we should make sure that 
 
1831
        # RemoteBzrDir returns a RemoteRepository.
 
1832
        # maybe  mbp 20070410
 
1833
        made_control = self.make_bzrdir(relpath, format=format)
 
1834
        return made_control.create_repository(shared=shared)
 
1835
 
 
1836
    def make_branch_and_memory_tree(self, relpath, format=None):
 
1837
        """Create a branch on the default transport and a MemoryTree for it."""
 
1838
        b = self.make_branch(relpath, format=format)
 
1839
        return memorytree.MemoryTree.create_on_branch(b)
 
1840
 
 
1841
    def overrideEnvironmentForTesting(self):
 
1842
        os.environ['HOME'] = self.test_home_dir
 
1843
        os.environ['BZR_HOME'] = self.test_home_dir
 
1844
        
 
1845
    def setUp(self):
 
1846
        super(TestCaseWithMemoryTransport, self).setUp()
 
1847
        self._make_test_root()
 
1848
        _currentdir = os.getcwdu()
 
1849
        def _leaveDirectory():
 
1850
            os.chdir(_currentdir)
 
1851
        self.addCleanup(_leaveDirectory)
 
1852
        self.makeAndChdirToTestDir()
 
1853
        self.overrideEnvironmentForTesting()
 
1854
        self.__readonly_server = None
 
1855
        self.__server = None
 
1856
        self.reduceLockdirTimeout()
 
1857
 
 
1858
     
 
1859
class TestCaseInTempDir(TestCaseWithMemoryTransport):
 
1860
    """Derived class that runs a test within a temporary directory.
 
1861
 
 
1862
    This is useful for tests that need to create a branch, etc.
 
1863
 
 
1864
    The directory is created in a slightly complex way: for each
 
1865
    Python invocation, a new temporary top-level directory is created.
 
1866
    All test cases create their own directory within that.  If the
 
1867
    tests complete successfully, the directory is removed.
 
1868
 
 
1869
    :ivar test_base_dir: The path of the top-level directory for this 
 
1870
    test, which contains a home directory and a work directory.
 
1871
 
 
1872
    :ivar test_home_dir: An initially empty directory under test_base_dir
 
1873
    which is used as $HOME for this test.
 
1874
 
 
1875
    :ivar test_dir: A directory under test_base_dir used as the current
 
1876
    directory when the test proper is run.
 
1877
    """
 
1878
 
 
1879
    OVERRIDE_PYTHON = 'python'
 
1880
 
 
1881
    def check_file_contents(self, filename, expect):
 
1882
        self.log("check contents of file %s" % filename)
 
1883
        contents = file(filename, 'r').read()
 
1884
        if contents != expect:
 
1885
            self.log("expected: %r" % expect)
 
1886
            self.log("actually: %r" % contents)
 
1887
            self.fail("contents of %s not as expected" % filename)
 
1888
 
 
1889
    def makeAndChdirToTestDir(self):
 
1890
        """See TestCaseWithMemoryTransport.makeAndChdirToTestDir().
 
1891
        
 
1892
        For TestCaseInTempDir we create a temporary directory based on the test
 
1893
        name and then create two subdirs - test and home under it.
 
1894
        """
 
1895
        # create a directory within the top level test directory
 
1896
        candidate_dir = tempfile.mkdtemp(dir=self.TEST_ROOT)
 
1897
        # now create test and home directories within this dir
 
1898
        self.test_base_dir = candidate_dir
 
1899
        self.test_home_dir = self.test_base_dir + '/home'
 
1900
        os.mkdir(self.test_home_dir)
 
1901
        self.test_dir = self.test_base_dir + '/work'
 
1902
        os.mkdir(self.test_dir)
 
1903
        os.chdir(self.test_dir)
 
1904
        # put name of test inside
 
1905
        f = file(self.test_base_dir + '/name', 'w')
 
1906
        try:
 
1907
            f.write(self.id())
 
1908
        finally:
 
1909
            f.close()
 
1910
        self.addCleanup(self.deleteTestDir)
 
1911
 
 
1912
    def deleteTestDir(self):
 
1913
        os.chdir(self.TEST_ROOT)
 
1914
        _rmtree_temp_dir(self.test_base_dir)
 
1915
 
 
1916
    def build_tree(self, shape, line_endings='binary', transport=None):
 
1917
        """Build a test tree according to a pattern.
 
1918
 
 
1919
        shape is a sequence of file specifications.  If the final
 
1920
        character is '/', a directory is created.
 
1921
 
 
1922
        This assumes that all the elements in the tree being built are new.
 
1923
 
 
1924
        This doesn't add anything to a branch.
 
1925
 
 
1926
        :param line_endings: Either 'binary' or 'native'
 
1927
            in binary mode, exact contents are written in native mode, the
 
1928
            line endings match the default platform endings.
 
1929
        :param transport: A transport to write to, for building trees on VFS's.
 
1930
            If the transport is readonly or None, "." is opened automatically.
 
1931
        :return: None
 
1932
        """
 
1933
        # It's OK to just create them using forward slashes on windows.
 
1934
        if transport is None or transport.is_readonly():
 
1935
            transport = get_transport(".")
 
1936
        for name in shape:
 
1937
            self.assert_(isinstance(name, basestring))
 
1938
            if name[-1] == '/':
 
1939
                transport.mkdir(urlutils.escape(name[:-1]))
 
1940
            else:
 
1941
                if line_endings == 'binary':
 
1942
                    end = '\n'
 
1943
                elif line_endings == 'native':
 
1944
                    end = os.linesep
 
1945
                else:
 
1946
                    raise errors.BzrError(
 
1947
                        'Invalid line ending request %r' % line_endings)
 
1948
                content = "contents of %s%s" % (name.encode('utf-8'), end)
 
1949
                transport.put_bytes_non_atomic(urlutils.escape(name), content)
 
1950
 
 
1951
    def build_tree_contents(self, shape):
 
1952
        build_tree_contents(shape)
 
1953
 
 
1954
    def assertFileEqual(self, content, path):
 
1955
        """Fail if path does not contain 'content'."""
 
1956
        self.failUnlessExists(path)
 
1957
        f = file(path, 'rb')
 
1958
        try:
 
1959
            s = f.read()
 
1960
        finally:
 
1961
            f.close()
 
1962
        self.assertEqualDiff(content, s)
 
1963
 
 
1964
    def failUnlessExists(self, path):
 
1965
        """Fail unless path or paths, which may be abs or relative, exist."""
 
1966
        if not isinstance(path, basestring):
 
1967
            for p in path:
 
1968
                self.failUnlessExists(p)
 
1969
        else:
 
1970
            self.failUnless(osutils.lexists(path),path+" does not exist")
 
1971
 
 
1972
    def failIfExists(self, path):
 
1973
        """Fail if path or paths, which may be abs or relative, exist."""
 
1974
        if not isinstance(path, basestring):
 
1975
            for p in path:
 
1976
                self.failIfExists(p)
 
1977
        else:
 
1978
            self.failIf(osutils.lexists(path),path+" exists")
 
1979
 
 
1980
    def assertInWorkingTree(self,path,root_path='.',tree=None):
 
1981
        """Assert whether path or paths are in the WorkingTree"""
 
1982
        if tree is None:
 
1983
            tree = workingtree.WorkingTree.open(root_path)
 
1984
        if not isinstance(path, basestring):
 
1985
            for p in path:
 
1986
                self.assertInWorkingTree(p,tree=tree)
 
1987
        else:
 
1988
            self.assertIsNot(tree.path2id(path), None,
 
1989
                path+' not in working tree.')
 
1990
 
 
1991
    def assertNotInWorkingTree(self,path,root_path='.',tree=None):
 
1992
        """Assert whether path or paths are not in the WorkingTree"""
 
1993
        if tree is None:
 
1994
            tree = workingtree.WorkingTree.open(root_path)
 
1995
        if not isinstance(path, basestring):
 
1996
            for p in path:
 
1997
                self.assertNotInWorkingTree(p,tree=tree)
 
1998
        else:
 
1999
            self.assertIs(tree.path2id(path), None, path+' in working tree.')
 
2000
 
 
2001
 
 
2002
class TestCaseWithTransport(TestCaseInTempDir):
 
2003
    """A test case that provides get_url and get_readonly_url facilities.
 
2004
 
 
2005
    These back onto two transport servers, one for readonly access and one for
 
2006
    read write access.
 
2007
 
 
2008
    If no explicit class is provided for readonly access, a
 
2009
    ReadonlyTransportDecorator is used instead which allows the use of non disk
 
2010
    based read write transports.
 
2011
 
 
2012
    If an explicit class is provided for readonly access, that server and the 
 
2013
    readwrite one must both define get_url() as resolving to os.getcwd().
 
2014
    """
 
2015
 
 
2016
    def get_vfs_only_server(self):
 
2017
        """See TestCaseWithMemoryTransport.
 
2018
 
 
2019
        This is useful for some tests with specific servers that need
 
2020
        diagnostics.
 
2021
        """
 
2022
        if self.__vfs_server is None:
 
2023
            self.__vfs_server = self.vfs_transport_factory()
 
2024
            self.__vfs_server.setUp()
 
2025
            self.addCleanup(self.__vfs_server.tearDown)
 
2026
        return self.__vfs_server
 
2027
 
 
2028
    def make_branch_and_tree(self, relpath, format=None):
 
2029
        """Create a branch on the transport and a tree locally.
 
2030
 
 
2031
        If the transport is not a LocalTransport, the Tree can't be created on
 
2032
        the transport.  In that case if the vfs_transport_factory is
 
2033
        LocalURLServer the working tree is created in the local
 
2034
        directory backing the transport, and the returned tree's branch and
 
2035
        repository will also be accessed locally. Otherwise a lightweight
 
2036
        checkout is created and returned.
 
2037
 
 
2038
        :param format: The BzrDirFormat.
 
2039
        :returns: the WorkingTree.
 
2040
        """
 
2041
        # TODO: always use the local disk path for the working tree,
 
2042
        # this obviously requires a format that supports branch references
 
2043
        # so check for that by checking bzrdir.BzrDirFormat.get_default_format()
 
2044
        # RBC 20060208
 
2045
        b = self.make_branch(relpath, format=format)
 
2046
        try:
 
2047
            return b.bzrdir.create_workingtree()
 
2048
        except errors.NotLocalUrl:
 
2049
            # We can only make working trees locally at the moment.  If the
 
2050
            # transport can't support them, then we keep the non-disk-backed
 
2051
            # branch and create a local checkout.
 
2052
            if self.vfs_transport_factory is LocalURLServer:
 
2053
                # the branch is colocated on disk, we cannot create a checkout.
 
2054
                # hopefully callers will expect this.
 
2055
                local_controldir= bzrdir.BzrDir.open(self.get_vfs_only_url(relpath))
 
2056
                return local_controldir.create_workingtree()
 
2057
            else:
 
2058
                return b.create_checkout(relpath, lightweight=True)
 
2059
 
 
2060
    def assertIsDirectory(self, relpath, transport):
 
2061
        """Assert that relpath within transport is a directory.
 
2062
 
 
2063
        This may not be possible on all transports; in that case it propagates
 
2064
        a TransportNotPossible.
 
2065
        """
 
2066
        try:
 
2067
            mode = transport.stat(relpath).st_mode
 
2068
        except errors.NoSuchFile:
 
2069
            self.fail("path %s is not a directory; no such file"
 
2070
                      % (relpath))
 
2071
        if not stat.S_ISDIR(mode):
 
2072
            self.fail("path %s is not a directory; has mode %#o"
 
2073
                      % (relpath, mode))
 
2074
 
 
2075
    def assertTreesEqual(self, left, right):
 
2076
        """Check that left and right have the same content and properties."""
 
2077
        # we use a tree delta to check for equality of the content, and we
 
2078
        # manually check for equality of other things such as the parents list.
 
2079
        self.assertEqual(left.get_parent_ids(), right.get_parent_ids())
 
2080
        differences = left.changes_from(right)
 
2081
        self.assertFalse(differences.has_changed(),
 
2082
            "Trees %r and %r are different: %r" % (left, right, differences))
 
2083
 
 
2084
    def setUp(self):
 
2085
        super(TestCaseWithTransport, self).setUp()
 
2086
        self.__vfs_server = None
 
2087
 
 
2088
 
 
2089
class ChrootedTestCase(TestCaseWithTransport):
 
2090
    """A support class that provides readonly urls outside the local namespace.
 
2091
 
 
2092
    This is done by checking if self.transport_server is a MemoryServer. if it
 
2093
    is then we are chrooted already, if it is not then an HttpServer is used
 
2094
    for readonly urls.
 
2095
 
 
2096
    TODO RBC 20060127: make this an option to TestCaseWithTransport so it can
 
2097
                       be used without needed to redo it when a different 
 
2098
                       subclass is in use ?
 
2099
    """
 
2100
 
 
2101
    def setUp(self):
 
2102
        super(ChrootedTestCase, self).setUp()
 
2103
        if not self.vfs_transport_factory == MemoryServer:
 
2104
            self.transport_readonly_server = HttpServer
 
2105
 
 
2106
 
 
2107
def filter_suite_by_re(suite, pattern, exclude_pattern=None,
 
2108
                       random_order=False):
 
2109
    """Create a test suite by filtering another one.
 
2110
    
 
2111
    :param suite:           the source suite
 
2112
    :param pattern:         pattern that names must match
 
2113
    :param exclude_pattern: pattern that names must not match, if any
 
2114
    :param random_order:    if True, tests in the new suite will be put in
 
2115
                            random order
 
2116
    :returns: the newly created suite
 
2117
    """ 
 
2118
    return sort_suite_by_re(suite, pattern, exclude_pattern,
 
2119
        random_order, False)
 
2120
 
 
2121
 
 
2122
def sort_suite_by_re(suite, pattern, exclude_pattern=None,
 
2123
                     random_order=False, append_rest=True):
 
2124
    """Create a test suite by sorting another one.
 
2125
    
 
2126
    :param suite:           the source suite
 
2127
    :param pattern:         pattern that names must match in order to go
 
2128
                            first in the new suite
 
2129
    :param exclude_pattern: pattern that names must not match, if any
 
2130
    :param random_order:    if True, tests in the new suite will be put in
 
2131
                            random order
 
2132
    :param append_rest:     if False, pattern is a strict filter and not
 
2133
                            just an ordering directive
 
2134
    :returns: the newly created suite
 
2135
    """ 
 
2136
    first = []
 
2137
    second = []
 
2138
    filter_re = re.compile(pattern)
 
2139
    if exclude_pattern is not None:
 
2140
        exclude_re = re.compile(exclude_pattern)
 
2141
    for test in iter_suite_tests(suite):
 
2142
        test_id = test.id()
 
2143
        if exclude_pattern is None or not exclude_re.search(test_id):
 
2144
            if filter_re.search(test_id):
 
2145
                first.append(test)
 
2146
            elif append_rest:
 
2147
                second.append(test)
 
2148
    if random_order:
 
2149
        random.shuffle(first)
 
2150
        random.shuffle(second)
 
2151
    return TestUtil.TestSuite(first + second)
 
2152
 
 
2153
 
 
2154
def run_suite(suite, name='test', verbose=False, pattern=".*",
 
2155
              stop_on_failure=False,
 
2156
              transport=None, lsprof_timed=None, bench_history=None,
 
2157
              matching_tests_first=None,
 
2158
              list_only=False,
 
2159
              random_seed=None,
 
2160
              exclude_pattern=None,
 
2161
              ):
 
2162
    TestCase._gather_lsprof_in_benchmarks = lsprof_timed
 
2163
    if verbose:
 
2164
        verbosity = 2
 
2165
    else:
 
2166
        verbosity = 1
 
2167
    runner = TextTestRunner(stream=sys.stdout,
 
2168
                            descriptions=0,
 
2169
                            verbosity=verbosity,
 
2170
                            bench_history=bench_history,
 
2171
                            list_only=list_only,
 
2172
                            )
 
2173
    runner.stop_on_failure=stop_on_failure
 
2174
    # Initialise the random number generator and display the seed used.
 
2175
    # We convert the seed to a long to make it reuseable across invocations.
 
2176
    random_order = False
 
2177
    if random_seed is not None:
 
2178
        random_order = True
 
2179
        if random_seed == "now":
 
2180
            random_seed = long(time.time())
 
2181
        else:
 
2182
            # Convert the seed to a long if we can
 
2183
            try:
 
2184
                random_seed = long(random_seed)
 
2185
            except:
 
2186
                pass
 
2187
        runner.stream.writeln("Randomizing test order using seed %s\n" %
 
2188
            (random_seed))
 
2189
        random.seed(random_seed)
 
2190
    # Customise the list of tests if requested
 
2191
    if pattern != '.*' or exclude_pattern is not None or random_order:
 
2192
        if matching_tests_first:
 
2193
            suite = sort_suite_by_re(suite, pattern, exclude_pattern,
 
2194
                random_order)
 
2195
        else:
 
2196
            suite = filter_suite_by_re(suite, pattern, exclude_pattern,
 
2197
                random_order)
 
2198
    result = runner.run(suite)
 
2199
    return result.wasSuccessful()
 
2200
 
 
2201
 
 
2202
def selftest(verbose=False, pattern=".*", stop_on_failure=True,
 
2203
             transport=None,
 
2204
             test_suite_factory=None,
 
2205
             lsprof_timed=None,
 
2206
             bench_history=None,
 
2207
             matching_tests_first=None,
 
2208
             list_only=False,
 
2209
             random_seed=None,
 
2210
             exclude_pattern=None):
 
2211
    """Run the whole test suite under the enhanced runner"""
 
2212
    # XXX: Very ugly way to do this...
 
2213
    # Disable warning about old formats because we don't want it to disturb
 
2214
    # any blackbox tests.
 
2215
    from bzrlib import repository
 
2216
    repository._deprecation_warning_done = True
 
2217
 
 
2218
    global default_transport
 
2219
    if transport is None:
 
2220
        transport = default_transport
 
2221
    old_transport = default_transport
 
2222
    default_transport = transport
 
2223
    try:
 
2224
        if test_suite_factory is None:
 
2225
            suite = test_suite()
 
2226
        else:
 
2227
            suite = test_suite_factory()
 
2228
        return run_suite(suite, 'testbzr', verbose=verbose, pattern=pattern,
 
2229
                     stop_on_failure=stop_on_failure,
 
2230
                     transport=transport,
 
2231
                     lsprof_timed=lsprof_timed,
 
2232
                     bench_history=bench_history,
 
2233
                     matching_tests_first=matching_tests_first,
 
2234
                     list_only=list_only,
 
2235
                     random_seed=random_seed,
 
2236
                     exclude_pattern=exclude_pattern)
 
2237
    finally:
 
2238
        default_transport = old_transport
 
2239
 
 
2240
 
 
2241
def test_suite():
 
2242
    """Build and return TestSuite for the whole of bzrlib.
 
2243
    
 
2244
    This function can be replaced if you need to change the default test
 
2245
    suite on a global basis, but it is not encouraged.
 
2246
    """
 
2247
    testmod_names = [
 
2248
                   'bzrlib.util.tests.test_bencode',
 
2249
                   'bzrlib.tests.test_ancestry',
 
2250
                   'bzrlib.tests.test_annotate',
 
2251
                   'bzrlib.tests.test_api',
 
2252
                   'bzrlib.tests.test_atomicfile',
 
2253
                   'bzrlib.tests.test_bad_files',
 
2254
                   'bzrlib.tests.test_branch',
 
2255
                   'bzrlib.tests.test_branchbuilder',
 
2256
                   'bzrlib.tests.test_bugtracker',
 
2257
                   'bzrlib.tests.test_bundle',
 
2258
                   'bzrlib.tests.test_bzrdir',
 
2259
                   'bzrlib.tests.test_cache_utf8',
 
2260
                   'bzrlib.tests.test_commands',
 
2261
                   'bzrlib.tests.test_commit',
 
2262
                   'bzrlib.tests.test_commit_merge',
 
2263
                   'bzrlib.tests.test_config',
 
2264
                   'bzrlib.tests.test_conflicts',
 
2265
                   'bzrlib.tests.test_counted_lock',
 
2266
                   'bzrlib.tests.test_decorators',
 
2267
                   'bzrlib.tests.test_delta',
 
2268
                   'bzrlib.tests.test_deprecated_graph',
 
2269
                   'bzrlib.tests.test_diff',
 
2270
                   'bzrlib.tests.test_dirstate',
 
2271
                   'bzrlib.tests.test_errors',
 
2272
                   'bzrlib.tests.test_escaped_store',
 
2273
                   'bzrlib.tests.test_extract',
 
2274
                   'bzrlib.tests.test_fetch',
 
2275
                   'bzrlib.tests.test_file_names',
 
2276
                   'bzrlib.tests.test_ftp_transport',
 
2277
                   'bzrlib.tests.test_generate_docs',
 
2278
                   'bzrlib.tests.test_generate_ids',
 
2279
                   'bzrlib.tests.test_globbing',
 
2280
                   'bzrlib.tests.test_gpg',
 
2281
                   'bzrlib.tests.test_graph',
 
2282
                   'bzrlib.tests.test_hashcache',
 
2283
                   'bzrlib.tests.test_help',
 
2284
                   'bzrlib.tests.test_hooks',
 
2285
                   'bzrlib.tests.test_http',
 
2286
                   'bzrlib.tests.test_http_response',
 
2287
                   'bzrlib.tests.test_https_ca_bundle',
 
2288
                   'bzrlib.tests.test_identitymap',
 
2289
                   'bzrlib.tests.test_ignores',
 
2290
                   'bzrlib.tests.test_index',
 
2291
                   'bzrlib.tests.test_info',
 
2292
                   'bzrlib.tests.test_inv',
 
2293
                   'bzrlib.tests.test_knit',
 
2294
                   'bzrlib.tests.test_lazy_import',
 
2295
                   'bzrlib.tests.test_lazy_regex',
 
2296
                   'bzrlib.tests.test_lockdir',
 
2297
                   'bzrlib.tests.test_lockable_files',
 
2298
                   'bzrlib.tests.test_log',
 
2299
                   'bzrlib.tests.test_lsprof',
 
2300
                   'bzrlib.tests.test_memorytree',
 
2301
                   'bzrlib.tests.test_merge',
 
2302
                   'bzrlib.tests.test_merge3',
 
2303
                   'bzrlib.tests.test_merge_core',
 
2304
                   'bzrlib.tests.test_merge_directive',
 
2305
                   'bzrlib.tests.test_missing',
 
2306
                   'bzrlib.tests.test_msgeditor',
 
2307
                   'bzrlib.tests.test_multiparent',
 
2308
                   'bzrlib.tests.test_nonascii',
 
2309
                   'bzrlib.tests.test_options',
 
2310
                   'bzrlib.tests.test_osutils',
 
2311
                   'bzrlib.tests.test_osutils_encodings',
 
2312
                   'bzrlib.tests.test_pack',
 
2313
                   'bzrlib.tests.test_patch',
 
2314
                   'bzrlib.tests.test_patches',
 
2315
                   'bzrlib.tests.test_permissions',
 
2316
                   'bzrlib.tests.test_plugins',
 
2317
                   'bzrlib.tests.test_progress',
 
2318
                   'bzrlib.tests.test_reconcile',
 
2319
                   'bzrlib.tests.test_registry',
 
2320
                   'bzrlib.tests.test_remote',
 
2321
                   'bzrlib.tests.test_repository',
 
2322
                   'bzrlib.tests.test_revert',
 
2323
                   'bzrlib.tests.test_revision',
 
2324
                   'bzrlib.tests.test_revisionnamespaces',
 
2325
                   'bzrlib.tests.test_revisiontree',
 
2326
                   'bzrlib.tests.test_rio',
 
2327
                   'bzrlib.tests.test_sampler',
 
2328
                   'bzrlib.tests.test_selftest',
 
2329
                   'bzrlib.tests.test_setup',
 
2330
                   'bzrlib.tests.test_sftp_transport',
 
2331
                   'bzrlib.tests.test_smart',
 
2332
                   'bzrlib.tests.test_smart_add',
 
2333
                   'bzrlib.tests.test_smart_transport',
 
2334
                   'bzrlib.tests.test_smtp_connection',
 
2335
                   'bzrlib.tests.test_source',
 
2336
                   'bzrlib.tests.test_ssh_transport',
 
2337
                   'bzrlib.tests.test_status',
 
2338
                   'bzrlib.tests.test_store',
 
2339
                   'bzrlib.tests.test_strace',
 
2340
                   'bzrlib.tests.test_subsume',
 
2341
                   'bzrlib.tests.test_symbol_versioning',
 
2342
                   'bzrlib.tests.test_tag',
 
2343
                   'bzrlib.tests.test_testament',
 
2344
                   'bzrlib.tests.test_textfile',
 
2345
                   'bzrlib.tests.test_textmerge',
 
2346
                   'bzrlib.tests.test_timestamp',
 
2347
                   'bzrlib.tests.test_trace',
 
2348
                   'bzrlib.tests.test_transactions',
 
2349
                   'bzrlib.tests.test_transform',
 
2350
                   'bzrlib.tests.test_transport',
 
2351
                   'bzrlib.tests.test_tree',
 
2352
                   'bzrlib.tests.test_treebuilder',
 
2353
                   'bzrlib.tests.test_tsort',
 
2354
                   'bzrlib.tests.test_tuned_gzip',
 
2355
                   'bzrlib.tests.test_ui',
 
2356
                   'bzrlib.tests.test_upgrade',
 
2357
                   'bzrlib.tests.test_urlutils',
 
2358
                   'bzrlib.tests.test_versionedfile',
 
2359
                   'bzrlib.tests.test_version',
 
2360
                   'bzrlib.tests.test_version_info',
 
2361
                   'bzrlib.tests.test_weave',
 
2362
                   'bzrlib.tests.test_whitebox',
 
2363
                   'bzrlib.tests.test_workingtree',
 
2364
                   'bzrlib.tests.test_workingtree_4',
 
2365
                   'bzrlib.tests.test_wsgi',
 
2366
                   'bzrlib.tests.test_xml',
 
2367
                   ]
 
2368
    test_transport_implementations = [
 
2369
        'bzrlib.tests.test_transport_implementations',
 
2370
        'bzrlib.tests.test_read_bundle',
 
2371
        ]
 
2372
    suite = TestUtil.TestSuite()
 
2373
    loader = TestUtil.TestLoader()
 
2374
    suite.addTest(loader.loadTestsFromModuleNames(testmod_names))
 
2375
    from bzrlib.tests.test_transport_implementations import TransportTestProviderAdapter
 
2376
    adapter = TransportTestProviderAdapter()
 
2377
    adapt_modules(test_transport_implementations, adapter, loader, suite)
 
2378
    for package in packages_to_test():
 
2379
        suite.addTest(package.test_suite())
 
2380
    for m in MODULES_TO_TEST:
 
2381
        suite.addTest(loader.loadTestsFromModule(m))
 
2382
    for m in MODULES_TO_DOCTEST:
 
2383
        try:
 
2384
            suite.addTest(doctest.DocTestSuite(m))
 
2385
        except ValueError, e:
 
2386
            print '**failed to get doctest for: %s\n%s' %(m,e)
 
2387
            raise
 
2388
    for name, plugin in bzrlib.plugin.all_plugins().items():
 
2389
        if getattr(plugin, 'test_suite', None) is not None:
 
2390
            default_encoding = sys.getdefaultencoding()
 
2391
            try:
 
2392
                plugin_suite = plugin.test_suite()
 
2393
            except ImportError, e:
 
2394
                bzrlib.trace.warning(
 
2395
                    'Unable to test plugin "%s": %s', name, e)
 
2396
            else:
 
2397
                suite.addTest(plugin_suite)
 
2398
            if default_encoding != sys.getdefaultencoding():
 
2399
                bzrlib.trace.warning(
 
2400
                    'Plugin "%s" tried to reset default encoding to: %s', name,
 
2401
                    sys.getdefaultencoding())
 
2402
                reload(sys)
 
2403
                sys.setdefaultencoding(default_encoding)
 
2404
    return suite
 
2405
 
 
2406
 
 
2407
def adapt_modules(mods_list, adapter, loader, suite):
 
2408
    """Adapt the modules in mods_list using adapter and add to suite."""
 
2409
    for test in iter_suite_tests(loader.loadTestsFromModuleNames(mods_list)):
 
2410
        suite.addTests(adapter.adapt(test))
 
2411
 
 
2412
 
 
2413
def _rmtree_temp_dir(dirname):
 
2414
    # If LANG=C we probably have created some bogus paths
 
2415
    # which rmtree(unicode) will fail to delete
 
2416
    # so make sure we are using rmtree(str) to delete everything
 
2417
    # except on win32, where rmtree(str) will fail
 
2418
    # since it doesn't have the property of byte-stream paths
 
2419
    # (they are either ascii or mbcs)
 
2420
    if sys.platform == 'win32':
 
2421
        # make sure we are using the unicode win32 api
 
2422
        dirname = unicode(dirname)
 
2423
    else:
 
2424
        dirname = dirname.encode(sys.getfilesystemencoding())
 
2425
    try:
 
2426
        osutils.rmtree(dirname)
 
2427
    except OSError, e:
 
2428
        if sys.platform == 'win32' and e.errno == errno.EACCES:
 
2429
            print >>sys.stderr, ('Permission denied: '
 
2430
                                 'unable to remove testing dir '
 
2431
                                 '%s' % os.path.basename(dirname))
 
2432
        else:
 
2433
            raise
 
2434
 
 
2435
 
 
2436
class Feature(object):
 
2437
    """An operating system Feature."""
 
2438
 
 
2439
    def __init__(self):
 
2440
        self._available = None
 
2441
 
 
2442
    def available(self):
 
2443
        """Is the feature available?
 
2444
 
 
2445
        :return: True if the feature is available.
 
2446
        """
 
2447
        if self._available is None:
 
2448
            self._available = self._probe()
 
2449
        return self._available
 
2450
 
 
2451
    def _probe(self):
 
2452
        """Implement this method in concrete features.
 
2453
 
 
2454
        :return: True if the feature is available.
 
2455
        """
 
2456
        raise NotImplementedError
 
2457
 
 
2458
    def __str__(self):
 
2459
        if getattr(self, 'feature_name', None):
 
2460
            return self.feature_name()
 
2461
        return self.__class__.__name__
 
2462
 
 
2463
 
 
2464
class TestScenarioApplier(object):
 
2465
    """A tool to apply scenarios to tests."""
 
2466
 
 
2467
    def adapt(self, test):
 
2468
        """Return a TestSuite containing a copy of test for each scenario."""
 
2469
        result = unittest.TestSuite()
 
2470
        for scenario in self.scenarios:
 
2471
            result.addTest(self.adapt_test_to_scenario(test, scenario))
 
2472
        return result
 
2473
 
 
2474
    def adapt_test_to_scenario(self, test, scenario):
 
2475
        """Copy test and apply scenario to it.
 
2476
 
 
2477
        :param test: A test to adapt.
 
2478
        :param scenario: A tuple describing the scenarion.
 
2479
            The first element of the tuple is the new test id.
 
2480
            The second element is a dict containing attributes to set on the
 
2481
            test.
 
2482
        :return: The adapted test.
 
2483
        """
 
2484
        from copy import deepcopy
 
2485
        new_test = deepcopy(test)
 
2486
        for name, value in scenario[1].items():
 
2487
            setattr(new_test, name, value)
 
2488
        new_id = "%s(%s)" % (new_test.id(), scenario[0])
 
2489
        new_test.id = lambda: new_id
 
2490
        return new_test