/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/tests/__init__.py

  • Committer: Martin Pool
  • Date: 2007-06-25 05:12:57 UTC
  • mto: This revision was merged to the branch mainline in revision 2546.
  • Revision ID: mbp@sourcefrog.net-20070625051257-fpzcv067ye6a341c
Fix typo and remove version number from README

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005, 2006, 2007 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
 
 
18
# TODO: Perhaps there should be an API to find out if bzr running under the
 
19
# test suite -- some plugins might want to avoid making intrusive changes if
 
20
# this is the case.  However, we want behaviour under to test to diverge as
 
21
# little as possible, so this should be used rarely if it's added at all.
 
22
# (Suggestion from j-a-meinel, 2005-11-24)
 
23
 
 
24
# NOTE: Some classes in here use camelCaseNaming() rather than
 
25
# underscore_naming().  That's for consistency with unittest; it's not the
 
26
# general style of bzrlib.  Please continue that consistency when adding e.g.
 
27
# new assertFoo() methods.
 
28
 
 
29
import atexit
 
30
import codecs
 
31
from cStringIO import StringIO
 
32
import difflib
 
33
import doctest
 
34
import errno
 
35
import logging
 
36
import os
 
37
from pprint import pformat
 
38
import random
 
39
import re
 
40
import stat
 
41
from subprocess import Popen, PIPE
 
42
import sys
 
43
import tempfile
 
44
import unittest
 
45
import time
 
46
import warnings
 
47
 
 
48
 
 
49
from bzrlib import (
 
50
    bzrdir,
 
51
    debug,
 
52
    errors,
 
53
    memorytree,
 
54
    osutils,
 
55
    progress,
 
56
    ui,
 
57
    urlutils,
 
58
    workingtree,
 
59
    )
 
60
import bzrlib.branch
 
61
import bzrlib.commands
 
62
import bzrlib.timestamp
 
63
import bzrlib.export
 
64
import bzrlib.inventory
 
65
import bzrlib.iterablefile
 
66
import bzrlib.lockdir
 
67
try:
 
68
    import bzrlib.lsprof
 
69
except ImportError:
 
70
    # lsprof not available
 
71
    pass
 
72
from bzrlib.merge import merge_inner
 
73
import bzrlib.merge3
 
74
import bzrlib.osutils
 
75
import bzrlib.plugin
 
76
from bzrlib.revision import common_ancestor
 
77
import bzrlib.store
 
78
from bzrlib import symbol_versioning
 
79
import bzrlib.trace
 
80
from bzrlib.transport import get_transport
 
81
import bzrlib.transport
 
82
from bzrlib.transport.local import LocalURLServer
 
83
from bzrlib.transport.memory import MemoryServer
 
84
from bzrlib.transport.readonly import ReadonlyServer
 
85
from bzrlib.trace import mutter, note
 
86
from bzrlib.tests import TestUtil
 
87
from bzrlib.tests.HttpServer import HttpServer
 
88
from bzrlib.tests.TestUtil import (
 
89
                          TestSuite,
 
90
                          TestLoader,
 
91
                          )
 
92
from bzrlib.tests.treeshape import build_tree_contents
 
93
from bzrlib.workingtree import WorkingTree, WorkingTreeFormat2
 
94
 
 
95
# Mark this python module as being part of the implementation
 
96
# of unittest: this gives us better tracebacks where the last
 
97
# shown frame is the test code, not our assertXYZ.
 
98
__unittest = 1
 
99
 
 
100
default_transport = LocalURLServer
 
101
 
 
102
MODULES_TO_TEST = []
 
103
MODULES_TO_DOCTEST = [
 
104
                      bzrlib.timestamp,
 
105
                      bzrlib.errors,
 
106
                      bzrlib.export,
 
107
                      bzrlib.inventory,
 
108
                      bzrlib.iterablefile,
 
109
                      bzrlib.lockdir,
 
110
                      bzrlib.merge3,
 
111
                      bzrlib.option,
 
112
                      bzrlib.store,
 
113
                      ]
 
114
 
 
115
 
 
116
def packages_to_test():
 
117
    """Return a list of packages to test.
 
118
 
 
119
    The packages are not globally imported so that import failures are
 
120
    triggered when running selftest, not when importing the command.
 
121
    """
 
122
    import bzrlib.doc
 
123
    import bzrlib.tests.blackbox
 
124
    import bzrlib.tests.branch_implementations
 
125
    import bzrlib.tests.bzrdir_implementations
 
126
    import bzrlib.tests.interrepository_implementations
 
127
    import bzrlib.tests.interversionedfile_implementations
 
128
    import bzrlib.tests.intertree_implementations
 
129
    import bzrlib.tests.per_lock
 
130
    import bzrlib.tests.repository_implementations
 
131
    import bzrlib.tests.revisionstore_implementations
 
132
    import bzrlib.tests.tree_implementations
 
133
    import bzrlib.tests.workingtree_implementations
 
134
    return [
 
135
            bzrlib.doc,
 
136
            bzrlib.tests.blackbox,
 
137
            bzrlib.tests.branch_implementations,
 
138
            bzrlib.tests.bzrdir_implementations,
 
139
            bzrlib.tests.interrepository_implementations,
 
140
            bzrlib.tests.interversionedfile_implementations,
 
141
            bzrlib.tests.intertree_implementations,
 
142
            bzrlib.tests.per_lock,
 
143
            bzrlib.tests.repository_implementations,
 
144
            bzrlib.tests.revisionstore_implementations,
 
145
            bzrlib.tests.tree_implementations,
 
146
            bzrlib.tests.workingtree_implementations,
 
147
            ]
 
148
 
 
149
 
 
150
class ExtendedTestResult(unittest._TextTestResult):
 
151
    """Accepts, reports and accumulates the results of running tests.
 
152
 
 
153
    Compared to this unittest version this class adds support for profiling,
 
154
    benchmarking, stopping as soon as a test fails,  and skipping tests.
 
155
    There are further-specialized subclasses for different types of display.
 
156
    """
 
157
 
 
158
    stop_early = False
 
159
    
 
160
    def __init__(self, stream, descriptions, verbosity,
 
161
                 bench_history=None,
 
162
                 num_tests=None,
 
163
                 use_numbered_dirs=False,
 
164
                 ):
 
165
        """Construct new TestResult.
 
166
 
 
167
        :param bench_history: Optionally, a writable file object to accumulate
 
168
            benchmark results.
 
169
        """
 
170
        unittest._TextTestResult.__init__(self, stream, descriptions, verbosity)
 
171
        if bench_history is not None:
 
172
            from bzrlib.version import _get_bzr_source_tree
 
173
            src_tree = _get_bzr_source_tree()
 
174
            if src_tree:
 
175
                try:
 
176
                    revision_id = src_tree.get_parent_ids()[0]
 
177
                except IndexError:
 
178
                    # XXX: if this is a brand new tree, do the same as if there
 
179
                    # is no branch.
 
180
                    revision_id = ''
 
181
            else:
 
182
                # XXX: If there's no branch, what should we do?
 
183
                revision_id = ''
 
184
            bench_history.write("--date %s %s\n" % (time.time(), revision_id))
 
185
        self._bench_history = bench_history
 
186
        self.ui = ui.ui_factory
 
187
        self.num_tests = num_tests
 
188
        self.error_count = 0
 
189
        self.failure_count = 0
 
190
        self.known_failure_count = 0
 
191
        self.skip_count = 0
 
192
        self.unsupported = {}
 
193
        self.count = 0
 
194
        self.use_numbered_dirs = use_numbered_dirs
 
195
        self._overall_start_time = time.time()
 
196
    
 
197
    def extractBenchmarkTime(self, testCase):
 
198
        """Add a benchmark time for the current test case."""
 
199
        self._benchmarkTime = getattr(testCase, "_benchtime", None)
 
200
    
 
201
    def _elapsedTestTimeString(self):
 
202
        """Return a time string for the overall time the current test has taken."""
 
203
        return self._formatTime(time.time() - self._start_time)
 
204
 
 
205
    def _testTimeString(self):
 
206
        if self._benchmarkTime is not None:
 
207
            return "%s/%s" % (
 
208
                self._formatTime(self._benchmarkTime),
 
209
                self._elapsedTestTimeString())
 
210
        else:
 
211
            return "           %s" % self._elapsedTestTimeString()
 
212
 
 
213
    def _formatTime(self, seconds):
 
214
        """Format seconds as milliseconds with leading spaces."""
 
215
        # some benchmarks can take thousands of seconds to run, so we need 8
 
216
        # places
 
217
        return "%8dms" % (1000 * seconds)
 
218
 
 
219
    def _shortened_test_description(self, test):
 
220
        what = test.id()
 
221
        what = re.sub(r'^bzrlib\.(tests|benchmarks)\.', '', what)
 
222
        return what
 
223
 
 
224
    def startTest(self, test):
 
225
        unittest.TestResult.startTest(self, test)
 
226
        self.report_test_start(test)
 
227
        test.number = self.count
 
228
        self._recordTestStartTime()
 
229
 
 
230
    def _recordTestStartTime(self):
 
231
        """Record that a test has started."""
 
232
        self._start_time = time.time()
 
233
 
 
234
    def _cleanupLogFile(self, test):
 
235
        # We can only do this if we have one of our TestCases, not if
 
236
        # we have a doctest.
 
237
        setKeepLogfile = getattr(test, 'setKeepLogfile', None)
 
238
        if setKeepLogfile is not None:
 
239
            setKeepLogfile()
 
240
 
 
241
    def addError(self, test, err):
 
242
        self.extractBenchmarkTime(test)
 
243
        self._cleanupLogFile(test)
 
244
        if isinstance(err[1], TestSkipped):
 
245
            return self.addSkipped(test, err)
 
246
        elif isinstance(err[1], UnavailableFeature):
 
247
            return self.addNotSupported(test, err[1].args[0])
 
248
        unittest.TestResult.addError(self, test, err)
 
249
        self.error_count += 1
 
250
        self.report_error(test, err)
 
251
        if self.stop_early:
 
252
            self.stop()
 
253
 
 
254
    def addFailure(self, test, err):
 
255
        self._cleanupLogFile(test)
 
256
        self.extractBenchmarkTime(test)
 
257
        if isinstance(err[1], KnownFailure):
 
258
            return self.addKnownFailure(test, err)
 
259
        unittest.TestResult.addFailure(self, test, err)
 
260
        self.failure_count += 1
 
261
        self.report_failure(test, err)
 
262
        if self.stop_early:
 
263
            self.stop()
 
264
 
 
265
    def addKnownFailure(self, test, err):
 
266
        self.known_failure_count += 1
 
267
        self.report_known_failure(test, err)
 
268
 
 
269
    def addNotSupported(self, test, feature):
 
270
        self.unsupported.setdefault(str(feature), 0)
 
271
        self.unsupported[str(feature)] += 1
 
272
        self.report_unsupported(test, feature)
 
273
 
 
274
    def addSuccess(self, test):
 
275
        self.extractBenchmarkTime(test)
 
276
        if self._bench_history is not None:
 
277
            if self._benchmarkTime is not None:
 
278
                self._bench_history.write("%s %s\n" % (
 
279
                    self._formatTime(self._benchmarkTime),
 
280
                    test.id()))
 
281
        self.report_success(test)
 
282
        unittest.TestResult.addSuccess(self, test)
 
283
 
 
284
    def addSkipped(self, test, skip_excinfo):
 
285
        self.report_skip(test, skip_excinfo)
 
286
        # seems best to treat this as success from point-of-view of unittest
 
287
        # -- it actually does nothing so it barely matters :)
 
288
        try:
 
289
            test.tearDown()
 
290
        except KeyboardInterrupt:
 
291
            raise
 
292
        except:
 
293
            self.addError(test, test.__exc_info())
 
294
        else:
 
295
            unittest.TestResult.addSuccess(self, test)
 
296
 
 
297
    def printErrorList(self, flavour, errors):
 
298
        for test, err in errors:
 
299
            self.stream.writeln(self.separator1)
 
300
            self.stream.write("%s: " % flavour)
 
301
            if self.use_numbered_dirs:
 
302
                self.stream.write('#%d ' % test.number)
 
303
            self.stream.writeln(self.getDescription(test))
 
304
            if getattr(test, '_get_log', None) is not None:
 
305
                print >>self.stream
 
306
                print >>self.stream, \
 
307
                        ('vvvv[log from %s]' % test.id()).ljust(78,'-')
 
308
                print >>self.stream, test._get_log()
 
309
                print >>self.stream, \
 
310
                        ('^^^^[log from %s]' % test.id()).ljust(78,'-')
 
311
            self.stream.writeln(self.separator2)
 
312
            self.stream.writeln("%s" % err)
 
313
 
 
314
    def finished(self):
 
315
        pass
 
316
 
 
317
    def report_cleaning_up(self):
 
318
        pass
 
319
 
 
320
    def report_success(self, test):
 
321
        pass
 
322
 
 
323
 
 
324
class TextTestResult(ExtendedTestResult):
 
325
    """Displays progress and results of tests in text form"""
 
326
 
 
327
    def __init__(self, stream, descriptions, verbosity,
 
328
                 bench_history=None,
 
329
                 num_tests=None,
 
330
                 pb=None,
 
331
                 use_numbered_dirs=False,
 
332
                 ):
 
333
        ExtendedTestResult.__init__(self, stream, descriptions, verbosity,
 
334
            bench_history, num_tests, use_numbered_dirs)
 
335
        if pb is None:
 
336
            self.pb = self.ui.nested_progress_bar()
 
337
            self._supplied_pb = False
 
338
        else:
 
339
            self.pb = pb
 
340
            self._supplied_pb = True
 
341
        self.pb.show_pct = False
 
342
        self.pb.show_spinner = False
 
343
        self.pb.show_eta = False,
 
344
        self.pb.show_count = False
 
345
        self.pb.show_bar = False
 
346
 
 
347
    def report_starting(self):
 
348
        self.pb.update('[test 0/%d] starting...' % (self.num_tests))
 
349
 
 
350
    def _progress_prefix_text(self):
 
351
        a = '[%d' % self.count
 
352
        if self.num_tests is not None:
 
353
            a +='/%d' % self.num_tests
 
354
        a += ' in %ds' % (time.time() - self._overall_start_time)
 
355
        if self.error_count:
 
356
            a += ', %d errors' % self.error_count
 
357
        if self.failure_count:
 
358
            a += ', %d failed' % self.failure_count
 
359
        if self.known_failure_count:
 
360
            a += ', %d known failures' % self.known_failure_count
 
361
        if self.skip_count:
 
362
            a += ', %d skipped' % self.skip_count
 
363
        if self.unsupported:
 
364
            a += ', %d missing features' % len(self.unsupported)
 
365
        a += ']'
 
366
        return a
 
367
 
 
368
    def report_test_start(self, test):
 
369
        self.count += 1
 
370
        self.pb.update(
 
371
                self._progress_prefix_text()
 
372
                + ' ' 
 
373
                + self._shortened_test_description(test))
 
374
 
 
375
    def _test_description(self, test):
 
376
        if self.use_numbered_dirs:
 
377
            return '#%d %s' % (self.count,
 
378
                               self._shortened_test_description(test))
 
379
        else:
 
380
            return self._shortened_test_description(test)
 
381
 
 
382
    def report_error(self, test, err):
 
383
        self.pb.note('ERROR: %s\n    %s\n', 
 
384
            self._test_description(test),
 
385
            err[1],
 
386
            )
 
387
 
 
388
    def report_failure(self, test, err):
 
389
        self.pb.note('FAIL: %s\n    %s\n', 
 
390
            self._test_description(test),
 
391
            err[1],
 
392
            )
 
393
 
 
394
    def report_known_failure(self, test, err):
 
395
        self.pb.note('XFAIL: %s\n%s\n',
 
396
            self._test_description(test), err[1])
 
397
 
 
398
    def report_skip(self, test, skip_excinfo):
 
399
        self.skip_count += 1
 
400
        if False:
 
401
            # at the moment these are mostly not things we can fix
 
402
            # and so they just produce stipple; use the verbose reporter
 
403
            # to see them.
 
404
            if False:
 
405
                # show test and reason for skip
 
406
                self.pb.note('SKIP: %s\n    %s\n', 
 
407
                    self._shortened_test_description(test),
 
408
                    skip_excinfo[1])
 
409
            else:
 
410
                # since the class name was left behind in the still-visible
 
411
                # progress bar...
 
412
                self.pb.note('SKIP: %s', skip_excinfo[1])
 
413
 
 
414
    def report_unsupported(self, test, feature):
 
415
        """test cannot be run because feature is missing."""
 
416
                  
 
417
    def report_cleaning_up(self):
 
418
        self.pb.update('cleaning up...')
 
419
 
 
420
    def finished(self):
 
421
        if not self._supplied_pb:
 
422
            self.pb.finished()
 
423
 
 
424
 
 
425
class VerboseTestResult(ExtendedTestResult):
 
426
    """Produce long output, with one line per test run plus times"""
 
427
 
 
428
    def _ellipsize_to_right(self, a_string, final_width):
 
429
        """Truncate and pad a string, keeping the right hand side"""
 
430
        if len(a_string) > final_width:
 
431
            result = '...' + a_string[3-final_width:]
 
432
        else:
 
433
            result = a_string
 
434
        return result.ljust(final_width)
 
435
 
 
436
    def report_starting(self):
 
437
        self.stream.write('running %d tests...\n' % self.num_tests)
 
438
 
 
439
    def report_test_start(self, test):
 
440
        self.count += 1
 
441
        name = self._shortened_test_description(test)
 
442
        # width needs space for 6 char status, plus 1 for slash, plus 2 10-char
 
443
        # numbers, plus a trailing blank
 
444
        # when NUMBERED_DIRS: plus 5 chars on test number, plus 1 char on space
 
445
        if self.use_numbered_dirs:
 
446
            self.stream.write('%5d ' % self.count)
 
447
            self.stream.write(self._ellipsize_to_right(name,
 
448
                                osutils.terminal_width()-36))
 
449
        else:
 
450
            self.stream.write(self._ellipsize_to_right(name,
 
451
                                osutils.terminal_width()-30))
 
452
        self.stream.flush()
 
453
 
 
454
    def _error_summary(self, err):
 
455
        indent = ' ' * 4
 
456
        if self.use_numbered_dirs:
 
457
            indent += ' ' * 6
 
458
        return '%s%s' % (indent, err[1])
 
459
 
 
460
    def report_error(self, test, err):
 
461
        self.stream.writeln('ERROR %s\n%s'
 
462
                % (self._testTimeString(),
 
463
                   self._error_summary(err)))
 
464
 
 
465
    def report_failure(self, test, err):
 
466
        self.stream.writeln(' FAIL %s\n%s'
 
467
                % (self._testTimeString(),
 
468
                   self._error_summary(err)))
 
469
 
 
470
    def report_known_failure(self, test, err):
 
471
        self.stream.writeln('XFAIL %s\n%s'
 
472
                % (self._testTimeString(),
 
473
                   self._error_summary(err)))
 
474
 
 
475
    def report_success(self, test):
 
476
        self.stream.writeln('   OK %s' % self._testTimeString())
 
477
        for bench_called, stats in getattr(test, '_benchcalls', []):
 
478
            self.stream.writeln('LSProf output for %s(%s, %s)' % bench_called)
 
479
            stats.pprint(file=self.stream)
 
480
        # flush the stream so that we get smooth output. This verbose mode is
 
481
        # used to show the output in PQM.
 
482
        self.stream.flush()
 
483
 
 
484
    def report_skip(self, test, skip_excinfo):
 
485
        self.skip_count += 1
 
486
        self.stream.writeln(' SKIP %s\n%s'
 
487
                % (self._testTimeString(),
 
488
                   self._error_summary(skip_excinfo)))
 
489
 
 
490
    def report_unsupported(self, test, feature):
 
491
        """test cannot be run because feature is missing."""
 
492
        self.stream.writeln("NODEP %s\n    The feature '%s' is not available."
 
493
                %(self._testTimeString(), feature))
 
494
                  
 
495
 
 
496
 
 
497
class TextTestRunner(object):
 
498
    stop_on_failure = False
 
499
 
 
500
    def __init__(self,
 
501
                 stream=sys.stderr,
 
502
                 descriptions=0,
 
503
                 verbosity=1,
 
504
                 bench_history=None,
 
505
                 use_numbered_dirs=False,
 
506
                 list_only=False
 
507
                 ):
 
508
        self.stream = unittest._WritelnDecorator(stream)
 
509
        self.descriptions = descriptions
 
510
        self.verbosity = verbosity
 
511
        self._bench_history = bench_history
 
512
        self.use_numbered_dirs = use_numbered_dirs
 
513
        self.list_only = list_only
 
514
 
 
515
    def run(self, test):
 
516
        "Run the given test case or test suite."
 
517
        startTime = time.time()
 
518
        if self.verbosity == 1:
 
519
            result_class = TextTestResult
 
520
        elif self.verbosity >= 2:
 
521
            result_class = VerboseTestResult
 
522
        result = result_class(self.stream,
 
523
                              self.descriptions,
 
524
                              self.verbosity,
 
525
                              bench_history=self._bench_history,
 
526
                              num_tests=test.countTestCases(),
 
527
                              use_numbered_dirs=self.use_numbered_dirs,
 
528
                              )
 
529
        result.stop_early = self.stop_on_failure
 
530
        result.report_starting()
 
531
        if self.list_only:
 
532
            if self.verbosity >= 2:
 
533
                self.stream.writeln("Listing tests only ...\n")
 
534
            run = 0
 
535
            for t in iter_suite_tests(test):
 
536
                self.stream.writeln("%s" % (t.id()))
 
537
                run += 1
 
538
            actionTaken = "Listed"
 
539
        else: 
 
540
            test.run(result)
 
541
            run = result.testsRun
 
542
            actionTaken = "Ran"
 
543
        stopTime = time.time()
 
544
        timeTaken = stopTime - startTime
 
545
        result.printErrors()
 
546
        self.stream.writeln(result.separator2)
 
547
        self.stream.writeln("%s %d test%s in %.3fs" % (actionTaken,
 
548
                            run, run != 1 and "s" or "", timeTaken))
 
549
        self.stream.writeln()
 
550
        if not result.wasSuccessful():
 
551
            self.stream.write("FAILED (")
 
552
            failed, errored = map(len, (result.failures, result.errors))
 
553
            if failed:
 
554
                self.stream.write("failures=%d" % failed)
 
555
            if errored:
 
556
                if failed: self.stream.write(", ")
 
557
                self.stream.write("errors=%d" % errored)
 
558
            if result.known_failure_count:
 
559
                if failed or errored: self.stream.write(", ")
 
560
                self.stream.write("known_failure_count=%d" %
 
561
                    result.known_failure_count)
 
562
            self.stream.writeln(")")
 
563
        else:
 
564
            if result.known_failure_count:
 
565
                self.stream.writeln("OK (known_failures=%d)" %
 
566
                    result.known_failure_count)
 
567
            else:
 
568
                self.stream.writeln("OK")
 
569
        if result.skip_count > 0:
 
570
            skipped = result.skip_count
 
571
            self.stream.writeln('%d test%s skipped' %
 
572
                                (skipped, skipped != 1 and "s" or ""))
 
573
        if result.unsupported:
 
574
            for feature, count in sorted(result.unsupported.items()):
 
575
                self.stream.writeln("Missing feature '%s' skipped %d tests." %
 
576
                    (feature, count))
 
577
        result.finished()
 
578
        return result
 
579
 
 
580
 
 
581
def iter_suite_tests(suite):
 
582
    """Return all tests in a suite, recursing through nested suites"""
 
583
    for item in suite._tests:
 
584
        if isinstance(item, unittest.TestCase):
 
585
            yield item
 
586
        elif isinstance(item, unittest.TestSuite):
 
587
            for r in iter_suite_tests(item):
 
588
                yield r
 
589
        else:
 
590
            raise Exception('unknown object %r inside test suite %r'
 
591
                            % (item, suite))
 
592
 
 
593
 
 
594
class TestSkipped(Exception):
 
595
    """Indicates that a test was intentionally skipped, rather than failing."""
 
596
 
 
597
 
 
598
class KnownFailure(AssertionError):
 
599
    """Indicates that a test failed in a precisely expected manner.
 
600
 
 
601
    Such failures dont block the whole test suite from passing because they are
 
602
    indicators of partially completed code or of future work. We have an
 
603
    explicit error for them so that we can ensure that they are always visible:
 
604
    KnownFailures are always shown in the output of bzr selftest.
 
605
    """
 
606
 
 
607
 
 
608
class UnavailableFeature(Exception):
 
609
    """A feature required for this test was not available.
 
610
 
 
611
    The feature should be used to construct the exception.
 
612
    """
 
613
 
 
614
 
 
615
class CommandFailed(Exception):
 
616
    pass
 
617
 
 
618
 
 
619
class StringIOWrapper(object):
 
620
    """A wrapper around cStringIO which just adds an encoding attribute.
 
621
    
 
622
    Internally we can check sys.stdout to see what the output encoding
 
623
    should be. However, cStringIO has no encoding attribute that we can
 
624
    set. So we wrap it instead.
 
625
    """
 
626
    encoding='ascii'
 
627
    _cstring = None
 
628
 
 
629
    def __init__(self, s=None):
 
630
        if s is not None:
 
631
            self.__dict__['_cstring'] = StringIO(s)
 
632
        else:
 
633
            self.__dict__['_cstring'] = StringIO()
 
634
 
 
635
    def __getattr__(self, name, getattr=getattr):
 
636
        return getattr(self.__dict__['_cstring'], name)
 
637
 
 
638
    def __setattr__(self, name, val):
 
639
        if name == 'encoding':
 
640
            self.__dict__['encoding'] = val
 
641
        else:
 
642
            return setattr(self._cstring, name, val)
 
643
 
 
644
 
 
645
class TestUIFactory(ui.CLIUIFactory):
 
646
    """A UI Factory for testing.
 
647
 
 
648
    Hide the progress bar but emit note()s.
 
649
    Redirect stdin.
 
650
    Allows get_password to be tested without real tty attached.
 
651
    """
 
652
 
 
653
    def __init__(self,
 
654
                 stdout=None,
 
655
                 stderr=None,
 
656
                 stdin=None):
 
657
        super(TestUIFactory, self).__init__()
 
658
        if stdin is not None:
 
659
            # We use a StringIOWrapper to be able to test various
 
660
            # encodings, but the user is still responsible to
 
661
            # encode the string and to set the encoding attribute
 
662
            # of StringIOWrapper.
 
663
            self.stdin = StringIOWrapper(stdin)
 
664
        if stdout is None:
 
665
            self.stdout = sys.stdout
 
666
        else:
 
667
            self.stdout = stdout
 
668
        if stderr is None:
 
669
            self.stderr = sys.stderr
 
670
        else:
 
671
            self.stderr = stderr
 
672
 
 
673
    def clear(self):
 
674
        """See progress.ProgressBar.clear()."""
 
675
 
 
676
    def clear_term(self):
 
677
        """See progress.ProgressBar.clear_term()."""
 
678
 
 
679
    def clear_term(self):
 
680
        """See progress.ProgressBar.clear_term()."""
 
681
 
 
682
    def finished(self):
 
683
        """See progress.ProgressBar.finished()."""
 
684
 
 
685
    def note(self, fmt_string, *args, **kwargs):
 
686
        """See progress.ProgressBar.note()."""
 
687
        self.stdout.write((fmt_string + "\n") % args)
 
688
 
 
689
    def progress_bar(self):
 
690
        return self
 
691
 
 
692
    def nested_progress_bar(self):
 
693
        return self
 
694
 
 
695
    def update(self, message, count=None, total=None):
 
696
        """See progress.ProgressBar.update()."""
 
697
 
 
698
    def get_non_echoed_password(self, prompt):
 
699
        """Get password from stdin without trying to handle the echo mode"""
 
700
        if prompt:
 
701
            self.stdout.write(prompt.encode(self.stdout.encoding, 'replace'))
 
702
        password = self.stdin.readline()
 
703
        if not password:
 
704
            raise EOFError
 
705
        if password[-1] == '\n':
 
706
            password = password[:-1]
 
707
        return password
 
708
 
 
709
 
 
710
class TestCase(unittest.TestCase):
 
711
    """Base class for bzr unit tests.
 
712
    
 
713
    Tests that need access to disk resources should subclass 
 
714
    TestCaseInTempDir not TestCase.
 
715
 
 
716
    Error and debug log messages are redirected from their usual
 
717
    location into a temporary file, the contents of which can be
 
718
    retrieved by _get_log().  We use a real OS file, not an in-memory object,
 
719
    so that it can also capture file IO.  When the test completes this file
 
720
    is read into memory and removed from disk.
 
721
       
 
722
    There are also convenience functions to invoke bzr's command-line
 
723
    routine, and to build and check bzr trees.
 
724
   
 
725
    In addition to the usual method of overriding tearDown(), this class also
 
726
    allows subclasses to register functions into the _cleanups list, which is
 
727
    run in order as the object is torn down.  It's less likely this will be
 
728
    accidentally overlooked.
 
729
    """
 
730
 
 
731
    _log_file_name = None
 
732
    _log_contents = ''
 
733
    _keep_log_file = False
 
734
    # record lsprof data when performing benchmark calls.
 
735
    _gather_lsprof_in_benchmarks = False
 
736
 
 
737
    def __init__(self, methodName='testMethod'):
 
738
        super(TestCase, self).__init__(methodName)
 
739
        self._cleanups = []
 
740
 
 
741
    def setUp(self):
 
742
        unittest.TestCase.setUp(self)
 
743
        self._cleanEnvironment()
 
744
        bzrlib.trace.disable_default_logging()
 
745
        self._silenceUI()
 
746
        self._startLogFile()
 
747
        self._benchcalls = []
 
748
        self._benchtime = None
 
749
        self._clear_hooks()
 
750
 
 
751
    def _clear_hooks(self):
 
752
        # prevent hooks affecting tests
 
753
        import bzrlib.branch
 
754
        import bzrlib.smart.server
 
755
        self._preserved_hooks = {
 
756
            bzrlib.branch.Branch: bzrlib.branch.Branch.hooks,
 
757
            bzrlib.smart.server.SmartTCPServer: bzrlib.smart.server.SmartTCPServer.hooks,
 
758
            }
 
759
        self.addCleanup(self._restoreHooks)
 
760
        # reset all hooks to an empty instance of the appropriate type
 
761
        bzrlib.branch.Branch.hooks = bzrlib.branch.BranchHooks()
 
762
        bzrlib.smart.server.SmartTCPServer.hooks = bzrlib.smart.server.SmartServerHooks()
 
763
        # FIXME: Rather than constructing new objects like this, how about
 
764
        # having save() and clear() methods on the base Hook class? mbp
 
765
        # 20070416
 
766
 
 
767
    def _silenceUI(self):
 
768
        """Turn off UI for duration of test"""
 
769
        # by default the UI is off; tests can turn it on if they want it.
 
770
        saved = ui.ui_factory
 
771
        def _restore():
 
772
            ui.ui_factory = saved
 
773
        ui.ui_factory = ui.SilentUIFactory()
 
774
        self.addCleanup(_restore)
 
775
 
 
776
    def _ndiff_strings(self, a, b):
 
777
        """Return ndiff between two strings containing lines.
 
778
        
 
779
        A trailing newline is added if missing to make the strings
 
780
        print properly."""
 
781
        if b and b[-1] != '\n':
 
782
            b += '\n'
 
783
        if a and a[-1] != '\n':
 
784
            a += '\n'
 
785
        difflines = difflib.ndiff(a.splitlines(True),
 
786
                                  b.splitlines(True),
 
787
                                  linejunk=lambda x: False,
 
788
                                  charjunk=lambda x: False)
 
789
        return ''.join(difflines)
 
790
 
 
791
    def assertEqual(self, a, b, message=''):
 
792
        try:
 
793
            if a == b:
 
794
                return
 
795
        except UnicodeError, e:
 
796
            # If we can't compare without getting a UnicodeError, then
 
797
            # obviously they are different
 
798
            mutter('UnicodeError: %s', e)
 
799
        if message:
 
800
            message += '\n'
 
801
        raise AssertionError("%snot equal:\na = %s\nb = %s\n"
 
802
            % (message,
 
803
               pformat(a), pformat(b)))
 
804
 
 
805
    assertEquals = assertEqual
 
806
 
 
807
    def assertEqualDiff(self, a, b, message=None):
 
808
        """Assert two texts are equal, if not raise an exception.
 
809
        
 
810
        This is intended for use with multi-line strings where it can 
 
811
        be hard to find the differences by eye.
 
812
        """
 
813
        # TODO: perhaps override assertEquals to call this for strings?
 
814
        if a == b:
 
815
            return
 
816
        if message is None:
 
817
            message = "texts not equal:\n"
 
818
        raise AssertionError(message + 
 
819
                             self._ndiff_strings(a, b))      
 
820
        
 
821
    def assertEqualMode(self, mode, mode_test):
 
822
        self.assertEqual(mode, mode_test,
 
823
                         'mode mismatch %o != %o' % (mode, mode_test))
 
824
 
 
825
    def assertStartsWith(self, s, prefix):
 
826
        if not s.startswith(prefix):
 
827
            raise AssertionError('string %r does not start with %r' % (s, prefix))
 
828
 
 
829
    def assertEndsWith(self, s, suffix):
 
830
        """Asserts that s ends with suffix."""
 
831
        if not s.endswith(suffix):
 
832
            raise AssertionError('string %r does not end with %r' % (s, suffix))
 
833
 
 
834
    def assertContainsRe(self, haystack, needle_re):
 
835
        """Assert that a contains something matching a regular expression."""
 
836
        if not re.search(needle_re, haystack):
 
837
            raise AssertionError('pattern "%r" not found in "%r"'
 
838
                    % (needle_re, haystack))
 
839
 
 
840
    def assertNotContainsRe(self, haystack, needle_re):
 
841
        """Assert that a does not match a regular expression"""
 
842
        if re.search(needle_re, haystack):
 
843
            raise AssertionError('pattern "%s" found in "%s"'
 
844
                    % (needle_re, haystack))
 
845
 
 
846
    def assertSubset(self, sublist, superlist):
 
847
        """Assert that every entry in sublist is present in superlist."""
 
848
        missing = []
 
849
        for entry in sublist:
 
850
            if entry not in superlist:
 
851
                missing.append(entry)
 
852
        if len(missing) > 0:
 
853
            raise AssertionError("value(s) %r not present in container %r" % 
 
854
                                 (missing, superlist))
 
855
 
 
856
    def assertListRaises(self, excClass, func, *args, **kwargs):
 
857
        """Fail unless excClass is raised when the iterator from func is used.
 
858
        
 
859
        Many functions can return generators this makes sure
 
860
        to wrap them in a list() call to make sure the whole generator
 
861
        is run, and that the proper exception is raised.
 
862
        """
 
863
        try:
 
864
            list(func(*args, **kwargs))
 
865
        except excClass:
 
866
            return
 
867
        else:
 
868
            if getattr(excClass,'__name__', None) is not None:
 
869
                excName = excClass.__name__
 
870
            else:
 
871
                excName = str(excClass)
 
872
            raise self.failureException, "%s not raised" % excName
 
873
 
 
874
    def assertRaises(self, excClass, func, *args, **kwargs):
 
875
        """Assert that a callable raises a particular exception.
 
876
 
 
877
        :param excClass: As for the except statement, this may be either an
 
878
        exception class, or a tuple of classes.
 
879
 
 
880
        Returns the exception so that you can examine it.
 
881
        """
 
882
        try:
 
883
            func(*args, **kwargs)
 
884
        except excClass, e:
 
885
            return e
 
886
        else:
 
887
            if getattr(excClass,'__name__', None) is not None:
 
888
                excName = excClass.__name__
 
889
            else:
 
890
                # probably a tuple
 
891
                excName = str(excClass)
 
892
            raise self.failureException, "%s not raised" % excName
 
893
 
 
894
    def assertIs(self, left, right, message=None):
 
895
        if not (left is right):
 
896
            if message is not None:
 
897
                raise AssertionError(message)
 
898
            else:
 
899
                raise AssertionError("%r is not %r." % (left, right))
 
900
 
 
901
    def assertIsNot(self, left, right, message=None):
 
902
        if (left is right):
 
903
            if message is not None:
 
904
                raise AssertionError(message)
 
905
            else:
 
906
                raise AssertionError("%r is %r." % (left, right))
 
907
 
 
908
    def assertTransportMode(self, transport, path, mode):
 
909
        """Fail if a path does not have mode mode.
 
910
        
 
911
        If modes are not supported on this transport, the assertion is ignored.
 
912
        """
 
913
        if not transport._can_roundtrip_unix_modebits():
 
914
            return
 
915
        path_stat = transport.stat(path)
 
916
        actual_mode = stat.S_IMODE(path_stat.st_mode)
 
917
        self.assertEqual(mode, actual_mode,
 
918
            'mode of %r incorrect (%o != %o)' % (path, mode, actual_mode))
 
919
 
 
920
    def assertIsInstance(self, obj, kls):
 
921
        """Fail if obj is not an instance of kls"""
 
922
        if not isinstance(obj, kls):
 
923
            self.fail("%r is an instance of %s rather than %s" % (
 
924
                obj, obj.__class__, kls))
 
925
 
 
926
    def expectFailure(self, reason, assertion, *args, **kwargs):
 
927
        """Invoke a test, expecting it to fail for the given reason.
 
928
 
 
929
        This is for assertions that ought to succeed, but currently fail.
 
930
        (The failure is *expected* but not *wanted*.)  Please be very precise
 
931
        about the failure you're expecting.  If a new bug is introduced,
 
932
        AssertionError should be raised, not KnownFailure.
 
933
 
 
934
        Frequently, expectFailure should be followed by an opposite assertion.
 
935
        See example below.
 
936
 
 
937
        Intended to be used with a callable that raises AssertionError as the
 
938
        'assertion' parameter.  args and kwargs are passed to the 'assertion'.
 
939
 
 
940
        Raises KnownFailure if the test fails.  Raises AssertionError if the
 
941
        test succeeds.
 
942
 
 
943
        example usage::
 
944
 
 
945
          self.expectFailure('Math is broken', self.assertNotEqual, 54,
 
946
                             dynamic_val)
 
947
          self.assertEqual(42, dynamic_val)
 
948
 
 
949
          This means that a dynamic_val of 54 will cause the test to raise
 
950
          a KnownFailure.  Once math is fixed and the expectFailure is removed,
 
951
          only a dynamic_val of 42 will allow the test to pass.  Anything other
 
952
          than 54 or 42 will cause an AssertionError.
 
953
        """
 
954
        try:
 
955
            assertion(*args, **kwargs)
 
956
        except AssertionError:
 
957
            raise KnownFailure(reason)
 
958
        else:
 
959
            self.fail('Unexpected success.  Should have failed: %s' % reason)
 
960
 
 
961
    def _capture_warnings(self, a_callable, *args, **kwargs):
 
962
        """A helper for callDeprecated and applyDeprecated.
 
963
 
 
964
        :param a_callable: A callable to call.
 
965
        :param args: The positional arguments for the callable
 
966
        :param kwargs: The keyword arguments for the callable
 
967
        :return: A tuple (warnings, result). result is the result of calling
 
968
            a_callable(*args, **kwargs).
 
969
        """
 
970
        local_warnings = []
 
971
        def capture_warnings(msg, cls=None, stacklevel=None):
 
972
            # we've hooked into a deprecation specific callpath,
 
973
            # only deprecations should getting sent via it.
 
974
            self.assertEqual(cls, DeprecationWarning)
 
975
            local_warnings.append(msg)
 
976
        original_warning_method = symbol_versioning.warn
 
977
        symbol_versioning.set_warning_method(capture_warnings)
 
978
        try:
 
979
            result = a_callable(*args, **kwargs)
 
980
        finally:
 
981
            symbol_versioning.set_warning_method(original_warning_method)
 
982
        return (local_warnings, result)
 
983
 
 
984
    def applyDeprecated(self, deprecation_format, a_callable, *args, **kwargs):
 
985
        """Call a deprecated callable without warning the user.
 
986
 
 
987
        :param deprecation_format: The deprecation format that the callable
 
988
            should have been deprecated with. This is the same type as the 
 
989
            parameter to deprecated_method/deprecated_function. If the 
 
990
            callable is not deprecated with this format, an assertion error
 
991
            will be raised.
 
992
        :param a_callable: A callable to call. This may be a bound method or
 
993
            a regular function. It will be called with *args and **kwargs.
 
994
        :param args: The positional arguments for the callable
 
995
        :param kwargs: The keyword arguments for the callable
 
996
        :return: The result of a_callable(*args, **kwargs)
 
997
        """
 
998
        call_warnings, result = self._capture_warnings(a_callable,
 
999
            *args, **kwargs)
 
1000
        expected_first_warning = symbol_versioning.deprecation_string(
 
1001
            a_callable, deprecation_format)
 
1002
        if len(call_warnings) == 0:
 
1003
            self.fail("No deprecation warning generated by call to %s" %
 
1004
                a_callable)
 
1005
        self.assertEqual(expected_first_warning, call_warnings[0])
 
1006
        return result
 
1007
 
 
1008
    def callDeprecated(self, expected, callable, *args, **kwargs):
 
1009
        """Assert that a callable is deprecated in a particular way.
 
1010
 
 
1011
        This is a very precise test for unusual requirements. The 
 
1012
        applyDeprecated helper function is probably more suited for most tests
 
1013
        as it allows you to simply specify the deprecation format being used
 
1014
        and will ensure that that is issued for the function being called.
 
1015
 
 
1016
        :param expected: a list of the deprecation warnings expected, in order
 
1017
        :param callable: The callable to call
 
1018
        :param args: The positional arguments for the callable
 
1019
        :param kwargs: The keyword arguments for the callable
 
1020
        """
 
1021
        call_warnings, result = self._capture_warnings(callable,
 
1022
            *args, **kwargs)
 
1023
        self.assertEqual(expected, call_warnings)
 
1024
        return result
 
1025
 
 
1026
    def _startLogFile(self):
 
1027
        """Send bzr and test log messages to a temporary file.
 
1028
 
 
1029
        The file is removed as the test is torn down.
 
1030
        """
 
1031
        fileno, name = tempfile.mkstemp(suffix='.log', prefix='testbzr')
 
1032
        self._log_file = os.fdopen(fileno, 'w+')
 
1033
        self._log_nonce = bzrlib.trace.enable_test_log(self._log_file)
 
1034
        self._log_file_name = name
 
1035
        self.addCleanup(self._finishLogFile)
 
1036
 
 
1037
    def _finishLogFile(self):
 
1038
        """Finished with the log file.
 
1039
 
 
1040
        Close the file and delete it, unless setKeepLogfile was called.
 
1041
        """
 
1042
        if self._log_file is None:
 
1043
            return
 
1044
        bzrlib.trace.disable_test_log(self._log_nonce)
 
1045
        self._log_file.close()
 
1046
        self._log_file = None
 
1047
        if not self._keep_log_file:
 
1048
            os.remove(self._log_file_name)
 
1049
            self._log_file_name = None
 
1050
 
 
1051
    def setKeepLogfile(self):
 
1052
        """Make the logfile not be deleted when _finishLogFile is called."""
 
1053
        self._keep_log_file = True
 
1054
 
 
1055
    def addCleanup(self, callable):
 
1056
        """Arrange to run a callable when this case is torn down.
 
1057
 
 
1058
        Callables are run in the reverse of the order they are registered, 
 
1059
        ie last-in first-out.
 
1060
        """
 
1061
        if callable in self._cleanups:
 
1062
            raise ValueError("cleanup function %r already registered on %s" 
 
1063
                    % (callable, self))
 
1064
        self._cleanups.append(callable)
 
1065
 
 
1066
    def _cleanEnvironment(self):
 
1067
        new_env = {
 
1068
            'BZR_HOME': None, # Don't inherit BZR_HOME to all the tests.
 
1069
            'HOME': os.getcwd(),
 
1070
            'APPDATA': None,  # bzr now use Win32 API and don't rely on APPDATA
 
1071
            'BZR_EMAIL': None,
 
1072
            'BZREMAIL': None, # may still be present in the environment
 
1073
            'EMAIL': None,
 
1074
            'BZR_PROGRESS_BAR': None,
 
1075
            # Proxies
 
1076
            'http_proxy': None,
 
1077
            'HTTP_PROXY': None,
 
1078
            'https_proxy': None,
 
1079
            'HTTPS_PROXY': None,
 
1080
            'no_proxy': None,
 
1081
            'NO_PROXY': None,
 
1082
            'all_proxy': None,
 
1083
            'ALL_PROXY': None,
 
1084
            # Nobody cares about these ones AFAIK. So far at
 
1085
            # least. If you do (care), please update this comment
 
1086
            # -- vila 20061212
 
1087
            'ftp_proxy': None,
 
1088
            'FTP_PROXY': None,
 
1089
            'BZR_REMOTE_PATH': None,
 
1090
        }
 
1091
        self.__old_env = {}
 
1092
        self.addCleanup(self._restoreEnvironment)
 
1093
        for name, value in new_env.iteritems():
 
1094
            self._captureVar(name, value)
 
1095
 
 
1096
    def _captureVar(self, name, newvalue):
 
1097
        """Set an environment variable, and reset it when finished."""
 
1098
        self.__old_env[name] = osutils.set_or_unset_env(name, newvalue)
 
1099
 
 
1100
    def _restoreEnvironment(self):
 
1101
        for name, value in self.__old_env.iteritems():
 
1102
            osutils.set_or_unset_env(name, value)
 
1103
 
 
1104
    def _restoreHooks(self):
 
1105
        for klass, hooks in self._preserved_hooks.items():
 
1106
            setattr(klass, 'hooks', hooks)
 
1107
 
 
1108
    def knownFailure(self, reason):
 
1109
        """This test has failed for some known reason."""
 
1110
        raise KnownFailure(reason)
 
1111
 
 
1112
    def run(self, result=None):
 
1113
        if result is None: result = self.defaultTestResult()
 
1114
        for feature in getattr(self, '_test_needs_features', []):
 
1115
            if not feature.available():
 
1116
                result.startTest(self)
 
1117
                if getattr(result, 'addNotSupported', None):
 
1118
                    result.addNotSupported(self, feature)
 
1119
                else:
 
1120
                    result.addSuccess(self)
 
1121
                result.stopTest(self)
 
1122
                return
 
1123
        return unittest.TestCase.run(self, result)
 
1124
 
 
1125
    def tearDown(self):
 
1126
        self._runCleanups()
 
1127
        unittest.TestCase.tearDown(self)
 
1128
 
 
1129
    def time(self, callable, *args, **kwargs):
 
1130
        """Run callable and accrue the time it takes to the benchmark time.
 
1131
        
 
1132
        If lsprofiling is enabled (i.e. by --lsprof-time to bzr selftest) then
 
1133
        this will cause lsprofile statistics to be gathered and stored in
 
1134
        self._benchcalls.
 
1135
        """
 
1136
        if self._benchtime is None:
 
1137
            self._benchtime = 0
 
1138
        start = time.time()
 
1139
        try:
 
1140
            if not self._gather_lsprof_in_benchmarks:
 
1141
                return callable(*args, **kwargs)
 
1142
            else:
 
1143
                # record this benchmark
 
1144
                ret, stats = bzrlib.lsprof.profile(callable, *args, **kwargs)
 
1145
                stats.sort()
 
1146
                self._benchcalls.append(((callable, args, kwargs), stats))
 
1147
                return ret
 
1148
        finally:
 
1149
            self._benchtime += time.time() - start
 
1150
 
 
1151
    def _runCleanups(self):
 
1152
        """Run registered cleanup functions. 
 
1153
 
 
1154
        This should only be called from TestCase.tearDown.
 
1155
        """
 
1156
        # TODO: Perhaps this should keep running cleanups even if 
 
1157
        # one of them fails?
 
1158
 
 
1159
        # Actually pop the cleanups from the list so tearDown running
 
1160
        # twice is safe (this happens for skipped tests).
 
1161
        while self._cleanups:
 
1162
            self._cleanups.pop()()
 
1163
 
 
1164
    def log(self, *args):
 
1165
        mutter(*args)
 
1166
 
 
1167
    def _get_log(self, keep_log_file=False):
 
1168
        """Return as a string the log for this test. If the file is still
 
1169
        on disk and keep_log_file=False, delete the log file and store the
 
1170
        content in self._log_contents."""
 
1171
        # flush the log file, to get all content
 
1172
        import bzrlib.trace
 
1173
        bzrlib.trace._trace_file.flush()
 
1174
        if self._log_contents:
 
1175
            return self._log_contents
 
1176
        if self._log_file_name is not None:
 
1177
            logfile = open(self._log_file_name)
 
1178
            try:
 
1179
                log_contents = logfile.read()
 
1180
            finally:
 
1181
                logfile.close()
 
1182
            if not keep_log_file:
 
1183
                self._log_contents = log_contents
 
1184
                try:
 
1185
                    os.remove(self._log_file_name)
 
1186
                except OSError, e:
 
1187
                    if sys.platform == 'win32' and e.errno == errno.EACCES:
 
1188
                        print >>sys.stderr, ('Unable to delete log file '
 
1189
                                             ' %r' % self._log_file_name)
 
1190
                    else:
 
1191
                        raise
 
1192
            return log_contents
 
1193
        else:
 
1194
            return "DELETED log file to reduce memory footprint"
 
1195
 
 
1196
    def capture(self, cmd, retcode=0):
 
1197
        """Shortcut that splits cmd into words, runs, and returns stdout"""
 
1198
        return self.run_bzr_captured(cmd.split(), retcode=retcode)[0]
 
1199
 
 
1200
    def requireFeature(self, feature):
 
1201
        """This test requires a specific feature is available.
 
1202
 
 
1203
        :raises UnavailableFeature: When feature is not available.
 
1204
        """
 
1205
        if not feature.available():
 
1206
            raise UnavailableFeature(feature)
 
1207
 
 
1208
    def run_bzr_captured(self, argv, retcode=0, encoding=None, stdin=None,
 
1209
                         working_dir=None):
 
1210
        """Invoke bzr and return (stdout, stderr).
 
1211
 
 
1212
        Useful for code that wants to check the contents of the
 
1213
        output, the way error messages are presented, etc.
 
1214
 
 
1215
        This should be the main method for tests that want to exercise the
 
1216
        overall behavior of the bzr application (rather than a unit test
 
1217
        or a functional test of the library.)
 
1218
 
 
1219
        Much of the old code runs bzr by forking a new copy of Python, but
 
1220
        that is slower, harder to debug, and generally not necessary.
 
1221
 
 
1222
        This runs bzr through the interface that catches and reports
 
1223
        errors, and with logging set to something approximating the
 
1224
        default, so that error reporting can be checked.
 
1225
 
 
1226
        :param argv: arguments to invoke bzr
 
1227
        :param retcode: expected return code, or None for don't-care.
 
1228
        :param encoding: encoding for sys.stdout and sys.stderr
 
1229
        :param stdin: A string to be used as stdin for the command.
 
1230
        :param working_dir: Change to this directory before running
 
1231
        """
 
1232
        if encoding is None:
 
1233
            encoding = bzrlib.user_encoding
 
1234
        stdout = StringIOWrapper()
 
1235
        stderr = StringIOWrapper()
 
1236
        stdout.encoding = encoding
 
1237
        stderr.encoding = encoding
 
1238
 
 
1239
        self.log('run bzr: %r', argv)
 
1240
        # FIXME: don't call into logging here
 
1241
        handler = logging.StreamHandler(stderr)
 
1242
        handler.setLevel(logging.INFO)
 
1243
        logger = logging.getLogger('')
 
1244
        logger.addHandler(handler)
 
1245
        old_ui_factory = ui.ui_factory
 
1246
        ui.ui_factory = TestUIFactory(stdin=stdin, stdout=stdout, stderr=stderr)
 
1247
 
 
1248
        cwd = None
 
1249
        if working_dir is not None:
 
1250
            cwd = osutils.getcwd()
 
1251
            os.chdir(working_dir)
 
1252
 
 
1253
        try:
 
1254
            saved_debug_flags = frozenset(debug.debug_flags)
 
1255
            debug.debug_flags.clear()
 
1256
            try:
 
1257
                result = self.apply_redirected(ui.ui_factory.stdin,
 
1258
                                               stdout, stderr,
 
1259
                                               bzrlib.commands.run_bzr_catch_errors,
 
1260
                                               argv)
 
1261
            finally:
 
1262
                debug.debug_flags.update(saved_debug_flags)
 
1263
        finally:
 
1264
            logger.removeHandler(handler)
 
1265
            ui.ui_factory = old_ui_factory
 
1266
            if cwd is not None:
 
1267
                os.chdir(cwd)
 
1268
 
 
1269
        out = stdout.getvalue()
 
1270
        err = stderr.getvalue()
 
1271
        if out:
 
1272
            self.log('output:\n%r', out)
 
1273
        if err:
 
1274
            self.log('errors:\n%r', err)
 
1275
        if retcode is not None:
 
1276
            self.assertEquals(retcode, result,
 
1277
                              message='Unexpected return code')
 
1278
        return out, err
 
1279
 
 
1280
    def run_bzr(self, *args, **kwargs):
 
1281
        """Invoke bzr, as if it were run from the command line.
 
1282
 
 
1283
        This should be the main method for tests that want to exercise the
 
1284
        overall behavior of the bzr application (rather than a unit test
 
1285
        or a functional test of the library.)
 
1286
 
 
1287
        This sends the stdout/stderr results into the test's log,
 
1288
        where it may be useful for debugging.  See also run_captured.
 
1289
 
 
1290
        :param stdin: A string to be used as stdin for the command.
 
1291
        :param retcode: The status code the command should return
 
1292
        :param working_dir: The directory to run the command in
 
1293
        """
 
1294
        retcode = kwargs.pop('retcode', 0)
 
1295
        encoding = kwargs.pop('encoding', None)
 
1296
        stdin = kwargs.pop('stdin', None)
 
1297
        working_dir = kwargs.pop('working_dir', None)
 
1298
        error_regexes = kwargs.pop('error_regexes', [])
 
1299
 
 
1300
        out, err = self.run_bzr_captured(args, retcode=retcode,
 
1301
            encoding=encoding, stdin=stdin, working_dir=working_dir)
 
1302
 
 
1303
        for regex in error_regexes:
 
1304
            self.assertContainsRe(err, regex)
 
1305
        return out, err
 
1306
 
 
1307
 
 
1308
    def run_bzr_decode(self, *args, **kwargs):
 
1309
        if 'encoding' in kwargs:
 
1310
            encoding = kwargs['encoding']
 
1311
        else:
 
1312
            encoding = bzrlib.user_encoding
 
1313
        return self.run_bzr(*args, **kwargs)[0].decode(encoding)
 
1314
 
 
1315
    def run_bzr_error(self, error_regexes, *args, **kwargs):
 
1316
        """Run bzr, and check that stderr contains the supplied regexes
 
1317
        
 
1318
        :param error_regexes: Sequence of regular expressions which 
 
1319
            must each be found in the error output. The relative ordering
 
1320
            is not enforced.
 
1321
        :param args: command-line arguments for bzr
 
1322
        :param kwargs: Keyword arguments which are interpreted by run_bzr
 
1323
            This function changes the default value of retcode to be 3,
 
1324
            since in most cases this is run when you expect bzr to fail.
 
1325
        :return: (out, err) The actual output of running the command (in case you
 
1326
                 want to do more inspection)
 
1327
 
 
1328
        Examples of use:
 
1329
            # Make sure that commit is failing because there is nothing to do
 
1330
            self.run_bzr_error(['no changes to commit'],
 
1331
                               'commit', '-m', 'my commit comment')
 
1332
            # Make sure --strict is handling an unknown file, rather than
 
1333
            # giving us the 'nothing to do' error
 
1334
            self.build_tree(['unknown'])
 
1335
            self.run_bzr_error(['Commit refused because there are unknown files'],
 
1336
                               'commit', '--strict', '-m', 'my commit comment')
 
1337
        """
 
1338
        kwargs.setdefault('retcode', 3)
 
1339
        out, err = self.run_bzr(error_regexes=error_regexes, *args, **kwargs)
 
1340
        return out, err
 
1341
 
 
1342
    def run_bzr_subprocess(self, *args, **kwargs):
 
1343
        """Run bzr in a subprocess for testing.
 
1344
 
 
1345
        This starts a new Python interpreter and runs bzr in there. 
 
1346
        This should only be used for tests that have a justifiable need for
 
1347
        this isolation: e.g. they are testing startup time, or signal
 
1348
        handling, or early startup code, etc.  Subprocess code can't be 
 
1349
        profiled or debugged so easily.
 
1350
 
 
1351
        :param retcode: The status code that is expected.  Defaults to 0.  If
 
1352
            None is supplied, the status code is not checked.
 
1353
        :param env_changes: A dictionary which lists changes to environment
 
1354
            variables. A value of None will unset the env variable.
 
1355
            The values must be strings. The change will only occur in the
 
1356
            child, so you don't need to fix the environment after running.
 
1357
        :param universal_newlines: Convert CRLF => LF
 
1358
        :param allow_plugins: By default the subprocess is run with
 
1359
            --no-plugins to ensure test reproducibility. Also, it is possible
 
1360
            for system-wide plugins to create unexpected output on stderr,
 
1361
            which can cause unnecessary test failures.
 
1362
        """
 
1363
        env_changes = kwargs.get('env_changes', {})
 
1364
        working_dir = kwargs.get('working_dir', None)
 
1365
        allow_plugins = kwargs.get('allow_plugins', False)
 
1366
        process = self.start_bzr_subprocess(args, env_changes=env_changes,
 
1367
                                            working_dir=working_dir,
 
1368
                                            allow_plugins=allow_plugins)
 
1369
        # We distinguish between retcode=None and retcode not passed.
 
1370
        supplied_retcode = kwargs.get('retcode', 0)
 
1371
        return self.finish_bzr_subprocess(process, retcode=supplied_retcode,
 
1372
            universal_newlines=kwargs.get('universal_newlines', False),
 
1373
            process_args=args)
 
1374
 
 
1375
    def start_bzr_subprocess(self, process_args, env_changes=None,
 
1376
                             skip_if_plan_to_signal=False,
 
1377
                             working_dir=None,
 
1378
                             allow_plugins=False):
 
1379
        """Start bzr in a subprocess for testing.
 
1380
 
 
1381
        This starts a new Python interpreter and runs bzr in there.
 
1382
        This should only be used for tests that have a justifiable need for
 
1383
        this isolation: e.g. they are testing startup time, or signal
 
1384
        handling, or early startup code, etc.  Subprocess code can't be
 
1385
        profiled or debugged so easily.
 
1386
 
 
1387
        :param process_args: a list of arguments to pass to the bzr executable,
 
1388
            for example `['--version']`.
 
1389
        :param env_changes: A dictionary which lists changes to environment
 
1390
            variables. A value of None will unset the env variable.
 
1391
            The values must be strings. The change will only occur in the
 
1392
            child, so you don't need to fix the environment after running.
 
1393
        :param skip_if_plan_to_signal: raise TestSkipped when true and os.kill
 
1394
            is not available.
 
1395
        :param allow_plugins: If False (default) pass --no-plugins to bzr.
 
1396
 
 
1397
        :returns: Popen object for the started process.
 
1398
        """
 
1399
        if skip_if_plan_to_signal:
 
1400
            if not getattr(os, 'kill', None):
 
1401
                raise TestSkipped("os.kill not available.")
 
1402
 
 
1403
        if env_changes is None:
 
1404
            env_changes = {}
 
1405
        old_env = {}
 
1406
 
 
1407
        def cleanup_environment():
 
1408
            for env_var, value in env_changes.iteritems():
 
1409
                old_env[env_var] = osutils.set_or_unset_env(env_var, value)
 
1410
 
 
1411
        def restore_environment():
 
1412
            for env_var, value in old_env.iteritems():
 
1413
                osutils.set_or_unset_env(env_var, value)
 
1414
 
 
1415
        bzr_path = self.get_bzr_path()
 
1416
 
 
1417
        cwd = None
 
1418
        if working_dir is not None:
 
1419
            cwd = osutils.getcwd()
 
1420
            os.chdir(working_dir)
 
1421
 
 
1422
        try:
 
1423
            # win32 subprocess doesn't support preexec_fn
 
1424
            # so we will avoid using it on all platforms, just to
 
1425
            # make sure the code path is used, and we don't break on win32
 
1426
            cleanup_environment()
 
1427
            command = [sys.executable, bzr_path]
 
1428
            if not allow_plugins:
 
1429
                command.append('--no-plugins')
 
1430
            command.extend(process_args)
 
1431
            process = self._popen(command, stdin=PIPE, stdout=PIPE, stderr=PIPE)
 
1432
        finally:
 
1433
            restore_environment()
 
1434
            if cwd is not None:
 
1435
                os.chdir(cwd)
 
1436
 
 
1437
        return process
 
1438
 
 
1439
    def _popen(self, *args, **kwargs):
 
1440
        """Place a call to Popen.
 
1441
 
 
1442
        Allows tests to override this method to intercept the calls made to
 
1443
        Popen for introspection.
 
1444
        """
 
1445
        return Popen(*args, **kwargs)
 
1446
 
 
1447
    def get_bzr_path(self):
 
1448
        """Return the path of the 'bzr' executable for this test suite."""
 
1449
        bzr_path = os.path.dirname(os.path.dirname(bzrlib.__file__))+'/bzr'
 
1450
        if not os.path.isfile(bzr_path):
 
1451
            # We are probably installed. Assume sys.argv is the right file
 
1452
            bzr_path = sys.argv[0]
 
1453
        return bzr_path
 
1454
 
 
1455
    def finish_bzr_subprocess(self, process, retcode=0, send_signal=None,
 
1456
                              universal_newlines=False, process_args=None):
 
1457
        """Finish the execution of process.
 
1458
 
 
1459
        :param process: the Popen object returned from start_bzr_subprocess.
 
1460
        :param retcode: The status code that is expected.  Defaults to 0.  If
 
1461
            None is supplied, the status code is not checked.
 
1462
        :param send_signal: an optional signal to send to the process.
 
1463
        :param universal_newlines: Convert CRLF => LF
 
1464
        :returns: (stdout, stderr)
 
1465
        """
 
1466
        if send_signal is not None:
 
1467
            os.kill(process.pid, send_signal)
 
1468
        out, err = process.communicate()
 
1469
 
 
1470
        if universal_newlines:
 
1471
            out = out.replace('\r\n', '\n')
 
1472
            err = err.replace('\r\n', '\n')
 
1473
 
 
1474
        if retcode is not None and retcode != process.returncode:
 
1475
            if process_args is None:
 
1476
                process_args = "(unknown args)"
 
1477
            mutter('Output of bzr %s:\n%s', process_args, out)
 
1478
            mutter('Error for bzr %s:\n%s', process_args, err)
 
1479
            self.fail('Command bzr %s failed with retcode %s != %s'
 
1480
                      % (process_args, retcode, process.returncode))
 
1481
        return [out, err]
 
1482
 
 
1483
    def check_inventory_shape(self, inv, shape):
 
1484
        """Compare an inventory to a list of expected names.
 
1485
 
 
1486
        Fail if they are not precisely equal.
 
1487
        """
 
1488
        extras = []
 
1489
        shape = list(shape)             # copy
 
1490
        for path, ie in inv.entries():
 
1491
            name = path.replace('\\', '/')
 
1492
            if ie.kind == 'dir':
 
1493
                name = name + '/'
 
1494
            if name in shape:
 
1495
                shape.remove(name)
 
1496
            else:
 
1497
                extras.append(name)
 
1498
        if shape:
 
1499
            self.fail("expected paths not found in inventory: %r" % shape)
 
1500
        if extras:
 
1501
            self.fail("unexpected paths found in inventory: %r" % extras)
 
1502
 
 
1503
    def apply_redirected(self, stdin=None, stdout=None, stderr=None,
 
1504
                         a_callable=None, *args, **kwargs):
 
1505
        """Call callable with redirected std io pipes.
 
1506
 
 
1507
        Returns the return code."""
 
1508
        if not callable(a_callable):
 
1509
            raise ValueError("a_callable must be callable.")
 
1510
        if stdin is None:
 
1511
            stdin = StringIO("")
 
1512
        if stdout is None:
 
1513
            if getattr(self, "_log_file", None) is not None:
 
1514
                stdout = self._log_file
 
1515
            else:
 
1516
                stdout = StringIO()
 
1517
        if stderr is None:
 
1518
            if getattr(self, "_log_file", None is not None):
 
1519
                stderr = self._log_file
 
1520
            else:
 
1521
                stderr = StringIO()
 
1522
        real_stdin = sys.stdin
 
1523
        real_stdout = sys.stdout
 
1524
        real_stderr = sys.stderr
 
1525
        try:
 
1526
            sys.stdout = stdout
 
1527
            sys.stderr = stderr
 
1528
            sys.stdin = stdin
 
1529
            return a_callable(*args, **kwargs)
 
1530
        finally:
 
1531
            sys.stdout = real_stdout
 
1532
            sys.stderr = real_stderr
 
1533
            sys.stdin = real_stdin
 
1534
 
 
1535
    @symbol_versioning.deprecated_method(symbol_versioning.zero_eleven)
 
1536
    def merge(self, branch_from, wt_to):
 
1537
        """A helper for tests to do a ui-less merge.
 
1538
 
 
1539
        This should move to the main library when someone has time to integrate
 
1540
        it in.
 
1541
        """
 
1542
        # minimal ui-less merge.
 
1543
        wt_to.branch.fetch(branch_from)
 
1544
        base_rev = common_ancestor(branch_from.last_revision(),
 
1545
                                   wt_to.branch.last_revision(),
 
1546
                                   wt_to.branch.repository)
 
1547
        merge_inner(wt_to.branch, branch_from.basis_tree(),
 
1548
                    wt_to.branch.repository.revision_tree(base_rev),
 
1549
                    this_tree=wt_to)
 
1550
        wt_to.add_parent_tree_id(branch_from.last_revision())
 
1551
 
 
1552
    def reduceLockdirTimeout(self):
 
1553
        """Reduce the default lock timeout for the duration of the test, so that
 
1554
        if LockContention occurs during a test, it does so quickly.
 
1555
 
 
1556
        Tests that expect to provoke LockContention errors should call this.
 
1557
        """
 
1558
        orig_timeout = bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS
 
1559
        def resetTimeout():
 
1560
            bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS = orig_timeout
 
1561
        self.addCleanup(resetTimeout)
 
1562
        bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS = 0
 
1563
 
 
1564
BzrTestBase = TestCase
 
1565
 
 
1566
 
 
1567
class TestCaseWithMemoryTransport(TestCase):
 
1568
    """Common test class for tests that do not need disk resources.
 
1569
 
 
1570
    Tests that need disk resources should derive from TestCaseWithTransport.
 
1571
 
 
1572
    TestCaseWithMemoryTransport sets the TEST_ROOT variable for all bzr tests.
 
1573
 
 
1574
    For TestCaseWithMemoryTransport the test_home_dir is set to the name of
 
1575
    a directory which does not exist. This serves to help ensure test isolation
 
1576
    is preserved. test_dir is set to the TEST_ROOT, as is cwd, because they
 
1577
    must exist. However, TestCaseWithMemoryTransport does not offer local
 
1578
    file defaults for the transport in tests, nor does it obey the command line
 
1579
    override, so tests that accidentally write to the common directory should
 
1580
    be rare.
 
1581
 
 
1582
    :cvar TEST_ROOT: Directory containing all temporary directories, plus
 
1583
    a .bzr directory that stops us ascending higher into the filesystem.
 
1584
    """
 
1585
 
 
1586
    TEST_ROOT = None
 
1587
    _TEST_NAME = 'test'
 
1588
 
 
1589
    def __init__(self, methodName='runTest'):
 
1590
        # allow test parameterisation after test construction and before test
 
1591
        # execution. Variables that the parameteriser sets need to be 
 
1592
        # ones that are not set by setUp, or setUp will trash them.
 
1593
        super(TestCaseWithMemoryTransport, self).__init__(methodName)
 
1594
        self.vfs_transport_factory = default_transport
 
1595
        self.transport_server = None
 
1596
        self.transport_readonly_server = None
 
1597
        self.__vfs_server = None
 
1598
 
 
1599
    def get_transport(self):
 
1600
        """Return a writeable transport for the test scratch space"""
 
1601
        t = get_transport(self.get_url())
 
1602
        self.assertFalse(t.is_readonly())
 
1603
        return t
 
1604
 
 
1605
    def get_readonly_transport(self):
 
1606
        """Return a readonly transport for the test scratch space
 
1607
        
 
1608
        This can be used to test that operations which should only need
 
1609
        readonly access in fact do not try to write.
 
1610
        """
 
1611
        t = get_transport(self.get_readonly_url())
 
1612
        self.assertTrue(t.is_readonly())
 
1613
        return t
 
1614
 
 
1615
    def create_transport_readonly_server(self):
 
1616
        """Create a transport server from class defined at init.
 
1617
 
 
1618
        This is mostly a hook for daughter classes.
 
1619
        """
 
1620
        return self.transport_readonly_server()
 
1621
 
 
1622
    def get_readonly_server(self):
 
1623
        """Get the server instance for the readonly transport
 
1624
 
 
1625
        This is useful for some tests with specific servers to do diagnostics.
 
1626
        """
 
1627
        if self.__readonly_server is None:
 
1628
            if self.transport_readonly_server is None:
 
1629
                # readonly decorator requested
 
1630
                # bring up the server
 
1631
                self.__readonly_server = ReadonlyServer()
 
1632
                self.__readonly_server.setUp(self.get_vfs_only_server())
 
1633
            else:
 
1634
                self.__readonly_server = self.create_transport_readonly_server()
 
1635
                self.__readonly_server.setUp(self.get_vfs_only_server())
 
1636
            self.addCleanup(self.__readonly_server.tearDown)
 
1637
        return self.__readonly_server
 
1638
 
 
1639
    def get_readonly_url(self, relpath=None):
 
1640
        """Get a URL for the readonly transport.
 
1641
 
 
1642
        This will either be backed by '.' or a decorator to the transport 
 
1643
        used by self.get_url()
 
1644
        relpath provides for clients to get a path relative to the base url.
 
1645
        These should only be downwards relative, not upwards.
 
1646
        """
 
1647
        base = self.get_readonly_server().get_url()
 
1648
        if relpath is not None:
 
1649
            if not base.endswith('/'):
 
1650
                base = base + '/'
 
1651
            base = base + relpath
 
1652
        return base
 
1653
 
 
1654
    def get_vfs_only_server(self):
 
1655
        """Get the vfs only read/write server instance.
 
1656
 
 
1657
        This is useful for some tests with specific servers that need
 
1658
        diagnostics.
 
1659
 
 
1660
        For TestCaseWithMemoryTransport this is always a MemoryServer, and there
 
1661
        is no means to override it.
 
1662
        """
 
1663
        if self.__vfs_server is None:
 
1664
            self.__vfs_server = MemoryServer()
 
1665
            self.__vfs_server.setUp()
 
1666
            self.addCleanup(self.__vfs_server.tearDown)
 
1667
        return self.__vfs_server
 
1668
 
 
1669
    def get_server(self):
 
1670
        """Get the read/write server instance.
 
1671
 
 
1672
        This is useful for some tests with specific servers that need
 
1673
        diagnostics.
 
1674
 
 
1675
        This is built from the self.transport_server factory. If that is None,
 
1676
        then the self.get_vfs_server is returned.
 
1677
        """
 
1678
        if self.__server is None:
 
1679
            if self.transport_server is None or self.transport_server is self.vfs_transport_factory:
 
1680
                return self.get_vfs_only_server()
 
1681
            else:
 
1682
                # bring up a decorated means of access to the vfs only server.
 
1683
                self.__server = self.transport_server()
 
1684
                try:
 
1685
                    self.__server.setUp(self.get_vfs_only_server())
 
1686
                except TypeError, e:
 
1687
                    # This should never happen; the try:Except here is to assist
 
1688
                    # developers having to update code rather than seeing an
 
1689
                    # uninformative TypeError.
 
1690
                    raise Exception, "Old server API in use: %s, %s" % (self.__server, e)
 
1691
            self.addCleanup(self.__server.tearDown)
 
1692
        return self.__server
 
1693
 
 
1694
    def _adjust_url(self, base, relpath):
 
1695
        """Get a URL (or maybe a path) for the readwrite transport.
 
1696
 
 
1697
        This will either be backed by '.' or to an equivalent non-file based
 
1698
        facility.
 
1699
        relpath provides for clients to get a path relative to the base url.
 
1700
        These should only be downwards relative, not upwards.
 
1701
        """
 
1702
        if relpath is not None and relpath != '.':
 
1703
            if not base.endswith('/'):
 
1704
                base = base + '/'
 
1705
            # XXX: Really base should be a url; we did after all call
 
1706
            # get_url()!  But sometimes it's just a path (from
 
1707
            # LocalAbspathServer), and it'd be wrong to append urlescaped data
 
1708
            # to a non-escaped local path.
 
1709
            if base.startswith('./') or base.startswith('/'):
 
1710
                base += relpath
 
1711
            else:
 
1712
                base += urlutils.escape(relpath)
 
1713
        return base
 
1714
 
 
1715
    def get_url(self, relpath=None):
 
1716
        """Get a URL (or maybe a path) for the readwrite transport.
 
1717
 
 
1718
        This will either be backed by '.' or to an equivalent non-file based
 
1719
        facility.
 
1720
        relpath provides for clients to get a path relative to the base url.
 
1721
        These should only be downwards relative, not upwards.
 
1722
        """
 
1723
        base = self.get_server().get_url()
 
1724
        return self._adjust_url(base, relpath)
 
1725
 
 
1726
    def get_vfs_only_url(self, relpath=None):
 
1727
        """Get a URL (or maybe a path for the plain old vfs transport.
 
1728
 
 
1729
        This will never be a smart protocol.  It always has all the
 
1730
        capabilities of the local filesystem, but it might actually be a
 
1731
        MemoryTransport or some other similar virtual filesystem.
 
1732
 
 
1733
        This is the backing transport (if any) of the server returned by 
 
1734
        get_url and get_readonly_url.
 
1735
 
 
1736
        :param relpath: provides for clients to get a path relative to the base
 
1737
            url.  These should only be downwards relative, not upwards.
 
1738
        """
 
1739
        base = self.get_vfs_only_server().get_url()
 
1740
        return self._adjust_url(base, relpath)
 
1741
 
 
1742
    def _make_test_root(self):
 
1743
        if TestCaseWithMemoryTransport.TEST_ROOT is not None:
 
1744
            return
 
1745
        root = tempfile.mkdtemp(prefix='testbzr-', suffix='.tmp')
 
1746
        TestCaseWithMemoryTransport.TEST_ROOT = root
 
1747
        
 
1748
        # make a fake bzr directory there to prevent any tests propagating
 
1749
        # up onto the source directory's real branch
 
1750
        bzrdir.BzrDir.create_standalone_workingtree(root)
 
1751
 
 
1752
        # The same directory is used by all tests, and we're not specifically
 
1753
        # told when all tests are finished.  This will do.
 
1754
        atexit.register(_rmtree_temp_dir, root)
 
1755
 
 
1756
    def makeAndChdirToTestDir(self):
 
1757
        """Create a temporary directories for this one test.
 
1758
        
 
1759
        This must set self.test_home_dir and self.test_dir and chdir to
 
1760
        self.test_dir.
 
1761
        
 
1762
        For TestCaseWithMemoryTransport we chdir to the TEST_ROOT for this test.
 
1763
        """
 
1764
        os.chdir(TestCaseWithMemoryTransport.TEST_ROOT)
 
1765
        self.test_dir = TestCaseWithMemoryTransport.TEST_ROOT
 
1766
        self.test_home_dir = self.test_dir + "/MemoryTransportMissingHomeDir"
 
1767
        
 
1768
    def make_branch(self, relpath, format=None):
 
1769
        """Create a branch on the transport at relpath."""
 
1770
        repo = self.make_repository(relpath, format=format)
 
1771
        return repo.bzrdir.create_branch()
 
1772
 
 
1773
    def make_bzrdir(self, relpath, format=None):
 
1774
        try:
 
1775
            # might be a relative or absolute path
 
1776
            maybe_a_url = self.get_url(relpath)
 
1777
            segments = maybe_a_url.rsplit('/', 1)
 
1778
            t = get_transport(maybe_a_url)
 
1779
            if len(segments) > 1 and segments[-1] not in ('', '.'):
 
1780
                t.ensure_base()
 
1781
            if format is None:
 
1782
                format = 'default'
 
1783
            if isinstance(format, basestring):
 
1784
                format = bzrdir.format_registry.make_bzrdir(format)
 
1785
            return format.initialize_on_transport(t)
 
1786
        except errors.UninitializableFormat:
 
1787
            raise TestSkipped("Format %s is not initializable." % format)
 
1788
 
 
1789
    def make_repository(self, relpath, shared=False, format=None):
 
1790
        """Create a repository on our default transport at relpath.
 
1791
        
 
1792
        Note that relpath must be a relative path, not a full url.
 
1793
        """
 
1794
        # FIXME: If you create a remoterepository this returns the underlying
 
1795
        # real format, which is incorrect.  Actually we should make sure that 
 
1796
        # RemoteBzrDir returns a RemoteRepository.
 
1797
        # maybe  mbp 20070410
 
1798
        made_control = self.make_bzrdir(relpath, format=format)
 
1799
        return made_control.create_repository(shared=shared)
 
1800
 
 
1801
    def make_branch_and_memory_tree(self, relpath, format=None):
 
1802
        """Create a branch on the default transport and a MemoryTree for it."""
 
1803
        b = self.make_branch(relpath, format=format)
 
1804
        return memorytree.MemoryTree.create_on_branch(b)
 
1805
 
 
1806
    def overrideEnvironmentForTesting(self):
 
1807
        os.environ['HOME'] = self.test_home_dir
 
1808
        os.environ['BZR_HOME'] = self.test_home_dir
 
1809
        
 
1810
    def setUp(self):
 
1811
        super(TestCaseWithMemoryTransport, self).setUp()
 
1812
        self._make_test_root()
 
1813
        _currentdir = os.getcwdu()
 
1814
        def _leaveDirectory():
 
1815
            os.chdir(_currentdir)
 
1816
        self.addCleanup(_leaveDirectory)
 
1817
        self.makeAndChdirToTestDir()
 
1818
        self.overrideEnvironmentForTesting()
 
1819
        self.__readonly_server = None
 
1820
        self.__server = None
 
1821
        self.reduceLockdirTimeout()
 
1822
 
 
1823
     
 
1824
class TestCaseInTempDir(TestCaseWithMemoryTransport):
 
1825
    """Derived class that runs a test within a temporary directory.
 
1826
 
 
1827
    This is useful for tests that need to create a branch, etc.
 
1828
 
 
1829
    The directory is created in a slightly complex way: for each
 
1830
    Python invocation, a new temporary top-level directory is created.
 
1831
    All test cases create their own directory within that.  If the
 
1832
    tests complete successfully, the directory is removed.
 
1833
 
 
1834
    :ivar test_base_dir: The path of the top-level directory for this 
 
1835
    test, which contains a home directory and a work directory.
 
1836
 
 
1837
    :ivar test_home_dir: An initially empty directory under test_base_dir
 
1838
    which is used as $HOME for this test.
 
1839
 
 
1840
    :ivar test_dir: A directory under test_base_dir used as the current
 
1841
    directory when the test proper is run.
 
1842
    """
 
1843
 
 
1844
    OVERRIDE_PYTHON = 'python'
 
1845
    use_numbered_dirs = False
 
1846
 
 
1847
    def check_file_contents(self, filename, expect):
 
1848
        self.log("check contents of file %s" % filename)
 
1849
        contents = file(filename, 'r').read()
 
1850
        if contents != expect:
 
1851
            self.log("expected: %r" % expect)
 
1852
            self.log("actually: %r" % contents)
 
1853
            self.fail("contents of %s not as expected" % filename)
 
1854
 
 
1855
    def makeAndChdirToTestDir(self):
 
1856
        """See TestCaseWithMemoryTransport.makeAndChdirToTestDir().
 
1857
        
 
1858
        For TestCaseInTempDir we create a temporary directory based on the test
 
1859
        name and then create two subdirs - test and home under it.
 
1860
        """
 
1861
        # create a directory within the top level test directory
 
1862
        candidate_dir = tempfile.mkdtemp(dir=self.TEST_ROOT)
 
1863
        # now create test and home directories within this dir
 
1864
        self.test_base_dir = candidate_dir
 
1865
        self.test_home_dir = self.test_base_dir + '/home'
 
1866
        os.mkdir(self.test_home_dir)
 
1867
        self.test_dir = self.test_base_dir + '/work'
 
1868
        os.mkdir(self.test_dir)
 
1869
        os.chdir(self.test_dir)
 
1870
        # put name of test inside
 
1871
        f = file(self.test_base_dir + '/name', 'w')
 
1872
        try:
 
1873
            f.write(self.id())
 
1874
        finally:
 
1875
            f.close()
 
1876
        self.addCleanup(self.deleteTestDir)
 
1877
 
 
1878
    def deleteTestDir(self):
 
1879
        _rmtree_temp_dir(self.test_base_dir)
 
1880
 
 
1881
    def build_tree(self, shape, line_endings='binary', transport=None):
 
1882
        """Build a test tree according to a pattern.
 
1883
 
 
1884
        shape is a sequence of file specifications.  If the final
 
1885
        character is '/', a directory is created.
 
1886
 
 
1887
        This assumes that all the elements in the tree being built are new.
 
1888
 
 
1889
        This doesn't add anything to a branch.
 
1890
        :param line_endings: Either 'binary' or 'native'
 
1891
                             in binary mode, exact contents are written
 
1892
                             in native mode, the line endings match the
 
1893
                             default platform endings.
 
1894
 
 
1895
        :param transport: A transport to write to, for building trees on 
 
1896
                          VFS's. If the transport is readonly or None,
 
1897
                          "." is opened automatically.
 
1898
        """
 
1899
        # It's OK to just create them using forward slashes on windows.
 
1900
        if transport is None or transport.is_readonly():
 
1901
            transport = get_transport(".")
 
1902
        for name in shape:
 
1903
            self.assert_(isinstance(name, basestring))
 
1904
            if name[-1] == '/':
 
1905
                transport.mkdir(urlutils.escape(name[:-1]))
 
1906
            else:
 
1907
                if line_endings == 'binary':
 
1908
                    end = '\n'
 
1909
                elif line_endings == 'native':
 
1910
                    end = os.linesep
 
1911
                else:
 
1912
                    raise errors.BzrError(
 
1913
                        'Invalid line ending request %r' % line_endings)
 
1914
                content = "contents of %s%s" % (name.encode('utf-8'), end)
 
1915
                transport.put_bytes_non_atomic(urlutils.escape(name), content)
 
1916
 
 
1917
    def build_tree_contents(self, shape):
 
1918
        build_tree_contents(shape)
 
1919
 
 
1920
    def assertFileEqual(self, content, path):
 
1921
        """Fail if path does not contain 'content'."""
 
1922
        self.failUnlessExists(path)
 
1923
        f = file(path, 'rb')
 
1924
        try:
 
1925
            s = f.read()
 
1926
        finally:
 
1927
            f.close()
 
1928
        self.assertEqualDiff(content, s)
 
1929
 
 
1930
    def failUnlessExists(self, path):
 
1931
        """Fail unless path or paths, which may be abs or relative, exist."""
 
1932
        if not isinstance(path, basestring):
 
1933
            for p in path:
 
1934
                self.failUnlessExists(p)
 
1935
        else:
 
1936
            self.failUnless(osutils.lexists(path),path+" does not exist")
 
1937
 
 
1938
    def failIfExists(self, path):
 
1939
        """Fail if path or paths, which may be abs or relative, exist."""
 
1940
        if not isinstance(path, basestring):
 
1941
            for p in path:
 
1942
                self.failIfExists(p)
 
1943
        else:
 
1944
            self.failIf(osutils.lexists(path),path+" exists")
 
1945
 
 
1946
    def assertInWorkingTree(self,path,root_path='.',tree=None):
 
1947
        """Assert whether path or paths are in the WorkingTree"""
 
1948
        if tree is None:
 
1949
            tree = workingtree.WorkingTree.open(root_path)
 
1950
        if not isinstance(path, basestring):
 
1951
            for p in path:
 
1952
                self.assertInWorkingTree(p,tree=tree)
 
1953
        else:
 
1954
            self.assertIsNot(tree.path2id(path), None,
 
1955
                path+' not in working tree.')
 
1956
 
 
1957
    def assertNotInWorkingTree(self,path,root_path='.',tree=None):
 
1958
        """Assert whether path or paths are not in the WorkingTree"""
 
1959
        if tree is None:
 
1960
            tree = workingtree.WorkingTree.open(root_path)
 
1961
        if not isinstance(path, basestring):
 
1962
            for p in path:
 
1963
                self.assertNotInWorkingTree(p,tree=tree)
 
1964
        else:
 
1965
            self.assertIs(tree.path2id(path), None, path+' in working tree.')
 
1966
 
 
1967
 
 
1968
class TestCaseWithTransport(TestCaseInTempDir):
 
1969
    """A test case that provides get_url and get_readonly_url facilities.
 
1970
 
 
1971
    These back onto two transport servers, one for readonly access and one for
 
1972
    read write access.
 
1973
 
 
1974
    If no explicit class is provided for readonly access, a
 
1975
    ReadonlyTransportDecorator is used instead which allows the use of non disk
 
1976
    based read write transports.
 
1977
 
 
1978
    If an explicit class is provided for readonly access, that server and the 
 
1979
    readwrite one must both define get_url() as resolving to os.getcwd().
 
1980
    """
 
1981
 
 
1982
    def get_vfs_only_server(self):
 
1983
        """See TestCaseWithMemoryTransport.
 
1984
 
 
1985
        This is useful for some tests with specific servers that need
 
1986
        diagnostics.
 
1987
        """
 
1988
        if self.__vfs_server is None:
 
1989
            self.__vfs_server = self.vfs_transport_factory()
 
1990
            self.__vfs_server.setUp()
 
1991
            self.addCleanup(self.__vfs_server.tearDown)
 
1992
        return self.__vfs_server
 
1993
 
 
1994
    def make_branch_and_tree(self, relpath, format=None):
 
1995
        """Create a branch on the transport and a tree locally.
 
1996
 
 
1997
        If the transport is not a LocalTransport, the Tree can't be created on
 
1998
        the transport.  In that case if the vfs_transport_factory is
 
1999
        LocalURLServer the working tree is created in the local
 
2000
        directory backing the transport, and the returned tree's branch and
 
2001
        repository will also be accessed locally. Otherwise a lightweight
 
2002
        checkout is created and returned.
 
2003
 
 
2004
        :param format: The BzrDirFormat.
 
2005
        :returns: the WorkingTree.
 
2006
        """
 
2007
        # TODO: always use the local disk path for the working tree,
 
2008
        # this obviously requires a format that supports branch references
 
2009
        # so check for that by checking bzrdir.BzrDirFormat.get_default_format()
 
2010
        # RBC 20060208
 
2011
        b = self.make_branch(relpath, format=format)
 
2012
        try:
 
2013
            return b.bzrdir.create_workingtree()
 
2014
        except errors.NotLocalUrl:
 
2015
            # We can only make working trees locally at the moment.  If the
 
2016
            # transport can't support them, then we keep the non-disk-backed
 
2017
            # branch and create a local checkout.
 
2018
            if self.vfs_transport_factory is LocalURLServer:
 
2019
                # the branch is colocated on disk, we cannot create a checkout.
 
2020
                # hopefully callers will expect this.
 
2021
                local_controldir= bzrdir.BzrDir.open(self.get_vfs_only_url(relpath))
 
2022
                return local_controldir.create_workingtree()
 
2023
            else:
 
2024
                return b.create_checkout(relpath, lightweight=True)
 
2025
 
 
2026
    def assertIsDirectory(self, relpath, transport):
 
2027
        """Assert that relpath within transport is a directory.
 
2028
 
 
2029
        This may not be possible on all transports; in that case it propagates
 
2030
        a TransportNotPossible.
 
2031
        """
 
2032
        try:
 
2033
            mode = transport.stat(relpath).st_mode
 
2034
        except errors.NoSuchFile:
 
2035
            self.fail("path %s is not a directory; no such file"
 
2036
                      % (relpath))
 
2037
        if not stat.S_ISDIR(mode):
 
2038
            self.fail("path %s is not a directory; has mode %#o"
 
2039
                      % (relpath, mode))
 
2040
 
 
2041
    def assertTreesEqual(self, left, right):
 
2042
        """Check that left and right have the same content and properties."""
 
2043
        # we use a tree delta to check for equality of the content, and we
 
2044
        # manually check for equality of other things such as the parents list.
 
2045
        self.assertEqual(left.get_parent_ids(), right.get_parent_ids())
 
2046
        differences = left.changes_from(right)
 
2047
        self.assertFalse(differences.has_changed(),
 
2048
            "Trees %r and %r are different: %r" % (left, right, differences))
 
2049
 
 
2050
    def setUp(self):
 
2051
        super(TestCaseWithTransport, self).setUp()
 
2052
        self.__vfs_server = None
 
2053
 
 
2054
 
 
2055
class ChrootedTestCase(TestCaseWithTransport):
 
2056
    """A support class that provides readonly urls outside the local namespace.
 
2057
 
 
2058
    This is done by checking if self.transport_server is a MemoryServer. if it
 
2059
    is then we are chrooted already, if it is not then an HttpServer is used
 
2060
    for readonly urls.
 
2061
 
 
2062
    TODO RBC 20060127: make this an option to TestCaseWithTransport so it can
 
2063
                       be used without needed to redo it when a different 
 
2064
                       subclass is in use ?
 
2065
    """
 
2066
 
 
2067
    def setUp(self):
 
2068
        super(ChrootedTestCase, self).setUp()
 
2069
        if not self.vfs_transport_factory == MemoryServer:
 
2070
            self.transport_readonly_server = HttpServer
 
2071
 
 
2072
 
 
2073
def filter_suite_by_re(suite, pattern, exclude_pattern=None,
 
2074
                       random_order=False):
 
2075
    """Create a test suite by filtering another one.
 
2076
    
 
2077
    :param suite:           the source suite
 
2078
    :param pattern:         pattern that names must match
 
2079
    :param exclude_pattern: pattern that names must not match, if any
 
2080
    :param random_order:    if True, tests in the new suite will be put in
 
2081
                            random order
 
2082
    :returns: the newly created suite
 
2083
    """ 
 
2084
    return sort_suite_by_re(suite, pattern, exclude_pattern,
 
2085
        random_order, False)
 
2086
 
 
2087
 
 
2088
def sort_suite_by_re(suite, pattern, exclude_pattern=None,
 
2089
                     random_order=False, append_rest=True):
 
2090
    """Create a test suite by sorting another one.
 
2091
    
 
2092
    :param suite:           the source suite
 
2093
    :param pattern:         pattern that names must match in order to go
 
2094
                            first in the new suite
 
2095
    :param exclude_pattern: pattern that names must not match, if any
 
2096
    :param random_order:    if True, tests in the new suite will be put in
 
2097
                            random order
 
2098
    :param append_rest:     if False, pattern is a strict filter and not
 
2099
                            just an ordering directive
 
2100
    :returns: the newly created suite
 
2101
    """ 
 
2102
    first = []
 
2103
    second = []
 
2104
    filter_re = re.compile(pattern)
 
2105
    if exclude_pattern is not None:
 
2106
        exclude_re = re.compile(exclude_pattern)
 
2107
    for test in iter_suite_tests(suite):
 
2108
        test_id = test.id()
 
2109
        if exclude_pattern is None or not exclude_re.search(test_id):
 
2110
            if filter_re.search(test_id):
 
2111
                first.append(test)
 
2112
            elif append_rest:
 
2113
                second.append(test)
 
2114
    if random_order:
 
2115
        random.shuffle(first)
 
2116
        random.shuffle(second)
 
2117
    return TestUtil.TestSuite(first + second)
 
2118
 
 
2119
 
 
2120
def run_suite(suite, name='test', verbose=False, pattern=".*",
 
2121
              stop_on_failure=False,
 
2122
              transport=None, lsprof_timed=None, bench_history=None,
 
2123
              matching_tests_first=None,
 
2124
              numbered_dirs=None,
 
2125
              list_only=False,
 
2126
              random_seed=None,
 
2127
              exclude_pattern=None,
 
2128
              ):
 
2129
    use_numbered_dirs = bool(numbered_dirs)
 
2130
 
 
2131
    TestCase._gather_lsprof_in_benchmarks = lsprof_timed
 
2132
    if numbered_dirs is not None:
 
2133
        TestCaseInTempDir.use_numbered_dirs = use_numbered_dirs
 
2134
    if verbose:
 
2135
        verbosity = 2
 
2136
    else:
 
2137
        verbosity = 1
 
2138
    runner = TextTestRunner(stream=sys.stdout,
 
2139
                            descriptions=0,
 
2140
                            verbosity=verbosity,
 
2141
                            bench_history=bench_history,
 
2142
                            use_numbered_dirs=use_numbered_dirs,
 
2143
                            list_only=list_only,
 
2144
                            )
 
2145
    runner.stop_on_failure=stop_on_failure
 
2146
    # Initialise the random number generator and display the seed used.
 
2147
    # We convert the seed to a long to make it reuseable across invocations.
 
2148
    random_order = False
 
2149
    if random_seed is not None:
 
2150
        random_order = True
 
2151
        if random_seed == "now":
 
2152
            random_seed = long(time.time())
 
2153
        else:
 
2154
            # Convert the seed to a long if we can
 
2155
            try:
 
2156
                random_seed = long(random_seed)
 
2157
            except:
 
2158
                pass
 
2159
        runner.stream.writeln("Randomizing test order using seed %s\n" %
 
2160
            (random_seed))
 
2161
        random.seed(random_seed)
 
2162
    # Customise the list of tests if requested
 
2163
    if pattern != '.*' or exclude_pattern is not None or random_order:
 
2164
        if matching_tests_first:
 
2165
            suite = sort_suite_by_re(suite, pattern, exclude_pattern,
 
2166
                random_order)
 
2167
        else:
 
2168
            suite = filter_suite_by_re(suite, pattern, exclude_pattern,
 
2169
                random_order)
 
2170
    result = runner.run(suite)
 
2171
    return result.wasSuccessful()
 
2172
 
 
2173
 
 
2174
def selftest(verbose=False, pattern=".*", stop_on_failure=True,
 
2175
             transport=None,
 
2176
             test_suite_factory=None,
 
2177
             lsprof_timed=None,
 
2178
             bench_history=None,
 
2179
             matching_tests_first=None,
 
2180
             numbered_dirs=None,
 
2181
             list_only=False,
 
2182
             random_seed=None,
 
2183
             exclude_pattern=None):
 
2184
    """Run the whole test suite under the enhanced runner"""
 
2185
    # XXX: Very ugly way to do this...
 
2186
    # Disable warning about old formats because we don't want it to disturb
 
2187
    # any blackbox tests.
 
2188
    from bzrlib import repository
 
2189
    repository._deprecation_warning_done = True
 
2190
 
 
2191
    global default_transport
 
2192
    if transport is None:
 
2193
        transport = default_transport
 
2194
    old_transport = default_transport
 
2195
    default_transport = transport
 
2196
    try:
 
2197
        if test_suite_factory is None:
 
2198
            suite = test_suite()
 
2199
        else:
 
2200
            suite = test_suite_factory()
 
2201
        return run_suite(suite, 'testbzr', verbose=verbose, pattern=pattern,
 
2202
                     stop_on_failure=stop_on_failure,
 
2203
                     transport=transport,
 
2204
                     lsprof_timed=lsprof_timed,
 
2205
                     bench_history=bench_history,
 
2206
                     matching_tests_first=matching_tests_first,
 
2207
                     numbered_dirs=numbered_dirs,
 
2208
                     list_only=list_only,
 
2209
                     random_seed=random_seed,
 
2210
                     exclude_pattern=exclude_pattern)
 
2211
    finally:
 
2212
        default_transport = old_transport
 
2213
 
 
2214
 
 
2215
def test_suite():
 
2216
    """Build and return TestSuite for the whole of bzrlib.
 
2217
    
 
2218
    This function can be replaced if you need to change the default test
 
2219
    suite on a global basis, but it is not encouraged.
 
2220
    """
 
2221
    testmod_names = [
 
2222
                   'bzrlib.tests.test_ancestry',
 
2223
                   'bzrlib.tests.test_annotate',
 
2224
                   'bzrlib.tests.test_api',
 
2225
                   'bzrlib.tests.test_atomicfile',
 
2226
                   'bzrlib.tests.test_bad_files',
 
2227
                   'bzrlib.tests.test_branch',
 
2228
                   'bzrlib.tests.test_branchbuilder',
 
2229
                   'bzrlib.tests.test_bugtracker',
 
2230
                   'bzrlib.tests.test_bundle',
 
2231
                   'bzrlib.tests.test_bzrdir',
 
2232
                   'bzrlib.tests.test_cache_utf8',
 
2233
                   'bzrlib.tests.test_commands',
 
2234
                   'bzrlib.tests.test_commit',
 
2235
                   'bzrlib.tests.test_commit_merge',
 
2236
                   'bzrlib.tests.test_config',
 
2237
                   'bzrlib.tests.test_conflicts',
 
2238
                   'bzrlib.tests.test_counted_lock',
 
2239
                   'bzrlib.tests.test_decorators',
 
2240
                   'bzrlib.tests.test_delta',
 
2241
                   'bzrlib.tests.test_deprecated_graph',
 
2242
                   'bzrlib.tests.test_diff',
 
2243
                   'bzrlib.tests.test_dirstate',
 
2244
                   'bzrlib.tests.test_errors',
 
2245
                   'bzrlib.tests.test_escaped_store',
 
2246
                   'bzrlib.tests.test_extract',
 
2247
                   'bzrlib.tests.test_fetch',
 
2248
                   'bzrlib.tests.test_ftp_transport',
 
2249
                   'bzrlib.tests.test_generate_docs',
 
2250
                   'bzrlib.tests.test_generate_ids',
 
2251
                   'bzrlib.tests.test_globbing',
 
2252
                   'bzrlib.tests.test_gpg',
 
2253
                   'bzrlib.tests.test_graph',
 
2254
                   'bzrlib.tests.test_hashcache',
 
2255
                   'bzrlib.tests.test_help',
 
2256
                   'bzrlib.tests.test_http',
 
2257
                   'bzrlib.tests.test_http_response',
 
2258
                   'bzrlib.tests.test_https_ca_bundle',
 
2259
                   'bzrlib.tests.test_identitymap',
 
2260
                   'bzrlib.tests.test_ignores',
 
2261
                   'bzrlib.tests.test_info',
 
2262
                   'bzrlib.tests.test_inv',
 
2263
                   'bzrlib.tests.test_knit',
 
2264
                   'bzrlib.tests.test_lazy_import',
 
2265
                   'bzrlib.tests.test_lazy_regex',
 
2266
                   'bzrlib.tests.test_lockdir',
 
2267
                   'bzrlib.tests.test_lockable_files',
 
2268
                   'bzrlib.tests.test_log',
 
2269
                   'bzrlib.tests.test_lsprof',
 
2270
                   'bzrlib.tests.test_memorytree',
 
2271
                   'bzrlib.tests.test_merge',
 
2272
                   'bzrlib.tests.test_merge3',
 
2273
                   'bzrlib.tests.test_merge_core',
 
2274
                   'bzrlib.tests.test_merge_directive',
 
2275
                   'bzrlib.tests.test_missing',
 
2276
                   'bzrlib.tests.test_msgeditor',
 
2277
                   'bzrlib.tests.test_nonascii',
 
2278
                   'bzrlib.tests.test_options',
 
2279
                   'bzrlib.tests.test_osutils',
 
2280
                   'bzrlib.tests.test_osutils_encodings',
 
2281
                   'bzrlib.tests.test_patch',
 
2282
                   'bzrlib.tests.test_patches',
 
2283
                   'bzrlib.tests.test_permissions',
 
2284
                   'bzrlib.tests.test_plugins',
 
2285
                   'bzrlib.tests.test_progress',
 
2286
                   'bzrlib.tests.test_reconcile',
 
2287
                   'bzrlib.tests.test_registry',
 
2288
                   'bzrlib.tests.test_remote',
 
2289
                   'bzrlib.tests.test_repository',
 
2290
                   'bzrlib.tests.test_revert',
 
2291
                   'bzrlib.tests.test_revision',
 
2292
                   'bzrlib.tests.test_revisionnamespaces',
 
2293
                   'bzrlib.tests.test_revisiontree',
 
2294
                   'bzrlib.tests.test_rio',
 
2295
                   'bzrlib.tests.test_sampler',
 
2296
                   'bzrlib.tests.test_selftest',
 
2297
                   'bzrlib.tests.test_setup',
 
2298
                   'bzrlib.tests.test_sftp_transport',
 
2299
                   'bzrlib.tests.test_smart',
 
2300
                   'bzrlib.tests.test_smart_add',
 
2301
                   'bzrlib.tests.test_smart_transport',
 
2302
                   'bzrlib.tests.test_source',
 
2303
                   'bzrlib.tests.test_ssh_transport',
 
2304
                   'bzrlib.tests.test_status',
 
2305
                   'bzrlib.tests.test_store',
 
2306
                   'bzrlib.tests.test_strace',
 
2307
                   'bzrlib.tests.test_subsume',
 
2308
                   'bzrlib.tests.test_symbol_versioning',
 
2309
                   'bzrlib.tests.test_tag',
 
2310
                   'bzrlib.tests.test_testament',
 
2311
                   'bzrlib.tests.test_textfile',
 
2312
                   'bzrlib.tests.test_textmerge',
 
2313
                   'bzrlib.tests.test_timestamp',
 
2314
                   'bzrlib.tests.test_trace',
 
2315
                   'bzrlib.tests.test_transactions',
 
2316
                   'bzrlib.tests.test_transform',
 
2317
                   'bzrlib.tests.test_transport',
 
2318
                   'bzrlib.tests.test_tree',
 
2319
                   'bzrlib.tests.test_treebuilder',
 
2320
                   'bzrlib.tests.test_tsort',
 
2321
                   'bzrlib.tests.test_tuned_gzip',
 
2322
                   'bzrlib.tests.test_ui',
 
2323
                   'bzrlib.tests.test_upgrade',
 
2324
                   'bzrlib.tests.test_urlutils',
 
2325
                   'bzrlib.tests.test_versionedfile',
 
2326
                   'bzrlib.tests.test_version',
 
2327
                   'bzrlib.tests.test_version_info',
 
2328
                   'bzrlib.tests.test_weave',
 
2329
                   'bzrlib.tests.test_whitebox',
 
2330
                   'bzrlib.tests.test_workingtree',
 
2331
                   'bzrlib.tests.test_workingtree_4',
 
2332
                   'bzrlib.tests.test_wsgi',
 
2333
                   'bzrlib.tests.test_xml',
 
2334
                   ]
 
2335
    test_transport_implementations = [
 
2336
        'bzrlib.tests.test_transport_implementations',
 
2337
        'bzrlib.tests.test_read_bundle',
 
2338
        ]
 
2339
    suite = TestUtil.TestSuite()
 
2340
    loader = TestUtil.TestLoader()
 
2341
    suite.addTest(loader.loadTestsFromModuleNames(testmod_names))
 
2342
    from bzrlib.transport import TransportTestProviderAdapter
 
2343
    adapter = TransportTestProviderAdapter()
 
2344
    adapt_modules(test_transport_implementations, adapter, loader, suite)
 
2345
    for package in packages_to_test():
 
2346
        suite.addTest(package.test_suite())
 
2347
    for m in MODULES_TO_TEST:
 
2348
        suite.addTest(loader.loadTestsFromModule(m))
 
2349
    for m in MODULES_TO_DOCTEST:
 
2350
        try:
 
2351
            suite.addTest(doctest.DocTestSuite(m))
 
2352
        except ValueError, e:
 
2353
            print '**failed to get doctest for: %s\n%s' %(m,e)
 
2354
            raise
 
2355
    for name, plugin in bzrlib.plugin.all_plugins().items():
 
2356
        if getattr(plugin, 'test_suite', None) is not None:
 
2357
            default_encoding = sys.getdefaultencoding()
 
2358
            try:
 
2359
                plugin_suite = plugin.test_suite()
 
2360
            except ImportError, e:
 
2361
                bzrlib.trace.warning(
 
2362
                    'Unable to test plugin "%s": %s', name, e)
 
2363
            else:
 
2364
                suite.addTest(plugin_suite)
 
2365
            if default_encoding != sys.getdefaultencoding():
 
2366
                bzrlib.trace.warning(
 
2367
                    'Plugin "%s" tried to reset default encoding to: %s', name,
 
2368
                    sys.getdefaultencoding())
 
2369
                reload(sys)
 
2370
                sys.setdefaultencoding(default_encoding)
 
2371
    return suite
 
2372
 
 
2373
 
 
2374
def adapt_modules(mods_list, adapter, loader, suite):
 
2375
    """Adapt the modules in mods_list using adapter and add to suite."""
 
2376
    for test in iter_suite_tests(loader.loadTestsFromModuleNames(mods_list)):
 
2377
        suite.addTests(adapter.adapt(test))
 
2378
 
 
2379
 
 
2380
def _rmtree_temp_dir(dirname):
 
2381
    # If LANG=C we probably have created some bogus paths
 
2382
    # which rmtree(unicode) will fail to delete
 
2383
    # so make sure we are using rmtree(str) to delete everything
 
2384
    # except on win32, where rmtree(str) will fail
 
2385
    # since it doesn't have the property of byte-stream paths
 
2386
    # (they are either ascii or mbcs)
 
2387
    if sys.platform == 'win32':
 
2388
        # make sure we are using the unicode win32 api
 
2389
        dirname = unicode(dirname)
 
2390
    else:
 
2391
        dirname = dirname.encode(sys.getfilesystemencoding())
 
2392
    try:
 
2393
        osutils.rmtree(dirname)
 
2394
    except OSError, e:
 
2395
        if sys.platform == 'win32' and e.errno == errno.EACCES:
 
2396
            print >>sys.stderr, ('Permission denied: '
 
2397
                                 'unable to remove testing dir '
 
2398
                                 '%s' % os.path.basename(dirname))
 
2399
        else:
 
2400
            raise
 
2401
 
 
2402
 
 
2403
def clean_selftest_output(root=None, quiet=False):
 
2404
    """Remove all selftest output directories from root directory.
 
2405
 
 
2406
    :param  root:   root directory for clean
 
2407
                    (if ommitted or None then clean current directory).
 
2408
    :param  quiet:  suppress report about deleting directories
 
2409
    """
 
2410
    import re
 
2411
    re_dir = re.compile(r'''test\d\d\d\d\.tmp''')
 
2412
    if root is None:
 
2413
        root = u'.'
 
2414
    for i in os.listdir(root):
 
2415
        if os.path.isdir(i) and re_dir.match(i):
 
2416
            if not quiet:
 
2417
                print 'delete directory:', i
 
2418
            _rmtree_temp_dir(i)
 
2419
 
 
2420
 
 
2421
class Feature(object):
 
2422
    """An operating system Feature."""
 
2423
 
 
2424
    def __init__(self):
 
2425
        self._available = None
 
2426
 
 
2427
    def available(self):
 
2428
        """Is the feature available?
 
2429
 
 
2430
        :return: True if the feature is available.
 
2431
        """
 
2432
        if self._available is None:
 
2433
            self._available = self._probe()
 
2434
        return self._available
 
2435
 
 
2436
    def _probe(self):
 
2437
        """Implement this method in concrete features.
 
2438
 
 
2439
        :return: True if the feature is available.
 
2440
        """
 
2441
        raise NotImplementedError
 
2442
 
 
2443
    def __str__(self):
 
2444
        if getattr(self, 'feature_name', None):
 
2445
            return self.feature_name()
 
2446
        return self.__class__.__name__