/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/tests/__init__.py

  • Committer: Martin Pool
  • Date: 2007-03-06 05:05:46 UTC
  • mto: (2255.2.213 dirstate.dogfood)
  • mto: This revision was merged to the branch mainline in revision 2322.
  • Revision ID: mbp@sourcefrog.net-20070306050546-3lujsd390sq65um0
Add BzrDir.retire_bzrdir and partly fix subsume

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005, 2006, 2007 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
 
 
18
# TODO: Perhaps there should be an API to find out if bzr running under the
 
19
# test suite -- some plugins might want to avoid making intrusive changes if
 
20
# this is the case.  However, we want behaviour under to test to diverge as
 
21
# little as possible, so this should be used rarely if it's added at all.
 
22
# (Suggestion from j-a-meinel, 2005-11-24)
 
23
 
 
24
# NOTE: Some classes in here use camelCaseNaming() rather than
 
25
# underscore_naming().  That's for consistency with unittest; it's not the
 
26
# general style of bzrlib.  Please continue that consistency when adding e.g.
 
27
# new assertFoo() methods.
 
28
 
 
29
import codecs
 
30
from cStringIO import StringIO
 
31
import difflib
 
32
import doctest
 
33
import errno
 
34
import logging
 
35
import os
 
36
from pprint import pformat
 
37
import re
 
38
import shlex
 
39
import stat
 
40
from subprocess import Popen, PIPE
 
41
import sys
 
42
import tempfile
 
43
import unittest
 
44
import time
 
45
 
 
46
 
 
47
from bzrlib import (
 
48
    bzrdir,
 
49
    debug,
 
50
    errors,
 
51
    memorytree,
 
52
    osutils,
 
53
    progress,
 
54
    urlutils,
 
55
    )
 
56
import bzrlib.branch
 
57
import bzrlib.commands
 
58
import bzrlib.bundle.serializer
 
59
import bzrlib.export
 
60
import bzrlib.inventory
 
61
import bzrlib.iterablefile
 
62
import bzrlib.lockdir
 
63
try:
 
64
    import bzrlib.lsprof
 
65
except ImportError:
 
66
    # lsprof not available
 
67
    pass
 
68
from bzrlib.merge import merge_inner
 
69
import bzrlib.merge3
 
70
import bzrlib.osutils
 
71
import bzrlib.plugin
 
72
from bzrlib.revision import common_ancestor
 
73
import bzrlib.store
 
74
from bzrlib import symbol_versioning
 
75
import bzrlib.trace
 
76
from bzrlib.transport import get_transport
 
77
import bzrlib.transport
 
78
from bzrlib.transport.local import LocalURLServer
 
79
from bzrlib.transport.memory import MemoryServer
 
80
from bzrlib.transport.readonly import ReadonlyServer
 
81
from bzrlib.trace import mutter, note
 
82
from bzrlib.tests import TestUtil
 
83
from bzrlib.tests.HttpServer import HttpServer
 
84
from bzrlib.tests.TestUtil import (
 
85
                          TestSuite,
 
86
                          TestLoader,
 
87
                          )
 
88
from bzrlib.tests.treeshape import build_tree_contents
 
89
from bzrlib.workingtree import WorkingTree, WorkingTreeFormat2
 
90
 
 
91
default_transport = LocalURLServer
 
92
 
 
93
MODULES_TO_TEST = []
 
94
MODULES_TO_DOCTEST = [
 
95
                      bzrlib.bundle.serializer,
 
96
                      bzrlib.errors,
 
97
                      bzrlib.export,
 
98
                      bzrlib.inventory,
 
99
                      bzrlib.iterablefile,
 
100
                      bzrlib.lockdir,
 
101
                      bzrlib.merge3,
 
102
                      bzrlib.option,
 
103
                      bzrlib.store,
 
104
                      ]
 
105
 
 
106
 
 
107
def packages_to_test():
 
108
    """Return a list of packages to test.
 
109
 
 
110
    The packages are not globally imported so that import failures are
 
111
    triggered when running selftest, not when importing the command.
 
112
    """
 
113
    import bzrlib.doc
 
114
    import bzrlib.tests.blackbox
 
115
    import bzrlib.tests.branch_implementations
 
116
    import bzrlib.tests.bzrdir_implementations
 
117
    import bzrlib.tests.interrepository_implementations
 
118
    import bzrlib.tests.interversionedfile_implementations
 
119
    import bzrlib.tests.intertree_implementations
 
120
    import bzrlib.tests.repository_implementations
 
121
    import bzrlib.tests.revisionstore_implementations
 
122
    import bzrlib.tests.tree_implementations
 
123
    import bzrlib.tests.workingtree_implementations
 
124
    return [
 
125
            bzrlib.doc,
 
126
            bzrlib.tests.blackbox,
 
127
            bzrlib.tests.branch_implementations,
 
128
            bzrlib.tests.bzrdir_implementations,
 
129
            bzrlib.tests.interrepository_implementations,
 
130
            bzrlib.tests.interversionedfile_implementations,
 
131
            bzrlib.tests.intertree_implementations,
 
132
            bzrlib.tests.repository_implementations,
 
133
            bzrlib.tests.revisionstore_implementations,
 
134
            bzrlib.tests.tree_implementations,
 
135
            bzrlib.tests.workingtree_implementations,
 
136
            ]
 
137
 
 
138
 
 
139
class ExtendedTestResult(unittest._TextTestResult):
 
140
    """Accepts, reports and accumulates the results of running tests.
 
141
 
 
142
    Compared to this unittest version this class adds support for profiling,
 
143
    benchmarking, stopping as soon as a test fails,  and skipping tests.
 
144
    There are further-specialized subclasses for different types of display.
 
145
    """
 
146
 
 
147
    stop_early = False
 
148
    
 
149
    def __init__(self, stream, descriptions, verbosity,
 
150
                 bench_history=None,
 
151
                 num_tests=None,
 
152
                 ):
 
153
        """Construct new TestResult.
 
154
 
 
155
        :param bench_history: Optionally, a writable file object to accumulate
 
156
            benchmark results.
 
157
        """
 
158
        unittest._TextTestResult.__init__(self, stream, descriptions, verbosity)
 
159
        if bench_history is not None:
 
160
            from bzrlib.version import _get_bzr_source_tree
 
161
            src_tree = _get_bzr_source_tree()
 
162
            if src_tree:
 
163
                try:
 
164
                    revision_id = src_tree.get_parent_ids()[0]
 
165
                except IndexError:
 
166
                    # XXX: if this is a brand new tree, do the same as if there
 
167
                    # is no branch.
 
168
                    revision_id = ''
 
169
            else:
 
170
                # XXX: If there's no branch, what should we do?
 
171
                revision_id = ''
 
172
            bench_history.write("--date %s %s\n" % (time.time(), revision_id))
 
173
        self._bench_history = bench_history
 
174
        self.ui = bzrlib.ui.ui_factory
 
175
        self.num_tests = num_tests
 
176
        self.error_count = 0
 
177
        self.failure_count = 0
 
178
        self.skip_count = 0
 
179
        self.count = 0
 
180
        self._overall_start_time = time.time()
 
181
    
 
182
    def extractBenchmarkTime(self, testCase):
 
183
        """Add a benchmark time for the current test case."""
 
184
        self._benchmarkTime = getattr(testCase, "_benchtime", None)
 
185
    
 
186
    def _elapsedTestTimeString(self):
 
187
        """Return a time string for the overall time the current test has taken."""
 
188
        return self._formatTime(time.time() - self._start_time)
 
189
 
 
190
    def _testTimeString(self):
 
191
        if self._benchmarkTime is not None:
 
192
            return "%s/%s" % (
 
193
                self._formatTime(self._benchmarkTime),
 
194
                self._elapsedTestTimeString())
 
195
        else:
 
196
            return "           %s" % self._elapsedTestTimeString()
 
197
 
 
198
    def _formatTime(self, seconds):
 
199
        """Format seconds as milliseconds with leading spaces."""
 
200
        # some benchmarks can take thousands of seconds to run, so we need 8
 
201
        # places
 
202
        return "%8dms" % (1000 * seconds)
 
203
 
 
204
    def _shortened_test_description(self, test):
 
205
        what = test.id()
 
206
        what = re.sub(r'^bzrlib\.(tests|benchmarks)\.', '', what)
 
207
        return what
 
208
 
 
209
    def startTest(self, test):
 
210
        unittest.TestResult.startTest(self, test)
 
211
        self.report_test_start(test)
 
212
        self._recordTestStartTime()
 
213
 
 
214
    def _recordTestStartTime(self):
 
215
        """Record that a test has started."""
 
216
        self._start_time = time.time()
 
217
 
 
218
    def addError(self, test, err):
 
219
        if isinstance(err[1], TestSkipped):
 
220
            return self.addSkipped(test, err)    
 
221
        unittest.TestResult.addError(self, test, err)
 
222
        # We can only do this if we have one of our TestCases, not if
 
223
        # we have a doctest.
 
224
        setKeepLogfile = getattr(test, 'setKeepLogfile', None)
 
225
        if setKeepLogfile is not None:
 
226
            setKeepLogfile()
 
227
        self.extractBenchmarkTime(test)
 
228
        self.report_error(test, err)
 
229
        if self.stop_early:
 
230
            self.stop()
 
231
 
 
232
    def addFailure(self, test, err):
 
233
        unittest.TestResult.addFailure(self, test, err)
 
234
        # We can only do this if we have one of our TestCases, not if
 
235
        # we have a doctest.
 
236
        setKeepLogfile = getattr(test, 'setKeepLogfile', None)
 
237
        if setKeepLogfile is not None:
 
238
            setKeepLogfile()
 
239
        self.extractBenchmarkTime(test)
 
240
        self.report_failure(test, err)
 
241
        if self.stop_early:
 
242
            self.stop()
 
243
 
 
244
    def addSuccess(self, test):
 
245
        self.extractBenchmarkTime(test)
 
246
        if self._bench_history is not None:
 
247
            if self._benchmarkTime is not None:
 
248
                self._bench_history.write("%s %s\n" % (
 
249
                    self._formatTime(self._benchmarkTime),
 
250
                    test.id()))
 
251
        self.report_success(test)
 
252
        unittest.TestResult.addSuccess(self, test)
 
253
 
 
254
    def addSkipped(self, test, skip_excinfo):
 
255
        self.extractBenchmarkTime(test)
 
256
        self.report_skip(test, skip_excinfo)
 
257
        # seems best to treat this as success from point-of-view of unittest
 
258
        # -- it actually does nothing so it barely matters :)
 
259
        try:
 
260
            test.tearDown()
 
261
        except KeyboardInterrupt:
 
262
            raise
 
263
        except:
 
264
            self.addError(test, test.__exc_info())
 
265
        else:
 
266
            unittest.TestResult.addSuccess(self, test)
 
267
 
 
268
    def printErrorList(self, flavour, errors):
 
269
        for test, err in errors:
 
270
            self.stream.writeln(self.separator1)
 
271
            self.stream.writeln("%s: %s" % (flavour, self.getDescription(test)))
 
272
            if getattr(test, '_get_log', None) is not None:
 
273
                print >>self.stream
 
274
                print >>self.stream, \
 
275
                        ('vvvv[log from %s]' % test.id()).ljust(78,'-')
 
276
                print >>self.stream, test._get_log()
 
277
                print >>self.stream, \
 
278
                        ('^^^^[log from %s]' % test.id()).ljust(78,'-')
 
279
            self.stream.writeln(self.separator2)
 
280
            self.stream.writeln("%s" % err)
 
281
 
 
282
    def finished(self):
 
283
        pass
 
284
 
 
285
    def report_cleaning_up(self):
 
286
        pass
 
287
 
 
288
    def report_success(self, test):
 
289
        pass
 
290
 
 
291
 
 
292
class TextTestResult(ExtendedTestResult):
 
293
    """Displays progress and results of tests in text form"""
 
294
 
 
295
    def __init__(self, *args, **kw):
 
296
        ExtendedTestResult.__init__(self, *args, **kw)
 
297
        self.pb = self.ui.nested_progress_bar()
 
298
        self.pb.show_pct = False
 
299
        self.pb.show_spinner = False
 
300
        self.pb.show_eta = False, 
 
301
        self.pb.show_count = False
 
302
        self.pb.show_bar = False
 
303
 
 
304
    def report_starting(self):
 
305
        self.pb.update('[test 0/%d] starting...' % (self.num_tests))
 
306
 
 
307
    def _progress_prefix_text(self):
 
308
        a = '[%d' % self.count
 
309
        if self.num_tests is not None:
 
310
            a +='/%d' % self.num_tests
 
311
        a += ' in %ds' % (time.time() - self._overall_start_time)
 
312
        if self.error_count:
 
313
            a += ', %d errors' % self.error_count
 
314
        if self.failure_count:
 
315
            a += ', %d failed' % self.failure_count
 
316
        if self.skip_count:
 
317
            a += ', %d skipped' % self.skip_count
 
318
        a += ']'
 
319
        return a
 
320
 
 
321
    def report_test_start(self, test):
 
322
        self.count += 1
 
323
        self.pb.update(
 
324
                self._progress_prefix_text()
 
325
                + ' ' 
 
326
                + self._shortened_test_description(test))
 
327
 
 
328
    def report_error(self, test, err):
 
329
        self.error_count += 1
 
330
        self.pb.note('ERROR: %s\n    %s\n', 
 
331
            self._shortened_test_description(test),
 
332
            err[1],
 
333
            )
 
334
 
 
335
    def report_failure(self, test, err):
 
336
        self.failure_count += 1
 
337
        self.pb.note('FAIL: %s\n    %s\n', 
 
338
            self._shortened_test_description(test),
 
339
            err[1],
 
340
            )
 
341
 
 
342
    def report_skip(self, test, skip_excinfo):
 
343
        self.skip_count += 1
 
344
        if False:
 
345
            # at the moment these are mostly not things we can fix
 
346
            # and so they just produce stipple; use the verbose reporter
 
347
            # to see them.
 
348
            if False:
 
349
                # show test and reason for skip
 
350
                self.pb.note('SKIP: %s\n    %s\n', 
 
351
                    self._shortened_test_description(test),
 
352
                    skip_excinfo[1])
 
353
            else:
 
354
                # since the class name was left behind in the still-visible
 
355
                # progress bar...
 
356
                self.pb.note('SKIP: %s', skip_excinfo[1])
 
357
 
 
358
    def report_cleaning_up(self):
 
359
        self.pb.update('cleaning up...')
 
360
 
 
361
    def finished(self):
 
362
        self.pb.finished()
 
363
 
 
364
 
 
365
class VerboseTestResult(ExtendedTestResult):
 
366
    """Produce long output, with one line per test run plus times"""
 
367
 
 
368
    def _ellipsize_to_right(self, a_string, final_width):
 
369
        """Truncate and pad a string, keeping the right hand side"""
 
370
        if len(a_string) > final_width:
 
371
            result = '...' + a_string[3-final_width:]
 
372
        else:
 
373
            result = a_string
 
374
        return result.ljust(final_width)
 
375
 
 
376
    def report_starting(self):
 
377
        self.stream.write('running %d tests...\n' % self.num_tests)
 
378
 
 
379
    def report_test_start(self, test):
 
380
        self.count += 1
 
381
        name = self._shortened_test_description(test)
 
382
        # width needs space for 6 char status, plus 1 for slash, plus 2 10-char
 
383
        # numbers, plus a trailing blank
 
384
        self.stream.write(self._ellipsize_to_right(name,
 
385
                            osutils.terminal_width()-30))
 
386
        self.stream.flush()
 
387
 
 
388
    def report_error(self, test, err):
 
389
        self.error_count += 1
 
390
        self.stream.writeln('ERROR %s\n    %s' 
 
391
                % (self._testTimeString(), err[1]))
 
392
 
 
393
    def report_failure(self, test, err):
 
394
        self.failure_count += 1
 
395
        self.stream.writeln(' FAIL %s\n    %s'
 
396
                % (self._testTimeString(), err[1]))
 
397
 
 
398
    def report_success(self, test):
 
399
        self.stream.writeln('   OK %s' % self._testTimeString())
 
400
        for bench_called, stats in getattr(test, '_benchcalls', []):
 
401
            self.stream.writeln('LSProf output for %s(%s, %s)' % bench_called)
 
402
            stats.pprint(file=self.stream)
 
403
        self.stream.flush()
 
404
 
 
405
    def report_skip(self, test, skip_excinfo):
 
406
        print >>self.stream, ' SKIP %s' % self._testTimeString()
 
407
        print >>self.stream, '     %s' % skip_excinfo[1]
 
408
 
 
409
 
 
410
class TextTestRunner(object):
 
411
    stop_on_failure = False
 
412
 
 
413
    def __init__(self,
 
414
                 stream=sys.stderr,
 
415
                 descriptions=0,
 
416
                 verbosity=1,
 
417
                 keep_output=False,
 
418
                 bench_history=None):
 
419
        self.stream = unittest._WritelnDecorator(stream)
 
420
        self.descriptions = descriptions
 
421
        self.verbosity = verbosity
 
422
        self.keep_output = keep_output
 
423
        self._bench_history = bench_history
 
424
 
 
425
    def run(self, test):
 
426
        "Run the given test case or test suite."
 
427
        startTime = time.time()
 
428
        if self.verbosity == 1:
 
429
            result_class = TextTestResult
 
430
        elif self.verbosity >= 2:
 
431
            result_class = VerboseTestResult
 
432
        result = result_class(self.stream,
 
433
                              self.descriptions,
 
434
                              self.verbosity,
 
435
                              bench_history=self._bench_history,
 
436
                              num_tests=test.countTestCases(),
 
437
                              )
 
438
        result.stop_early = self.stop_on_failure
 
439
        result.report_starting()
 
440
        test.run(result)
 
441
        stopTime = time.time()
 
442
        timeTaken = stopTime - startTime
 
443
        result.printErrors()
 
444
        self.stream.writeln(result.separator2)
 
445
        run = result.testsRun
 
446
        self.stream.writeln("Ran %d test%s in %.3fs" %
 
447
                            (run, run != 1 and "s" or "", timeTaken))
 
448
        self.stream.writeln()
 
449
        if not result.wasSuccessful():
 
450
            self.stream.write("FAILED (")
 
451
            failed, errored = map(len, (result.failures, result.errors))
 
452
            if failed:
 
453
                self.stream.write("failures=%d" % failed)
 
454
            if errored:
 
455
                if failed: self.stream.write(", ")
 
456
                self.stream.write("errors=%d" % errored)
 
457
            self.stream.writeln(")")
 
458
        else:
 
459
            self.stream.writeln("OK")
 
460
        result.report_cleaning_up()
 
461
        # This is still a little bogus, 
 
462
        # but only a little. Folk not using our testrunner will
 
463
        # have to delete their temp directories themselves.
 
464
        test_root = TestCaseWithMemoryTransport.TEST_ROOT
 
465
        if result.wasSuccessful() or not self.keep_output:
 
466
            if test_root is not None:
 
467
                # If LANG=C we probably have created some bogus paths
 
468
                # which rmtree(unicode) will fail to delete
 
469
                # so make sure we are using rmtree(str) to delete everything
 
470
                # except on win32, where rmtree(str) will fail
 
471
                # since it doesn't have the property of byte-stream paths
 
472
                # (they are either ascii or mbcs)
 
473
                if sys.platform == 'win32':
 
474
                    # make sure we are using the unicode win32 api
 
475
                    test_root = unicode(test_root)
 
476
                else:
 
477
                    test_root = test_root.encode(
 
478
                        sys.getfilesystemencoding())
 
479
                osutils.rmtree(test_root)
 
480
        else:
 
481
            note("Failed tests working directories are in '%s'\n", test_root)
 
482
        TestCaseWithMemoryTransport.TEST_ROOT = None
 
483
        result.finished()
 
484
        return result
 
485
 
 
486
 
 
487
def iter_suite_tests(suite):
 
488
    """Return all tests in a suite, recursing through nested suites"""
 
489
    for item in suite._tests:
 
490
        if isinstance(item, unittest.TestCase):
 
491
            yield item
 
492
        elif isinstance(item, unittest.TestSuite):
 
493
            for r in iter_suite_tests(item):
 
494
                yield r
 
495
        else:
 
496
            raise Exception('unknown object %r inside test suite %r'
 
497
                            % (item, suite))
 
498
 
 
499
 
 
500
class TestSkipped(Exception):
 
501
    """Indicates that a test was intentionally skipped, rather than failing."""
 
502
 
 
503
 
 
504
class CommandFailed(Exception):
 
505
    pass
 
506
 
 
507
 
 
508
class StringIOWrapper(object):
 
509
    """A wrapper around cStringIO which just adds an encoding attribute.
 
510
    
 
511
    Internally we can check sys.stdout to see what the output encoding
 
512
    should be. However, cStringIO has no encoding attribute that we can
 
513
    set. So we wrap it instead.
 
514
    """
 
515
    encoding='ascii'
 
516
    _cstring = None
 
517
 
 
518
    def __init__(self, s=None):
 
519
        if s is not None:
 
520
            self.__dict__['_cstring'] = StringIO(s)
 
521
        else:
 
522
            self.__dict__['_cstring'] = StringIO()
 
523
 
 
524
    def __getattr__(self, name, getattr=getattr):
 
525
        return getattr(self.__dict__['_cstring'], name)
 
526
 
 
527
    def __setattr__(self, name, val):
 
528
        if name == 'encoding':
 
529
            self.__dict__['encoding'] = val
 
530
        else:
 
531
            return setattr(self._cstring, name, val)
 
532
 
 
533
 
 
534
class TestCase(unittest.TestCase):
 
535
    """Base class for bzr unit tests.
 
536
    
 
537
    Tests that need access to disk resources should subclass 
 
538
    TestCaseInTempDir not TestCase.
 
539
 
 
540
    Error and debug log messages are redirected from their usual
 
541
    location into a temporary file, the contents of which can be
 
542
    retrieved by _get_log().  We use a real OS file, not an in-memory object,
 
543
    so that it can also capture file IO.  When the test completes this file
 
544
    is read into memory and removed from disk.
 
545
       
 
546
    There are also convenience functions to invoke bzr's command-line
 
547
    routine, and to build and check bzr trees.
 
548
   
 
549
    In addition to the usual method of overriding tearDown(), this class also
 
550
    allows subclasses to register functions into the _cleanups list, which is
 
551
    run in order as the object is torn down.  It's less likely this will be
 
552
    accidentally overlooked.
 
553
    """
 
554
 
 
555
    _log_file_name = None
 
556
    _log_contents = ''
 
557
    _keep_log_file = False
 
558
    # record lsprof data when performing benchmark calls.
 
559
    _gather_lsprof_in_benchmarks = False
 
560
 
 
561
    def __init__(self, methodName='testMethod'):
 
562
        super(TestCase, self).__init__(methodName)
 
563
        self._cleanups = []
 
564
 
 
565
    def setUp(self):
 
566
        unittest.TestCase.setUp(self)
 
567
        self._cleanEnvironment()
 
568
        bzrlib.trace.disable_default_logging()
 
569
        self._silenceUI()
 
570
        self._startLogFile()
 
571
        self._benchcalls = []
 
572
        self._benchtime = None
 
573
        # prevent hooks affecting tests
 
574
        self._preserved_hooks = bzrlib.branch.Branch.hooks
 
575
        self.addCleanup(self._restoreHooks)
 
576
        # this list of hooks must be kept in sync with the defaults
 
577
        # in branch.py
 
578
        bzrlib.branch.Branch.hooks = bzrlib.branch.BranchHooks()
 
579
 
 
580
    def _silenceUI(self):
 
581
        """Turn off UI for duration of test"""
 
582
        # by default the UI is off; tests can turn it on if they want it.
 
583
        saved = bzrlib.ui.ui_factory
 
584
        def _restore():
 
585
            bzrlib.ui.ui_factory = saved
 
586
        bzrlib.ui.ui_factory = bzrlib.ui.SilentUIFactory()
 
587
        self.addCleanup(_restore)
 
588
 
 
589
    def _ndiff_strings(self, a, b):
 
590
        """Return ndiff between two strings containing lines.
 
591
        
 
592
        A trailing newline is added if missing to make the strings
 
593
        print properly."""
 
594
        if b and b[-1] != '\n':
 
595
            b += '\n'
 
596
        if a and a[-1] != '\n':
 
597
            a += '\n'
 
598
        difflines = difflib.ndiff(a.splitlines(True),
 
599
                                  b.splitlines(True),
 
600
                                  linejunk=lambda x: False,
 
601
                                  charjunk=lambda x: False)
 
602
        return ''.join(difflines)
 
603
 
 
604
    def assertEqual(self, a, b, message=''):
 
605
        if a == b:
 
606
            return
 
607
        if message:
 
608
            message += '\n'
 
609
        raise AssertionError("%snot equal:\na = %s\nb = %s\n"
 
610
            % (message,
 
611
               pformat(a, indent=4), pformat(b, indent=4)))
 
612
 
 
613
    assertEquals = assertEqual
 
614
 
 
615
    def assertEqualDiff(self, a, b, message=None):
 
616
        """Assert two texts are equal, if not raise an exception.
 
617
        
 
618
        This is intended for use with multi-line strings where it can 
 
619
        be hard to find the differences by eye.
 
620
        """
 
621
        # TODO: perhaps override assertEquals to call this for strings?
 
622
        if a == b:
 
623
            return
 
624
        if message is None:
 
625
            message = "texts not equal:\n"
 
626
        raise AssertionError(message + 
 
627
                             self._ndiff_strings(a, b))      
 
628
        
 
629
    def assertEqualMode(self, mode, mode_test):
 
630
        self.assertEqual(mode, mode_test,
 
631
                         'mode mismatch %o != %o' % (mode, mode_test))
 
632
 
 
633
    def assertStartsWith(self, s, prefix):
 
634
        if not s.startswith(prefix):
 
635
            raise AssertionError('string %r does not start with %r' % (s, prefix))
 
636
 
 
637
    def assertEndsWith(self, s, suffix):
 
638
        """Asserts that s ends with suffix."""
 
639
        if not s.endswith(suffix):
 
640
            raise AssertionError('string %r does not end with %r' % (s, suffix))
 
641
 
 
642
    def assertContainsRe(self, haystack, needle_re):
 
643
        """Assert that a contains something matching a regular expression."""
 
644
        if not re.search(needle_re, haystack):
 
645
            raise AssertionError('pattern "%r" not found in "%r"'
 
646
                    % (needle_re, haystack))
 
647
 
 
648
    def assertNotContainsRe(self, haystack, needle_re):
 
649
        """Assert that a does not match a regular expression"""
 
650
        if re.search(needle_re, haystack):
 
651
            raise AssertionError('pattern "%s" found in "%s"'
 
652
                    % (needle_re, haystack))
 
653
 
 
654
    def assertSubset(self, sublist, superlist):
 
655
        """Assert that every entry in sublist is present in superlist."""
 
656
        missing = []
 
657
        for entry in sublist:
 
658
            if entry not in superlist:
 
659
                missing.append(entry)
 
660
        if len(missing) > 0:
 
661
            raise AssertionError("value(s) %r not present in container %r" % 
 
662
                                 (missing, superlist))
 
663
 
 
664
    def assertListRaises(self, excClass, func, *args, **kwargs):
 
665
        """Fail unless excClass is raised when the iterator from func is used.
 
666
        
 
667
        Many functions can return generators this makes sure
 
668
        to wrap them in a list() call to make sure the whole generator
 
669
        is run, and that the proper exception is raised.
 
670
        """
 
671
        try:
 
672
            list(func(*args, **kwargs))
 
673
        except excClass:
 
674
            return
 
675
        else:
 
676
            if getattr(excClass,'__name__', None) is not None:
 
677
                excName = excClass.__name__
 
678
            else:
 
679
                excName = str(excClass)
 
680
            raise self.failureException, "%s not raised" % excName
 
681
 
 
682
    def assertIs(self, left, right, message=None):
 
683
        if not (left is right):
 
684
            if message is not None:
 
685
                raise AssertionError(message)
 
686
            else:
 
687
                raise AssertionError("%r is not %r." % (left, right))
 
688
 
 
689
    def assertIsNot(self, left, right, message=None):
 
690
        if (left is right):
 
691
            if message is not None:
 
692
                raise AssertionError(message)
 
693
            else:
 
694
                raise AssertionError("%r is %r." % (left, right))
 
695
 
 
696
    def assertTransportMode(self, transport, path, mode):
 
697
        """Fail if a path does not have mode mode.
 
698
        
 
699
        If modes are not supported on this transport, the assertion is ignored.
 
700
        """
 
701
        if not transport._can_roundtrip_unix_modebits():
 
702
            return
 
703
        path_stat = transport.stat(path)
 
704
        actual_mode = stat.S_IMODE(path_stat.st_mode)
 
705
        self.assertEqual(mode, actual_mode,
 
706
            'mode of %r incorrect (%o != %o)' % (path, mode, actual_mode))
 
707
 
 
708
    def assertIsInstance(self, obj, kls):
 
709
        """Fail if obj is not an instance of kls"""
 
710
        if not isinstance(obj, kls):
 
711
            self.fail("%r is an instance of %s rather than %s" % (
 
712
                obj, obj.__class__, kls))
 
713
 
 
714
    def _capture_warnings(self, a_callable, *args, **kwargs):
 
715
        """A helper for callDeprecated and applyDeprecated.
 
716
 
 
717
        :param a_callable: A callable to call.
 
718
        :param args: The positional arguments for the callable
 
719
        :param kwargs: The keyword arguments for the callable
 
720
        :return: A tuple (warnings, result). result is the result of calling
 
721
            a_callable(*args, **kwargs).
 
722
        """
 
723
        local_warnings = []
 
724
        def capture_warnings(msg, cls=None, stacklevel=None):
 
725
            # we've hooked into a deprecation specific callpath,
 
726
            # only deprecations should getting sent via it.
 
727
            self.assertEqual(cls, DeprecationWarning)
 
728
            local_warnings.append(msg)
 
729
        original_warning_method = symbol_versioning.warn
 
730
        symbol_versioning.set_warning_method(capture_warnings)
 
731
        try:
 
732
            result = a_callable(*args, **kwargs)
 
733
        finally:
 
734
            symbol_versioning.set_warning_method(original_warning_method)
 
735
        return (local_warnings, result)
 
736
 
 
737
    def applyDeprecated(self, deprecation_format, a_callable, *args, **kwargs):
 
738
        """Call a deprecated callable without warning the user.
 
739
 
 
740
        :param deprecation_format: The deprecation format that the callable
 
741
            should have been deprecated with. This is the same type as the 
 
742
            parameter to deprecated_method/deprecated_function. If the 
 
743
            callable is not deprecated with this format, an assertion error
 
744
            will be raised.
 
745
        :param a_callable: A callable to call. This may be a bound method or
 
746
            a regular function. It will be called with *args and **kwargs.
 
747
        :param args: The positional arguments for the callable
 
748
        :param kwargs: The keyword arguments for the callable
 
749
        :return: The result of a_callable(*args, **kwargs)
 
750
        """
 
751
        call_warnings, result = self._capture_warnings(a_callable,
 
752
            *args, **kwargs)
 
753
        expected_first_warning = symbol_versioning.deprecation_string(
 
754
            a_callable, deprecation_format)
 
755
        if len(call_warnings) == 0:
 
756
            self.fail("No deprecation warning generated by call to %s" %
 
757
                a_callable)
 
758
        self.assertEqual(expected_first_warning, call_warnings[0])
 
759
        return result
 
760
 
 
761
    def callDeprecated(self, expected, callable, *args, **kwargs):
 
762
        """Assert that a callable is deprecated in a particular way.
 
763
 
 
764
        This is a very precise test for unusual requirements. The 
 
765
        applyDeprecated helper function is probably more suited for most tests
 
766
        as it allows you to simply specify the deprecation format being used
 
767
        and will ensure that that is issued for the function being called.
 
768
 
 
769
        :param expected: a list of the deprecation warnings expected, in order
 
770
        :param callable: The callable to call
 
771
        :param args: The positional arguments for the callable
 
772
        :param kwargs: The keyword arguments for the callable
 
773
        """
 
774
        call_warnings, result = self._capture_warnings(callable,
 
775
            *args, **kwargs)
 
776
        self.assertEqual(expected, call_warnings)
 
777
        return result
 
778
 
 
779
    def _startLogFile(self):
 
780
        """Send bzr and test log messages to a temporary file.
 
781
 
 
782
        The file is removed as the test is torn down.
 
783
        """
 
784
        fileno, name = tempfile.mkstemp(suffix='.log', prefix='testbzr')
 
785
        self._log_file = os.fdopen(fileno, 'w+')
 
786
        self._log_nonce = bzrlib.trace.enable_test_log(self._log_file)
 
787
        self._log_file_name = name
 
788
        self.addCleanup(self._finishLogFile)
 
789
 
 
790
    def _finishLogFile(self):
 
791
        """Finished with the log file.
 
792
 
 
793
        Close the file and delete it, unless setKeepLogfile was called.
 
794
        """
 
795
        if self._log_file is None:
 
796
            return
 
797
        bzrlib.trace.disable_test_log(self._log_nonce)
 
798
        self._log_file.close()
 
799
        self._log_file = None
 
800
        if not self._keep_log_file:
 
801
            os.remove(self._log_file_name)
 
802
            self._log_file_name = None
 
803
 
 
804
    def setKeepLogfile(self):
 
805
        """Make the logfile not be deleted when _finishLogFile is called."""
 
806
        self._keep_log_file = True
 
807
 
 
808
    def addCleanup(self, callable):
 
809
        """Arrange to run a callable when this case is torn down.
 
810
 
 
811
        Callables are run in the reverse of the order they are registered, 
 
812
        ie last-in first-out.
 
813
        """
 
814
        if callable in self._cleanups:
 
815
            raise ValueError("cleanup function %r already registered on %s" 
 
816
                    % (callable, self))
 
817
        self._cleanups.append(callable)
 
818
 
 
819
    def _cleanEnvironment(self):
 
820
        new_env = {
 
821
            'BZR_HOME': None, # Don't inherit BZR_HOME to all the tests.
 
822
            'HOME': os.getcwd(),
 
823
            'APPDATA': os.getcwd(),
 
824
            'BZR_EMAIL': None,
 
825
            'BZREMAIL': None, # may still be present in the environment
 
826
            'EMAIL': None,
 
827
            'BZR_PROGRESS_BAR': None,
 
828
            # Proxies
 
829
            'http_proxy': None,
 
830
            'HTTP_PROXY': None,
 
831
            'https_proxy': None,
 
832
            'HTTPS_PROXY': None,
 
833
            'no_proxy': None,
 
834
            'NO_PROXY': None,
 
835
            'all_proxy': None,
 
836
            'ALL_PROXY': None,
 
837
            # Nobody cares about these ones AFAIK. So far at
 
838
            # least. If you do (care), please update this comment
 
839
            # -- vila 20061212
 
840
            'ftp_proxy': None,
 
841
            'FTP_PROXY': None,
 
842
        }
 
843
        self.__old_env = {}
 
844
        self.addCleanup(self._restoreEnvironment)
 
845
        for name, value in new_env.iteritems():
 
846
            self._captureVar(name, value)
 
847
 
 
848
    def _captureVar(self, name, newvalue):
 
849
        """Set an environment variable, and reset it when finished."""
 
850
        self.__old_env[name] = osutils.set_or_unset_env(name, newvalue)
 
851
 
 
852
    def _restoreEnvironment(self):
 
853
        for name, value in self.__old_env.iteritems():
 
854
            osutils.set_or_unset_env(name, value)
 
855
 
 
856
    def _restoreHooks(self):
 
857
        bzrlib.branch.Branch.hooks = self._preserved_hooks
 
858
 
 
859
    def tearDown(self):
 
860
        self._runCleanups()
 
861
        unittest.TestCase.tearDown(self)
 
862
 
 
863
    def time(self, callable, *args, **kwargs):
 
864
        """Run callable and accrue the time it takes to the benchmark time.
 
865
        
 
866
        If lsprofiling is enabled (i.e. by --lsprof-time to bzr selftest) then
 
867
        this will cause lsprofile statistics to be gathered and stored in
 
868
        self._benchcalls.
 
869
        """
 
870
        if self._benchtime is None:
 
871
            self._benchtime = 0
 
872
        start = time.time()
 
873
        try:
 
874
            if not self._gather_lsprof_in_benchmarks:
 
875
                return callable(*args, **kwargs)
 
876
            else:
 
877
                # record this benchmark
 
878
                ret, stats = bzrlib.lsprof.profile(callable, *args, **kwargs)
 
879
                stats.sort()
 
880
                self._benchcalls.append(((callable, args, kwargs), stats))
 
881
                return ret
 
882
        finally:
 
883
            self._benchtime += time.time() - start
 
884
 
 
885
    def _runCleanups(self):
 
886
        """Run registered cleanup functions. 
 
887
 
 
888
        This should only be called from TestCase.tearDown.
 
889
        """
 
890
        # TODO: Perhaps this should keep running cleanups even if 
 
891
        # one of them fails?
 
892
        for cleanup_fn in reversed(self._cleanups):
 
893
            cleanup_fn()
 
894
 
 
895
    def log(self, *args):
 
896
        mutter(*args)
 
897
 
 
898
    def _get_log(self, keep_log_file=False):
 
899
        """Return as a string the log for this test. If the file is still
 
900
        on disk and keep_log_file=False, delete the log file and store the
 
901
        content in self._log_contents."""
 
902
        # flush the log file, to get all content
 
903
        import bzrlib.trace
 
904
        bzrlib.trace._trace_file.flush()
 
905
        if self._log_contents:
 
906
            return self._log_contents
 
907
        if self._log_file_name is not None:
 
908
            logfile = open(self._log_file_name)
 
909
            try:
 
910
                log_contents = logfile.read()
 
911
            finally:
 
912
                logfile.close()
 
913
            if not keep_log_file:
 
914
                self._log_contents = log_contents
 
915
                os.remove(self._log_file_name)
 
916
            return log_contents
 
917
        else:
 
918
            return "DELETED log file to reduce memory footprint"
 
919
 
 
920
    def capture(self, cmd, retcode=0):
 
921
        """Shortcut that splits cmd into words, runs, and returns stdout"""
 
922
        return self.run_bzr_captured(cmd.split(), retcode=retcode)[0]
 
923
 
 
924
    def run_bzr_captured(self, argv, retcode=0, encoding=None, stdin=None,
 
925
                         working_dir=None):
 
926
        """Invoke bzr and return (stdout, stderr).
 
927
 
 
928
        Useful for code that wants to check the contents of the
 
929
        output, the way error messages are presented, etc.
 
930
 
 
931
        This should be the main method for tests that want to exercise the
 
932
        overall behavior of the bzr application (rather than a unit test
 
933
        or a functional test of the library.)
 
934
 
 
935
        Much of the old code runs bzr by forking a new copy of Python, but
 
936
        that is slower, harder to debug, and generally not necessary.
 
937
 
 
938
        This runs bzr through the interface that catches and reports
 
939
        errors, and with logging set to something approximating the
 
940
        default, so that error reporting can be checked.
 
941
 
 
942
        :param argv: arguments to invoke bzr
 
943
        :param retcode: expected return code, or None for don't-care.
 
944
        :param encoding: encoding for sys.stdout and sys.stderr
 
945
        :param stdin: A string to be used as stdin for the command.
 
946
        :param working_dir: Change to this directory before running
 
947
        """
 
948
        if encoding is None:
 
949
            encoding = bzrlib.user_encoding
 
950
        if stdin is not None:
 
951
            stdin = StringIO(stdin)
 
952
        stdout = StringIOWrapper()
 
953
        stderr = StringIOWrapper()
 
954
        stdout.encoding = encoding
 
955
        stderr.encoding = encoding
 
956
 
 
957
        self.log('run bzr: %r', argv)
 
958
        # FIXME: don't call into logging here
 
959
        handler = logging.StreamHandler(stderr)
 
960
        handler.setLevel(logging.INFO)
 
961
        logger = logging.getLogger('')
 
962
        logger.addHandler(handler)
 
963
        old_ui_factory = bzrlib.ui.ui_factory
 
964
        bzrlib.ui.ui_factory = bzrlib.tests.blackbox.TestUIFactory(
 
965
            stdout=stdout,
 
966
            stderr=stderr)
 
967
        bzrlib.ui.ui_factory.stdin = stdin
 
968
 
 
969
        cwd = None
 
970
        if working_dir is not None:
 
971
            cwd = osutils.getcwd()
 
972
            os.chdir(working_dir)
 
973
 
 
974
        try:
 
975
            saved_debug_flags = frozenset(debug.debug_flags)
 
976
            debug.debug_flags.clear()
 
977
            try:
 
978
                result = self.apply_redirected(stdin, stdout, stderr,
 
979
                                               bzrlib.commands.run_bzr_catch_errors,
 
980
                                               argv)
 
981
            finally:
 
982
                debug.debug_flags.update(saved_debug_flags)
 
983
        finally:
 
984
            logger.removeHandler(handler)
 
985
            bzrlib.ui.ui_factory = old_ui_factory
 
986
            if cwd is not None:
 
987
                os.chdir(cwd)
 
988
 
 
989
        out = stdout.getvalue()
 
990
        err = stderr.getvalue()
 
991
        if out:
 
992
            self.log('output:\n%r', out)
 
993
        if err:
 
994
            self.log('errors:\n%r', err)
 
995
        if retcode is not None:
 
996
            self.assertEquals(retcode, result)
 
997
        return out, err
 
998
 
 
999
    def run_bzr(self, *args, **kwargs):
 
1000
        """Invoke bzr, as if it were run from the command line.
 
1001
 
 
1002
        This should be the main method for tests that want to exercise the
 
1003
        overall behavior of the bzr application (rather than a unit test
 
1004
        or a functional test of the library.)
 
1005
 
 
1006
        This sends the stdout/stderr results into the test's log,
 
1007
        where it may be useful for debugging.  See also run_captured.
 
1008
 
 
1009
        :param stdin: A string to be used as stdin for the command.
 
1010
        :param retcode: The status code the command should return
 
1011
        :param working_dir: The directory to run the command in
 
1012
        """
 
1013
        retcode = kwargs.pop('retcode', 0)
 
1014
        encoding = kwargs.pop('encoding', None)
 
1015
        stdin = kwargs.pop('stdin', None)
 
1016
        working_dir = kwargs.pop('working_dir', None)
 
1017
        return self.run_bzr_captured(args, retcode=retcode, encoding=encoding,
 
1018
                                     stdin=stdin, working_dir=working_dir)
 
1019
 
 
1020
    def run_bzr_decode(self, *args, **kwargs):
 
1021
        if 'encoding' in kwargs:
 
1022
            encoding = kwargs['encoding']
 
1023
        else:
 
1024
            encoding = bzrlib.user_encoding
 
1025
        return self.run_bzr(*args, **kwargs)[0].decode(encoding)
 
1026
 
 
1027
    def run_bzr_error(self, error_regexes, *args, **kwargs):
 
1028
        """Run bzr, and check that stderr contains the supplied regexes
 
1029
        
 
1030
        :param error_regexes: Sequence of regular expressions which 
 
1031
            must each be found in the error output. The relative ordering
 
1032
            is not enforced.
 
1033
        :param args: command-line arguments for bzr
 
1034
        :param kwargs: Keyword arguments which are interpreted by run_bzr
 
1035
            This function changes the default value of retcode to be 3,
 
1036
            since in most cases this is run when you expect bzr to fail.
 
1037
        :return: (out, err) The actual output of running the command (in case you
 
1038
                 want to do more inspection)
 
1039
 
 
1040
        Examples of use:
 
1041
            # Make sure that commit is failing because there is nothing to do
 
1042
            self.run_bzr_error(['no changes to commit'],
 
1043
                               'commit', '-m', 'my commit comment')
 
1044
            # Make sure --strict is handling an unknown file, rather than
 
1045
            # giving us the 'nothing to do' error
 
1046
            self.build_tree(['unknown'])
 
1047
            self.run_bzr_error(['Commit refused because there are unknown files'],
 
1048
                               'commit', '--strict', '-m', 'my commit comment')
 
1049
        """
 
1050
        kwargs.setdefault('retcode', 3)
 
1051
        out, err = self.run_bzr(*args, **kwargs)
 
1052
        for regex in error_regexes:
 
1053
            self.assertContainsRe(err, regex)
 
1054
        return out, err
 
1055
 
 
1056
    def run_bzr_subprocess(self, *args, **kwargs):
 
1057
        """Run bzr in a subprocess for testing.
 
1058
 
 
1059
        This starts a new Python interpreter and runs bzr in there. 
 
1060
        This should only be used for tests that have a justifiable need for
 
1061
        this isolation: e.g. they are testing startup time, or signal
 
1062
        handling, or early startup code, etc.  Subprocess code can't be 
 
1063
        profiled or debugged so easily.
 
1064
 
 
1065
        :param retcode: The status code that is expected.  Defaults to 0.  If
 
1066
            None is supplied, the status code is not checked.
 
1067
        :param env_changes: A dictionary which lists changes to environment
 
1068
            variables. A value of None will unset the env variable.
 
1069
            The values must be strings. The change will only occur in the
 
1070
            child, so you don't need to fix the environment after running.
 
1071
        :param universal_newlines: Convert CRLF => LF
 
1072
        :param allow_plugins: By default the subprocess is run with
 
1073
            --no-plugins to ensure test reproducibility. Also, it is possible
 
1074
            for system-wide plugins to create unexpected output on stderr,
 
1075
            which can cause unnecessary test failures.
 
1076
        """
 
1077
        env_changes = kwargs.get('env_changes', {})
 
1078
        working_dir = kwargs.get('working_dir', None)
 
1079
        allow_plugins = kwargs.get('allow_plugins', False)
 
1080
        process = self.start_bzr_subprocess(args, env_changes=env_changes,
 
1081
                                            working_dir=working_dir,
 
1082
                                            allow_plugins=allow_plugins)
 
1083
        # We distinguish between retcode=None and retcode not passed.
 
1084
        supplied_retcode = kwargs.get('retcode', 0)
 
1085
        return self.finish_bzr_subprocess(process, retcode=supplied_retcode,
 
1086
            universal_newlines=kwargs.get('universal_newlines', False),
 
1087
            process_args=args)
 
1088
 
 
1089
    def start_bzr_subprocess(self, process_args, env_changes=None,
 
1090
                             skip_if_plan_to_signal=False,
 
1091
                             working_dir=None,
 
1092
                             allow_plugins=False):
 
1093
        """Start bzr in a subprocess for testing.
 
1094
 
 
1095
        This starts a new Python interpreter and runs bzr in there.
 
1096
        This should only be used for tests that have a justifiable need for
 
1097
        this isolation: e.g. they are testing startup time, or signal
 
1098
        handling, or early startup code, etc.  Subprocess code can't be
 
1099
        profiled or debugged so easily.
 
1100
 
 
1101
        :param process_args: a list of arguments to pass to the bzr executable,
 
1102
            for example `['--version']`.
 
1103
        :param env_changes: A dictionary which lists changes to environment
 
1104
            variables. A value of None will unset the env variable.
 
1105
            The values must be strings. The change will only occur in the
 
1106
            child, so you don't need to fix the environment after running.
 
1107
        :param skip_if_plan_to_signal: raise TestSkipped when true and os.kill
 
1108
            is not available.
 
1109
        :param allow_plugins: If False (default) pass --no-plugins to bzr.
 
1110
 
 
1111
        :returns: Popen object for the started process.
 
1112
        """
 
1113
        if skip_if_plan_to_signal:
 
1114
            if not getattr(os, 'kill', None):
 
1115
                raise TestSkipped("os.kill not available.")
 
1116
 
 
1117
        if env_changes is None:
 
1118
            env_changes = {}
 
1119
        old_env = {}
 
1120
 
 
1121
        def cleanup_environment():
 
1122
            for env_var, value in env_changes.iteritems():
 
1123
                old_env[env_var] = osutils.set_or_unset_env(env_var, value)
 
1124
 
 
1125
        def restore_environment():
 
1126
            for env_var, value in old_env.iteritems():
 
1127
                osutils.set_or_unset_env(env_var, value)
 
1128
 
 
1129
        bzr_path = self.get_bzr_path()
 
1130
 
 
1131
        cwd = None
 
1132
        if working_dir is not None:
 
1133
            cwd = osutils.getcwd()
 
1134
            os.chdir(working_dir)
 
1135
 
 
1136
        try:
 
1137
            # win32 subprocess doesn't support preexec_fn
 
1138
            # so we will avoid using it on all platforms, just to
 
1139
            # make sure the code path is used, and we don't break on win32
 
1140
            cleanup_environment()
 
1141
            command = [sys.executable, bzr_path]
 
1142
            if not allow_plugins:
 
1143
                command.append('--no-plugins')
 
1144
            command.extend(process_args)
 
1145
            process = self._popen(command, stdin=PIPE, stdout=PIPE, stderr=PIPE)
 
1146
        finally:
 
1147
            restore_environment()
 
1148
            if cwd is not None:
 
1149
                os.chdir(cwd)
 
1150
 
 
1151
        return process
 
1152
 
 
1153
    def _popen(self, *args, **kwargs):
 
1154
        """Place a call to Popen.
 
1155
 
 
1156
        Allows tests to override this method to intercept the calls made to
 
1157
        Popen for introspection.
 
1158
        """
 
1159
        return Popen(*args, **kwargs)
 
1160
 
 
1161
    def get_bzr_path(self):
 
1162
        """Return the path of the 'bzr' executable for this test suite."""
 
1163
        bzr_path = os.path.dirname(os.path.dirname(bzrlib.__file__))+'/bzr'
 
1164
        if not os.path.isfile(bzr_path):
 
1165
            # We are probably installed. Assume sys.argv is the right file
 
1166
            bzr_path = sys.argv[0]
 
1167
        return bzr_path
 
1168
 
 
1169
    def finish_bzr_subprocess(self, process, retcode=0, send_signal=None,
 
1170
                              universal_newlines=False, process_args=None):
 
1171
        """Finish the execution of process.
 
1172
 
 
1173
        :param process: the Popen object returned from start_bzr_subprocess.
 
1174
        :param retcode: The status code that is expected.  Defaults to 0.  If
 
1175
            None is supplied, the status code is not checked.
 
1176
        :param send_signal: an optional signal to send to the process.
 
1177
        :param universal_newlines: Convert CRLF => LF
 
1178
        :returns: (stdout, stderr)
 
1179
        """
 
1180
        if send_signal is not None:
 
1181
            os.kill(process.pid, send_signal)
 
1182
        out, err = process.communicate()
 
1183
 
 
1184
        if universal_newlines:
 
1185
            out = out.replace('\r\n', '\n')
 
1186
            err = err.replace('\r\n', '\n')
 
1187
 
 
1188
        if retcode is not None and retcode != process.returncode:
 
1189
            if process_args is None:
 
1190
                process_args = "(unknown args)"
 
1191
            mutter('Output of bzr %s:\n%s', process_args, out)
 
1192
            mutter('Error for bzr %s:\n%s', process_args, err)
 
1193
            self.fail('Command bzr %s failed with retcode %s != %s'
 
1194
                      % (process_args, retcode, process.returncode))
 
1195
        return [out, err]
 
1196
 
 
1197
    def check_inventory_shape(self, inv, shape):
 
1198
        """Compare an inventory to a list of expected names.
 
1199
 
 
1200
        Fail if they are not precisely equal.
 
1201
        """
 
1202
        extras = []
 
1203
        shape = list(shape)             # copy
 
1204
        for path, ie in inv.entries():
 
1205
            name = path.replace('\\', '/')
 
1206
            if ie.kind == 'dir':
 
1207
                name = name + '/'
 
1208
            if name in shape:
 
1209
                shape.remove(name)
 
1210
            else:
 
1211
                extras.append(name)
 
1212
        if shape:
 
1213
            self.fail("expected paths not found in inventory: %r" % shape)
 
1214
        if extras:
 
1215
            self.fail("unexpected paths found in inventory: %r" % extras)
 
1216
 
 
1217
    def apply_redirected(self, stdin=None, stdout=None, stderr=None,
 
1218
                         a_callable=None, *args, **kwargs):
 
1219
        """Call callable with redirected std io pipes.
 
1220
 
 
1221
        Returns the return code."""
 
1222
        if not callable(a_callable):
 
1223
            raise ValueError("a_callable must be callable.")
 
1224
        if stdin is None:
 
1225
            stdin = StringIO("")
 
1226
        if stdout is None:
 
1227
            if getattr(self, "_log_file", None) is not None:
 
1228
                stdout = self._log_file
 
1229
            else:
 
1230
                stdout = StringIO()
 
1231
        if stderr is None:
 
1232
            if getattr(self, "_log_file", None is not None):
 
1233
                stderr = self._log_file
 
1234
            else:
 
1235
                stderr = StringIO()
 
1236
        real_stdin = sys.stdin
 
1237
        real_stdout = sys.stdout
 
1238
        real_stderr = sys.stderr
 
1239
        try:
 
1240
            sys.stdout = stdout
 
1241
            sys.stderr = stderr
 
1242
            sys.stdin = stdin
 
1243
            return a_callable(*args, **kwargs)
 
1244
        finally:
 
1245
            sys.stdout = real_stdout
 
1246
            sys.stderr = real_stderr
 
1247
            sys.stdin = real_stdin
 
1248
 
 
1249
    @symbol_versioning.deprecated_method(symbol_versioning.zero_eleven)
 
1250
    def merge(self, branch_from, wt_to):
 
1251
        """A helper for tests to do a ui-less merge.
 
1252
 
 
1253
        This should move to the main library when someone has time to integrate
 
1254
        it in.
 
1255
        """
 
1256
        # minimal ui-less merge.
 
1257
        wt_to.branch.fetch(branch_from)
 
1258
        base_rev = common_ancestor(branch_from.last_revision(),
 
1259
                                   wt_to.branch.last_revision(),
 
1260
                                   wt_to.branch.repository)
 
1261
        merge_inner(wt_to.branch, branch_from.basis_tree(),
 
1262
                    wt_to.branch.repository.revision_tree(base_rev),
 
1263
                    this_tree=wt_to)
 
1264
        wt_to.add_parent_tree_id(branch_from.last_revision())
 
1265
 
 
1266
 
 
1267
BzrTestBase = TestCase
 
1268
 
 
1269
 
 
1270
class TestCaseWithMemoryTransport(TestCase):
 
1271
    """Common test class for tests that do not need disk resources.
 
1272
 
 
1273
    Tests that need disk resources should derive from TestCaseWithTransport.
 
1274
 
 
1275
    TestCaseWithMemoryTransport sets the TEST_ROOT variable for all bzr tests.
 
1276
 
 
1277
    For TestCaseWithMemoryTransport the test_home_dir is set to the name of
 
1278
    a directory which does not exist. This serves to help ensure test isolation
 
1279
    is preserved. test_dir is set to the TEST_ROOT, as is cwd, because they
 
1280
    must exist. However, TestCaseWithMemoryTransport does not offer local
 
1281
    file defaults for the transport in tests, nor does it obey the command line
 
1282
    override, so tests that accidentally write to the common directory should
 
1283
    be rare.
 
1284
    """
 
1285
 
 
1286
    TEST_ROOT = None
 
1287
    _TEST_NAME = 'test'
 
1288
 
 
1289
 
 
1290
    def __init__(self, methodName='runTest'):
 
1291
        # allow test parameterisation after test construction and before test
 
1292
        # execution. Variables that the parameteriser sets need to be 
 
1293
        # ones that are not set by setUp, or setUp will trash them.
 
1294
        super(TestCaseWithMemoryTransport, self).__init__(methodName)
 
1295
        self.transport_server = default_transport
 
1296
        self.transport_readonly_server = None
 
1297
 
 
1298
    def get_transport(self):
 
1299
        """Return a writeable transport for the test scratch space"""
 
1300
        t = get_transport(self.get_url())
 
1301
        self.assertFalse(t.is_readonly())
 
1302
        return t
 
1303
 
 
1304
    def get_readonly_transport(self):
 
1305
        """Return a readonly transport for the test scratch space
 
1306
        
 
1307
        This can be used to test that operations which should only need
 
1308
        readonly access in fact do not try to write.
 
1309
        """
 
1310
        t = get_transport(self.get_readonly_url())
 
1311
        self.assertTrue(t.is_readonly())
 
1312
        return t
 
1313
 
 
1314
    def create_transport_readonly_server(self):
 
1315
        """Create a transport server from class defined at init.
 
1316
 
 
1317
        This is mostly a hook for daughter classes.
 
1318
        """
 
1319
        return self.transport_readonly_server()
 
1320
 
 
1321
    def get_readonly_server(self):
 
1322
        """Get the server instance for the readonly transport
 
1323
 
 
1324
        This is useful for some tests with specific servers to do diagnostics.
 
1325
        """
 
1326
        if self.__readonly_server is None:
 
1327
            if self.transport_readonly_server is None:
 
1328
                # readonly decorator requested
 
1329
                # bring up the server
 
1330
                self.get_url()
 
1331
                self.__readonly_server = ReadonlyServer()
 
1332
                self.__readonly_server.setUp(self.__server)
 
1333
            else:
 
1334
                self.__readonly_server = self.create_transport_readonly_server()
 
1335
                self.__readonly_server.setUp()
 
1336
            self.addCleanup(self.__readonly_server.tearDown)
 
1337
        return self.__readonly_server
 
1338
 
 
1339
    def get_readonly_url(self, relpath=None):
 
1340
        """Get a URL for the readonly transport.
 
1341
 
 
1342
        This will either be backed by '.' or a decorator to the transport 
 
1343
        used by self.get_url()
 
1344
        relpath provides for clients to get a path relative to the base url.
 
1345
        These should only be downwards relative, not upwards.
 
1346
        """
 
1347
        base = self.get_readonly_server().get_url()
 
1348
        if relpath is not None:
 
1349
            if not base.endswith('/'):
 
1350
                base = base + '/'
 
1351
            base = base + relpath
 
1352
        return base
 
1353
 
 
1354
    def get_server(self):
 
1355
        """Get the read/write server instance.
 
1356
 
 
1357
        This is useful for some tests with specific servers that need
 
1358
        diagnostics.
 
1359
 
 
1360
        For TestCaseWithMemoryTransport this is always a MemoryServer, and there
 
1361
        is no means to override it.
 
1362
        """
 
1363
        if self.__server is None:
 
1364
            self.__server = MemoryServer()
 
1365
            self.__server.setUp()
 
1366
            self.addCleanup(self.__server.tearDown)
 
1367
        return self.__server
 
1368
 
 
1369
    def get_url(self, relpath=None):
 
1370
        """Get a URL (or maybe a path) for the readwrite transport.
 
1371
 
 
1372
        This will either be backed by '.' or to an equivalent non-file based
 
1373
        facility.
 
1374
        relpath provides for clients to get a path relative to the base url.
 
1375
        These should only be downwards relative, not upwards.
 
1376
        """
 
1377
        base = self.get_server().get_url()
 
1378
        if relpath is not None and relpath != '.':
 
1379
            if not base.endswith('/'):
 
1380
                base = base + '/'
 
1381
            # XXX: Really base should be a url; we did after all call
 
1382
            # get_url()!  But sometimes it's just a path (from
 
1383
            # LocalAbspathServer), and it'd be wrong to append urlescaped data
 
1384
            # to a non-escaped local path.
 
1385
            if base.startswith('./') or base.startswith('/'):
 
1386
                base += relpath
 
1387
            else:
 
1388
                base += urlutils.escape(relpath)
 
1389
        return base
 
1390
 
 
1391
    def _make_test_root(self):
 
1392
        if TestCaseWithMemoryTransport.TEST_ROOT is not None:
 
1393
            return
 
1394
        i = 0
 
1395
        while True:
 
1396
            root = u'test%04d.tmp' % i
 
1397
            try:
 
1398
                os.mkdir(root)
 
1399
            except OSError, e:
 
1400
                if e.errno == errno.EEXIST:
 
1401
                    i += 1
 
1402
                    continue
 
1403
                else:
 
1404
                    raise
 
1405
            # successfully created
 
1406
            TestCaseWithMemoryTransport.TEST_ROOT = osutils.abspath(root)
 
1407
            break
 
1408
        # make a fake bzr directory there to prevent any tests propagating
 
1409
        # up onto the source directory's real branch
 
1410
        bzrdir.BzrDir.create_standalone_workingtree(
 
1411
            TestCaseWithMemoryTransport.TEST_ROOT)
 
1412
 
 
1413
    def makeAndChdirToTestDir(self):
 
1414
        """Create a temporary directories for this one test.
 
1415
        
 
1416
        This must set self.test_home_dir and self.test_dir and chdir to
 
1417
        self.test_dir.
 
1418
        
 
1419
        For TestCaseWithMemoryTransport we chdir to the TEST_ROOT for this test.
 
1420
        """
 
1421
        os.chdir(TestCaseWithMemoryTransport.TEST_ROOT)
 
1422
        self.test_dir = TestCaseWithMemoryTransport.TEST_ROOT
 
1423
        self.test_home_dir = self.test_dir + "/MemoryTransportMissingHomeDir"
 
1424
        
 
1425
    def make_branch(self, relpath, format=None):
 
1426
        """Create a branch on the transport at relpath."""
 
1427
        repo = self.make_repository(relpath, format=format)
 
1428
        return repo.bzrdir.create_branch()
 
1429
 
 
1430
    def make_bzrdir(self, relpath, format=None):
 
1431
        try:
 
1432
            # might be a relative or absolute path
 
1433
            maybe_a_url = self.get_url(relpath)
 
1434
            segments = maybe_a_url.rsplit('/', 1)
 
1435
            t = get_transport(maybe_a_url)
 
1436
            if len(segments) > 1 and segments[-1] not in ('', '.'):
 
1437
                try:
 
1438
                    t.mkdir('.')
 
1439
                except errors.FileExists:
 
1440
                    pass
 
1441
            if format is None:
 
1442
                format = 'default'
 
1443
            if isinstance(format, basestring):
 
1444
                format = bzrdir.format_registry.make_bzrdir(format)
 
1445
            return format.initialize_on_transport(t)
 
1446
        except errors.UninitializableFormat:
 
1447
            raise TestSkipped("Format %s is not initializable." % format)
 
1448
 
 
1449
    def make_repository(self, relpath, shared=False, format=None):
 
1450
        """Create a repository on our default transport at relpath."""
 
1451
        made_control = self.make_bzrdir(relpath, format=format)
 
1452
        return made_control.create_repository(shared=shared)
 
1453
 
 
1454
    def make_branch_and_memory_tree(self, relpath, format=None):
 
1455
        """Create a branch on the default transport and a MemoryTree for it."""
 
1456
        b = self.make_branch(relpath, format=format)
 
1457
        return memorytree.MemoryTree.create_on_branch(b)
 
1458
 
 
1459
    def overrideEnvironmentForTesting(self):
 
1460
        os.environ['HOME'] = self.test_home_dir
 
1461
        os.environ['APPDATA'] = self.test_home_dir
 
1462
        
 
1463
    def setUp(self):
 
1464
        super(TestCaseWithMemoryTransport, self).setUp()
 
1465
        self._make_test_root()
 
1466
        _currentdir = os.getcwdu()
 
1467
        def _leaveDirectory():
 
1468
            os.chdir(_currentdir)
 
1469
        self.addCleanup(_leaveDirectory)
 
1470
        self.makeAndChdirToTestDir()
 
1471
        self.overrideEnvironmentForTesting()
 
1472
        self.__readonly_server = None
 
1473
        self.__server = None
 
1474
 
 
1475
     
 
1476
class TestCaseInTempDir(TestCaseWithMemoryTransport):
 
1477
    """Derived class that runs a test within a temporary directory.
 
1478
 
 
1479
    This is useful for tests that need to create a branch, etc.
 
1480
 
 
1481
    The directory is created in a slightly complex way: for each
 
1482
    Python invocation, a new temporary top-level directory is created.
 
1483
    All test cases create their own directory within that.  If the
 
1484
    tests complete successfully, the directory is removed.
 
1485
 
 
1486
    InTempDir is an old alias for FunctionalTestCase.
 
1487
    """
 
1488
 
 
1489
    OVERRIDE_PYTHON = 'python'
 
1490
 
 
1491
    def check_file_contents(self, filename, expect):
 
1492
        self.log("check contents of file %s" % filename)
 
1493
        contents = file(filename, 'r').read()
 
1494
        if contents != expect:
 
1495
            self.log("expected: %r" % expect)
 
1496
            self.log("actually: %r" % contents)
 
1497
            self.fail("contents of %s not as expected" % filename)
 
1498
 
 
1499
    def makeAndChdirToTestDir(self):
 
1500
        """See TestCaseWithMemoryTransport.makeAndChdirToTestDir().
 
1501
        
 
1502
        For TestCaseInTempDir we create a temporary directory based on the test
 
1503
        name and then create two subdirs - test and home under it.
 
1504
        """
 
1505
        # shorten the name, to avoid test failures due to path length
 
1506
        short_id = self.id().replace('bzrlib.tests.', '') \
 
1507
                   .replace('__main__.', '')[-100:]
 
1508
        # it's possible the same test class is run several times for
 
1509
        # parameterized tests, so make sure the names don't collide.  
 
1510
        i = 0
 
1511
        while True:
 
1512
            if i > 0:
 
1513
                candidate_dir = '%s/%s.%d' % (self.TEST_ROOT, short_id, i)
 
1514
            else:
 
1515
                candidate_dir = '%s/%s' % (self.TEST_ROOT, short_id)
 
1516
            if os.path.exists(candidate_dir):
 
1517
                i = i + 1
 
1518
                continue
 
1519
            else:
 
1520
                os.mkdir(candidate_dir)
 
1521
                self.test_home_dir = candidate_dir + '/home'
 
1522
                os.mkdir(self.test_home_dir)
 
1523
                self.test_dir = candidate_dir + '/work'
 
1524
                os.mkdir(self.test_dir)
 
1525
                os.chdir(self.test_dir)
 
1526
                break
 
1527
 
 
1528
    def build_tree(self, shape, line_endings='binary', transport=None):
 
1529
        """Build a test tree according to a pattern.
 
1530
 
 
1531
        shape is a sequence of file specifications.  If the final
 
1532
        character is '/', a directory is created.
 
1533
 
 
1534
        This assumes that all the elements in the tree being built are new.
 
1535
 
 
1536
        This doesn't add anything to a branch.
 
1537
        :param line_endings: Either 'binary' or 'native'
 
1538
                             in binary mode, exact contents are written
 
1539
                             in native mode, the line endings match the
 
1540
                             default platform endings.
 
1541
 
 
1542
        :param transport: A transport to write to, for building trees on 
 
1543
                          VFS's. If the transport is readonly or None,
 
1544
                          "." is opened automatically.
 
1545
        """
 
1546
        # It's OK to just create them using forward slashes on windows.
 
1547
        if transport is None or transport.is_readonly():
 
1548
            transport = get_transport(".")
 
1549
        for name in shape:
 
1550
            self.assert_(isinstance(name, basestring))
 
1551
            if name[-1] == '/':
 
1552
                transport.mkdir(urlutils.escape(name[:-1]))
 
1553
            else:
 
1554
                if line_endings == 'binary':
 
1555
                    end = '\n'
 
1556
                elif line_endings == 'native':
 
1557
                    end = os.linesep
 
1558
                else:
 
1559
                    raise errors.BzrError(
 
1560
                        'Invalid line ending request %r' % line_endings)
 
1561
                content = "contents of %s%s" % (name.encode('utf-8'), end)
 
1562
                transport.put_bytes_non_atomic(urlutils.escape(name), content)
 
1563
 
 
1564
    def build_tree_contents(self, shape):
 
1565
        build_tree_contents(shape)
 
1566
 
 
1567
    def assertFileEqual(self, content, path):
 
1568
        """Fail if path does not contain 'content'."""
 
1569
        self.failUnlessExists(path)
 
1570
        # TODO: jam 20060427 Shouldn't this be 'rb'?
 
1571
        self.assertEqualDiff(content, open(path, 'r').read())
 
1572
 
 
1573
    def failUnlessExists(self, path):
 
1574
        """Fail unless path, which may be abs or relative, exists."""
 
1575
        self.failUnless(osutils.lexists(path),path+" does not exist")
 
1576
 
 
1577
    def failIfExists(self, path):
 
1578
        """Fail if path, which may be abs or relative, exists."""
 
1579
        self.failIf(osutils.lexists(path),path+" exists")
 
1580
 
 
1581
 
 
1582
class TestCaseWithTransport(TestCaseInTempDir):
 
1583
    """A test case that provides get_url and get_readonly_url facilities.
 
1584
 
 
1585
    These back onto two transport servers, one for readonly access and one for
 
1586
    read write access.
 
1587
 
 
1588
    If no explicit class is provided for readonly access, a
 
1589
    ReadonlyTransportDecorator is used instead which allows the use of non disk
 
1590
    based read write transports.
 
1591
 
 
1592
    If an explicit class is provided for readonly access, that server and the 
 
1593
    readwrite one must both define get_url() as resolving to os.getcwd().
 
1594
    """
 
1595
 
 
1596
    def create_transport_server(self):
 
1597
        """Create a transport server from class defined at init.
 
1598
 
 
1599
        This is mostly a hook for daughter classes.
 
1600
        """
 
1601
        return self.transport_server()
 
1602
 
 
1603
    def get_server(self):
 
1604
        """See TestCaseWithMemoryTransport.
 
1605
 
 
1606
        This is useful for some tests with specific servers that need
 
1607
        diagnostics.
 
1608
        """
 
1609
        if self.__server is None:
 
1610
            self.__server = self.create_transport_server()
 
1611
            self.__server.setUp()
 
1612
            self.addCleanup(self.__server.tearDown)
 
1613
        return self.__server
 
1614
 
 
1615
    def make_branch_and_tree(self, relpath, format=None):
 
1616
        """Create a branch on the transport and a tree locally.
 
1617
 
 
1618
        If the transport is not a LocalTransport, the Tree can't be created on
 
1619
        the transport.  In that case the working tree is created in the local
 
1620
        directory, and the returned tree's branch and repository will also be
 
1621
        accessed locally.
 
1622
 
 
1623
        This will fail if the original default transport for this test
 
1624
        case wasn't backed by the working directory, as the branch won't
 
1625
        be on disk for us to open it.  
 
1626
 
 
1627
        :param format: The BzrDirFormat.
 
1628
        :returns: the WorkingTree.
 
1629
        """
 
1630
        # TODO: always use the local disk path for the working tree,
 
1631
        # this obviously requires a format that supports branch references
 
1632
        # so check for that by checking bzrdir.BzrDirFormat.get_default_format()
 
1633
        # RBC 20060208
 
1634
        b = self.make_branch(relpath, format=format)
 
1635
        try:
 
1636
            return b.bzrdir.create_workingtree()
 
1637
        except errors.NotLocalUrl:
 
1638
            # We can only make working trees locally at the moment.  If the
 
1639
            # transport can't support them, then reopen the branch on a local
 
1640
            # transport, and create the working tree there.  
 
1641
            #
 
1642
            # Possibly we should instead keep
 
1643
            # the non-disk-backed branch and create a local checkout?
 
1644
            bd = bzrdir.BzrDir.open(relpath)
 
1645
            return bd.create_workingtree()
 
1646
 
 
1647
    def assertIsDirectory(self, relpath, transport):
 
1648
        """Assert that relpath within transport is a directory.
 
1649
 
 
1650
        This may not be possible on all transports; in that case it propagates
 
1651
        a TransportNotPossible.
 
1652
        """
 
1653
        try:
 
1654
            mode = transport.stat(relpath).st_mode
 
1655
        except errors.NoSuchFile:
 
1656
            self.fail("path %s is not a directory; no such file"
 
1657
                      % (relpath))
 
1658
        if not stat.S_ISDIR(mode):
 
1659
            self.fail("path %s is not a directory; has mode %#o"
 
1660
                      % (relpath, mode))
 
1661
 
 
1662
    def assertTreesEqual(self, left, right):
 
1663
        """Check that left and right have the same content and properties."""
 
1664
        # we use a tree delta to check for equality of the content, and we
 
1665
        # manually check for equality of other things such as the parents list.
 
1666
        self.assertEqual(left.get_parent_ids(), right.get_parent_ids())
 
1667
        differences = left.changes_from(right)
 
1668
        self.assertFalse(differences.has_changed(),
 
1669
            "Trees %r and %r are different: %r" % (left, right, differences))
 
1670
 
 
1671
    def setUp(self):
 
1672
        super(TestCaseWithTransport, self).setUp()
 
1673
        self.__server = None
 
1674
 
 
1675
 
 
1676
class ChrootedTestCase(TestCaseWithTransport):
 
1677
    """A support class that provides readonly urls outside the local namespace.
 
1678
 
 
1679
    This is done by checking if self.transport_server is a MemoryServer. if it
 
1680
    is then we are chrooted already, if it is not then an HttpServer is used
 
1681
    for readonly urls.
 
1682
 
 
1683
    TODO RBC 20060127: make this an option to TestCaseWithTransport so it can
 
1684
                       be used without needed to redo it when a different 
 
1685
                       subclass is in use ?
 
1686
    """
 
1687
 
 
1688
    def setUp(self):
 
1689
        super(ChrootedTestCase, self).setUp()
 
1690
        if not self.transport_server == MemoryServer:
 
1691
            self.transport_readonly_server = HttpServer
 
1692
 
 
1693
 
 
1694
def filter_suite_by_re(suite, pattern):
 
1695
    result = TestUtil.TestSuite()
 
1696
    filter_re = re.compile(pattern)
 
1697
    for test in iter_suite_tests(suite):
 
1698
        if filter_re.search(test.id()):
 
1699
            result.addTest(test)
 
1700
    return result
 
1701
 
 
1702
 
 
1703
def sort_suite_by_re(suite, pattern):
 
1704
    first = []
 
1705
    second = []
 
1706
    filter_re = re.compile(pattern)
 
1707
    for test in iter_suite_tests(suite):
 
1708
        if filter_re.search(test.id()):
 
1709
            first.append(test)
 
1710
        else:
 
1711
            second.append(test)
 
1712
    return TestUtil.TestSuite(first + second)
 
1713
 
 
1714
 
 
1715
def run_suite(suite, name='test', verbose=False, pattern=".*",
 
1716
              stop_on_failure=False, keep_output=False,
 
1717
              transport=None, lsprof_timed=None, bench_history=None,
 
1718
              matching_tests_first=None):
 
1719
    TestCase._gather_lsprof_in_benchmarks = lsprof_timed
 
1720
    if verbose:
 
1721
        verbosity = 2
 
1722
    else:
 
1723
        verbosity = 1
 
1724
    runner = TextTestRunner(stream=sys.stdout,
 
1725
                            descriptions=0,
 
1726
                            verbosity=verbosity,
 
1727
                            keep_output=keep_output,
 
1728
                            bench_history=bench_history)
 
1729
    runner.stop_on_failure=stop_on_failure
 
1730
    if pattern != '.*':
 
1731
        if matching_tests_first:
 
1732
            suite = sort_suite_by_re(suite, pattern)
 
1733
        else:
 
1734
            suite = filter_suite_by_re(suite, pattern)
 
1735
    result = runner.run(suite)
 
1736
    return result.wasSuccessful()
 
1737
 
 
1738
 
 
1739
def selftest(verbose=False, pattern=".*", stop_on_failure=True,
 
1740
             keep_output=False,
 
1741
             transport=None,
 
1742
             test_suite_factory=None,
 
1743
             lsprof_timed=None,
 
1744
             bench_history=None,
 
1745
             matching_tests_first=None):
 
1746
    """Run the whole test suite under the enhanced runner"""
 
1747
    # XXX: Very ugly way to do this...
 
1748
    # Disable warning about old formats because we don't want it to disturb
 
1749
    # any blackbox tests.
 
1750
    from bzrlib import repository
 
1751
    repository._deprecation_warning_done = True
 
1752
 
 
1753
    global default_transport
 
1754
    if transport is None:
 
1755
        transport = default_transport
 
1756
    old_transport = default_transport
 
1757
    default_transport = transport
 
1758
    try:
 
1759
        if test_suite_factory is None:
 
1760
            suite = test_suite()
 
1761
        else:
 
1762
            suite = test_suite_factory()
 
1763
        return run_suite(suite, 'testbzr', verbose=verbose, pattern=pattern,
 
1764
                     stop_on_failure=stop_on_failure, keep_output=keep_output,
 
1765
                     transport=transport,
 
1766
                     lsprof_timed=lsprof_timed,
 
1767
                     bench_history=bench_history,
 
1768
                     matching_tests_first=matching_tests_first)
 
1769
    finally:
 
1770
        default_transport = old_transport
 
1771
 
 
1772
 
 
1773
def test_suite():
 
1774
    """Build and return TestSuite for the whole of bzrlib.
 
1775
    
 
1776
    This function can be replaced if you need to change the default test
 
1777
    suite on a global basis, but it is not encouraged.
 
1778
    """
 
1779
    testmod_names = [
 
1780
                   'bzrlib.tests.test_ancestry',
 
1781
                   'bzrlib.tests.test_annotate',
 
1782
                   'bzrlib.tests.test_api',
 
1783
                   'bzrlib.tests.test_atomicfile',
 
1784
                   'bzrlib.tests.test_bad_files',
 
1785
                   'bzrlib.tests.test_branch',
 
1786
                   'bzrlib.tests.test_bundle',
 
1787
                   'bzrlib.tests.test_bzrdir',
 
1788
                   'bzrlib.tests.test_cache_utf8',
 
1789
                   'bzrlib.tests.test_commands',
 
1790
                   'bzrlib.tests.test_commit',
 
1791
                   'bzrlib.tests.test_commit_merge',
 
1792
                   'bzrlib.tests.test_config',
 
1793
                   'bzrlib.tests.test_conflicts',
 
1794
                   'bzrlib.tests.test_decorators',
 
1795
                   'bzrlib.tests.test_delta',
 
1796
                   'bzrlib.tests.test_diff',
 
1797
                   'bzrlib.tests.test_dirstate',
 
1798
                   'bzrlib.tests.test_doc_generate',
 
1799
                   'bzrlib.tests.test_errors',
 
1800
                   'bzrlib.tests.test_escaped_store',
 
1801
                   'bzrlib.tests.test_extract',
 
1802
                   'bzrlib.tests.test_fetch',
 
1803
                   'bzrlib.tests.test_ftp_transport',
 
1804
                   'bzrlib.tests.test_generate_docs',
 
1805
                   'bzrlib.tests.test_generate_ids',
 
1806
                   'bzrlib.tests.test_globbing',
 
1807
                   'bzrlib.tests.test_gpg',
 
1808
                   'bzrlib.tests.test_graph',
 
1809
                   'bzrlib.tests.test_hashcache',
 
1810
                   'bzrlib.tests.test_http',
 
1811
                   'bzrlib.tests.test_http_response',
 
1812
                   'bzrlib.tests.test_https_ca_bundle',
 
1813
                   'bzrlib.tests.test_identitymap',
 
1814
                   'bzrlib.tests.test_ignores',
 
1815
                   'bzrlib.tests.test_inv',
 
1816
                   'bzrlib.tests.test_knit',
 
1817
                   'bzrlib.tests.test_lazy_import',
 
1818
                   'bzrlib.tests.test_lazy_regex',
 
1819
                   'bzrlib.tests.test_lockdir',
 
1820
                   'bzrlib.tests.test_lockable_files',
 
1821
                   'bzrlib.tests.test_log',
 
1822
                   'bzrlib.tests.test_memorytree',
 
1823
                   'bzrlib.tests.test_merge',
 
1824
                   'bzrlib.tests.test_merge3',
 
1825
                   'bzrlib.tests.test_merge_core',
 
1826
                   'bzrlib.tests.test_missing',
 
1827
                   'bzrlib.tests.test_msgeditor',
 
1828
                   'bzrlib.tests.test_nonascii',
 
1829
                   'bzrlib.tests.test_options',
 
1830
                   'bzrlib.tests.test_osutils',
 
1831
                   'bzrlib.tests.test_osutils_encodings',
 
1832
                   'bzrlib.tests.test_patch',
 
1833
                   'bzrlib.tests.test_patches',
 
1834
                   'bzrlib.tests.test_permissions',
 
1835
                   'bzrlib.tests.test_plugins',
 
1836
                   'bzrlib.tests.test_progress',
 
1837
                   'bzrlib.tests.test_reconcile',
 
1838
                   'bzrlib.tests.test_registry',
 
1839
                   'bzrlib.tests.test_repository',
 
1840
                   'bzrlib.tests.test_revert',
 
1841
                   'bzrlib.tests.test_revision',
 
1842
                   'bzrlib.tests.test_revisionnamespaces',
 
1843
                   'bzrlib.tests.test_revisiontree',
 
1844
                   'bzrlib.tests.test_rio',
 
1845
                   'bzrlib.tests.test_sampler',
 
1846
                   'bzrlib.tests.test_selftest',
 
1847
                   'bzrlib.tests.test_setup',
 
1848
                   'bzrlib.tests.test_sftp_transport',
 
1849
                   'bzrlib.tests.test_smart_add',
 
1850
                   'bzrlib.tests.test_smart_transport',
 
1851
                   'bzrlib.tests.test_source',
 
1852
                   'bzrlib.tests.test_status',
 
1853
                   'bzrlib.tests.test_store',
 
1854
                   'bzrlib.tests.test_subsume',
 
1855
                   'bzrlib.tests.test_symbol_versioning',
 
1856
                   'bzrlib.tests.test_tag',
 
1857
                   'bzrlib.tests.test_testament',
 
1858
                   'bzrlib.tests.test_textfile',
 
1859
                   'bzrlib.tests.test_textmerge',
 
1860
                   'bzrlib.tests.test_trace',
 
1861
                   'bzrlib.tests.test_transactions',
 
1862
                   'bzrlib.tests.test_transform',
 
1863
                   'bzrlib.tests.test_transport',
 
1864
                   'bzrlib.tests.test_tree',
 
1865
                   'bzrlib.tests.test_treebuilder',
 
1866
                   'bzrlib.tests.test_tsort',
 
1867
                   'bzrlib.tests.test_tuned_gzip',
 
1868
                   'bzrlib.tests.test_ui',
 
1869
                   'bzrlib.tests.test_upgrade',
 
1870
                   'bzrlib.tests.test_urlutils',
 
1871
                   'bzrlib.tests.test_versionedfile',
 
1872
                   'bzrlib.tests.test_version',
 
1873
                   'bzrlib.tests.test_version_info',
 
1874
                   'bzrlib.tests.test_weave',
 
1875
                   'bzrlib.tests.test_whitebox',
 
1876
                   'bzrlib.tests.test_workingtree',
 
1877
                   'bzrlib.tests.test_workingtree_4',
 
1878
                   'bzrlib.tests.test_wsgi',
 
1879
                   'bzrlib.tests.test_xml',
 
1880
                   ]
 
1881
    test_transport_implementations = [
 
1882
        'bzrlib.tests.test_transport_implementations',
 
1883
        'bzrlib.tests.test_read_bundle',
 
1884
        ]
 
1885
    suite = TestUtil.TestSuite()
 
1886
    loader = TestUtil.TestLoader()
 
1887
    suite.addTest(loader.loadTestsFromModuleNames(testmod_names))
 
1888
    from bzrlib.transport import TransportTestProviderAdapter
 
1889
    adapter = TransportTestProviderAdapter()
 
1890
    adapt_modules(test_transport_implementations, adapter, loader, suite)
 
1891
    for package in packages_to_test():
 
1892
        suite.addTest(package.test_suite())
 
1893
    for m in MODULES_TO_TEST:
 
1894
        suite.addTest(loader.loadTestsFromModule(m))
 
1895
    for m in MODULES_TO_DOCTEST:
 
1896
        try:
 
1897
            suite.addTest(doctest.DocTestSuite(m))
 
1898
        except ValueError, e:
 
1899
            print '**failed to get doctest for: %s\n%s' %(m,e)
 
1900
            raise
 
1901
    for name, plugin in bzrlib.plugin.all_plugins().items():
 
1902
        if getattr(plugin, 'test_suite', None) is not None:
 
1903
            default_encoding = sys.getdefaultencoding()
 
1904
            try:
 
1905
                plugin_suite = plugin.test_suite()
 
1906
            except ImportError, e:
 
1907
                bzrlib.trace.warning(
 
1908
                    'Unable to test plugin "%s": %s', name, e)
 
1909
            else:
 
1910
                suite.addTest(plugin_suite)
 
1911
            if default_encoding != sys.getdefaultencoding():
 
1912
                bzrlib.trace.warning(
 
1913
                    'Plugin "%s" tried to reset default encoding to: %s', name,
 
1914
                    sys.getdefaultencoding())
 
1915
                reload(sys)
 
1916
                sys.setdefaultencoding(default_encoding)
 
1917
    return suite
 
1918
 
 
1919
 
 
1920
def adapt_modules(mods_list, adapter, loader, suite):
 
1921
    """Adapt the modules in mods_list using adapter and add to suite."""
 
1922
    for test in iter_suite_tests(loader.loadTestsFromModuleNames(mods_list)):
 
1923
        suite.addTests(adapter.adapt(test))
 
1924
 
 
1925
 
 
1926
def clean_selftest_output(root=None, quiet=False):
 
1927
    """Remove all selftest output directories from root directory.
 
1928
 
 
1929
    :param  root:   root directory for clean
 
1930
                    (if ommitted or None then clean current directory).
 
1931
    :param  quiet:  suppress report about deleting directories
 
1932
    """
 
1933
    import re
 
1934
    import shutil
 
1935
 
 
1936
    re_dir = re.compile(r'''test\d\d\d\d\.tmp''')
 
1937
    if root is None:
 
1938
        root = u'.'
 
1939
    for i in os.listdir(root):
 
1940
        if os.path.isdir(i) and re_dir.match(i):
 
1941
            if not quiet:
 
1942
                print 'delete directory:', i
 
1943
            shutil.rmtree(i)