/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/tests/__init__.py

  • Committer: Martin Pool
  • Date: 2008-01-04 23:53:04 UTC
  • mto: (3170.2.1 1.1)
  • mto: This revision was merged to the branch mainline in revision 3185.
  • Revision ID: mbp@sourcefrog.net-20080104235304-ms9b1y63r710qv2i
PrepareĀ 1.1rc1

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2006 by Canonical Ltd
2
 
 
 
1
# Copyright (C) 2005, 2006, 2007 Canonical Ltd
 
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
5
5
# the Free Software Foundation; either version 2 of the License, or
6
6
# (at your option) any later version.
7
 
 
 
7
#
8
8
# This program is distributed in the hope that it will be useful,
9
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
11
# GNU General Public License for more details.
12
 
 
 
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
26
26
# general style of bzrlib.  Please continue that consistency when adding e.g.
27
27
# new assertFoo() methods.
28
28
 
 
29
import atexit
29
30
import codecs
30
31
from cStringIO import StringIO
31
32
import difflib
 
33
import doctest
32
34
import errno
33
35
import logging
34
36
import os
 
37
from pprint import pformat
 
38
import random
35
39
import re
36
 
import shutil
 
40
import shlex
37
41
import stat
 
42
from subprocess import Popen, PIPE
38
43
import sys
39
44
import tempfile
 
45
import time
 
46
import trace
40
47
import unittest
41
 
import time
42
 
 
43
 
 
 
48
import warnings
 
49
 
 
50
 
 
51
from bzrlib import (
 
52
    bzrdir,
 
53
    debug,
 
54
    errors,
 
55
    memorytree,
 
56
    osutils,
 
57
    progress,
 
58
    ui,
 
59
    urlutils,
 
60
    workingtree,
 
61
    )
44
62
import bzrlib.branch
45
 
import bzrlib.bzrdir as bzrdir
46
63
import bzrlib.commands
47
 
import bzrlib.errors as errors
 
64
import bzrlib.timestamp
 
65
import bzrlib.export
48
66
import bzrlib.inventory
49
67
import bzrlib.iterablefile
50
68
import bzrlib.lockdir
 
69
try:
 
70
    import bzrlib.lsprof
 
71
except ImportError:
 
72
    # lsprof not available
 
73
    pass
51
74
from bzrlib.merge import merge_inner
52
75
import bzrlib.merge3
53
 
import bzrlib.osutils
54
 
import bzrlib.osutils as osutils
55
76
import bzrlib.plugin
56
77
from bzrlib.revision import common_ancestor
57
78
import bzrlib.store
 
79
from bzrlib import symbol_versioning
 
80
from bzrlib.symbol_versioning import (
 
81
    DEPRECATED_PARAMETER,
 
82
    deprecated_function,
 
83
    deprecated_method,
 
84
    deprecated_passed,
 
85
    zero_ninetyone,
 
86
    zero_ninetytwo,
 
87
    one_zero,
 
88
    )
58
89
import bzrlib.trace
59
 
from bzrlib.transport import urlescape, get_transport
 
90
from bzrlib.transport import get_transport
60
91
import bzrlib.transport
61
 
from bzrlib.transport.local import LocalRelpathServer
 
92
from bzrlib.transport.local import LocalURLServer
 
93
from bzrlib.transport.memory import MemoryServer
62
94
from bzrlib.transport.readonly import ReadonlyServer
63
 
from bzrlib.trace import mutter
64
 
from bzrlib.tests.TestUtil import TestLoader, TestSuite
 
95
from bzrlib.trace import mutter, note
 
96
from bzrlib.tests import TestUtil
 
97
from bzrlib.tests.http_server import HttpServer
 
98
from bzrlib.tests.TestUtil import (
 
99
                          TestSuite,
 
100
                          TestLoader,
 
101
                          )
65
102
from bzrlib.tests.treeshape import build_tree_contents
 
103
import bzrlib.version_info_formats.format_custom
66
104
from bzrlib.workingtree import WorkingTree, WorkingTreeFormat2
67
105
 
68
 
default_transport = LocalRelpathServer
 
106
# Mark this python module as being part of the implementation
 
107
# of unittest: this gives us better tracebacks where the last
 
108
# shown frame is the test code, not our assertXYZ.
 
109
__unittest = 1
 
110
 
 
111
default_transport = LocalURLServer
69
112
 
70
113
MODULES_TO_TEST = []
71
114
MODULES_TO_DOCTEST = [
72
 
                      bzrlib.branch,
73
 
                      bzrlib.commands,
74
 
                      bzrlib.errors,
75
 
                      bzrlib.inventory,
76
 
                      bzrlib.iterablefile,
77
 
                      bzrlib.lockdir,
78
 
                      bzrlib.merge3,
79
 
                      bzrlib.option,
80
 
                      bzrlib.osutils,
81
 
                      bzrlib.store
82
 
                      ]
 
115
        bzrlib.timestamp,
 
116
        bzrlib.errors,
 
117
        bzrlib.export,
 
118
        bzrlib.inventory,
 
119
        bzrlib.iterablefile,
 
120
        bzrlib.lockdir,
 
121
        bzrlib.merge3,
 
122
        bzrlib.option,
 
123
        bzrlib.store,
 
124
        bzrlib.version_info_formats.format_custom,
 
125
        # quoted to avoid module-loading circularity
 
126
        'bzrlib.tests',
 
127
        ]
 
128
 
 
129
 
83
130
def packages_to_test():
84
131
    """Return a list of packages to test.
85
132
 
90
137
    import bzrlib.tests.blackbox
91
138
    import bzrlib.tests.branch_implementations
92
139
    import bzrlib.tests.bzrdir_implementations
 
140
    import bzrlib.tests.commands
93
141
    import bzrlib.tests.interrepository_implementations
94
142
    import bzrlib.tests.interversionedfile_implementations
 
143
    import bzrlib.tests.intertree_implementations
 
144
    import bzrlib.tests.inventory_implementations
 
145
    import bzrlib.tests.per_lock
95
146
    import bzrlib.tests.repository_implementations
96
147
    import bzrlib.tests.revisionstore_implementations
 
148
    import bzrlib.tests.tree_implementations
97
149
    import bzrlib.tests.workingtree_implementations
98
150
    return [
99
151
            bzrlib.doc,
100
152
            bzrlib.tests.blackbox,
101
153
            bzrlib.tests.branch_implementations,
102
154
            bzrlib.tests.bzrdir_implementations,
 
155
            bzrlib.tests.commands,
103
156
            bzrlib.tests.interrepository_implementations,
104
157
            bzrlib.tests.interversionedfile_implementations,
 
158
            bzrlib.tests.intertree_implementations,
 
159
            bzrlib.tests.inventory_implementations,
 
160
            bzrlib.tests.per_lock,
105
161
            bzrlib.tests.repository_implementations,
106
162
            bzrlib.tests.revisionstore_implementations,
 
163
            bzrlib.tests.tree_implementations,
107
164
            bzrlib.tests.workingtree_implementations,
108
165
            ]
109
166
 
110
167
 
111
 
class _MyResult(unittest._TextTestResult):
112
 
    """Custom TestResult.
113
 
 
114
 
    Shows output in a different format, including displaying runtime for tests.
 
168
class ExtendedTestResult(unittest._TextTestResult):
 
169
    """Accepts, reports and accumulates the results of running tests.
 
170
 
 
171
    Compared to the unittest version this class adds support for
 
172
    profiling, benchmarking, stopping as soon as a test fails,  and
 
173
    skipping tests.  There are further-specialized subclasses for
 
174
    different types of display.
 
175
 
 
176
    When a test finishes, in whatever way, it calls one of the addSuccess,
 
177
    addFailure or addError classes.  These in turn may redirect to a more
 
178
    specific case for the special test results supported by our extended
 
179
    tests.
 
180
 
 
181
    Note that just one of these objects is fed the results from many tests.
115
182
    """
 
183
 
116
184
    stop_early = False
117
 
 
118
 
    def _elapsedTime(self):
119
 
        return "%5dms" % (1000 * (time.time() - self._start_time))
 
185
    
 
186
    def __init__(self, stream, descriptions, verbosity,
 
187
                 bench_history=None,
 
188
                 num_tests=None,
 
189
                 ):
 
190
        """Construct new TestResult.
 
191
 
 
192
        :param bench_history: Optionally, a writable file object to accumulate
 
193
            benchmark results.
 
194
        """
 
195
        unittest._TextTestResult.__init__(self, stream, descriptions, verbosity)
 
196
        if bench_history is not None:
 
197
            from bzrlib.version import _get_bzr_source_tree
 
198
            src_tree = _get_bzr_source_tree()
 
199
            if src_tree:
 
200
                try:
 
201
                    revision_id = src_tree.get_parent_ids()[0]
 
202
                except IndexError:
 
203
                    # XXX: if this is a brand new tree, do the same as if there
 
204
                    # is no branch.
 
205
                    revision_id = ''
 
206
            else:
 
207
                # XXX: If there's no branch, what should we do?
 
208
                revision_id = ''
 
209
            bench_history.write("--date %s %s\n" % (time.time(), revision_id))
 
210
        self._bench_history = bench_history
 
211
        self.ui = ui.ui_factory
 
212
        self.num_tests = num_tests
 
213
        self.error_count = 0
 
214
        self.failure_count = 0
 
215
        self.known_failure_count = 0
 
216
        self.skip_count = 0
 
217
        self.not_applicable_count = 0
 
218
        self.unsupported = {}
 
219
        self.count = 0
 
220
        self._overall_start_time = time.time()
 
221
    
 
222
    def _extractBenchmarkTime(self, testCase):
 
223
        """Add a benchmark time for the current test case."""
 
224
        return getattr(testCase, "_benchtime", None)
 
225
    
 
226
    def _elapsedTestTimeString(self):
 
227
        """Return a time string for the overall time the current test has taken."""
 
228
        return self._formatTime(time.time() - self._start_time)
 
229
 
 
230
    def _testTimeString(self, testCase):
 
231
        benchmark_time = self._extractBenchmarkTime(testCase)
 
232
        if benchmark_time is not None:
 
233
            return "%s/%s" % (
 
234
                self._formatTime(benchmark_time),
 
235
                self._elapsedTestTimeString())
 
236
        else:
 
237
            return "           %s" % self._elapsedTestTimeString()
 
238
 
 
239
    def _formatTime(self, seconds):
 
240
        """Format seconds as milliseconds with leading spaces."""
 
241
        # some benchmarks can take thousands of seconds to run, so we need 8
 
242
        # places
 
243
        return "%8dms" % (1000 * seconds)
 
244
 
 
245
    def _shortened_test_description(self, test):
 
246
        what = test.id()
 
247
        what = re.sub(r'^bzrlib\.(tests|benchmarks)\.', '', what)
 
248
        return what
120
249
 
121
250
    def startTest(self, test):
122
251
        unittest.TestResult.startTest(self, test)
123
 
        # In a short description, the important words are in
124
 
        # the beginning, but in an id, the important words are
125
 
        # at the end
126
 
        SHOW_DESCRIPTIONS = False
127
 
        if self.showAll:
128
 
            width = osutils.terminal_width()
129
 
            name_width = width - 15
130
 
            what = None
131
 
            if SHOW_DESCRIPTIONS:
132
 
                what = test.shortDescription()
133
 
                if what:
134
 
                    if len(what) > name_width:
135
 
                        what = what[:name_width-3] + '...'
136
 
            if what is None:
137
 
                what = test.id()
138
 
                if what.startswith('bzrlib.tests.'):
139
 
                    what = what[13:]
140
 
                if len(what) > name_width:
141
 
                    what = '...' + what[3-name_width:]
142
 
            what = what.ljust(name_width)
143
 
            self.stream.write(what)
144
 
        self.stream.flush()
 
252
        self.report_test_start(test)
 
253
        test.number = self.count
 
254
        self._recordTestStartTime()
 
255
 
 
256
    def _recordTestStartTime(self):
 
257
        """Record that a test has started."""
145
258
        self._start_time = time.time()
146
259
 
 
260
    def _cleanupLogFile(self, test):
 
261
        # We can only do this if we have one of our TestCases, not if
 
262
        # we have a doctest.
 
263
        setKeepLogfile = getattr(test, 'setKeepLogfile', None)
 
264
        if setKeepLogfile is not None:
 
265
            setKeepLogfile()
 
266
 
147
267
    def addError(self, test, err):
 
268
        """Tell result that test finished with an error.
 
269
 
 
270
        Called from the TestCase run() method when the test
 
271
        fails with an unexpected error.
 
272
        """
 
273
        self._testConcluded(test)
148
274
        if isinstance(err[1], TestSkipped):
149
 
            return self.addSkipped(test, err)    
150
 
        unittest.TestResult.addError(self, test, err)
151
 
        if self.showAll:
152
 
            self.stream.writeln("ERROR %s" % self._elapsedTime())
153
 
        elif self.dots:
154
 
            self.stream.write('E')
155
 
        self.stream.flush()
156
 
        if self.stop_early:
157
 
            self.stop()
 
275
            return self._addSkipped(test, err)
 
276
        elif isinstance(err[1], UnavailableFeature):
 
277
            return self.addNotSupported(test, err[1].args[0])
 
278
        else:
 
279
            unittest.TestResult.addError(self, test, err)
 
280
            self.error_count += 1
 
281
            self.report_error(test, err)
 
282
            if self.stop_early:
 
283
                self.stop()
158
284
 
159
285
    def addFailure(self, test, err):
160
 
        unittest.TestResult.addFailure(self, test, err)
161
 
        if self.showAll:
162
 
            self.stream.writeln(" FAIL %s" % self._elapsedTime())
163
 
        elif self.dots:
164
 
            self.stream.write('F')
165
 
        self.stream.flush()
166
 
        if self.stop_early:
167
 
            self.stop()
 
286
        """Tell result that test failed.
 
287
 
 
288
        Called from the TestCase run() method when the test
 
289
        fails because e.g. an assert() method failed.
 
290
        """
 
291
        self._testConcluded(test)
 
292
        if isinstance(err[1], KnownFailure):
 
293
            return self._addKnownFailure(test, err)
 
294
        else:
 
295
            unittest.TestResult.addFailure(self, test, err)
 
296
            self.failure_count += 1
 
297
            self.report_failure(test, err)
 
298
            if self.stop_early:
 
299
                self.stop()
168
300
 
169
301
    def addSuccess(self, test):
170
 
        if self.showAll:
171
 
            self.stream.writeln('   OK %s' % self._elapsedTime())
172
 
        elif self.dots:
173
 
            self.stream.write('~')
174
 
        self.stream.flush()
175
 
        unittest.TestResult.addSuccess(self, test)
176
 
 
177
 
    def addSkipped(self, test, skip_excinfo):
178
 
        if self.showAll:
179
 
            print >>self.stream, ' SKIP %s' % self._elapsedTime()
180
 
            print >>self.stream, '     %s' % skip_excinfo[1]
181
 
        elif self.dots:
182
 
            self.stream.write('S')
183
 
        self.stream.flush()
184
 
        # seems best to treat this as success from point-of-view of unittest
185
 
        # -- it actually does nothing so it barely matters :)
186
 
        unittest.TestResult.addSuccess(self, test)
 
302
        """Tell result that test completed successfully.
 
303
 
 
304
        Called from the TestCase run()
 
305
        """
 
306
        self._testConcluded(test)
 
307
        if self._bench_history is not None:
 
308
            benchmark_time = self._extractBenchmarkTime(test)
 
309
            if benchmark_time is not None:
 
310
                self._bench_history.write("%s %s\n" % (
 
311
                    self._formatTime(benchmark_time),
 
312
                    test.id()))
 
313
        self.report_success(test)
 
314
        unittest.TestResult.addSuccess(self, test)
 
315
 
 
316
    def _testConcluded(self, test):
 
317
        """Common code when a test has finished.
 
318
 
 
319
        Called regardless of whether it succeded, failed, etc.
 
320
        """
 
321
        self._cleanupLogFile(test)
 
322
 
 
323
    def _addKnownFailure(self, test, err):
 
324
        self.known_failure_count += 1
 
325
        self.report_known_failure(test, err)
 
326
 
 
327
    def addNotSupported(self, test, feature):
 
328
        """The test will not be run because of a missing feature.
 
329
        """
 
330
        # this can be called in two different ways: it may be that the
 
331
        # test started running, and then raised (through addError) 
 
332
        # UnavailableFeature.  Alternatively this method can be called
 
333
        # while probing for features before running the tests; in that
 
334
        # case we will see startTest and stopTest, but the test will never
 
335
        # actually run.
 
336
        self.unsupported.setdefault(str(feature), 0)
 
337
        self.unsupported[str(feature)] += 1
 
338
        self.report_unsupported(test, feature)
 
339
 
 
340
    def _addSkipped(self, test, skip_excinfo):
 
341
        if isinstance(skip_excinfo[1], TestNotApplicable):
 
342
            self.not_applicable_count += 1
 
343
            self.report_not_applicable(test, skip_excinfo)
 
344
        else:
 
345
            self.skip_count += 1
 
346
            self.report_skip(test, skip_excinfo)
 
347
        try:
 
348
            test.tearDown()
 
349
        except KeyboardInterrupt:
 
350
            raise
 
351
        except:
 
352
            self.addError(test, test._exc_info())
 
353
        else:
 
354
            # seems best to treat this as success from point-of-view of unittest
 
355
            # -- it actually does nothing so it barely matters :)
 
356
            unittest.TestResult.addSuccess(self, test)
187
357
 
188
358
    def printErrorList(self, flavour, errors):
189
359
        for test, err in errors:
190
360
            self.stream.writeln(self.separator1)
191
 
            self.stream.writeln("%s: %s" % (flavour, self.getDescription(test)))
 
361
            self.stream.write("%s: " % flavour)
 
362
            self.stream.writeln(self.getDescription(test))
192
363
            if getattr(test, '_get_log', None) is not None:
193
 
                print >>self.stream
194
 
                print >>self.stream, \
195
 
                        ('vvvv[log from %s]' % test.id()).ljust(78,'-')
196
 
                print >>self.stream, test._get_log()
197
 
                print >>self.stream, \
198
 
                        ('^^^^[log from %s]' % test.id()).ljust(78,'-')
 
364
                self.stream.write('\n')
 
365
                self.stream.write(
 
366
                        ('vvvv[log from %s]' % test.id()).ljust(78,'-'))
 
367
                self.stream.write('\n')
 
368
                self.stream.write(test._get_log())
 
369
                self.stream.write('\n')
 
370
                self.stream.write(
 
371
                        ('^^^^[log from %s]' % test.id()).ljust(78,'-'))
 
372
                self.stream.write('\n')
199
373
            self.stream.writeln(self.separator2)
200
374
            self.stream.writeln("%s" % err)
201
375
 
202
 
 
203
 
class TextTestRunner(unittest.TextTestRunner):
 
376
    def finished(self):
 
377
        pass
 
378
 
 
379
    def report_cleaning_up(self):
 
380
        pass
 
381
 
 
382
    def report_success(self, test):
 
383
        pass
 
384
 
 
385
    def wasStrictlySuccessful(self):
 
386
        if self.unsupported or self.known_failure_count:
 
387
            return False
 
388
        return self.wasSuccessful()
 
389
 
 
390
 
 
391
class TextTestResult(ExtendedTestResult):
 
392
    """Displays progress and results of tests in text form"""
 
393
 
 
394
    def __init__(self, stream, descriptions, verbosity,
 
395
                 bench_history=None,
 
396
                 num_tests=None,
 
397
                 pb=None,
 
398
                 ):
 
399
        ExtendedTestResult.__init__(self, stream, descriptions, verbosity,
 
400
            bench_history, num_tests)
 
401
        if pb is None:
 
402
            self.pb = self.ui.nested_progress_bar()
 
403
            self._supplied_pb = False
 
404
        else:
 
405
            self.pb = pb
 
406
            self._supplied_pb = True
 
407
        self.pb.show_pct = False
 
408
        self.pb.show_spinner = False
 
409
        self.pb.show_eta = False,
 
410
        self.pb.show_count = False
 
411
        self.pb.show_bar = False
 
412
 
 
413
    def report_starting(self):
 
414
        self.pb.update('[test 0/%d] starting...' % (self.num_tests))
 
415
 
 
416
    def _progress_prefix_text(self):
 
417
        a = '[%d' % self.count
 
418
        if self.num_tests is not None:
 
419
            a +='/%d' % self.num_tests
 
420
        a += ' in %ds' % (time.time() - self._overall_start_time)
 
421
        if self.error_count:
 
422
            a += ', %d errors' % self.error_count
 
423
        if self.failure_count:
 
424
            a += ', %d failed' % self.failure_count
 
425
        if self.known_failure_count:
 
426
            a += ', %d known failures' % self.known_failure_count
 
427
        if self.skip_count:
 
428
            a += ', %d skipped' % self.skip_count
 
429
        if self.unsupported:
 
430
            a += ', %d missing features' % len(self.unsupported)
 
431
        a += ']'
 
432
        return a
 
433
 
 
434
    def report_test_start(self, test):
 
435
        self.count += 1
 
436
        self.pb.update(
 
437
                self._progress_prefix_text()
 
438
                + ' ' 
 
439
                + self._shortened_test_description(test))
 
440
 
 
441
    def _test_description(self, test):
 
442
        return self._shortened_test_description(test)
 
443
 
 
444
    def report_error(self, test, err):
 
445
        self.pb.note('ERROR: %s\n    %s\n', 
 
446
            self._test_description(test),
 
447
            err[1],
 
448
            )
 
449
 
 
450
    def report_failure(self, test, err):
 
451
        self.pb.note('FAIL: %s\n    %s\n', 
 
452
            self._test_description(test),
 
453
            err[1],
 
454
            )
 
455
 
 
456
    def report_known_failure(self, test, err):
 
457
        self.pb.note('XFAIL: %s\n%s\n',
 
458
            self._test_description(test), err[1])
 
459
 
 
460
    def report_skip(self, test, skip_excinfo):
 
461
        pass
 
462
 
 
463
    def report_not_applicable(self, test, skip_excinfo):
 
464
        pass
 
465
 
 
466
    def report_unsupported(self, test, feature):
 
467
        """test cannot be run because feature is missing."""
 
468
                  
 
469
    def report_cleaning_up(self):
 
470
        self.pb.update('cleaning up...')
 
471
 
 
472
    def finished(self):
 
473
        if not self._supplied_pb:
 
474
            self.pb.finished()
 
475
 
 
476
 
 
477
class VerboseTestResult(ExtendedTestResult):
 
478
    """Produce long output, with one line per test run plus times"""
 
479
 
 
480
    def _ellipsize_to_right(self, a_string, final_width):
 
481
        """Truncate and pad a string, keeping the right hand side"""
 
482
        if len(a_string) > final_width:
 
483
            result = '...' + a_string[3-final_width:]
 
484
        else:
 
485
            result = a_string
 
486
        return result.ljust(final_width)
 
487
 
 
488
    def report_starting(self):
 
489
        self.stream.write('running %d tests...\n' % self.num_tests)
 
490
 
 
491
    def report_test_start(self, test):
 
492
        self.count += 1
 
493
        name = self._shortened_test_description(test)
 
494
        # width needs space for 6 char status, plus 1 for slash, plus 2 10-char
 
495
        # numbers, plus a trailing blank
 
496
        # when NUMBERED_DIRS: plus 5 chars on test number, plus 1 char on space
 
497
        self.stream.write(self._ellipsize_to_right(name,
 
498
                          osutils.terminal_width()-30))
 
499
        self.stream.flush()
 
500
 
 
501
    def _error_summary(self, err):
 
502
        indent = ' ' * 4
 
503
        return '%s%s' % (indent, err[1])
 
504
 
 
505
    def report_error(self, test, err):
 
506
        self.stream.writeln('ERROR %s\n%s'
 
507
                % (self._testTimeString(test),
 
508
                   self._error_summary(err)))
 
509
 
 
510
    def report_failure(self, test, err):
 
511
        self.stream.writeln(' FAIL %s\n%s'
 
512
                % (self._testTimeString(test),
 
513
                   self._error_summary(err)))
 
514
 
 
515
    def report_known_failure(self, test, err):
 
516
        self.stream.writeln('XFAIL %s\n%s'
 
517
                % (self._testTimeString(test),
 
518
                   self._error_summary(err)))
 
519
 
 
520
    def report_success(self, test):
 
521
        self.stream.writeln('   OK %s' % self._testTimeString(test))
 
522
        for bench_called, stats in getattr(test, '_benchcalls', []):
 
523
            self.stream.writeln('LSProf output for %s(%s, %s)' % bench_called)
 
524
            stats.pprint(file=self.stream)
 
525
        # flush the stream so that we get smooth output. This verbose mode is
 
526
        # used to show the output in PQM.
 
527
        self.stream.flush()
 
528
 
 
529
    def report_skip(self, test, skip_excinfo):
 
530
        self.stream.writeln(' SKIP %s\n%s'
 
531
                % (self._testTimeString(test),
 
532
                   self._error_summary(skip_excinfo)))
 
533
 
 
534
    def report_not_applicable(self, test, skip_excinfo):
 
535
        self.stream.writeln('  N/A %s\n%s'
 
536
                % (self._testTimeString(test),
 
537
                   self._error_summary(skip_excinfo)))
 
538
 
 
539
    def report_unsupported(self, test, feature):
 
540
        """test cannot be run because feature is missing."""
 
541
        self.stream.writeln("NODEP %s\n    The feature '%s' is not available."
 
542
                %(self._testTimeString(test), feature))
 
543
 
 
544
 
 
545
class TextTestRunner(object):
204
546
    stop_on_failure = False
205
547
 
206
 
    def _makeResult(self):
207
 
        result = _MyResult(self.stream, self.descriptions, self.verbosity)
 
548
    def __init__(self,
 
549
                 stream=sys.stderr,
 
550
                 descriptions=0,
 
551
                 verbosity=1,
 
552
                 bench_history=None,
 
553
                 list_only=False
 
554
                 ):
 
555
        self.stream = unittest._WritelnDecorator(stream)
 
556
        self.descriptions = descriptions
 
557
        self.verbosity = verbosity
 
558
        self._bench_history = bench_history
 
559
        self.list_only = list_only
 
560
 
 
561
    def run(self, test):
 
562
        "Run the given test case or test suite."
 
563
        startTime = time.time()
 
564
        if self.verbosity == 1:
 
565
            result_class = TextTestResult
 
566
        elif self.verbosity >= 2:
 
567
            result_class = VerboseTestResult
 
568
        result = result_class(self.stream,
 
569
                              self.descriptions,
 
570
                              self.verbosity,
 
571
                              bench_history=self._bench_history,
 
572
                              num_tests=test.countTestCases(),
 
573
                              )
208
574
        result.stop_early = self.stop_on_failure
 
575
        result.report_starting()
 
576
        if self.list_only:
 
577
            if self.verbosity >= 2:
 
578
                self.stream.writeln("Listing tests only ...\n")
 
579
            run = 0
 
580
            for t in iter_suite_tests(test):
 
581
                self.stream.writeln("%s" % (t.id()))
 
582
                run += 1
 
583
            actionTaken = "Listed"
 
584
        else: 
 
585
            test.run(result)
 
586
            run = result.testsRun
 
587
            actionTaken = "Ran"
 
588
        stopTime = time.time()
 
589
        timeTaken = stopTime - startTime
 
590
        result.printErrors()
 
591
        self.stream.writeln(result.separator2)
 
592
        self.stream.writeln("%s %d test%s in %.3fs" % (actionTaken,
 
593
                            run, run != 1 and "s" or "", timeTaken))
 
594
        self.stream.writeln()
 
595
        if not result.wasSuccessful():
 
596
            self.stream.write("FAILED (")
 
597
            failed, errored = map(len, (result.failures, result.errors))
 
598
            if failed:
 
599
                self.stream.write("failures=%d" % failed)
 
600
            if errored:
 
601
                if failed: self.stream.write(", ")
 
602
                self.stream.write("errors=%d" % errored)
 
603
            if result.known_failure_count:
 
604
                if failed or errored: self.stream.write(", ")
 
605
                self.stream.write("known_failure_count=%d" %
 
606
                    result.known_failure_count)
 
607
            self.stream.writeln(")")
 
608
        else:
 
609
            if result.known_failure_count:
 
610
                self.stream.writeln("OK (known_failures=%d)" %
 
611
                    result.known_failure_count)
 
612
            else:
 
613
                self.stream.writeln("OK")
 
614
        if result.skip_count > 0:
 
615
            skipped = result.skip_count
 
616
            self.stream.writeln('%d test%s skipped' %
 
617
                                (skipped, skipped != 1 and "s" or ""))
 
618
        if result.unsupported:
 
619
            for feature, count in sorted(result.unsupported.items()):
 
620
                self.stream.writeln("Missing feature '%s' skipped %d tests." %
 
621
                    (feature, count))
 
622
        result.finished()
209
623
        return result
210
624
 
211
625
 
224
638
 
225
639
class TestSkipped(Exception):
226
640
    """Indicates that a test was intentionally skipped, rather than failing."""
227
 
    # XXX: Not used yet
 
641
 
 
642
 
 
643
class TestNotApplicable(TestSkipped):
 
644
    """A test is not applicable to the situation where it was run.
 
645
 
 
646
    This is only normally raised by parameterized tests, if they find that 
 
647
    the instance they're constructed upon does not support one aspect 
 
648
    of its interface.
 
649
    """
 
650
 
 
651
 
 
652
class KnownFailure(AssertionError):
 
653
    """Indicates that a test failed in a precisely expected manner.
 
654
 
 
655
    Such failures dont block the whole test suite from passing because they are
 
656
    indicators of partially completed code or of future work. We have an
 
657
    explicit error for them so that we can ensure that they are always visible:
 
658
    KnownFailures are always shown in the output of bzr selftest.
 
659
    """
 
660
 
 
661
 
 
662
class UnavailableFeature(Exception):
 
663
    """A feature required for this test was not available.
 
664
 
 
665
    The feature should be used to construct the exception.
 
666
    """
228
667
 
229
668
 
230
669
class CommandFailed(Exception):
231
670
    pass
232
671
 
 
672
 
 
673
class StringIOWrapper(object):
 
674
    """A wrapper around cStringIO which just adds an encoding attribute.
 
675
    
 
676
    Internally we can check sys.stdout to see what the output encoding
 
677
    should be. However, cStringIO has no encoding attribute that we can
 
678
    set. So we wrap it instead.
 
679
    """
 
680
    encoding='ascii'
 
681
    _cstring = None
 
682
 
 
683
    def __init__(self, s=None):
 
684
        if s is not None:
 
685
            self.__dict__['_cstring'] = StringIO(s)
 
686
        else:
 
687
            self.__dict__['_cstring'] = StringIO()
 
688
 
 
689
    def __getattr__(self, name, getattr=getattr):
 
690
        return getattr(self.__dict__['_cstring'], name)
 
691
 
 
692
    def __setattr__(self, name, val):
 
693
        if name == 'encoding':
 
694
            self.__dict__['encoding'] = val
 
695
        else:
 
696
            return setattr(self._cstring, name, val)
 
697
 
 
698
 
 
699
class TestUIFactory(ui.CLIUIFactory):
 
700
    """A UI Factory for testing.
 
701
 
 
702
    Hide the progress bar but emit note()s.
 
703
    Redirect stdin.
 
704
    Allows get_password to be tested without real tty attached.
 
705
    """
 
706
 
 
707
    def __init__(self,
 
708
                 stdout=None,
 
709
                 stderr=None,
 
710
                 stdin=None):
 
711
        super(TestUIFactory, self).__init__()
 
712
        if stdin is not None:
 
713
            # We use a StringIOWrapper to be able to test various
 
714
            # encodings, but the user is still responsible to
 
715
            # encode the string and to set the encoding attribute
 
716
            # of StringIOWrapper.
 
717
            self.stdin = StringIOWrapper(stdin)
 
718
        if stdout is None:
 
719
            self.stdout = sys.stdout
 
720
        else:
 
721
            self.stdout = stdout
 
722
        if stderr is None:
 
723
            self.stderr = sys.stderr
 
724
        else:
 
725
            self.stderr = stderr
 
726
 
 
727
    def clear(self):
 
728
        """See progress.ProgressBar.clear()."""
 
729
 
 
730
    def clear_term(self):
 
731
        """See progress.ProgressBar.clear_term()."""
 
732
 
 
733
    def clear_term(self):
 
734
        """See progress.ProgressBar.clear_term()."""
 
735
 
 
736
    def finished(self):
 
737
        """See progress.ProgressBar.finished()."""
 
738
 
 
739
    def note(self, fmt_string, *args, **kwargs):
 
740
        """See progress.ProgressBar.note()."""
 
741
        self.stdout.write((fmt_string + "\n") % args)
 
742
 
 
743
    def progress_bar(self):
 
744
        return self
 
745
 
 
746
    def nested_progress_bar(self):
 
747
        return self
 
748
 
 
749
    def update(self, message, count=None, total=None):
 
750
        """See progress.ProgressBar.update()."""
 
751
 
 
752
    def get_non_echoed_password(self, prompt):
 
753
        """Get password from stdin without trying to handle the echo mode"""
 
754
        if prompt:
 
755
            self.stdout.write(prompt.encode(self.stdout.encoding, 'replace'))
 
756
        password = self.stdin.readline()
 
757
        if not password:
 
758
            raise EOFError
 
759
        if password[-1] == '\n':
 
760
            password = password[:-1]
 
761
        return password
 
762
 
 
763
 
233
764
class TestCase(unittest.TestCase):
234
765
    """Base class for bzr unit tests.
235
766
    
251
782
    accidentally overlooked.
252
783
    """
253
784
 
254
 
    BZRPATH = 'bzr'
255
785
    _log_file_name = None
256
786
    _log_contents = ''
 
787
    _keep_log_file = False
 
788
    # record lsprof data when performing benchmark calls.
 
789
    _gather_lsprof_in_benchmarks = False
257
790
 
258
791
    def __init__(self, methodName='testMethod'):
259
792
        super(TestCase, self).__init__(methodName)
263
796
        unittest.TestCase.setUp(self)
264
797
        self._cleanEnvironment()
265
798
        bzrlib.trace.disable_default_logging()
 
799
        self._silenceUI()
266
800
        self._startLogFile()
 
801
        self._benchcalls = []
 
802
        self._benchtime = None
 
803
        self._clear_hooks()
 
804
        self._clear_debug_flags()
 
805
 
 
806
    def _clear_debug_flags(self):
 
807
        """Prevent externally set debug flags affecting tests.
 
808
        
 
809
        Tests that want to use debug flags can just set them in the
 
810
        debug_flags set during setup/teardown.
 
811
        """
 
812
        self._preserved_debug_flags = set(debug.debug_flags)
 
813
        debug.debug_flags.clear()
 
814
        self.addCleanup(self._restore_debug_flags)
 
815
 
 
816
    def _clear_hooks(self):
 
817
        # prevent hooks affecting tests
 
818
        import bzrlib.branch
 
819
        import bzrlib.smart.server
 
820
        self._preserved_hooks = {
 
821
            bzrlib.branch.Branch: bzrlib.branch.Branch.hooks,
 
822
            bzrlib.smart.server.SmartTCPServer: bzrlib.smart.server.SmartTCPServer.hooks,
 
823
            }
 
824
        self.addCleanup(self._restoreHooks)
 
825
        # reset all hooks to an empty instance of the appropriate type
 
826
        bzrlib.branch.Branch.hooks = bzrlib.branch.BranchHooks()
 
827
        bzrlib.smart.server.SmartTCPServer.hooks = bzrlib.smart.server.SmartServerHooks()
 
828
 
 
829
    def _silenceUI(self):
 
830
        """Turn off UI for duration of test"""
 
831
        # by default the UI is off; tests can turn it on if they want it.
 
832
        saved = ui.ui_factory
 
833
        def _restore():
 
834
            ui.ui_factory = saved
 
835
        ui.ui_factory = ui.SilentUIFactory()
 
836
        self.addCleanup(_restore)
267
837
 
268
838
    def _ndiff_strings(self, a, b):
269
839
        """Return ndiff between two strings containing lines.
280
850
                                  charjunk=lambda x: False)
281
851
        return ''.join(difflines)
282
852
 
 
853
    def assertEqual(self, a, b, message=''):
 
854
        try:
 
855
            if a == b:
 
856
                return
 
857
        except UnicodeError, e:
 
858
            # If we can't compare without getting a UnicodeError, then
 
859
            # obviously they are different
 
860
            mutter('UnicodeError: %s', e)
 
861
        if message:
 
862
            message += '\n'
 
863
        raise AssertionError("%snot equal:\na = %s\nb = %s\n"
 
864
            % (message,
 
865
               pformat(a), pformat(b)))
 
866
 
 
867
    assertEquals = assertEqual
 
868
 
283
869
    def assertEqualDiff(self, a, b, message=None):
284
870
        """Assert two texts are equal, if not raise an exception.
285
871
        
291
877
            return
292
878
        if message is None:
293
879
            message = "texts not equal:\n"
294
 
        raise AssertionError(message + 
295
 
                             self._ndiff_strings(a, b))      
 
880
        raise AssertionError(message +
 
881
                             self._ndiff_strings(a, b))
296
882
        
297
883
    def assertEqualMode(self, mode, mode_test):
298
884
        self.assertEqual(mode, mode_test,
299
885
                         'mode mismatch %o != %o' % (mode, mode_test))
300
886
 
 
887
    def assertPositive(self, val):
 
888
        """Assert that val is greater than 0."""
 
889
        self.assertTrue(val > 0, 'expected a positive value, but got %s' % val)
 
890
 
 
891
    def assertNegative(self, val):
 
892
        """Assert that val is less than 0."""
 
893
        self.assertTrue(val < 0, 'expected a negative value, but got %s' % val)
 
894
 
301
895
    def assertStartsWith(self, s, prefix):
302
896
        if not s.startswith(prefix):
303
897
            raise AssertionError('string %r does not start with %r' % (s, prefix))
304
898
 
305
899
    def assertEndsWith(self, s, suffix):
306
 
        if not s.endswith(prefix):
 
900
        """Asserts that s ends with suffix."""
 
901
        if not s.endswith(suffix):
307
902
            raise AssertionError('string %r does not end with %r' % (s, suffix))
308
903
 
309
904
    def assertContainsRe(self, haystack, needle_re):
310
905
        """Assert that a contains something matching a regular expression."""
311
906
        if not re.search(needle_re, haystack):
312
 
            raise AssertionError('pattern "%s" not found in "%s"'
 
907
            if '\n' in haystack or len(haystack) > 60:
 
908
                # a long string, format it in a more readable way
 
909
                raise AssertionError(
 
910
                        'pattern "%s" not found in\n"""\\\n%s"""\n'
 
911
                        % (needle_re, haystack))
 
912
            else:
 
913
                raise AssertionError('pattern "%s" not found in "%s"'
 
914
                        % (needle_re, haystack))
 
915
 
 
916
    def assertNotContainsRe(self, haystack, needle_re):
 
917
        """Assert that a does not match a regular expression"""
 
918
        if re.search(needle_re, haystack):
 
919
            raise AssertionError('pattern "%s" found in "%s"'
313
920
                    % (needle_re, haystack))
314
921
 
315
922
    def assertSubset(self, sublist, superlist):
316
923
        """Assert that every entry in sublist is present in superlist."""
317
 
        missing = []
318
 
        for entry in sublist:
319
 
            if entry not in superlist:
320
 
                missing.append(entry)
 
924
        missing = set(sublist) - set(superlist)
321
925
        if len(missing) > 0:
322
 
            raise AssertionError("value(s) %r not present in container %r" % 
 
926
            raise AssertionError("value(s) %r not present in container %r" %
323
927
                                 (missing, superlist))
324
928
 
325
 
    def assertIs(self, left, right):
 
929
    def assertListRaises(self, excClass, func, *args, **kwargs):
 
930
        """Fail unless excClass is raised when the iterator from func is used.
 
931
        
 
932
        Many functions can return generators this makes sure
 
933
        to wrap them in a list() call to make sure the whole generator
 
934
        is run, and that the proper exception is raised.
 
935
        """
 
936
        try:
 
937
            list(func(*args, **kwargs))
 
938
        except excClass:
 
939
            return
 
940
        else:
 
941
            if getattr(excClass,'__name__', None) is not None:
 
942
                excName = excClass.__name__
 
943
            else:
 
944
                excName = str(excClass)
 
945
            raise self.failureException, "%s not raised" % excName
 
946
 
 
947
    def assertRaises(self, excClass, callableObj, *args, **kwargs):
 
948
        """Assert that a callable raises a particular exception.
 
949
 
 
950
        :param excClass: As for the except statement, this may be either an
 
951
            exception class, or a tuple of classes.
 
952
        :param callableObj: A callable, will be passed ``*args`` and
 
953
            ``**kwargs``.
 
954
 
 
955
        Returns the exception so that you can examine it.
 
956
        """
 
957
        try:
 
958
            callableObj(*args, **kwargs)
 
959
        except excClass, e:
 
960
            return e
 
961
        else:
 
962
            if getattr(excClass,'__name__', None) is not None:
 
963
                excName = excClass.__name__
 
964
            else:
 
965
                # probably a tuple
 
966
                excName = str(excClass)
 
967
            raise self.failureException, "%s not raised" % excName
 
968
 
 
969
    def assertIs(self, left, right, message=None):
326
970
        if not (left is right):
327
 
            raise AssertionError("%r is not %r." % (left, right))
 
971
            if message is not None:
 
972
                raise AssertionError(message)
 
973
            else:
 
974
                raise AssertionError("%r is not %r." % (left, right))
 
975
 
 
976
    def assertIsNot(self, left, right, message=None):
 
977
        if (left is right):
 
978
            if message is not None:
 
979
                raise AssertionError(message)
 
980
            else:
 
981
                raise AssertionError("%r is %r." % (left, right))
328
982
 
329
983
    def assertTransportMode(self, transport, path, mode):
330
984
        """Fail if a path does not have mode mode.
338
992
        self.assertEqual(mode, actual_mode,
339
993
            'mode of %r incorrect (%o != %o)' % (path, mode, actual_mode))
340
994
 
 
995
    def assertIsSameRealPath(self, path1, path2):
 
996
        """Fail if path1 and path2 points to different files"""
 
997
        self.assertEqual(osutils.realpath(path1),
 
998
                         osutils.realpath(path2),
 
999
                         "apparent paths:\na = %s\nb = %s\n," % (path1, path2))
 
1000
 
341
1001
    def assertIsInstance(self, obj, kls):
342
1002
        """Fail if obj is not an instance of kls"""
343
1003
        if not isinstance(obj, kls):
344
 
            self.fail("%r is not an instance of %s" % (obj, kls))
 
1004
            self.fail("%r is an instance of %s rather than %s" % (
 
1005
                obj, obj.__class__, kls))
 
1006
 
 
1007
    def expectFailure(self, reason, assertion, *args, **kwargs):
 
1008
        """Invoke a test, expecting it to fail for the given reason.
 
1009
 
 
1010
        This is for assertions that ought to succeed, but currently fail.
 
1011
        (The failure is *expected* but not *wanted*.)  Please be very precise
 
1012
        about the failure you're expecting.  If a new bug is introduced,
 
1013
        AssertionError should be raised, not KnownFailure.
 
1014
 
 
1015
        Frequently, expectFailure should be followed by an opposite assertion.
 
1016
        See example below.
 
1017
 
 
1018
        Intended to be used with a callable that raises AssertionError as the
 
1019
        'assertion' parameter.  args and kwargs are passed to the 'assertion'.
 
1020
 
 
1021
        Raises KnownFailure if the test fails.  Raises AssertionError if the
 
1022
        test succeeds.
 
1023
 
 
1024
        example usage::
 
1025
 
 
1026
          self.expectFailure('Math is broken', self.assertNotEqual, 54,
 
1027
                             dynamic_val)
 
1028
          self.assertEqual(42, dynamic_val)
 
1029
 
 
1030
          This means that a dynamic_val of 54 will cause the test to raise
 
1031
          a KnownFailure.  Once math is fixed and the expectFailure is removed,
 
1032
          only a dynamic_val of 42 will allow the test to pass.  Anything other
 
1033
          than 54 or 42 will cause an AssertionError.
 
1034
        """
 
1035
        try:
 
1036
            assertion(*args, **kwargs)
 
1037
        except AssertionError:
 
1038
            raise KnownFailure(reason)
 
1039
        else:
 
1040
            self.fail('Unexpected success.  Should have failed: %s' % reason)
 
1041
 
 
1042
    def _capture_deprecation_warnings(self, a_callable, *args, **kwargs):
 
1043
        """A helper for callDeprecated and applyDeprecated.
 
1044
 
 
1045
        :param a_callable: A callable to call.
 
1046
        :param args: The positional arguments for the callable
 
1047
        :param kwargs: The keyword arguments for the callable
 
1048
        :return: A tuple (warnings, result). result is the result of calling
 
1049
            a_callable(``*args``, ``**kwargs``).
 
1050
        """
 
1051
        local_warnings = []
 
1052
        def capture_warnings(msg, cls=None, stacklevel=None):
 
1053
            # we've hooked into a deprecation specific callpath,
 
1054
            # only deprecations should getting sent via it.
 
1055
            self.assertEqual(cls, DeprecationWarning)
 
1056
            local_warnings.append(msg)
 
1057
        original_warning_method = symbol_versioning.warn
 
1058
        symbol_versioning.set_warning_method(capture_warnings)
 
1059
        try:
 
1060
            result = a_callable(*args, **kwargs)
 
1061
        finally:
 
1062
            symbol_versioning.set_warning_method(original_warning_method)
 
1063
        return (local_warnings, result)
 
1064
 
 
1065
    def applyDeprecated(self, deprecation_format, a_callable, *args, **kwargs):
 
1066
        """Call a deprecated callable without warning the user.
 
1067
 
 
1068
        Note that this only captures warnings raised by symbol_versioning.warn,
 
1069
        not other callers that go direct to the warning module.
 
1070
 
 
1071
        To test that a deprecated method raises an error, do something like
 
1072
        this::
 
1073
 
 
1074
        self.assertRaises(errors.ReservedId,
 
1075
            self.applyDeprecated, zero_ninetyone,
 
1076
                br.append_revision, 'current:')
 
1077
 
 
1078
        :param deprecation_format: The deprecation format that the callable
 
1079
            should have been deprecated with. This is the same type as the
 
1080
            parameter to deprecated_method/deprecated_function. If the
 
1081
            callable is not deprecated with this format, an assertion error
 
1082
            will be raised.
 
1083
        :param a_callable: A callable to call. This may be a bound method or
 
1084
            a regular function. It will be called with ``*args`` and
 
1085
            ``**kwargs``.
 
1086
        :param args: The positional arguments for the callable
 
1087
        :param kwargs: The keyword arguments for the callable
 
1088
        :return: The result of a_callable(``*args``, ``**kwargs``)
 
1089
        """
 
1090
        call_warnings, result = self._capture_deprecation_warnings(a_callable,
 
1091
            *args, **kwargs)
 
1092
        expected_first_warning = symbol_versioning.deprecation_string(
 
1093
            a_callable, deprecation_format)
 
1094
        if len(call_warnings) == 0:
 
1095
            self.fail("No deprecation warning generated by call to %s" %
 
1096
                a_callable)
 
1097
        self.assertEqual(expected_first_warning, call_warnings[0])
 
1098
        return result
 
1099
 
 
1100
    def callCatchWarnings(self, fn, *args, **kw):
 
1101
        """Call a callable that raises python warnings.
 
1102
 
 
1103
        The caller's responsible for examining the returned warnings.
 
1104
 
 
1105
        If the callable raises an exception, the exception is not
 
1106
        caught and propagates up to the caller.  In that case, the list
 
1107
        of warnings is not available.
 
1108
 
 
1109
        :returns: ([warning_object, ...], fn_result)
 
1110
        """
 
1111
        # XXX: This is not perfect, because it completely overrides the
 
1112
        # warnings filters, and some code may depend on suppressing particular
 
1113
        # warnings.  It's the easiest way to insulate ourselves from -Werror,
 
1114
        # though.  -- Andrew, 20071062
 
1115
        wlist = []
 
1116
        def _catcher(message, category, filename, lineno, file=None):
 
1117
            # despite the name, 'message' is normally(?) a Warning subclass
 
1118
            # instance
 
1119
            wlist.append(message)
 
1120
        saved_showwarning = warnings.showwarning
 
1121
        saved_filters = warnings.filters
 
1122
        try:
 
1123
            warnings.showwarning = _catcher
 
1124
            warnings.filters = []
 
1125
            result = fn(*args, **kw)
 
1126
        finally:
 
1127
            warnings.showwarning = saved_showwarning
 
1128
            warnings.filters = saved_filters
 
1129
        return wlist, result
 
1130
 
 
1131
    def callDeprecated(self, expected, callable, *args, **kwargs):
 
1132
        """Assert that a callable is deprecated in a particular way.
 
1133
 
 
1134
        This is a very precise test for unusual requirements. The 
 
1135
        applyDeprecated helper function is probably more suited for most tests
 
1136
        as it allows you to simply specify the deprecation format being used
 
1137
        and will ensure that that is issued for the function being called.
 
1138
 
 
1139
        Note that this only captures warnings raised by symbol_versioning.warn,
 
1140
        not other callers that go direct to the warning module.  To catch
 
1141
        general warnings, use callCatchWarnings.
 
1142
 
 
1143
        :param expected: a list of the deprecation warnings expected, in order
 
1144
        :param callable: The callable to call
 
1145
        :param args: The positional arguments for the callable
 
1146
        :param kwargs: The keyword arguments for the callable
 
1147
        """
 
1148
        call_warnings, result = self._capture_deprecation_warnings(callable,
 
1149
            *args, **kwargs)
 
1150
        self.assertEqual(expected, call_warnings)
 
1151
        return result
345
1152
 
346
1153
    def _startLogFile(self):
347
1154
        """Send bzr and test log messages to a temporary file.
349
1156
        The file is removed as the test is torn down.
350
1157
        """
351
1158
        fileno, name = tempfile.mkstemp(suffix='.log', prefix='testbzr')
352
 
        encoder, decoder, stream_reader, stream_writer = codecs.lookup('UTF-8')
353
 
        self._log_file = stream_writer(os.fdopen(fileno, 'w+'))
 
1159
        self._log_file = os.fdopen(fileno, 'w+')
354
1160
        self._log_nonce = bzrlib.trace.enable_test_log(self._log_file)
355
1161
        self._log_file_name = name
356
1162
        self.addCleanup(self._finishLogFile)
358
1164
    def _finishLogFile(self):
359
1165
        """Finished with the log file.
360
1166
 
361
 
        Read contents into memory, close, and delete.
 
1167
        Close the file and delete it, unless setKeepLogfile was called.
362
1168
        """
 
1169
        if self._log_file is None:
 
1170
            return
363
1171
        bzrlib.trace.disable_test_log(self._log_nonce)
364
 
        self._log_file.seek(0)
365
 
        self._log_contents = self._log_file.read()
366
1172
        self._log_file.close()
367
 
        os.remove(self._log_file_name)
368
 
        self._log_file = self._log_file_name = None
 
1173
        self._log_file = None
 
1174
        if not self._keep_log_file:
 
1175
            os.remove(self._log_file_name)
 
1176
            self._log_file_name = None
 
1177
 
 
1178
    def setKeepLogfile(self):
 
1179
        """Make the logfile not be deleted when _finishLogFile is called."""
 
1180
        self._keep_log_file = True
369
1181
 
370
1182
    def addCleanup(self, callable):
371
1183
        """Arrange to run a callable when this case is torn down.
380
1192
 
381
1193
    def _cleanEnvironment(self):
382
1194
        new_env = {
 
1195
            'BZR_HOME': None, # Don't inherit BZR_HOME to all the tests.
383
1196
            'HOME': os.getcwd(),
384
 
            'APPDATA': os.getcwd(),
385
 
            'BZREMAIL': None,
 
1197
            'APPDATA': None,  # bzr now use Win32 API and don't rely on APPDATA
 
1198
            'BZR_EDITOR': None, # test_msgeditor manipulates this variable
 
1199
            'BZR_EMAIL': None,
 
1200
            'BZREMAIL': None, # may still be present in the environment
386
1201
            'EMAIL': None,
 
1202
            'BZR_PROGRESS_BAR': None,
 
1203
            # SSH Agent
 
1204
            'SSH_AUTH_SOCK': None,
 
1205
            # Proxies
 
1206
            'http_proxy': None,
 
1207
            'HTTP_PROXY': None,
 
1208
            'https_proxy': None,
 
1209
            'HTTPS_PROXY': None,
 
1210
            'no_proxy': None,
 
1211
            'NO_PROXY': None,
 
1212
            'all_proxy': None,
 
1213
            'ALL_PROXY': None,
 
1214
            # Nobody cares about these ones AFAIK. So far at
 
1215
            # least. If you do (care), please update this comment
 
1216
            # -- vila 20061212
 
1217
            'ftp_proxy': None,
 
1218
            'FTP_PROXY': None,
 
1219
            'BZR_REMOTE_PATH': None,
387
1220
        }
388
1221
        self.__old_env = {}
389
1222
        self.addCleanup(self._restoreEnvironment)
390
1223
        for name, value in new_env.iteritems():
391
1224
            self._captureVar(name, value)
392
1225
 
393
 
 
394
1226
    def _captureVar(self, name, newvalue):
395
 
        """Set an environment variable, preparing it to be reset when finished."""
396
 
        self.__old_env[name] = os.environ.get(name, None)
397
 
        if newvalue is None:
398
 
            if name in os.environ:
399
 
                del os.environ[name]
400
 
        else:
401
 
            os.environ[name] = newvalue
 
1227
        """Set an environment variable, and reset it when finished."""
 
1228
        self.__old_env[name] = osutils.set_or_unset_env(name, newvalue)
402
1229
 
403
 
    @staticmethod
404
 
    def _restoreVar(name, value):
405
 
        if value is None:
406
 
            if name in os.environ:
407
 
                del os.environ[name]
408
 
        else:
409
 
            os.environ[name] = value
 
1230
    def _restore_debug_flags(self):
 
1231
        debug.debug_flags.clear()
 
1232
        debug.debug_flags.update(self._preserved_debug_flags)
410
1233
 
411
1234
    def _restoreEnvironment(self):
412
1235
        for name, value in self.__old_env.iteritems():
413
 
            self._restoreVar(name, value)
 
1236
            osutils.set_or_unset_env(name, value)
 
1237
 
 
1238
    def _restoreHooks(self):
 
1239
        for klass, hooks in self._preserved_hooks.items():
 
1240
            setattr(klass, 'hooks', hooks)
 
1241
 
 
1242
    def knownFailure(self, reason):
 
1243
        """This test has failed for some known reason."""
 
1244
        raise KnownFailure(reason)
 
1245
 
 
1246
    def run(self, result=None):
 
1247
        if result is None: result = self.defaultTestResult()
 
1248
        for feature in getattr(self, '_test_needs_features', []):
 
1249
            if not feature.available():
 
1250
                result.startTest(self)
 
1251
                if getattr(result, 'addNotSupported', None):
 
1252
                    result.addNotSupported(self, feature)
 
1253
                else:
 
1254
                    result.addSuccess(self)
 
1255
                result.stopTest(self)
 
1256
                return
 
1257
        return unittest.TestCase.run(self, result)
414
1258
 
415
1259
    def tearDown(self):
416
1260
        self._runCleanups()
417
1261
        unittest.TestCase.tearDown(self)
418
1262
 
 
1263
    def time(self, callable, *args, **kwargs):
 
1264
        """Run callable and accrue the time it takes to the benchmark time.
 
1265
        
 
1266
        If lsprofiling is enabled (i.e. by --lsprof-time to bzr selftest) then
 
1267
        this will cause lsprofile statistics to be gathered and stored in
 
1268
        self._benchcalls.
 
1269
        """
 
1270
        if self._benchtime is None:
 
1271
            self._benchtime = 0
 
1272
        start = time.time()
 
1273
        try:
 
1274
            if not self._gather_lsprof_in_benchmarks:
 
1275
                return callable(*args, **kwargs)
 
1276
            else:
 
1277
                # record this benchmark
 
1278
                ret, stats = bzrlib.lsprof.profile(callable, *args, **kwargs)
 
1279
                stats.sort()
 
1280
                self._benchcalls.append(((callable, args, kwargs), stats))
 
1281
                return ret
 
1282
        finally:
 
1283
            self._benchtime += time.time() - start
 
1284
 
419
1285
    def _runCleanups(self):
420
1286
        """Run registered cleanup functions. 
421
1287
 
423
1289
        """
424
1290
        # TODO: Perhaps this should keep running cleanups even if 
425
1291
        # one of them fails?
426
 
        for cleanup_fn in reversed(self._cleanups):
427
 
            cleanup_fn()
 
1292
 
 
1293
        # Actually pop the cleanups from the list so tearDown running
 
1294
        # twice is safe (this happens for skipped tests).
 
1295
        while self._cleanups:
 
1296
            self._cleanups.pop()()
428
1297
 
429
1298
    def log(self, *args):
430
1299
        mutter(*args)
431
1300
 
432
 
    def _get_log(self):
433
 
        """Return as a string the log for this test"""
434
 
        if self._log_file_name:
435
 
            return open(self._log_file_name).read()
436
 
        else:
 
1301
    def _get_log(self, keep_log_file=False):
 
1302
        """Get the log from bzrlib.trace calls from this test.
 
1303
 
 
1304
        :param keep_log_file: When True, if the log is still a file on disk
 
1305
            leave it as a file on disk. When False, if the log is still a file
 
1306
            on disk, the log file is deleted and the log preserved as
 
1307
            self._log_contents.
 
1308
        :return: A string containing the log.
 
1309
        """
 
1310
        # flush the log file, to get all content
 
1311
        import bzrlib.trace
 
1312
        bzrlib.trace._trace_file.flush()
 
1313
        if self._log_contents:
437
1314
            return self._log_contents
438
 
        # TODO: Delete the log after it's been read in
439
 
 
440
 
    def capture(self, cmd, retcode=0):
441
 
        """Shortcut that splits cmd into words, runs, and returns stdout"""
442
 
        return self.run_bzr_captured(cmd.split(), retcode=retcode)[0]
443
 
 
444
 
    def run_bzr_captured(self, argv, retcode=0):
445
 
        """Invoke bzr and return (stdout, stderr).
446
 
 
447
 
        Useful for code that wants to check the contents of the
448
 
        output, the way error messages are presented, etc.
449
 
 
450
 
        This should be the main method for tests that want to exercise the
451
 
        overall behavior of the bzr application (rather than a unit test
452
 
        or a functional test of the library.)
453
 
 
454
 
        Much of the old code runs bzr by forking a new copy of Python, but
455
 
        that is slower, harder to debug, and generally not necessary.
456
 
 
457
 
        This runs bzr through the interface that catches and reports
458
 
        errors, and with logging set to something approximating the
459
 
        default, so that error reporting can be checked.
460
 
 
461
 
        argv -- arguments to invoke bzr
462
 
        retcode -- expected return code, or None for don't-care.
 
1315
        if self._log_file_name is not None:
 
1316
            logfile = open(self._log_file_name)
 
1317
            try:
 
1318
                log_contents = logfile.read()
 
1319
            finally:
 
1320
                logfile.close()
 
1321
            if not keep_log_file:
 
1322
                self._log_contents = log_contents
 
1323
                try:
 
1324
                    os.remove(self._log_file_name)
 
1325
                except OSError, e:
 
1326
                    if sys.platform == 'win32' and e.errno == errno.EACCES:
 
1327
                        sys.stderr.write(('Unable to delete log file '
 
1328
                                             ' %r\n' % self._log_file_name))
 
1329
                    else:
 
1330
                        raise
 
1331
            return log_contents
 
1332
        else:
 
1333
            return "DELETED log file to reduce memory footprint"
 
1334
 
 
1335
    def requireFeature(self, feature):
 
1336
        """This test requires a specific feature is available.
 
1337
 
 
1338
        :raises UnavailableFeature: When feature is not available.
463
1339
        """
464
 
        stdout = StringIO()
465
 
        stderr = StringIO()
466
 
        self.log('run bzr: %s', ' '.join(argv))
 
1340
        if not feature.available():
 
1341
            raise UnavailableFeature(feature)
 
1342
 
 
1343
    def _run_bzr_autosplit(self, args, retcode, encoding, stdin,
 
1344
            working_dir):
 
1345
        """Run bazaar command line, splitting up a string command line."""
 
1346
        if isinstance(args, basestring):
 
1347
            # shlex don't understand unicode strings,
 
1348
            # so args should be plain string (bialix 20070906)
 
1349
            args = list(shlex.split(str(args)))
 
1350
        return self._run_bzr_core(args, retcode=retcode,
 
1351
                encoding=encoding, stdin=stdin, working_dir=working_dir,
 
1352
                )
 
1353
 
 
1354
    def _run_bzr_core(self, args, retcode, encoding, stdin,
 
1355
            working_dir):
 
1356
        if encoding is None:
 
1357
            encoding = bzrlib.user_encoding
 
1358
        stdout = StringIOWrapper()
 
1359
        stderr = StringIOWrapper()
 
1360
        stdout.encoding = encoding
 
1361
        stderr.encoding = encoding
 
1362
 
 
1363
        self.log('run bzr: %r', args)
467
1364
        # FIXME: don't call into logging here
468
1365
        handler = logging.StreamHandler(stderr)
469
 
        handler.setFormatter(bzrlib.trace.QuietFormatter())
470
1366
        handler.setLevel(logging.INFO)
471
1367
        logger = logging.getLogger('')
472
1368
        logger.addHandler(handler)
 
1369
        old_ui_factory = ui.ui_factory
 
1370
        ui.ui_factory = TestUIFactory(stdin=stdin, stdout=stdout, stderr=stderr)
 
1371
 
 
1372
        cwd = None
 
1373
        if working_dir is not None:
 
1374
            cwd = osutils.getcwd()
 
1375
            os.chdir(working_dir)
 
1376
 
473
1377
        try:
474
 
            result = self.apply_redirected(None, stdout, stderr,
475
 
                                           bzrlib.commands.run_bzr_catch_errors,
476
 
                                           argv)
 
1378
            result = self.apply_redirected(ui.ui_factory.stdin,
 
1379
                stdout, stderr,
 
1380
                bzrlib.commands.run_bzr_catch_user_errors,
 
1381
                args)
477
1382
        finally:
478
1383
            logger.removeHandler(handler)
 
1384
            ui.ui_factory = old_ui_factory
 
1385
            if cwd is not None:
 
1386
                os.chdir(cwd)
 
1387
 
479
1388
        out = stdout.getvalue()
480
1389
        err = stderr.getvalue()
481
1390
        if out:
482
 
            self.log('output:\n%s', out)
 
1391
            self.log('output:\n%r', out)
483
1392
        if err:
484
 
            self.log('errors:\n%s', err)
 
1393
            self.log('errors:\n%r', err)
485
1394
        if retcode is not None:
486
 
            self.assertEquals(result, retcode)
 
1395
            self.assertEquals(retcode, result,
 
1396
                              message='Unexpected return code')
487
1397
        return out, err
488
1398
 
489
 
    def run_bzr(self, *args, **kwargs):
 
1399
    def run_bzr(self, args, retcode=0, encoding=None, stdin=None,
 
1400
                working_dir=None, error_regexes=[], output_encoding=None):
490
1401
        """Invoke bzr, as if it were run from the command line.
491
1402
 
 
1403
        The argument list should not include the bzr program name - the
 
1404
        first argument is normally the bzr command.  Arguments may be
 
1405
        passed in three ways:
 
1406
 
 
1407
        1- A list of strings, eg ["commit", "a"].  This is recommended
 
1408
        when the command contains whitespace or metacharacters, or 
 
1409
        is built up at run time.
 
1410
 
 
1411
        2- A single string, eg "add a".  This is the most convenient 
 
1412
        for hardcoded commands.
 
1413
 
 
1414
        This runs bzr through the interface that catches and reports
 
1415
        errors, and with logging set to something approximating the
 
1416
        default, so that error reporting can be checked.
 
1417
 
492
1418
        This should be the main method for tests that want to exercise the
493
1419
        overall behavior of the bzr application (rather than a unit test
494
1420
        or a functional test of the library.)
495
1421
 
496
1422
        This sends the stdout/stderr results into the test's log,
497
1423
        where it may be useful for debugging.  See also run_captured.
498
 
        """
499
 
        retcode = kwargs.pop('retcode', 0)
500
 
        return self.run_bzr_captured(args, retcode)
 
1424
 
 
1425
        :keyword stdin: A string to be used as stdin for the command.
 
1426
        :keyword retcode: The status code the command should return;
 
1427
            default 0.
 
1428
        :keyword working_dir: The directory to run the command in
 
1429
        :keyword error_regexes: A list of expected error messages.  If
 
1430
            specified they must be seen in the error output of the command.
 
1431
        """
 
1432
        out, err = self._run_bzr_autosplit(
 
1433
            args=args,
 
1434
            retcode=retcode,
 
1435
            encoding=encoding,
 
1436
            stdin=stdin,
 
1437
            working_dir=working_dir,
 
1438
            )
 
1439
        for regex in error_regexes:
 
1440
            self.assertContainsRe(err, regex)
 
1441
        return out, err
 
1442
 
 
1443
    def run_bzr_error(self, error_regexes, *args, **kwargs):
 
1444
        """Run bzr, and check that stderr contains the supplied regexes
 
1445
 
 
1446
        :param error_regexes: Sequence of regular expressions which
 
1447
            must each be found in the error output. The relative ordering
 
1448
            is not enforced.
 
1449
        :param args: command-line arguments for bzr
 
1450
        :param kwargs: Keyword arguments which are interpreted by run_bzr
 
1451
            This function changes the default value of retcode to be 3,
 
1452
            since in most cases this is run when you expect bzr to fail.
 
1453
 
 
1454
        :return: (out, err) The actual output of running the command (in case
 
1455
            you want to do more inspection)
 
1456
 
 
1457
        Examples of use::
 
1458
 
 
1459
            # Make sure that commit is failing because there is nothing to do
 
1460
            self.run_bzr_error(['no changes to commit'],
 
1461
                               ['commit', '-m', 'my commit comment'])
 
1462
            # Make sure --strict is handling an unknown file, rather than
 
1463
            # giving us the 'nothing to do' error
 
1464
            self.build_tree(['unknown'])
 
1465
            self.run_bzr_error(['Commit refused because there are unknown files'],
 
1466
                               ['commit', --strict', '-m', 'my commit comment'])
 
1467
        """
 
1468
        kwargs.setdefault('retcode', 3)
 
1469
        kwargs['error_regexes'] = error_regexes
 
1470
        out, err = self.run_bzr(*args, **kwargs)
 
1471
        return out, err
 
1472
 
 
1473
    def run_bzr_subprocess(self, *args, **kwargs):
 
1474
        """Run bzr in a subprocess for testing.
 
1475
 
 
1476
        This starts a new Python interpreter and runs bzr in there. 
 
1477
        This should only be used for tests that have a justifiable need for
 
1478
        this isolation: e.g. they are testing startup time, or signal
 
1479
        handling, or early startup code, etc.  Subprocess code can't be 
 
1480
        profiled or debugged so easily.
 
1481
 
 
1482
        :keyword retcode: The status code that is expected.  Defaults to 0.  If
 
1483
            None is supplied, the status code is not checked.
 
1484
        :keyword env_changes: A dictionary which lists changes to environment
 
1485
            variables. A value of None will unset the env variable.
 
1486
            The values must be strings. The change will only occur in the
 
1487
            child, so you don't need to fix the environment after running.
 
1488
        :keyword universal_newlines: Convert CRLF => LF
 
1489
        :keyword allow_plugins: By default the subprocess is run with
 
1490
            --no-plugins to ensure test reproducibility. Also, it is possible
 
1491
            for system-wide plugins to create unexpected output on stderr,
 
1492
            which can cause unnecessary test failures.
 
1493
        """
 
1494
        env_changes = kwargs.get('env_changes', {})
 
1495
        working_dir = kwargs.get('working_dir', None)
 
1496
        allow_plugins = kwargs.get('allow_plugins', False)
 
1497
        if len(args) == 1:
 
1498
            if isinstance(args[0], list):
 
1499
                args = args[0]
 
1500
            elif isinstance(args[0], basestring):
 
1501
                args = list(shlex.split(args[0]))
 
1502
        else:
 
1503
            symbol_versioning.warn(zero_ninetyone %
 
1504
                                   "passing varargs to run_bzr_subprocess",
 
1505
                                   DeprecationWarning, stacklevel=3)
 
1506
        process = self.start_bzr_subprocess(args, env_changes=env_changes,
 
1507
                                            working_dir=working_dir,
 
1508
                                            allow_plugins=allow_plugins)
 
1509
        # We distinguish between retcode=None and retcode not passed.
 
1510
        supplied_retcode = kwargs.get('retcode', 0)
 
1511
        return self.finish_bzr_subprocess(process, retcode=supplied_retcode,
 
1512
            universal_newlines=kwargs.get('universal_newlines', False),
 
1513
            process_args=args)
 
1514
 
 
1515
    def start_bzr_subprocess(self, process_args, env_changes=None,
 
1516
                             skip_if_plan_to_signal=False,
 
1517
                             working_dir=None,
 
1518
                             allow_plugins=False):
 
1519
        """Start bzr in a subprocess for testing.
 
1520
 
 
1521
        This starts a new Python interpreter and runs bzr in there.
 
1522
        This should only be used for tests that have a justifiable need for
 
1523
        this isolation: e.g. they are testing startup time, or signal
 
1524
        handling, or early startup code, etc.  Subprocess code can't be
 
1525
        profiled or debugged so easily.
 
1526
 
 
1527
        :param process_args: a list of arguments to pass to the bzr executable,
 
1528
            for example ``['--version']``.
 
1529
        :param env_changes: A dictionary which lists changes to environment
 
1530
            variables. A value of None will unset the env variable.
 
1531
            The values must be strings. The change will only occur in the
 
1532
            child, so you don't need to fix the environment after running.
 
1533
        :param skip_if_plan_to_signal: raise TestSkipped when true and os.kill
 
1534
            is not available.
 
1535
        :param allow_plugins: If False (default) pass --no-plugins to bzr.
 
1536
 
 
1537
        :returns: Popen object for the started process.
 
1538
        """
 
1539
        if skip_if_plan_to_signal:
 
1540
            if not getattr(os, 'kill', None):
 
1541
                raise TestSkipped("os.kill not available.")
 
1542
 
 
1543
        if env_changes is None:
 
1544
            env_changes = {}
 
1545
        old_env = {}
 
1546
 
 
1547
        def cleanup_environment():
 
1548
            for env_var, value in env_changes.iteritems():
 
1549
                old_env[env_var] = osutils.set_or_unset_env(env_var, value)
 
1550
 
 
1551
        def restore_environment():
 
1552
            for env_var, value in old_env.iteritems():
 
1553
                osutils.set_or_unset_env(env_var, value)
 
1554
 
 
1555
        bzr_path = self.get_bzr_path()
 
1556
 
 
1557
        cwd = None
 
1558
        if working_dir is not None:
 
1559
            cwd = osutils.getcwd()
 
1560
            os.chdir(working_dir)
 
1561
 
 
1562
        try:
 
1563
            # win32 subprocess doesn't support preexec_fn
 
1564
            # so we will avoid using it on all platforms, just to
 
1565
            # make sure the code path is used, and we don't break on win32
 
1566
            cleanup_environment()
 
1567
            command = [sys.executable, bzr_path]
 
1568
            if not allow_plugins:
 
1569
                command.append('--no-plugins')
 
1570
            command.extend(process_args)
 
1571
            process = self._popen(command, stdin=PIPE, stdout=PIPE, stderr=PIPE)
 
1572
        finally:
 
1573
            restore_environment()
 
1574
            if cwd is not None:
 
1575
                os.chdir(cwd)
 
1576
 
 
1577
        return process
 
1578
 
 
1579
    def _popen(self, *args, **kwargs):
 
1580
        """Place a call to Popen.
 
1581
 
 
1582
        Allows tests to override this method to intercept the calls made to
 
1583
        Popen for introspection.
 
1584
        """
 
1585
        return Popen(*args, **kwargs)
 
1586
 
 
1587
    def get_bzr_path(self):
 
1588
        """Return the path of the 'bzr' executable for this test suite."""
 
1589
        bzr_path = os.path.dirname(os.path.dirname(bzrlib.__file__))+'/bzr'
 
1590
        if not os.path.isfile(bzr_path):
 
1591
            # We are probably installed. Assume sys.argv is the right file
 
1592
            bzr_path = sys.argv[0]
 
1593
        return bzr_path
 
1594
 
 
1595
    def finish_bzr_subprocess(self, process, retcode=0, send_signal=None,
 
1596
                              universal_newlines=False, process_args=None):
 
1597
        """Finish the execution of process.
 
1598
 
 
1599
        :param process: the Popen object returned from start_bzr_subprocess.
 
1600
        :param retcode: The status code that is expected.  Defaults to 0.  If
 
1601
            None is supplied, the status code is not checked.
 
1602
        :param send_signal: an optional signal to send to the process.
 
1603
        :param universal_newlines: Convert CRLF => LF
 
1604
        :returns: (stdout, stderr)
 
1605
        """
 
1606
        if send_signal is not None:
 
1607
            os.kill(process.pid, send_signal)
 
1608
        out, err = process.communicate()
 
1609
 
 
1610
        if universal_newlines:
 
1611
            out = out.replace('\r\n', '\n')
 
1612
            err = err.replace('\r\n', '\n')
 
1613
 
 
1614
        if retcode is not None and retcode != process.returncode:
 
1615
            if process_args is None:
 
1616
                process_args = "(unknown args)"
 
1617
            mutter('Output of bzr %s:\n%s', process_args, out)
 
1618
            mutter('Error for bzr %s:\n%s', process_args, err)
 
1619
            self.fail('Command bzr %s failed with retcode %s != %s'
 
1620
                      % (process_args, retcode, process.returncode))
 
1621
        return [out, err]
501
1622
 
502
1623
    def check_inventory_shape(self, inv, shape):
503
1624
        """Compare an inventory to a list of expected names.
508
1629
        shape = list(shape)             # copy
509
1630
        for path, ie in inv.entries():
510
1631
            name = path.replace('\\', '/')
511
 
            if ie.kind == 'dir':
 
1632
            if ie.kind == 'directory':
512
1633
                name = name + '/'
513
1634
            if name in shape:
514
1635
                shape.remove(name)
551
1672
            sys.stderr = real_stderr
552
1673
            sys.stdin = real_stdin
553
1674
 
554
 
    def merge(self, branch_from, wt_to):
555
 
        """A helper for tests to do a ui-less merge.
556
 
 
557
 
        This should move to the main library when someone has time to integrate
558
 
        it in.
559
 
        """
560
 
        # minimal ui-less merge.
561
 
        wt_to.branch.fetch(branch_from)
562
 
        base_rev = common_ancestor(branch_from.last_revision(),
563
 
                                   wt_to.branch.last_revision(),
564
 
                                   wt_to.branch.repository)
565
 
        merge_inner(wt_to.branch, branch_from.basis_tree(), 
566
 
                    wt_to.branch.repository.revision_tree(base_rev),
567
 
                    this_tree=wt_to)
568
 
        wt_to.add_pending_merge(branch_from.last_revision())
569
 
 
570
 
 
571
 
BzrTestBase = TestCase
 
1675
    def reduceLockdirTimeout(self):
 
1676
        """Reduce the default lock timeout for the duration of the test, so that
 
1677
        if LockContention occurs during a test, it does so quickly.
 
1678
 
 
1679
        Tests that expect to provoke LockContention errors should call this.
 
1680
        """
 
1681
        orig_timeout = bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS
 
1682
        def resetTimeout():
 
1683
            bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS = orig_timeout
 
1684
        self.addCleanup(resetTimeout)
 
1685
        bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS = 0
 
1686
 
 
1687
    def make_utf8_encoded_stringio(self, encoding_type=None):
 
1688
        """Return a StringIOWrapper instance, that will encode Unicode
 
1689
        input to UTF-8.
 
1690
        """
 
1691
        if encoding_type is None:
 
1692
            encoding_type = 'strict'
 
1693
        sio = StringIO()
 
1694
        output_encoding = 'utf-8'
 
1695
        sio = codecs.getwriter(output_encoding)(sio, errors=encoding_type)
 
1696
        sio.encoding = output_encoding
 
1697
        return sio
 
1698
 
 
1699
 
 
1700
class TestCaseWithMemoryTransport(TestCase):
 
1701
    """Common test class for tests that do not need disk resources.
 
1702
 
 
1703
    Tests that need disk resources should derive from TestCaseWithTransport.
 
1704
 
 
1705
    TestCaseWithMemoryTransport sets the TEST_ROOT variable for all bzr tests.
 
1706
 
 
1707
    For TestCaseWithMemoryTransport the test_home_dir is set to the name of
 
1708
    a directory which does not exist. This serves to help ensure test isolation
 
1709
    is preserved. test_dir is set to the TEST_ROOT, as is cwd, because they
 
1710
    must exist. However, TestCaseWithMemoryTransport does not offer local
 
1711
    file defaults for the transport in tests, nor does it obey the command line
 
1712
    override, so tests that accidentally write to the common directory should
 
1713
    be rare.
 
1714
 
 
1715
    :cvar TEST_ROOT: Directory containing all temporary directories, plus
 
1716
    a .bzr directory that stops us ascending higher into the filesystem.
 
1717
    """
 
1718
 
 
1719
    TEST_ROOT = None
 
1720
    _TEST_NAME = 'test'
 
1721
 
 
1722
    def __init__(self, methodName='runTest'):
 
1723
        # allow test parameterization after test construction and before test
 
1724
        # execution. Variables that the parameterizer sets need to be 
 
1725
        # ones that are not set by setUp, or setUp will trash them.
 
1726
        super(TestCaseWithMemoryTransport, self).__init__(methodName)
 
1727
        self.vfs_transport_factory = default_transport
 
1728
        self.transport_server = None
 
1729
        self.transport_readonly_server = None
 
1730
        self.__vfs_server = None
 
1731
 
 
1732
    def get_transport(self, relpath=None):
 
1733
        """Return a writeable transport.
 
1734
 
 
1735
        This transport is for the test scratch space relative to
 
1736
        "self._test_root"
 
1737
        
 
1738
        :param relpath: a path relative to the base url.
 
1739
        """
 
1740
        t = get_transport(self.get_url(relpath))
 
1741
        self.assertFalse(t.is_readonly())
 
1742
        return t
 
1743
 
 
1744
    def get_readonly_transport(self, relpath=None):
 
1745
        """Return a readonly transport for the test scratch space
 
1746
        
 
1747
        This can be used to test that operations which should only need
 
1748
        readonly access in fact do not try to write.
 
1749
 
 
1750
        :param relpath: a path relative to the base url.
 
1751
        """
 
1752
        t = get_transport(self.get_readonly_url(relpath))
 
1753
        self.assertTrue(t.is_readonly())
 
1754
        return t
 
1755
 
 
1756
    def create_transport_readonly_server(self):
 
1757
        """Create a transport server from class defined at init.
 
1758
 
 
1759
        This is mostly a hook for daughter classes.
 
1760
        """
 
1761
        return self.transport_readonly_server()
 
1762
 
 
1763
    def get_readonly_server(self):
 
1764
        """Get the server instance for the readonly transport
 
1765
 
 
1766
        This is useful for some tests with specific servers to do diagnostics.
 
1767
        """
 
1768
        if self.__readonly_server is None:
 
1769
            if self.transport_readonly_server is None:
 
1770
                # readonly decorator requested
 
1771
                # bring up the server
 
1772
                self.__readonly_server = ReadonlyServer()
 
1773
                self.__readonly_server.setUp(self.get_vfs_only_server())
 
1774
            else:
 
1775
                self.__readonly_server = self.create_transport_readonly_server()
 
1776
                self.__readonly_server.setUp(self.get_vfs_only_server())
 
1777
            self.addCleanup(self.__readonly_server.tearDown)
 
1778
        return self.__readonly_server
 
1779
 
 
1780
    def get_readonly_url(self, relpath=None):
 
1781
        """Get a URL for the readonly transport.
 
1782
 
 
1783
        This will either be backed by '.' or a decorator to the transport 
 
1784
        used by self.get_url()
 
1785
        relpath provides for clients to get a path relative to the base url.
 
1786
        These should only be downwards relative, not upwards.
 
1787
        """
 
1788
        base = self.get_readonly_server().get_url()
 
1789
        return self._adjust_url(base, relpath)
 
1790
 
 
1791
    def get_vfs_only_server(self):
 
1792
        """Get the vfs only read/write server instance.
 
1793
 
 
1794
        This is useful for some tests with specific servers that need
 
1795
        diagnostics.
 
1796
 
 
1797
        For TestCaseWithMemoryTransport this is always a MemoryServer, and there
 
1798
        is no means to override it.
 
1799
        """
 
1800
        if self.__vfs_server is None:
 
1801
            self.__vfs_server = MemoryServer()
 
1802
            self.__vfs_server.setUp()
 
1803
            self.addCleanup(self.__vfs_server.tearDown)
 
1804
        return self.__vfs_server
 
1805
 
 
1806
    def get_server(self):
 
1807
        """Get the read/write server instance.
 
1808
 
 
1809
        This is useful for some tests with specific servers that need
 
1810
        diagnostics.
 
1811
 
 
1812
        This is built from the self.transport_server factory. If that is None,
 
1813
        then the self.get_vfs_server is returned.
 
1814
        """
 
1815
        if self.__server is None:
 
1816
            if self.transport_server is None or self.transport_server is self.vfs_transport_factory:
 
1817
                return self.get_vfs_only_server()
 
1818
            else:
 
1819
                # bring up a decorated means of access to the vfs only server.
 
1820
                self.__server = self.transport_server()
 
1821
                try:
 
1822
                    self.__server.setUp(self.get_vfs_only_server())
 
1823
                except TypeError, e:
 
1824
                    # This should never happen; the try:Except here is to assist
 
1825
                    # developers having to update code rather than seeing an
 
1826
                    # uninformative TypeError.
 
1827
                    raise Exception, "Old server API in use: %s, %s" % (self.__server, e)
 
1828
            self.addCleanup(self.__server.tearDown)
 
1829
        return self.__server
 
1830
 
 
1831
    def _adjust_url(self, base, relpath):
 
1832
        """Get a URL (or maybe a path) for the readwrite transport.
 
1833
 
 
1834
        This will either be backed by '.' or to an equivalent non-file based
 
1835
        facility.
 
1836
        relpath provides for clients to get a path relative to the base url.
 
1837
        These should only be downwards relative, not upwards.
 
1838
        """
 
1839
        if relpath is not None and relpath != '.':
 
1840
            if not base.endswith('/'):
 
1841
                base = base + '/'
 
1842
            # XXX: Really base should be a url; we did after all call
 
1843
            # get_url()!  But sometimes it's just a path (from
 
1844
            # LocalAbspathServer), and it'd be wrong to append urlescaped data
 
1845
            # to a non-escaped local path.
 
1846
            if base.startswith('./') or base.startswith('/'):
 
1847
                base += relpath
 
1848
            else:
 
1849
                base += urlutils.escape(relpath)
 
1850
        return base
 
1851
 
 
1852
    def get_url(self, relpath=None):
 
1853
        """Get a URL (or maybe a path) for the readwrite transport.
 
1854
 
 
1855
        This will either be backed by '.' or to an equivalent non-file based
 
1856
        facility.
 
1857
        relpath provides for clients to get a path relative to the base url.
 
1858
        These should only be downwards relative, not upwards.
 
1859
        """
 
1860
        base = self.get_server().get_url()
 
1861
        return self._adjust_url(base, relpath)
 
1862
 
 
1863
    def get_vfs_only_url(self, relpath=None):
 
1864
        """Get a URL (or maybe a path for the plain old vfs transport.
 
1865
 
 
1866
        This will never be a smart protocol.  It always has all the
 
1867
        capabilities of the local filesystem, but it might actually be a
 
1868
        MemoryTransport or some other similar virtual filesystem.
 
1869
 
 
1870
        This is the backing transport (if any) of the server returned by
 
1871
        get_url and get_readonly_url.
 
1872
 
 
1873
        :param relpath: provides for clients to get a path relative to the base
 
1874
            url.  These should only be downwards relative, not upwards.
 
1875
        :return: A URL
 
1876
        """
 
1877
        base = self.get_vfs_only_server().get_url()
 
1878
        return self._adjust_url(base, relpath)
 
1879
 
 
1880
    def _create_safety_net(self):
 
1881
        """Make a fake bzr directory.
 
1882
 
 
1883
        This prevents any tests propagating up onto the TEST_ROOT directory's
 
1884
        real branch.
 
1885
        """
 
1886
        root = TestCaseWithMemoryTransport.TEST_ROOT
 
1887
        bzrdir.BzrDir.create_standalone_workingtree(root)
 
1888
 
 
1889
    def _check_safety_net(self):
 
1890
        """Check that the safety .bzr directory have not been touched.
 
1891
 
 
1892
        _make_test_root have created a .bzr directory to prevent tests from
 
1893
        propagating. This method ensures than a test did not leaked.
 
1894
        """
 
1895
        root = TestCaseWithMemoryTransport.TEST_ROOT
 
1896
        wt = workingtree.WorkingTree.open(root)
 
1897
        last_rev = wt.last_revision()
 
1898
        if last_rev != 'null:':
 
1899
            # The current test have modified the /bzr directory, we need to
 
1900
            # recreate a new one or all the followng tests will fail.
 
1901
            # If you need to inspect its content uncomment the following line
 
1902
            # import pdb; pdb.set_trace()
 
1903
            _rmtree_temp_dir(root + '/.bzr')
 
1904
            self._create_safety_net()
 
1905
            raise AssertionError('%s/.bzr should not be modified' % root)
 
1906
 
 
1907
    def _make_test_root(self):
 
1908
        if TestCaseWithMemoryTransport.TEST_ROOT is None:
 
1909
            root = osutils.mkdtemp(prefix='testbzr-', suffix='.tmp')
 
1910
            TestCaseWithMemoryTransport.TEST_ROOT = root
 
1911
 
 
1912
            self._create_safety_net()
 
1913
 
 
1914
            # The same directory is used by all tests, and we're not
 
1915
            # specifically told when all tests are finished.  This will do.
 
1916
            atexit.register(_rmtree_temp_dir, root)
 
1917
 
 
1918
        self.addCleanup(self._check_safety_net)
 
1919
 
 
1920
    def makeAndChdirToTestDir(self):
 
1921
        """Create a temporary directories for this one test.
 
1922
        
 
1923
        This must set self.test_home_dir and self.test_dir and chdir to
 
1924
        self.test_dir.
 
1925
        
 
1926
        For TestCaseWithMemoryTransport we chdir to the TEST_ROOT for this test.
 
1927
        """
 
1928
        os.chdir(TestCaseWithMemoryTransport.TEST_ROOT)
 
1929
        self.test_dir = TestCaseWithMemoryTransport.TEST_ROOT
 
1930
        self.test_home_dir = self.test_dir + "/MemoryTransportMissingHomeDir"
 
1931
        
 
1932
    def make_branch(self, relpath, format=None):
 
1933
        """Create a branch on the transport at relpath."""
 
1934
        repo = self.make_repository(relpath, format=format)
 
1935
        return repo.bzrdir.create_branch()
 
1936
 
 
1937
    def make_bzrdir(self, relpath, format=None):
 
1938
        try:
 
1939
            # might be a relative or absolute path
 
1940
            maybe_a_url = self.get_url(relpath)
 
1941
            segments = maybe_a_url.rsplit('/', 1)
 
1942
            t = get_transport(maybe_a_url)
 
1943
            if len(segments) > 1 and segments[-1] not in ('', '.'):
 
1944
                t.ensure_base()
 
1945
            if format is None:
 
1946
                format = 'default'
 
1947
            if isinstance(format, basestring):
 
1948
                format = bzrdir.format_registry.make_bzrdir(format)
 
1949
            return format.initialize_on_transport(t)
 
1950
        except errors.UninitializableFormat:
 
1951
            raise TestSkipped("Format %s is not initializable." % format)
 
1952
 
 
1953
    def make_repository(self, relpath, shared=False, format=None):
 
1954
        """Create a repository on our default transport at relpath.
 
1955
        
 
1956
        Note that relpath must be a relative path, not a full url.
 
1957
        """
 
1958
        # FIXME: If you create a remoterepository this returns the underlying
 
1959
        # real format, which is incorrect.  Actually we should make sure that 
 
1960
        # RemoteBzrDir returns a RemoteRepository.
 
1961
        # maybe  mbp 20070410
 
1962
        made_control = self.make_bzrdir(relpath, format=format)
 
1963
        return made_control.create_repository(shared=shared)
 
1964
 
 
1965
    def make_branch_and_memory_tree(self, relpath, format=None):
 
1966
        """Create a branch on the default transport and a MemoryTree for it."""
 
1967
        b = self.make_branch(relpath, format=format)
 
1968
        return memorytree.MemoryTree.create_on_branch(b)
 
1969
 
 
1970
    def overrideEnvironmentForTesting(self):
 
1971
        os.environ['HOME'] = self.test_home_dir
 
1972
        os.environ['BZR_HOME'] = self.test_home_dir
 
1973
        
 
1974
    def setUp(self):
 
1975
        super(TestCaseWithMemoryTransport, self).setUp()
 
1976
        self._make_test_root()
 
1977
        _currentdir = os.getcwdu()
 
1978
        def _leaveDirectory():
 
1979
            os.chdir(_currentdir)
 
1980
        self.addCleanup(_leaveDirectory)
 
1981
        self.makeAndChdirToTestDir()
 
1982
        self.overrideEnvironmentForTesting()
 
1983
        self.__readonly_server = None
 
1984
        self.__server = None
 
1985
        self.reduceLockdirTimeout()
572
1986
 
573
1987
     
574
 
class TestCaseInTempDir(TestCase):
 
1988
class TestCaseInTempDir(TestCaseWithMemoryTransport):
575
1989
    """Derived class that runs a test within a temporary directory.
576
1990
 
577
1991
    This is useful for tests that need to create a branch, etc.
581
1995
    All test cases create their own directory within that.  If the
582
1996
    tests complete successfully, the directory is removed.
583
1997
 
584
 
    InTempDir is an old alias for FunctionalTestCase.
 
1998
    :ivar test_base_dir: The path of the top-level directory for this 
 
1999
    test, which contains a home directory and a work directory.
 
2000
 
 
2001
    :ivar test_home_dir: An initially empty directory under test_base_dir
 
2002
    which is used as $HOME for this test.
 
2003
 
 
2004
    :ivar test_dir: A directory under test_base_dir used as the current
 
2005
    directory when the test proper is run.
585
2006
    """
586
2007
 
587
 
    TEST_ROOT = None
588
 
    _TEST_NAME = 'test'
589
2008
    OVERRIDE_PYTHON = 'python'
590
2009
 
591
2010
    def check_file_contents(self, filename, expect):
596
2015
            self.log("actually: %r" % contents)
597
2016
            self.fail("contents of %s not as expected" % filename)
598
2017
 
599
 
    def _make_test_root(self):
600
 
        if TestCaseInTempDir.TEST_ROOT is not None:
601
 
            return
602
 
        i = 0
603
 
        while True:
604
 
            root = u'test%04d.tmp' % i
605
 
            try:
606
 
                os.mkdir(root)
607
 
            except OSError, e:
608
 
                if e.errno == errno.EEXIST:
609
 
                    i += 1
610
 
                    continue
611
 
                else:
612
 
                    raise
613
 
            # successfully created
614
 
            TestCaseInTempDir.TEST_ROOT = osutils.abspath(root)
615
 
            break
616
 
        # make a fake bzr directory there to prevent any tests propagating
617
 
        # up onto the source directory's real branch
618
 
        bzrdir.BzrDir.create_standalone_workingtree(TestCaseInTempDir.TEST_ROOT)
619
 
 
620
 
    def setUp(self):
621
 
        super(TestCaseInTempDir, self).setUp()
622
 
        self._make_test_root()
623
 
        _currentdir = os.getcwdu()
624
 
        # shorten the name, to avoid test failures due to path length
625
 
        short_id = self.id().replace('bzrlib.tests.', '') \
626
 
                   .replace('__main__.', '')[-100:]
627
 
        # it's possible the same test class is run several times for
628
 
        # parameterized tests, so make sure the names don't collide.  
629
 
        i = 0
630
 
        while True:
631
 
            if i > 0:
632
 
                candidate_dir = '%s/%s.%d' % (self.TEST_ROOT, short_id, i)
633
 
            else:
634
 
                candidate_dir = '%s/%s' % (self.TEST_ROOT, short_id)
635
 
            if os.path.exists(candidate_dir):
636
 
                i = i + 1
637
 
                continue
638
 
            else:
639
 
                self.test_dir = candidate_dir
640
 
                os.mkdir(self.test_dir)
641
 
                os.chdir(self.test_dir)
642
 
                break
643
 
        os.environ['HOME'] = self.test_dir
644
 
        os.environ['APPDATA'] = self.test_dir
645
 
        def _leaveDirectory():
646
 
            os.chdir(_currentdir)
647
 
        self.addCleanup(_leaveDirectory)
 
2018
    def makeAndChdirToTestDir(self):
 
2019
        """See TestCaseWithMemoryTransport.makeAndChdirToTestDir().
648
2020
        
649
 
    def build_tree(self, shape, line_endings='native', transport=None):
 
2021
        For TestCaseInTempDir we create a temporary directory based on the test
 
2022
        name and then create two subdirs - test and home under it.
 
2023
        """
 
2024
        # create a directory within the top level test directory
 
2025
        candidate_dir = osutils.mkdtemp(dir=self.TEST_ROOT)
 
2026
        # now create test and home directories within this dir
 
2027
        self.test_base_dir = candidate_dir
 
2028
        self.test_home_dir = self.test_base_dir + '/home'
 
2029
        os.mkdir(self.test_home_dir)
 
2030
        self.test_dir = self.test_base_dir + '/work'
 
2031
        os.mkdir(self.test_dir)
 
2032
        os.chdir(self.test_dir)
 
2033
        # put name of test inside
 
2034
        f = file(self.test_base_dir + '/name', 'w')
 
2035
        try:
 
2036
            f.write(self.id())
 
2037
        finally:
 
2038
            f.close()
 
2039
        self.addCleanup(self.deleteTestDir)
 
2040
 
 
2041
    def deleteTestDir(self):
 
2042
        os.chdir(self.TEST_ROOT)
 
2043
        _rmtree_temp_dir(self.test_base_dir)
 
2044
 
 
2045
    def build_tree(self, shape, line_endings='binary', transport=None):
650
2046
        """Build a test tree according to a pattern.
651
2047
 
652
2048
        shape is a sequence of file specifications.  If the final
653
2049
        character is '/', a directory is created.
654
2050
 
 
2051
        This assumes that all the elements in the tree being built are new.
 
2052
 
655
2053
        This doesn't add anything to a branch.
 
2054
 
 
2055
        :type shape:    list or tuple.
656
2056
        :param line_endings: Either 'binary' or 'native'
657
 
                             in binary mode, exact contents are written
658
 
                             in native mode, the line endings match the
659
 
                             default platform endings.
660
 
 
661
 
        :param transport: A transport to write to, for building trees on 
662
 
                          VFS's. If the transport is readonly or None,
663
 
                          "." is opened automatically.
 
2057
            in binary mode, exact contents are written in native mode, the
 
2058
            line endings match the default platform endings.
 
2059
        :param transport: A transport to write to, for building trees on VFS's.
 
2060
            If the transport is readonly or None, "." is opened automatically.
 
2061
        :return: None
664
2062
        """
665
 
        # XXX: It's OK to just create them using forward slashes on windows?
 
2063
        if type(shape) not in (list, tuple):
 
2064
            raise AssertionError("Parameter 'shape' should be "
 
2065
                "a list or a tuple. Got %r instead" % (shape,))
 
2066
        # It's OK to just create them using forward slashes on windows.
666
2067
        if transport is None or transport.is_readonly():
667
2068
            transport = get_transport(".")
668
2069
        for name in shape:
669
2070
            self.assert_(isinstance(name, basestring))
670
2071
            if name[-1] == '/':
671
 
                transport.mkdir(urlescape(name[:-1]))
 
2072
                transport.mkdir(urlutils.escape(name[:-1]))
672
2073
            else:
673
2074
                if line_endings == 'binary':
674
2075
                    end = '\n'
675
2076
                elif line_endings == 'native':
676
2077
                    end = os.linesep
677
2078
                else:
678
 
                    raise errors.BzrError('Invalid line ending request %r' % (line_endings,))
679
 
                content = "contents of %s%s" % (name, end)
680
 
                transport.put(urlescape(name), StringIO(content))
 
2079
                    raise errors.BzrError(
 
2080
                        'Invalid line ending request %r' % line_endings)
 
2081
                content = "contents of %s%s" % (name.encode('utf-8'), end)
 
2082
                transport.put_bytes_non_atomic(urlutils.escape(name), content)
681
2083
 
682
2084
    def build_tree_contents(self, shape):
683
2085
        build_tree_contents(shape)
684
2086
 
 
2087
    def assertFileEqual(self, content, path):
 
2088
        """Fail if path does not contain 'content'."""
 
2089
        self.failUnlessExists(path)
 
2090
        f = file(path, 'rb')
 
2091
        try:
 
2092
            s = f.read()
 
2093
        finally:
 
2094
            f.close()
 
2095
        self.assertEqualDiff(content, s)
 
2096
 
685
2097
    def failUnlessExists(self, path):
686
 
        """Fail unless path, which may be abs or relative, exists."""
687
 
        self.failUnless(osutils.lexists(path))
 
2098
        """Fail unless path or paths, which may be abs or relative, exist."""
 
2099
        if not isinstance(path, basestring):
 
2100
            for p in path:
 
2101
                self.failUnlessExists(p)
 
2102
        else:
 
2103
            self.failUnless(osutils.lexists(path),path+" does not exist")
688
2104
 
689
2105
    def failIfExists(self, path):
690
 
        """Fail if path, which may be abs or relative, exists."""
691
 
        self.failIf(osutils.lexists(path))
692
 
        
693
 
    def assertFileEqual(self, content, path):
694
 
        """Fail if path does not contain 'content'."""
695
 
        self.failUnless(osutils.lexists(path))
696
 
        self.assertEqualDiff(content, open(path, 'r').read())
 
2106
        """Fail if path or paths, which may be abs or relative, exist."""
 
2107
        if not isinstance(path, basestring):
 
2108
            for p in path:
 
2109
                self.failIfExists(p)
 
2110
        else:
 
2111
            self.failIf(osutils.lexists(path),path+" exists")
 
2112
 
 
2113
    def assertInWorkingTree(self, path, root_path='.', tree=None):
 
2114
        """Assert whether path or paths are in the WorkingTree"""
 
2115
        if tree is None:
 
2116
            tree = workingtree.WorkingTree.open(root_path)
 
2117
        if not isinstance(path, basestring):
 
2118
            for p in path:
 
2119
                self.assertInWorkingTree(p,tree=tree)
 
2120
        else:
 
2121
            self.assertIsNot(tree.path2id(path), None,
 
2122
                path+' not in working tree.')
 
2123
 
 
2124
    def assertNotInWorkingTree(self, path, root_path='.', tree=None):
 
2125
        """Assert whether path or paths are not in the WorkingTree"""
 
2126
        if tree is None:
 
2127
            tree = workingtree.WorkingTree.open(root_path)
 
2128
        if not isinstance(path, basestring):
 
2129
            for p in path:
 
2130
                self.assertNotInWorkingTree(p,tree=tree)
 
2131
        else:
 
2132
            self.assertIs(tree.path2id(path), None, path+' in working tree.')
697
2133
 
698
2134
 
699
2135
class TestCaseWithTransport(TestCaseInTempDir):
710
2146
    readwrite one must both define get_url() as resolving to os.getcwd().
711
2147
    """
712
2148
 
713
 
    def __init__(self, methodName='testMethod'):
714
 
        super(TestCaseWithTransport, self).__init__(methodName)
715
 
        self.__readonly_server = None
716
 
        self.__server = None
717
 
        self.transport_server = default_transport
718
 
        self.transport_readonly_server = None
719
 
 
720
 
    def get_readonly_url(self, relpath=None):
721
 
        """Get a URL for the readonly transport.
722
 
 
723
 
        This will either be backed by '.' or a decorator to the transport 
724
 
        used by self.get_url()
725
 
        relpath provides for clients to get a path relative to the base url.
726
 
        These should only be downwards relative, not upwards.
727
 
        """
728
 
        base = self.get_readonly_server().get_url()
729
 
        if relpath is not None:
730
 
            if not base.endswith('/'):
731
 
                base = base + '/'
732
 
            base = base + relpath
733
 
        return base
734
 
 
735
 
    def get_readonly_server(self):
736
 
        """Get the server instance for the readonly transport
737
 
 
738
 
        This is useful for some tests with specific servers to do diagnostics.
739
 
        """
740
 
        if self.__readonly_server is None:
741
 
            if self.transport_readonly_server is None:
742
 
                # readonly decorator requested
743
 
                # bring up the server
744
 
                self.get_url()
745
 
                self.__readonly_server = ReadonlyServer()
746
 
                self.__readonly_server.setUp(self.__server)
747
 
            else:
748
 
                self.__readonly_server = self.transport_readonly_server()
749
 
                self.__readonly_server.setUp()
750
 
            self.addCleanup(self.__readonly_server.tearDown)
751
 
        return self.__readonly_server
752
 
 
753
 
    def get_server(self):
754
 
        """Get the read/write server instance.
 
2149
    def get_vfs_only_server(self):
 
2150
        """See TestCaseWithMemoryTransport.
755
2151
 
756
2152
        This is useful for some tests with specific servers that need
757
2153
        diagnostics.
758
2154
        """
759
 
        if self.__server is None:
760
 
            self.__server = self.transport_server()
761
 
            self.__server.setUp()
762
 
            self.addCleanup(self.__server.tearDown)
763
 
        return self.__server
764
 
 
765
 
    def get_url(self, relpath=None):
766
 
        """Get a URL for the readwrite transport.
767
 
 
768
 
        This will either be backed by '.' or to an equivalent non-file based
769
 
        facility.
770
 
        relpath provides for clients to get a path relative to the base url.
771
 
        These should only be downwards relative, not upwards.
772
 
        """
773
 
        base = self.get_server().get_url()
774
 
        if relpath is not None and relpath != '.':
775
 
            if not base.endswith('/'):
776
 
                base = base + '/'
777
 
            base = base + relpath
778
 
        return base
779
 
 
780
 
    def get_transport(self):
781
 
        """Return a writeable transport for the test scratch space"""
782
 
        t = get_transport(self.get_url())
783
 
        self.assertFalse(t.is_readonly())
784
 
        return t
785
 
 
786
 
    def get_readonly_transport(self):
787
 
        """Return a readonly transport for the test scratch space
788
 
        
789
 
        This can be used to test that operations which should only need
790
 
        readonly access in fact do not try to write.
791
 
        """
792
 
        t = get_transport(self.get_readonly_url())
793
 
        self.assertTrue(t.is_readonly())
794
 
        return t
795
 
 
796
 
    def make_branch(self, relpath):
797
 
        """Create a branch on the transport at relpath."""
798
 
        repo = self.make_repository(relpath)
799
 
        return repo.bzrdir.create_branch()
800
 
 
801
 
    def make_bzrdir(self, relpath):
802
 
        try:
803
 
            url = self.get_url(relpath)
804
 
            segments = relpath.split('/')
805
 
            if segments and segments[-1] not in ('', '.'):
806
 
                parent = self.get_url('/'.join(segments[:-1]))
807
 
                t = get_transport(parent)
808
 
                try:
809
 
                    t.mkdir(segments[-1])
810
 
                except errors.FileExists:
811
 
                    pass
812
 
            return bzrlib.bzrdir.BzrDir.create(url)
813
 
        except errors.UninitializableFormat:
814
 
            raise TestSkipped("Format %s is not initializable.")
815
 
 
816
 
    def make_repository(self, relpath, shared=False):
817
 
        """Create a repository on our default transport at relpath."""
818
 
        made_control = self.make_bzrdir(relpath)
819
 
        return made_control.create_repository(shared=shared)
820
 
 
821
 
    def make_branch_and_tree(self, relpath):
 
2155
        if self.__vfs_server is None:
 
2156
            self.__vfs_server = self.vfs_transport_factory()
 
2157
            self.__vfs_server.setUp()
 
2158
            self.addCleanup(self.__vfs_server.tearDown)
 
2159
        return self.__vfs_server
 
2160
 
 
2161
    def make_branch_and_tree(self, relpath, format=None):
822
2162
        """Create a branch on the transport and a tree locally.
823
2163
 
824
 
        Returns the tree.
 
2164
        If the transport is not a LocalTransport, the Tree can't be created on
 
2165
        the transport.  In that case if the vfs_transport_factory is
 
2166
        LocalURLServer the working tree is created in the local
 
2167
        directory backing the transport, and the returned tree's branch and
 
2168
        repository will also be accessed locally. Otherwise a lightweight
 
2169
        checkout is created and returned.
 
2170
 
 
2171
        :param format: The BzrDirFormat.
 
2172
        :returns: the WorkingTree.
825
2173
        """
826
2174
        # TODO: always use the local disk path for the working tree,
827
2175
        # this obviously requires a format that supports branch references
828
2176
        # so check for that by checking bzrdir.BzrDirFormat.get_default_format()
829
2177
        # RBC 20060208
830
 
        b = self.make_branch(relpath)
 
2178
        b = self.make_branch(relpath, format=format)
831
2179
        try:
832
2180
            return b.bzrdir.create_workingtree()
833
2181
        except errors.NotLocalUrl:
834
 
            # new formats - catch No tree error and create
835
 
            # a branch reference and a checkout.
836
 
            # old formats at that point - raise TestSkipped.
837
 
            # TODO: rbc 20060208
838
 
            return WorkingTreeFormat2().initialize(bzrdir.BzrDir.open(relpath))
 
2182
            # We can only make working trees locally at the moment.  If the
 
2183
            # transport can't support them, then we keep the non-disk-backed
 
2184
            # branch and create a local checkout.
 
2185
            if self.vfs_transport_factory is LocalURLServer:
 
2186
                # the branch is colocated on disk, we cannot create a checkout.
 
2187
                # hopefully callers will expect this.
 
2188
                local_controldir= bzrdir.BzrDir.open(self.get_vfs_only_url(relpath))
 
2189
                return local_controldir.create_workingtree()
 
2190
            else:
 
2191
                return b.create_checkout(relpath, lightweight=True)
839
2192
 
840
2193
    def assertIsDirectory(self, relpath, transport):
841
2194
        """Assert that relpath within transport is a directory.
852
2205
            self.fail("path %s is not a directory; has mode %#o"
853
2206
                      % (relpath, mode))
854
2207
 
 
2208
    def assertTreesEqual(self, left, right):
 
2209
        """Check that left and right have the same content and properties."""
 
2210
        # we use a tree delta to check for equality of the content, and we
 
2211
        # manually check for equality of other things such as the parents list.
 
2212
        self.assertEqual(left.get_parent_ids(), right.get_parent_ids())
 
2213
        differences = left.changes_from(right)
 
2214
        self.assertFalse(differences.has_changed(),
 
2215
            "Trees %r and %r are different: %r" % (left, right, differences))
 
2216
 
 
2217
    def setUp(self):
 
2218
        super(TestCaseWithTransport, self).setUp()
 
2219
        self.__vfs_server = None
 
2220
 
855
2221
 
856
2222
class ChrootedTestCase(TestCaseWithTransport):
857
2223
    """A support class that provides readonly urls outside the local namespace.
867
2233
 
868
2234
    def setUp(self):
869
2235
        super(ChrootedTestCase, self).setUp()
870
 
        if not self.transport_server == bzrlib.transport.memory.MemoryServer:
871
 
            self.transport_readonly_server = bzrlib.transport.http.HttpServer
872
 
 
873
 
 
874
 
def filter_suite_by_re(suite, pattern):
875
 
    result = TestSuite()
876
 
    filter_re = re.compile(pattern)
877
 
    for test in iter_suite_tests(suite):
878
 
        if filter_re.search(test.id()):
879
 
            result.addTest(test)
880
 
    return result
 
2236
        if not self.vfs_transport_factory == MemoryServer:
 
2237
            self.transport_readonly_server = HttpServer
 
2238
 
 
2239
 
 
2240
def condition_id_re(pattern):
 
2241
    """Create a condition filter which performs a re check on a test's id.
 
2242
    
 
2243
    :param pattern: A regular expression string.
 
2244
    :return: A callable that returns True if the re matches.
 
2245
    """
 
2246
    filter_re = re.compile(pattern)
 
2247
    def condition(test):
 
2248
        test_id = test.id()
 
2249
        return filter_re.search(test_id)
 
2250
    return condition
 
2251
 
 
2252
 
 
2253
def condition_isinstance(klass_or_klass_list):
 
2254
    """Create a condition filter which returns isinstance(param, klass).
 
2255
    
 
2256
    :return: A callable which when called with one parameter obj return the
 
2257
        result of isinstance(obj, klass_or_klass_list).
 
2258
    """
 
2259
    def condition(obj):
 
2260
        return isinstance(obj, klass_or_klass_list)
 
2261
    return condition
 
2262
 
 
2263
 
 
2264
def exclude_tests_by_condition(suite, condition):
 
2265
    """Create a test suite which excludes some tests from suite.
 
2266
 
 
2267
    :param suite: The suite to get tests from.
 
2268
    :param condition: A callable whose result evaluates True when called with a
 
2269
        test case which should be excluded from the result.
 
2270
    :return: A suite which contains the tests found in suite that fail
 
2271
        condition.
 
2272
    """
 
2273
    result = []
 
2274
    for test in iter_suite_tests(suite):
 
2275
        if not condition(test):
 
2276
            result.append(test)
 
2277
    return TestUtil.TestSuite(result)
 
2278
 
 
2279
 
 
2280
def filter_suite_by_condition(suite, condition):
 
2281
    """Create a test suite by filtering another one.
 
2282
    
 
2283
    :param suite: The source suite.
 
2284
    :param condition: A callable whose result evaluates True when called with a
 
2285
        test case which should be included in the result.
 
2286
    :return: A suite which contains the tests found in suite that pass
 
2287
        condition.
 
2288
    """ 
 
2289
    result = []
 
2290
    for test in iter_suite_tests(suite):
 
2291
        if condition(test):
 
2292
            result.append(test)
 
2293
    return TestUtil.TestSuite(result)
 
2294
 
 
2295
 
 
2296
def filter_suite_by_re(suite, pattern, exclude_pattern=DEPRECATED_PARAMETER,
 
2297
                       random_order=DEPRECATED_PARAMETER):
 
2298
    """Create a test suite by filtering another one.
 
2299
    
 
2300
    :param suite:           the source suite
 
2301
    :param pattern:         pattern that names must match
 
2302
    :param exclude_pattern: A pattern that names must not match. This parameter
 
2303
        is deprecated as of bzrlib 1.0. Please use the separate function
 
2304
        exclude_tests_by_re instead.
 
2305
    :param random_order:    If True, tests in the new suite will be put in
 
2306
        random order. This parameter is deprecated as of bzrlib 1.0. Please
 
2307
        use the separate function randomize_suite instead.
 
2308
    :returns: the newly created suite
 
2309
    """ 
 
2310
    if deprecated_passed(exclude_pattern):
 
2311
        symbol_versioning.warn(
 
2312
            one_zero % "passing exclude_pattern to filter_suite_by_re",
 
2313
                DeprecationWarning, stacklevel=2)
 
2314
        if exclude_pattern is not None:
 
2315
            suite = exclude_tests_by_re(suite, exclude_pattern)
 
2316
    condition = condition_id_re(pattern)
 
2317
    result_suite = filter_suite_by_condition(suite, condition)
 
2318
    if deprecated_passed(random_order):
 
2319
        symbol_versioning.warn(
 
2320
            one_zero % "passing random_order to filter_suite_by_re",
 
2321
                DeprecationWarning, stacklevel=2)
 
2322
        if random_order:
 
2323
            result_suite = randomize_suite(result_suite)
 
2324
    return result_suite
 
2325
 
 
2326
 
 
2327
def exclude_tests_by_re(suite, pattern):
 
2328
    """Create a test suite which excludes some tests from suite.
 
2329
 
 
2330
    :param suite: The suite to get tests from.
 
2331
    :param pattern: A regular expression string. Test ids that match this
 
2332
        pattern will be excluded from the result.
 
2333
    :return: A TestSuite that contains all the tests from suite without the
 
2334
        tests that matched pattern. The order of tests is the same as it was in
 
2335
        suite.
 
2336
    """
 
2337
    return exclude_tests_by_condition(suite, condition_id_re(pattern))
 
2338
 
 
2339
 
 
2340
def preserve_input(something):
 
2341
    """A helper for performing test suite transformation chains.
 
2342
 
 
2343
    :param something: Anything you want to preserve.
 
2344
    :return: Something.
 
2345
    """
 
2346
    return something
 
2347
 
 
2348
 
 
2349
def randomize_suite(suite):
 
2350
    """Return a new TestSuite with suite's tests in random order.
 
2351
    
 
2352
    The tests in the input suite are flattened into a single suite in order to
 
2353
    accomplish this. Any nested TestSuites are removed to provide global
 
2354
    randomness.
 
2355
    """
 
2356
    tests = list(iter_suite_tests(suite))
 
2357
    random.shuffle(tests)
 
2358
    return TestUtil.TestSuite(tests)
 
2359
 
 
2360
 
 
2361
@deprecated_function(one_zero)
 
2362
def sort_suite_by_re(suite, pattern, exclude_pattern=None,
 
2363
                     random_order=False, append_rest=True):
 
2364
    """DEPRECATED: Create a test suite by sorting another one.
 
2365
 
 
2366
    This method has been decomposed into separate helper methods that should be
 
2367
    called directly:
 
2368
     - filter_suite_by_re
 
2369
     - exclude_tests_by_re
 
2370
     - randomize_suite
 
2371
     - split_suite_by_re
 
2372
    
 
2373
    :param suite:           the source suite
 
2374
    :param pattern:         pattern that names must match in order to go
 
2375
                            first in the new suite
 
2376
    :param exclude_pattern: pattern that names must not match, if any
 
2377
    :param random_order:    if True, tests in the new suite will be put in
 
2378
                            random order (with all tests matching pattern
 
2379
                            first).
 
2380
    :param append_rest:     if False, pattern is a strict filter and not
 
2381
                            just an ordering directive
 
2382
    :returns: the newly created suite
 
2383
    """ 
 
2384
    if exclude_pattern is not None:
 
2385
        suite = exclude_tests_by_re(suite, exclude_pattern)
 
2386
    if random_order:
 
2387
        order_changer = randomize_suite
 
2388
    else:
 
2389
        order_changer = preserve_input
 
2390
    if append_rest:
 
2391
        suites = map(order_changer, split_suite_by_re(suite, pattern))
 
2392
        return TestUtil.TestSuite(suites)
 
2393
    else:
 
2394
        return order_changer(filter_suite_by_re(suite, pattern))
 
2395
 
 
2396
 
 
2397
def split_suite_by_re(suite, pattern):
 
2398
    """Split a test suite into two by a regular expression.
 
2399
    
 
2400
    :param suite: The suite to split.
 
2401
    :param pattern: A regular expression string. Test ids that match this
 
2402
        pattern will be in the first test suite returned, and the others in the
 
2403
        second test suite returned.
 
2404
    :return: A tuple of two test suites, where the first contains tests from
 
2405
        suite matching pattern, and the second contains the remainder from
 
2406
        suite. The order within each output suite is the same as it was in
 
2407
        suite.
 
2408
    """ 
 
2409
    matched = []
 
2410
    did_not_match = []
 
2411
    filter_re = re.compile(pattern)
 
2412
    for test in iter_suite_tests(suite):
 
2413
        test_id = test.id()
 
2414
        if filter_re.search(test_id):
 
2415
            matched.append(test)
 
2416
        else:
 
2417
            did_not_match.append(test)
 
2418
    return TestUtil.TestSuite(matched), TestUtil.TestSuite(did_not_match)
881
2419
 
882
2420
 
883
2421
def run_suite(suite, name='test', verbose=False, pattern=".*",
884
 
              stop_on_failure=False, keep_output=False,
885
 
              transport=None):
886
 
    TestCaseInTempDir._TEST_NAME = name
 
2422
              stop_on_failure=False,
 
2423
              transport=None, lsprof_timed=None, bench_history=None,
 
2424
              matching_tests_first=None,
 
2425
              list_only=False,
 
2426
              random_seed=None,
 
2427
              exclude_pattern=None,
 
2428
              strict=False,
 
2429
              coverage_dir=None,
 
2430
              ):
 
2431
    TestCase._gather_lsprof_in_benchmarks = lsprof_timed
887
2432
    if verbose:
888
2433
        verbosity = 2
889
2434
    else:
890
2435
        verbosity = 1
891
2436
    runner = TextTestRunner(stream=sys.stdout,
892
2437
                            descriptions=0,
893
 
                            verbosity=verbosity)
 
2438
                            verbosity=verbosity,
 
2439
                            bench_history=bench_history,
 
2440
                            list_only=list_only,
 
2441
                            )
894
2442
    runner.stop_on_failure=stop_on_failure
895
 
    if pattern != '.*':
896
 
        suite = filter_suite_by_re(suite, pattern)
 
2443
    # Initialise the random number generator and display the seed used.
 
2444
    # We convert the seed to a long to make it reuseable across invocations.
 
2445
    random_order = False
 
2446
    if random_seed is not None:
 
2447
        random_order = True
 
2448
        if random_seed == "now":
 
2449
            random_seed = long(time.time())
 
2450
        else:
 
2451
            # Convert the seed to a long if we can
 
2452
            try:
 
2453
                random_seed = long(random_seed)
 
2454
            except:
 
2455
                pass
 
2456
        runner.stream.writeln("Randomizing test order using seed %s\n" %
 
2457
            (random_seed))
 
2458
        random.seed(random_seed)
 
2459
    # Customise the list of tests if requested
 
2460
    if exclude_pattern is not None:
 
2461
        suite = exclude_tests_by_re(suite, exclude_pattern)
 
2462
    if random_order:
 
2463
        order_changer = randomize_suite
 
2464
    else:
 
2465
        order_changer = preserve_input
 
2466
    if pattern != '.*' or random_order:
 
2467
        if matching_tests_first:
 
2468
            suites = map(order_changer, split_suite_by_re(suite, pattern))
 
2469
            suite = TestUtil.TestSuite(suites)
 
2470
        else:
 
2471
            suite = order_changer(filter_suite_by_re(suite, pattern))
 
2472
 
 
2473
    # Activate code coverage.
 
2474
    if coverage_dir is not None:
 
2475
        tracer = trace.Trace(count=1, trace=0)
 
2476
        sys.settrace(tracer.globaltrace)
 
2477
 
897
2478
    result = runner.run(suite)
898
 
    # This is still a little bogus, 
899
 
    # but only a little. Folk not using our testrunner will
900
 
    # have to delete their temp directories themselves.
901
 
    test_root = TestCaseInTempDir.TEST_ROOT
902
 
    if result.wasSuccessful() or not keep_output:
903
 
        if test_root is not None:
904
 
            print 'Deleting test root %s...' % test_root
905
 
            try:
906
 
                shutil.rmtree(test_root)
907
 
            finally:
908
 
                print
909
 
    else:
910
 
        print "Failed tests working directories are in '%s'\n" % TestCaseInTempDir.TEST_ROOT
 
2479
 
 
2480
    if coverage_dir is not None:
 
2481
        sys.settrace(None)
 
2482
        results = tracer.results()
 
2483
        results.write_results(show_missing=1, summary=False,
 
2484
                              coverdir=coverage_dir)
 
2485
 
 
2486
    if strict:
 
2487
        return result.wasStrictlySuccessful()
 
2488
 
911
2489
    return result.wasSuccessful()
912
2490
 
913
2491
 
914
2492
def selftest(verbose=False, pattern=".*", stop_on_failure=True,
915
 
             keep_output=False,
916
 
             transport=None):
 
2493
             transport=None,
 
2494
             test_suite_factory=None,
 
2495
             lsprof_timed=None,
 
2496
             bench_history=None,
 
2497
             matching_tests_first=None,
 
2498
             list_only=False,
 
2499
             random_seed=None,
 
2500
             exclude_pattern=None,
 
2501
             strict=False,
 
2502
             coverage_dir=None,
 
2503
             ):
917
2504
    """Run the whole test suite under the enhanced runner"""
 
2505
    # XXX: Very ugly way to do this...
 
2506
    # Disable warning about old formats because we don't want it to disturb
 
2507
    # any blackbox tests.
 
2508
    from bzrlib import repository
 
2509
    repository._deprecation_warning_done = True
 
2510
 
918
2511
    global default_transport
919
2512
    if transport is None:
920
2513
        transport = default_transport
921
2514
    old_transport = default_transport
922
2515
    default_transport = transport
923
 
    suite = test_suite()
924
2516
    try:
 
2517
        if test_suite_factory is None:
 
2518
            suite = test_suite()
 
2519
        else:
 
2520
            suite = test_suite_factory()
925
2521
        return run_suite(suite, 'testbzr', verbose=verbose, pattern=pattern,
926
 
                     stop_on_failure=stop_on_failure, keep_output=keep_output,
927
 
                     transport=transport)
 
2522
                     stop_on_failure=stop_on_failure,
 
2523
                     transport=transport,
 
2524
                     lsprof_timed=lsprof_timed,
 
2525
                     bench_history=bench_history,
 
2526
                     matching_tests_first=matching_tests_first,
 
2527
                     list_only=list_only,
 
2528
                     random_seed=random_seed,
 
2529
                     exclude_pattern=exclude_pattern,
 
2530
                     strict=strict,
 
2531
                     coverage_dir=coverage_dir)
928
2532
    finally:
929
2533
        default_transport = old_transport
930
2534
 
931
2535
 
932
 
 
933
2536
def test_suite():
934
 
    """Build and return TestSuite for the whole program."""
935
 
    from doctest import DocTestSuite
936
 
 
937
 
    global MODULES_TO_DOCTEST
938
 
 
939
 
    testmod_names = [ \
 
2537
    """Build and return TestSuite for the whole of bzrlib.
 
2538
    
 
2539
    This function can be replaced if you need to change the default test
 
2540
    suite on a global basis, but it is not encouraged.
 
2541
    """
 
2542
    testmod_names = [
 
2543
                   'bzrlib.util.tests.test_bencode',
 
2544
                   'bzrlib.tests.test__dirstate_helpers',
940
2545
                   'bzrlib.tests.test_ancestry',
941
2546
                   'bzrlib.tests.test_annotate',
942
2547
                   'bzrlib.tests.test_api',
 
2548
                   'bzrlib.tests.test_atomicfile',
943
2549
                   'bzrlib.tests.test_bad_files',
944
 
                   'bzrlib.tests.test_basis_inventory',
 
2550
                   'bzrlib.tests.test_bisect_multi',
945
2551
                   'bzrlib.tests.test_branch',
 
2552
                   'bzrlib.tests.test_branchbuilder',
 
2553
                   'bzrlib.tests.test_bugtracker',
 
2554
                   'bzrlib.tests.test_bundle',
946
2555
                   'bzrlib.tests.test_bzrdir',
947
 
                   'bzrlib.tests.test_command',
 
2556
                   'bzrlib.tests.test_cache_utf8',
 
2557
                   'bzrlib.tests.test_commands',
948
2558
                   'bzrlib.tests.test_commit',
949
2559
                   'bzrlib.tests.test_commit_merge',
950
2560
                   'bzrlib.tests.test_config',
951
2561
                   'bzrlib.tests.test_conflicts',
 
2562
                   'bzrlib.tests.test_counted_lock',
952
2563
                   'bzrlib.tests.test_decorators',
 
2564
                   'bzrlib.tests.test_delta',
 
2565
                   'bzrlib.tests.test_deprecated_graph',
953
2566
                   'bzrlib.tests.test_diff',
954
 
                   'bzrlib.tests.test_doc_generate',
 
2567
                   'bzrlib.tests.test_dirstate',
 
2568
                   'bzrlib.tests.test_email_message',
955
2569
                   'bzrlib.tests.test_errors',
956
2570
                   'bzrlib.tests.test_escaped_store',
 
2571
                   'bzrlib.tests.test_extract',
957
2572
                   'bzrlib.tests.test_fetch',
 
2573
                   'bzrlib.tests.test_ftp_transport',
 
2574
                   'bzrlib.tests.test_generate_docs',
 
2575
                   'bzrlib.tests.test_generate_ids',
 
2576
                   'bzrlib.tests.test_globbing',
958
2577
                   'bzrlib.tests.test_gpg',
959
2578
                   'bzrlib.tests.test_graph',
960
2579
                   'bzrlib.tests.test_hashcache',
 
2580
                   'bzrlib.tests.test_help',
 
2581
                   'bzrlib.tests.test_hooks',
961
2582
                   'bzrlib.tests.test_http',
 
2583
                   'bzrlib.tests.test_http_implementations',
 
2584
                   'bzrlib.tests.test_http_response',
 
2585
                   'bzrlib.tests.test_https_ca_bundle',
962
2586
                   'bzrlib.tests.test_identitymap',
 
2587
                   'bzrlib.tests.test_ignores',
 
2588
                   'bzrlib.tests.test_index',
 
2589
                   'bzrlib.tests.test_info',
963
2590
                   'bzrlib.tests.test_inv',
964
2591
                   'bzrlib.tests.test_knit',
 
2592
                   'bzrlib.tests.test_lazy_import',
 
2593
                   'bzrlib.tests.test_lazy_regex',
965
2594
                   'bzrlib.tests.test_lockdir',
966
2595
                   'bzrlib.tests.test_lockable_files',
967
2596
                   'bzrlib.tests.test_log',
 
2597
                   'bzrlib.tests.test_lsprof',
 
2598
                   'bzrlib.tests.test_lru_cache',
 
2599
                   'bzrlib.tests.test_mail_client',
 
2600
                   'bzrlib.tests.test_memorytree',
968
2601
                   'bzrlib.tests.test_merge',
969
2602
                   'bzrlib.tests.test_merge3',
970
2603
                   'bzrlib.tests.test_merge_core',
 
2604
                   'bzrlib.tests.test_merge_directive',
971
2605
                   'bzrlib.tests.test_missing',
972
2606
                   'bzrlib.tests.test_msgeditor',
 
2607
                   'bzrlib.tests.test_multiparent',
973
2608
                   'bzrlib.tests.test_nonascii',
974
2609
                   'bzrlib.tests.test_options',
975
2610
                   'bzrlib.tests.test_osutils',
 
2611
                   'bzrlib.tests.test_osutils_encodings',
 
2612
                   'bzrlib.tests.test_pack',
 
2613
                   'bzrlib.tests.test_patch',
 
2614
                   'bzrlib.tests.test_patches',
976
2615
                   'bzrlib.tests.test_permissions',
977
2616
                   'bzrlib.tests.test_plugins',
978
2617
                   'bzrlib.tests.test_progress',
 
2618
                   'bzrlib.tests.test_reconfigure',
979
2619
                   'bzrlib.tests.test_reconcile',
 
2620
                   'bzrlib.tests.test_registry',
 
2621
                   'bzrlib.tests.test_remote',
980
2622
                   'bzrlib.tests.test_repository',
 
2623
                   'bzrlib.tests.test_revert',
981
2624
                   'bzrlib.tests.test_revision',
982
2625
                   'bzrlib.tests.test_revisionnamespaces',
983
 
                   'bzrlib.tests.test_revprops',
 
2626
                   'bzrlib.tests.test_revisiontree',
984
2627
                   'bzrlib.tests.test_rio',
985
2628
                   'bzrlib.tests.test_sampler',
986
2629
                   'bzrlib.tests.test_selftest',
987
2630
                   'bzrlib.tests.test_setup',
988
2631
                   'bzrlib.tests.test_sftp_transport',
 
2632
                   'bzrlib.tests.test_smart',
989
2633
                   'bzrlib.tests.test_smart_add',
 
2634
                   'bzrlib.tests.test_smart_transport',
 
2635
                   'bzrlib.tests.test_smtp_connection',
990
2636
                   'bzrlib.tests.test_source',
 
2637
                   'bzrlib.tests.test_ssh_transport',
 
2638
                   'bzrlib.tests.test_status',
991
2639
                   'bzrlib.tests.test_store',
 
2640
                   'bzrlib.tests.test_strace',
 
2641
                   'bzrlib.tests.test_subsume',
 
2642
                   'bzrlib.tests.test_switch',
992
2643
                   'bzrlib.tests.test_symbol_versioning',
 
2644
                   'bzrlib.tests.test_tag',
993
2645
                   'bzrlib.tests.test_testament',
 
2646
                   'bzrlib.tests.test_textfile',
 
2647
                   'bzrlib.tests.test_textmerge',
 
2648
                   'bzrlib.tests.test_timestamp',
994
2649
                   'bzrlib.tests.test_trace',
995
2650
                   'bzrlib.tests.test_transactions',
996
2651
                   'bzrlib.tests.test_transform',
997
2652
                   'bzrlib.tests.test_transport',
 
2653
                   'bzrlib.tests.test_tree',
 
2654
                   'bzrlib.tests.test_treebuilder',
998
2655
                   'bzrlib.tests.test_tsort',
 
2656
                   'bzrlib.tests.test_tuned_gzip',
999
2657
                   'bzrlib.tests.test_ui',
1000
2658
                   'bzrlib.tests.test_upgrade',
 
2659
                   'bzrlib.tests.test_urlutils',
1001
2660
                   'bzrlib.tests.test_versionedfile',
 
2661
                   'bzrlib.tests.test_version',
 
2662
                   'bzrlib.tests.test_version_info',
1002
2663
                   'bzrlib.tests.test_weave',
1003
2664
                   'bzrlib.tests.test_whitebox',
 
2665
                   'bzrlib.tests.test_win32utils',
1004
2666
                   'bzrlib.tests.test_workingtree',
 
2667
                   'bzrlib.tests.test_workingtree_4',
 
2668
                   'bzrlib.tests.test_wsgi',
1005
2669
                   'bzrlib.tests.test_xml',
1006
2670
                   ]
1007
2671
    test_transport_implementations = [
1008
 
        'bzrlib.tests.test_transport_implementations']
1009
 
 
1010
 
    TestCase.BZRPATH = osutils.pathjoin(
1011
 
            osutils.realpath(osutils.dirname(bzrlib.__path__[0])), 'bzr')
1012
 
    print '%10s: %s' % ('bzr', osutils.realpath(sys.argv[0]))
1013
 
    print '%10s: %s' % ('bzrlib', bzrlib.__path__[0])
1014
 
    print
1015
 
    suite = TestSuite()
1016
 
    # python2.4's TestLoader.loadTestsFromNames gives very poor 
1017
 
    # errors if it fails to load a named module - no indication of what's
1018
 
    # actually wrong, just "no such module".  We should probably override that
1019
 
    # class, but for the moment just load them ourselves. (mbp 20051202)
1020
 
    loader = TestLoader()
1021
 
    from bzrlib.transport import TransportTestProviderAdapter
 
2672
        'bzrlib.tests.test_transport_implementations',
 
2673
        'bzrlib.tests.test_read_bundle',
 
2674
        ]
 
2675
    suite = TestUtil.TestSuite()
 
2676
    loader = TestUtil.TestLoader()
 
2677
    suite.addTest(loader.loadTestsFromModuleNames(testmod_names))
 
2678
    from bzrlib.tests.test_transport_implementations import TransportTestProviderAdapter
1022
2679
    adapter = TransportTestProviderAdapter()
1023
2680
    adapt_modules(test_transport_implementations, adapter, loader, suite)
1024
 
    for mod_name in testmod_names:
1025
 
        mod = _load_module_by_name(mod_name)
1026
 
        suite.addTest(loader.loadTestsFromModule(mod))
1027
2681
    for package in packages_to_test():
1028
2682
        suite.addTest(package.test_suite())
1029
2683
    for m in MODULES_TO_TEST:
1030
2684
        suite.addTest(loader.loadTestsFromModule(m))
1031
 
    for m in (MODULES_TO_DOCTEST):
1032
 
        suite.addTest(DocTestSuite(m))
1033
 
    for name, plugin in bzrlib.plugin.all_plugins().items():
1034
 
        if getattr(plugin, 'test_suite', None) is not None:
1035
 
            suite.addTest(plugin.test_suite())
1036
 
    return suite
 
2685
    for m in MODULES_TO_DOCTEST:
 
2686
        try:
 
2687
            suite.addTest(doctest.DocTestSuite(m))
 
2688
        except ValueError, e:
 
2689
            print '**failed to get doctest for: %s\n%s' %(m,e)
 
2690
            raise
 
2691
    default_encoding = sys.getdefaultencoding()
 
2692
    for name, plugin in bzrlib.plugin.plugins().items():
 
2693
        try:
 
2694
            plugin_suite = plugin.test_suite()
 
2695
        except ImportError, e:
 
2696
            bzrlib.trace.warning(
 
2697
                'Unable to test plugin "%s": %s', name, e)
 
2698
        else:
 
2699
            if plugin_suite is not None:
 
2700
                suite.addTest(plugin_suite)
 
2701
        if default_encoding != sys.getdefaultencoding():
 
2702
            bzrlib.trace.warning(
 
2703
                'Plugin "%s" tried to reset default encoding to: %s', name,
 
2704
                sys.getdefaultencoding())
 
2705
            reload(sys)
 
2706
            sys.setdefaultencoding(default_encoding)
 
2707
    return suite
 
2708
 
 
2709
 
 
2710
def multiply_tests_from_modules(module_name_list, scenario_iter):
 
2711
    """Adapt all tests in some given modules to given scenarios.
 
2712
 
 
2713
    This is the recommended public interface for test parameterization.
 
2714
    Typically the test_suite() method for a per-implementation test
 
2715
    suite will call multiply_tests_from_modules and return the 
 
2716
    result.
 
2717
 
 
2718
    :param module_name_list: List of fully-qualified names of test
 
2719
        modules.
 
2720
    :param scenario_iter: Iterable of pairs of (scenario_name, 
 
2721
        scenario_param_dict).
 
2722
 
 
2723
    This returns a new TestSuite containing the cross product of
 
2724
    all the tests in all the modules, each repeated for each scenario.
 
2725
    Each test is adapted by adding the scenario name at the end 
 
2726
    of its name, and updating the test object's __dict__ with the
 
2727
    scenario_param_dict.
 
2728
 
 
2729
    >>> r = multiply_tests_from_modules(
 
2730
    ...     ['bzrlib.tests.test_sampler'],
 
2731
    ...     [('one', dict(param=1)), 
 
2732
    ...      ('two', dict(param=2))])
 
2733
    >>> tests = list(iter_suite_tests(r))
 
2734
    >>> len(tests)
 
2735
    2
 
2736
    >>> tests[0].id()
 
2737
    'bzrlib.tests.test_sampler.DemoTest.test_nothing(one)'
 
2738
    >>> tests[0].param
 
2739
    1
 
2740
    >>> tests[1].param
 
2741
    2
 
2742
    """
 
2743
    loader = TestLoader()
 
2744
    suite = TestSuite()
 
2745
    adapter = TestScenarioApplier()
 
2746
    adapter.scenarios = list(scenario_iter)
 
2747
    adapt_modules(module_name_list, adapter, loader, suite)
 
2748
    return suite
 
2749
 
 
2750
 
 
2751
def multiply_scenarios(scenarios_left, scenarios_right):
 
2752
    """Multiply two sets of scenarios.
 
2753
 
 
2754
    :returns: the cartesian product of the two sets of scenarios, that is
 
2755
        a scenario for every possible combination of a left scenario and a
 
2756
        right scenario.
 
2757
    """
 
2758
    return [
 
2759
        ('%s,%s' % (left_name, right_name),
 
2760
         dict(left_dict.items() + right_dict.items()))
 
2761
        for left_name, left_dict in scenarios_left
 
2762
        for right_name, right_dict in scenarios_right]
 
2763
 
1037
2764
 
1038
2765
 
1039
2766
def adapt_modules(mods_list, adapter, loader, suite):
1040
2767
    """Adapt the modules in mods_list using adapter and add to suite."""
1041
 
    for mod_name in mods_list:
1042
 
        mod = _load_module_by_name(mod_name)
1043
 
        for test in iter_suite_tests(loader.loadTestsFromModule(mod)):
1044
 
            suite.addTests(adapter.adapt(test))
1045
 
 
1046
 
 
1047
 
def _load_module_by_name(mod_name):
1048
 
    parts = mod_name.split('.')
1049
 
    module = __import__(mod_name)
1050
 
    del parts[0]
1051
 
    # for historical reasons python returns the top-level module even though
1052
 
    # it loads the submodule; we need to walk down to get the one we want.
1053
 
    while parts:
1054
 
        module = getattr(module, parts.pop(0))
1055
 
    return module
 
2768
    for test in iter_suite_tests(loader.loadTestsFromModuleNames(mods_list)):
 
2769
        suite.addTests(adapter.adapt(test))
 
2770
 
 
2771
 
 
2772
def adapt_tests(tests_list, adapter, loader, suite):
 
2773
    """Adapt the tests in tests_list using adapter and add to suite."""
 
2774
    for test in tests_list:
 
2775
        suite.addTests(adapter.adapt(loader.loadTestsFromName(test)))
 
2776
 
 
2777
 
 
2778
def _rmtree_temp_dir(dirname):
 
2779
    # If LANG=C we probably have created some bogus paths
 
2780
    # which rmtree(unicode) will fail to delete
 
2781
    # so make sure we are using rmtree(str) to delete everything
 
2782
    # except on win32, where rmtree(str) will fail
 
2783
    # since it doesn't have the property of byte-stream paths
 
2784
    # (they are either ascii or mbcs)
 
2785
    if sys.platform == 'win32':
 
2786
        # make sure we are using the unicode win32 api
 
2787
        dirname = unicode(dirname)
 
2788
    else:
 
2789
        dirname = dirname.encode(sys.getfilesystemencoding())
 
2790
    try:
 
2791
        osutils.rmtree(dirname)
 
2792
    except OSError, e:
 
2793
        if sys.platform == 'win32' and e.errno == errno.EACCES:
 
2794
            sys.stderr.write(('Permission denied: '
 
2795
                                 'unable to remove testing dir '
 
2796
                                 '%s\n' % os.path.basename(dirname)))
 
2797
        else:
 
2798
            raise
 
2799
 
 
2800
 
 
2801
class Feature(object):
 
2802
    """An operating system Feature."""
 
2803
 
 
2804
    def __init__(self):
 
2805
        self._available = None
 
2806
 
 
2807
    def available(self):
 
2808
        """Is the feature available?
 
2809
 
 
2810
        :return: True if the feature is available.
 
2811
        """
 
2812
        if self._available is None:
 
2813
            self._available = self._probe()
 
2814
        return self._available
 
2815
 
 
2816
    def _probe(self):
 
2817
        """Implement this method in concrete features.
 
2818
 
 
2819
        :return: True if the feature is available.
 
2820
        """
 
2821
        raise NotImplementedError
 
2822
 
 
2823
    def __str__(self):
 
2824
        if getattr(self, 'feature_name', None):
 
2825
            return self.feature_name()
 
2826
        return self.__class__.__name__
 
2827
 
 
2828
 
 
2829
class _SymlinkFeature(Feature):
 
2830
 
 
2831
    def _probe(self):
 
2832
        return osutils.has_symlinks()
 
2833
 
 
2834
    def feature_name(self):
 
2835
        return 'symlinks'
 
2836
 
 
2837
SymlinkFeature = _SymlinkFeature()
 
2838
 
 
2839
 
 
2840
class _OsFifoFeature(Feature):
 
2841
 
 
2842
    def _probe(self):
 
2843
        return getattr(os, 'mkfifo', None)
 
2844
 
 
2845
    def feature_name(self):
 
2846
        return 'filesystem fifos'
 
2847
 
 
2848
OsFifoFeature = _OsFifoFeature()
 
2849
 
 
2850
 
 
2851
class TestScenarioApplier(object):
 
2852
    """A tool to apply scenarios to tests."""
 
2853
 
 
2854
    def adapt(self, test):
 
2855
        """Return a TestSuite containing a copy of test for each scenario."""
 
2856
        result = unittest.TestSuite()
 
2857
        for scenario in self.scenarios:
 
2858
            result.addTest(self.adapt_test_to_scenario(test, scenario))
 
2859
        return result
 
2860
 
 
2861
    def adapt_test_to_scenario(self, test, scenario):
 
2862
        """Copy test and apply scenario to it.
 
2863
 
 
2864
        :param test: A test to adapt.
 
2865
        :param scenario: A tuple describing the scenarion.
 
2866
            The first element of the tuple is the new test id.
 
2867
            The second element is a dict containing attributes to set on the
 
2868
            test.
 
2869
        :return: The adapted test.
 
2870
        """
 
2871
        from copy import deepcopy
 
2872
        new_test = deepcopy(test)
 
2873
        for name, value in scenario[1].items():
 
2874
            setattr(new_test, name, value)
 
2875
        new_id = "%s(%s)" % (new_test.id(), scenario[0])
 
2876
        new_test.id = lambda: new_id
 
2877
        return new_test
 
2878
 
 
2879
 
 
2880
def probe_unicode_in_user_encoding():
 
2881
    """Try to encode several unicode strings to use in unicode-aware tests.
 
2882
    Return first successfull match.
 
2883
 
 
2884
    :return:  (unicode value, encoded plain string value) or (None, None)
 
2885
    """
 
2886
    possible_vals = [u'm\xb5', u'\xe1', u'\u0410']
 
2887
    for uni_val in possible_vals:
 
2888
        try:
 
2889
            str_val = uni_val.encode(bzrlib.user_encoding)
 
2890
        except UnicodeEncodeError:
 
2891
            # Try a different character
 
2892
            pass
 
2893
        else:
 
2894
            return uni_val, str_val
 
2895
    return None, None
 
2896
 
 
2897
 
 
2898
def probe_bad_non_ascii(encoding):
 
2899
    """Try to find [bad] character with code [128..255]
 
2900
    that cannot be decoded to unicode in some encoding.
 
2901
    Return None if all non-ascii characters is valid
 
2902
    for given encoding.
 
2903
    """
 
2904
    for i in xrange(128, 256):
 
2905
        char = chr(i)
 
2906
        try:
 
2907
            char.decode(encoding)
 
2908
        except UnicodeDecodeError:
 
2909
            return char
 
2910
    return None
 
2911
 
 
2912
 
 
2913
class _FTPServerFeature(Feature):
 
2914
    """Some tests want an FTP Server, check if one is available.
 
2915
 
 
2916
    Right now, the only way this is available is if 'medusa' is installed.
 
2917
    http://www.amk.ca/python/code/medusa.html
 
2918
    """
 
2919
 
 
2920
    def _probe(self):
 
2921
        try:
 
2922
            import bzrlib.tests.ftp_server
 
2923
            return True
 
2924
        except ImportError:
 
2925
            return False
 
2926
 
 
2927
    def feature_name(self):
 
2928
        return 'FTPServer'
 
2929
 
 
2930
FTPServerFeature = _FTPServerFeature()
 
2931
 
 
2932
 
 
2933
class _CaseInsensitiveFilesystemFeature(Feature):
 
2934
    """Check if underlined filesystem is case-insensitive
 
2935
    (e.g. on Windows, Cygwin, MacOS)
 
2936
    """
 
2937
 
 
2938
    def _probe(self):
 
2939
        if TestCaseWithMemoryTransport.TEST_ROOT is None:
 
2940
            root = osutils.mkdtemp(prefix='testbzr-', suffix='.tmp')
 
2941
            TestCaseWithMemoryTransport.TEST_ROOT = root
 
2942
        else:
 
2943
            root = TestCaseWithMemoryTransport.TEST_ROOT
 
2944
        tdir = osutils.mkdtemp(prefix='case-sensitive-probe-', suffix='',
 
2945
            dir=root)
 
2946
        name_a = osutils.pathjoin(tdir, 'a')
 
2947
        name_A = osutils.pathjoin(tdir, 'A')
 
2948
        os.mkdir(name_a)
 
2949
        result = osutils.isdir(name_A)
 
2950
        _rmtree_temp_dir(tdir)
 
2951
        return result
 
2952
 
 
2953
    def feature_name(self):
 
2954
        return 'case-insensitive filesystem'
 
2955
 
 
2956
CaseInsensitiveFilesystemFeature = _CaseInsensitiveFilesystemFeature()